CN110176244B - 回声消除方法、装置、存储介质和计算机设备 - Google Patents
回声消除方法、装置、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN110176244B CN110176244B CN201810629420.4A CN201810629420A CN110176244B CN 110176244 B CN110176244 B CN 110176244B CN 201810629420 A CN201810629420 A CN 201810629420A CN 110176244 B CN110176244 B CN 110176244B
- Authority
- CN
- China
- Prior art keywords
- signal
- echo
- residual
- far
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000005236 sound signal Effects 0.000 claims abstract description 212
- 238000012545 processing Methods 0.000 claims abstract description 179
- 230000001629 suppression Effects 0.000 claims abstract description 88
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 208000037516 chromosome inversion disease Diseases 0.000 claims 10
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
本申请涉及一种回声消除方法、装置、存储介质和计算机设备，所述方法包括：获取本地采集的音频信号；从所获取到的音频信号中提取低频信号和高频信号；获取采集自远端的远端参考信号；根据所述远端参考信号对所述低频信号进行回声抑制处理，获得残差信号；将所述残差信号与所述高频信号合成为高频残差信号；根据所述远端参考信号对所述高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号。本申请提供的方案可以在对音频信号进行回声消除时提高回声消除的效率。
Description
技术领域
本申请涉及语音信号处理技术领域，特别是涉及一种回声消除方法、装置、存储介质和计算机设备。
背景技术
随着语音信号处理技术和通信技术的不断发展，用户对语音通信的质量要求也越来越高，例如在使用手机与远端用户进行语音通信，或者玩家进行团队游戏时与团队成员进行语音通信过程中，若出现没有进行回声消除，将会严重影响语音通信的效果。
回声产生的原理：远端音频信号先通过本地端的扬声器播放出来，然后在房间中经过多次反射，最后与本地声音一起被本地端的麦克风采集进去。如果本地端没有做回声消除处理，那么远端就会把由本地端采集进去的远端音频信号播放出来，从而形成回声。
为了消除回声对语音通信的影响，提升语音通信质量，传统的解决方案为：通过系统自带的回声消除功能，对本地所采集的音频信号中特定频带部分进行回声消除，以达到回声消除的目的。然而，上述回声消除的方案中，只对特定频带部分的音频信号进行回声消除，降低了回声消除的效率。
发明内容
基于此，有必要针对在对音频信号进行回声消除时回声消除的效率低的技术问题，提供一种回声消除方法、装置、存储介质和计算机设备。
一种回声消除方法，包括：
获取本地采集的音频信号；
从所获取到的音频信号中提取低频信号和高频信号；
获取采集自远端的远端参考信号；
根据所述远端参考信号对所述低频信号进行回声抑制处理，获得残差信号；
将所述残差信号与所述高频信号合成为高频残差信号；
根据所述远端参考信号对所述高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号。
一种回声消除装置，包括：
音频信号获取模块，用于获取本地采集的音频信号；
信号提取模块，用于从所获取到的音频信号中提取低频信号和高频信号；
参考信号获取模块，用于获取采集自远端的远端参考信号；
回声抑制模块，用于根据所述远端参考信号对所述低频信号进行回声抑制处理，获得残差信号；
信号合成模块，用于将所述残差信号与所述高频信号合成为高频残差信号；
残留回声抑制模块，用于根据所述远端参考信号对所述高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号。
一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述回声消除方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述回声消除方法的步骤。
上述回声消除方法、装置、存储介质和计算机设备，从获取到的音频信号中提取低频信号和高频信号，根据获取的远端参考信号对低频信号进行回声抑制处理，实现了低频信号的回声消除。然后，将残差信号与高频信号合成为高频残差信号，对合成的高频残差信号进行残留回声抑制处理，可以对音频信号的低频信号和高频信号都进行回声消除，提高了回声消除效率，提升了音频信号中的音频质量，避免了回声对语音通信的影响。
附图说明
图1为一个实施例中回声消除方法的应用环境图；
图2为一个实施例中回声消除方法的流程示意图；
图3为一个实施例中获取线性回声信号、根据反相后的线性回声信号对低频信号进行回声抑制处理步骤的示意图；
图4为一个实施例中回声消除系统的结构框图；
图5为一个实施例中参考信号与音频信号对齐，通过对齐后的参考信号对低频信号进行回声抑制处理步骤的流程示意图；
图6为一个实施例中进行残留回声估计，根据估计所得的残留回声信号对高频残差信号进行残留回声抑制处理步骤的流程示意图；
图7为一个实施例中获得衰减因子，根据衰减因子和估计所得的残留回声信号对高频残差信号进行残留回声抑制处理步骤的流程示意图；
图8为一个实施例中对背景噪声进行估计，根据估计所得的背景噪声信号对消除回声后的音频信号进行降噪处理步骤的流程示意图；
图9为另一个实施例中回声消除系统的结构框图；
图10为一个实施例中对采集的音频信号进行回声消除和噪声抑制的流程示意图；
图11为一个实施例中对残差信号进行残留回声抑制处理和噪声抑制处理的流程示意图；
图12为一个实施例中回声消除装置的系统结构框图；
图13为一个实施例中回声消除装置的结构框图；
图14为另一个实施例中回声消除装置的结构框图；
图15为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中回声消除方法的应用环境图。参照图1，该回声消除方法应用于回声消除系统。该回声消除系统包括终端110、服务器120和终端130。终端110、终端130与服务器120通过网络连接。终端110和终端130具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。当终端110作为本地端时，终端130则为远端。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示，在一个实施例中，提供了一种回声消除方法。本实施例主要以该方法应用于上述图1中的终端110来举例说明。参照图2，该回声消除方法具体包括如下步骤：
S202，获取本地采集的音频信号。
其中，音频信号可以是携带有语音、音乐、音效和其它背景音等信息的信号。在实际应用中，音频信号还可以是静音模式下的静音信号。例如，当通话双方均没有说话时麦克风所采集到的信号。
在一个实施例中，终端采集环境中的声音信号，根据采集的声音信号形成音频信号。具体地，终端根据奈奎斯特采样定理，通过内置的麦克风采集环境中的说话人声音和游戏音效等声音信号，将采集到的声音信号进行傅里叶变换，获得音频信号。
在一个实施例中，终端对采集到的环境中的声音信号，对声音信号进行预加重、端点检测、分帧和加窗处理，将处理后的声音信号进行傅里叶变换，得到频域的音频信号。
S204，从所获取到的音频信号中提取低频信号和高频信号。
在一个实施例中，终端将获取的音频信号划分为两个部分，即为低频信号和高频信号两部分。具体地，终端从划分后的音频信号中，获取低频信号和高频信号。
在一个实施例中，终端通过低频滤波模块将音频信号中的低频信号提取出来，通过高频滤波器将音频信号中的高频信号提取出来。需要说明的是，音频信号分为低频信号和高频信号两个部分。
S206，获取采集自远端的远端参考信号。
其中，远端参考信号指的是由远端采集并发送至终端的音频信号。若该远端参考信号由终端播放后，远端参考信号经过室内环境的反射进入终端的麦克风，由麦克风所采集后则成为远端回声信号。
在一个实施例中，终端接收来自远端的、由远端采集的远端参考信号。
在一个实施例中，S206之前，该方法还包括：终端通过网络通信协议建立与远端之间的网络连接。其中，该网络连接可以是TCP(Transmission Control Protocol传输控制协议)连接、UDP(User Datagram Protocol，用户数据报协议)连接、VOIP(Voice overInternet Protocol)连接或VOLTE(Voice over LTE)连接。
S208，根据远端参考信号对低频信号进行回声抑制处理，获得残差信号。
其中，残差信号是至少消除部分回声的低频信号。例如，当采集到的音频信号为语音信号时，该残差信号则为至少消除部分回声的低频语音信号。
在一个实施例中，终端对远端参考信号输入自适应滤波模块，获得线性回声信号。终端根据线性回声信号对低频信号进行回声抑制处理，获得残差信号。其中，自适应滤波模块可以是自适应滤波器或具有滤波功能的软件模块。
在一个实施例中，终端根据线性回声信号对低频信号进行回声抑制处理的步骤具体可以包括：终端将线性回声信号与所采集到的音频信号进行对齐，将对齐后的线性回声信号进行反相处理，将反相处理后的线性回声信号与低频信号进行叠加，从而消除低频信号中至少一部分远端回声信号，获得残差信号。
S210，将残差信号与高频信号合成为高频残差信号。
在一个实施例中，终端将残差信号与高频信号进行叠加，获得高频残差信号。例如，终端通过加法器把残差信号与高频信号进行叠加，获得高频残差信号。
在另一个实施例中，终端将残差信号拼接到高频信号，获得高频残差信号。
S212，根据远端参考信号对高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号。
在一个实施例中，终端对远端参考信号输入自适应滤波模块进行线性处理，获得线性回声信号，根据线性回声信号和高频残差信号之间的关联度确定衰减因子，根据该衰减因子对高频残差信号进行残留回声抑制处理，获得消除回声后的全频带音频信号。
其中，当线性回声信号和高频残差信号之间的关联度的值较大时，表示高频残差信号携带有较多的远端回声信号，即在进行线性回声消除过程中有较多的远端回声信号未被消除。当线性回声信号和高频残差信号之间的关联度的值较小时，表示高频残差信号携带有较少的远端回声信号，即在进行线性回声消除过程中只有较少的远端回声信号未被消除。
在一个实施例中，根据该衰减因子对高频残差信号进行残留回声抑制处理的步骤具体可以包括：终端将确定衰减因子乘以残留回声信号，从而将残留回声信号进行衰减处理。
在一个实施例中，回声消除方法应用于语音处理引擎；语音处理引擎用于将由游戏音频引擎处理的音频信号和远端参考信号转到语音处理引擎，以及用于当采集到游戏音效信号时将由游戏音频引擎播放的游戏音效信号转到语音处理引擎；游戏音频引擎采用系统回声消除方式。通过将由游戏音频引擎的处理数据转到语音处理引擎，绕过了系统回声消除模块，并启用高音质的软件AEC技术进行回声抵消。提高了游戏音效的质量，以及提高了回声消除的效率。
其中，语音处理引擎指的是为游戏软件提供的SDK(Software Development Kit，软件开发包)，包括实时语音引擎和回声消除模块。语音引擎用于控制对远端参考信号和采集的游戏音效进行播放。回声消除模块用于对音频信号进行回声消除，避免使用系统的回声消除模块。
在一个实施例中，终端采集游戏音效，将采集到的游戏音效转到语音处理引擎，通过语音处理引擎控制对游戏音效的播放。
上述实施例中，从获取到的音频信号中提取低频信号和高频信号，根据获取的远端参考信号对低频信号进行回声抑制处理，实现了低频信号的回声消除。然后，将残差信号与高频信号合成为高频残差信号，对合成的高频残差信号进行残留回声抑制处理，可以对音频信号的低频信号和高频信号都进行回声消除，提高了回声消除效率，提升了音频信号中的音频质量，避免了回声对语音通信的影响。
在一个实施例中，如图3所示，S208具体可以包括：
S302，将获取的远端参考信号输入回声模型，获得线性回声信号。
其中，终端通过扬声器播放远端参考信号后，由于远端参考信号在反射过程中重新被终端的麦克风所采集，采集到的远端参考信号形成了远端回声信号。因此，终端所采集到的音频信号中包含了远端回声信号，低频信号中也包含了远端回声信号。线性回声信号可以是对远端回声信号的估计，当线性回声信号越逼近远端回声信号，回声消除的效果越好。需要说明的是，远端回声信号与远端参考信号之间具有一定的关联关系，但并不完全相同。
在一个实施例中，终端根据远端参考信号与远端回声信号之间的关联关系，建立回声模型，将获取的远端参考信号输入回声模型，输出高度接近远端回声信号的线性回声信号。
在一个实施例中，终端以远端参考信号作为训练输入，以远端回声信号作为训练目标，对回声模型进行训练，获得最终的回声模型。
例如，终端建立远端参考信号与远端回声信号之间的回声模型fe＝f(fs)，其中，fs为远端参考信号，fe为估计的远端回声信号。终端以fs信号作为输入，以实际的远端回声信号作为训练目标，对回声模型fe＝f(fs)进行训练。当回声模型稳定时，将远端参考信号输入回声模型，就可以输出高度逼近实际远端回声信号的线性回声信号。
S304，对线性回声信号进行反相处理。
在一个实施例中，终端将线性回声信号输入反相滤波模块，通过反相滤波模块对线性回声信号进行反相处理，获得反相的线性回声信号。例如，假设远端参考信号为x(n)，对远端参考信号x(n)进行处理所得的线性回声信号为h′(n)＝asin(2πnf+b)，那么，经反相滤波模块处理后，输出的反相线性回声信号为h(n)＝asin(2πnf+b±π)＝-asin(2πnf+b)。
在一个实施例中，终端将线性回声信号通过移相滤波模块，对线性回声信号移相kπ相位，获得反相的线性回声信号。例如，对h′(n)＝asin(2πnf+b)移相kπ相位，输出的反相线性回声信号为h(n)＝asin(2πnf+b±kπ)＝-asin(2πnf+b)。
S306，根据反相处理后的线性回声信号对低频信号进行回声抑制处理，获得残差信号。
在一个实施例中，终端将低频信号与反相处理后的线性回声信号叠加，获得残差信号。
例如，若从音频信号获取的低频信号为g(n)＝v(n)+y(n)＝v(n)+csin(2πnf+b)，那么，终端将低频信号g(n)＝v(n)+csin(2πnf+b)与h(n)＝-asin(2πnf+b)进行叠加，从而获得残差信号e(n)＝v(n)+(c-a)sin(2πnf+b)。当c与a的值越接近，则表示线性回声信号越逼近远端回声信号，终端可以更好的消除低频信号中的远端回声信号。
作为一个实例，如图4所示，终端接收来自远端的远端参考信号x(n)，通过自适应滤波器的处理后得到线性回声信号h(n)＝-asin(2πnf+b)。终端通过扬声器播放远端参考信号x(n)，通过室内的反射，终端采集到由远端参考信号x(n)经过反射后的远端回声信号y(n)，同时终端采集到近端的声音信号v(n)，近端的声音信号v(n)和远端回声信号y(n)共同构成终端所采集到的音频信号，从音频信号中提取低频信号(即音频信号中的低频部分)。假设从音频信号获取的低频信号为g(n)＝v(n)+y(n)＝v(n)+csin(2πnf+b)，那么，终端将低频信号g(n)＝v(n)+csin(2πnf+b)与线性回声信号h(n)＝-asin(2πnf+b)进行叠加，从而获得叠加或的结果即残差信号e(n)＝v(n)+(c-a)sin(2πnf+b)。当c与a的值越接近，则表示线性回声信号越逼近远端回声信号，终端可以更好的消除低频信号中的远端回声信号。
上述实施例中，通过将远端参考信号输入回声模型获得线性回声信号，从而得到低频信号中回声的估计值，以便通过线性回声信号对低频信号中的回声进行抵消。对线性回声信号进行反相处理，将处理后的线性回声信号与低频信号进行叠加，从而对低频信号中的回声部分进行抵消，获得至少去掉一部分回声的残差信号。
在一个实施例中，如图5所示，S302之前，该方法还可以包括：
S502，确定远端参考信号与音频信号中远端回声信号之间的时延量；远端回声信号是远端参考信号经过本地播放后由本地所采集的信号。
由于远端回声信号是远端参考信号经过终端播放后，经过室内环境的反射重新由终端所采集。由此可知，终端获得远端回声信号与远端参考信号之间存在时间差，即时延量。其中，时延量可以是终端播放远端参考信号与采集远端回声信号之间的时间差。
具体地，终端根据延时查找算法，找出播放远端参考信号与采集远端回声信号之间的时间差，从而获得远端参考信号与音频信号中远端回声信号之间的时延量。
在一个实施例中，终端确定远端参考信号与低频信号中远端回声信号之间的时延量。
S504，根据时延量，将远端参考信号与获取到的音频信号进行对齐。
在一个实施例中，终端根据时延量，对远端参考信号进行平移，从而使远端参考信号与获取到的音频信号对齐，从而确保远端参考信号与远端回声信号对齐。在根据对齐后的远端参考信号生成线性回声信号后，终端便可根据线性回声信号与低频信号中的远端回声信号进行抵消。
在一个实施例中，终端根据时延量，对音频信号进行平移，从而使远端参考信号与音频信号与对齐，进而使远端参考信号与低频信号中的远端回声信号对齐。在根据远端参考信号生成线性回声信号后，终端便可根据线性回声信号与对齐后的低频信号中的远端回声信号进行抵消。
S506，将对齐后的远端参考信号输入回声模型，获得线性回声信号。
在一个实施例中，终端根据对齐后的远端参考信号与远端回声信号之间的相关性，建立回声模型。终端将对齐后的远端参考信号输入回声模型，输出高度接近远端回声信号的线性回声信号。
在一个实施例中，终端以对齐后的远端参考信号作为训练输入，以远端回声信号作为训练目标，对回声模型进行训练，获得最终的回声模型。
例如，终端建立对齐后的远端参考信号与远端回声信号之间的回声模型fe＝f(fs)，其中，fs为远端参考信号，fe为估计的远端回声信号。终端以fs信号作为输入，以实际的远端回声信号作为训练目标，对回声模型fe＝f(fs)进行训练。当回声模型稳定时，将远端参考信号输入回声模型，就可以输出高度逼近实际远端回声信号的线性回声信号。
S508，对线性回声信号进行反相处理。
在一个实施例中，终端将线性回声信号输入反相滤波模块，通过反相滤波模块对线性回声信号进行反相处理，获得反相的线性回声信号。例如，假设远端参考信号为x(n)，对远端参考信号x(n)处理所得的线性回声信号为h′(n)＝asin(2πnf+b)，通过反相滤波模块处理后，输出的反相线性回声信号为h(n)＝asin(2πnf+b±π)＝-asin(2πnf+b)。
在一个实施例中，终端将线性回声信号输入移相滤波模块，通过移相滤波模块对线性回声信号移相kπ相位，获得反相的线性回声信号。
S510，根据反相处理后的线性回声信号对低频信号进行回声抑制处理，获得残差信号。
在一个实施例中，终端将低频信号与反相处理后的线性回声信号叠加，获得残差信号。其中，反相处理后的线性回声信号是由对齐后的远端参考信号处理所得。
上述实施例中，通过将远端参考信号与获取到的音频信号进行对齐，确保在进行回声消除的过程中，避免了因远端参考信号未与获取到的音频信号对齐，而无法根据处理远端参考信号处理所得的线性回声信号抵消远端回声信号的问题，使线性回声信号与消远端回声信号实现最大限度的抵消，从而有效地提高回声消除的效率。
在一个实施例中，如图6所示，S2012具体可以包括：
S602，将处理远端参考信号所得的线性回声信号转换为高频线性回声信号。
在一个实施例中，终端使用高频载波对远端参考信号所得的线性回声信号进行调制，从而将线性回声信号调制为高频线性回声信号。其中，高频载波的中心频率可以与音频信号中高频信号的中心频率相等。
S604，根据高频线性回声信号，对高频残差信号进行残留回声估计，获得残留回声信号。
S606，对所获得的残留回声信号进行反相处理。
在一个实施例中，终端将所获得的残留回声信号输入反相滤波模块，通过反相滤波模块对残留回声信号进行反相处理，获得反相的残留回声信号。
在一个实施例中，终端将所获得的残留回声信号通过移相滤波模块，通过反相滤波模块对残留回声信号移相kπ相位，获得反相的残留回声信号。
S608，根据反相处理后的残留回声信号对高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号。
在一个实施例中，终端可以确定高频线性回声信号与高频残差信号之间的关联矩阵，根据关联矩阵获得衰减因子。其中，该衰减因子用于对高频残差信号中的残留回声信号进行消除。需要说明的是，高频线性回声信号时由远端参考信号经过处理所得，因此高频残差信号中的残留回声信号与高频线性回声信号之间存在关联关系。
根据衰减因子，可以对S608划分为两种残留回声信号的消除方式：
消除方式1，终端根据衰减因子对高频残差信号中的残留回声信号直接进行衰减。
在一个实施例中，终端消除残留回声信号的方法步骤可以包括：终端高频残差信号中的残留回声信号与高频线性回声信号之间的关联矩阵，根据该关联矩阵确定关联度，进而获得反映消除残留回声信号程度的衰减因子。终端根据衰减因子对高频残差信号中的残留回声信号进行衰减。
其中，关联度越大，表明高频残差信号中的残留回声信号越多，需要对残留回声信号消除的程度越大。反之，关联度越小，表明高频残差信号中的残留回声信号较少，需要对残留回声信号消除的程度越小。
在一个实施例中，终端将高频残差信号中的残留回声信号乘以衰减因子，从而消除残留回声信号。
在一个实施例中，终端通过残留回声信号和终端采集到的远端回声信号之间的相关性，检测终端所采集的音频信号所对应的通话场景类型。终端根据检测到的通话场景类型调整衰减因子。其中，通话场景类型包括单讲场景类型、双讲场景类型和静音场景类型。
在一个实施例中，当所采集的音频信号所对应的通话场景类型为单讲场景类型时，表示与终端对应的本地用户未发出声音信号，通话双方处于远端单讲的状态。为了尽可能地消除音频信号中的远端回声信号，终端调小衰减因子，将调小后的衰减因子乘以高频残差信号中的残留回声信号，从而消除残留回声信号。当所采集的音频信号所对应的通话场景类型为双讲场景类型时，表示与终端对应的本地用户发出声音信号，远端也发出声音，通话双方处于双讲的状态。为了避免损伤本地用户的声音信号，终端调大衰减因子，将调大后的衰减因子乘以高频残差信号中的残留回声信号，从而消除残留回声信号。
消除方式2，终端通过估计所得残留回声信号与衰减因子的乘积值，对高频残差信号中的残留回声信号进行衰减。
在一个实施例中，如图7所示，S608具体可以包括：
S702，确定高频线性回声信号与高频残差信号之间的关联矩阵。
S704，根据关联矩阵获得衰减因子。
在一个实施例中，S704之后，该方法还可以包括：终端检测所获取的音频信号所对应的通话场景类型；根据所检测的通话场景类型调整衰减因子。
S706，确定衰减因子与反相处理后的残留回声信号的乘积值。
在一个实施例中，当衰减因子发生调整时，S706具体可以包括：确定调整后的衰减因子与反相处理后的残留回声信号的乘积值，然后执行S708。
在一个实施例中，当所获取的音频信号所对应的通话场景类型为单讲场景类型时，为了更多的消除高频残差信号中的残留回声信号，终端调大衰减因子，将调大后的衰减因子乘以反相后处理的残留回声信号，获得乘积值，然后执行S706。
在另一个实施例中，当所获取的音频信号所对应的通话场景类型为双讲场景类型时，为了避免损伤使用终端的本地用户的声音信号，终端调小衰减因子，将调小后的衰减因子乘以反相后处理的残留回声信号，获得乘积值，然后执行S706。
S708，将乘积值与高频残差信号进行叠加，获得消除回声后的音频信号。
在一个实施例中，终端将乘积值与高频残差信号进行叠加，得到叠加结果。终端对叠加结果进行滤波处理，获取叠加结果终端低频信号和高频信号。将高频信号与低频信号进行拼接，获得消除回声后的、全频带的音频信号。
对于消除方式2，适用于无法提取高频残差信号中的残留回声信号的场景。在消除方式2的方案中，根据所获取的音频信号所对应的通话场景类型调整衰减因子，以便根据调整后的衰减因子对高频残差信号进行残留回声信号的消除，有利于提高残留回声信号的消除率。
上述实施例中，通过对高频残差信号进行残留回声估计，估计出高频残差信号中包含有残留回声信号的量，根据估计出来的残留回声信号对高频残差信号进行残留回声抑制处理，从而消除了高频残差信号中的残留回声信号，实现了全频带音频信号的回声消除。
在一个实施例中，如图8所示，该方法还可以包括：
S802，在获得消除回声后的音频信号后，根据残差信号对背景噪声进行估计，获得背景噪声信号。
在一个实施例中，终端将残差信号输入自适应滤波模块，通过自适应滤波模块对背景噪声进行估计，获得背景噪声信号。
S804，对背景噪声信号进行反相处理。
在一个实施例中，终端将背景噪声信号输入反相滤波模块，通过反相滤波模块对背景噪声信号进行反相处理，获得反相的背景噪声信号。
在一个实施例中，终端背景噪声信号通过移相滤波模块，对背景噪声信号移相kπ相位，获得反相的背景噪声信号。
S806，根据反相处理后的背景噪声信号对消除回声后的音频信号进行降噪处理，获得降噪后的音频信号。
在一个实施例中，终端将消除回声后的音频信号与反相处理后的背景噪声信号叠加，获得降噪后的音频信号。
上述实施例中，对背景噪声的估计获得背景噪声信号，通过估计所得的背景噪声信号对消除回声后的音频信号进行降噪处理，从而得到降噪后的音频信号，从而提高了音频信号中音频的质量。
在一个实施例中，该方法还可以包括：获得消除回声后的音频信号之后，当获取的音频信号对应的通话场景类型是静音场景类型时，终端生成舒适噪声；将生成的舒适噪声添加于消除回声后的音频信号中。
由于在静音场景下，通话双方都没有说话，此时远端和近端都没有声音。在远端和近端都没有声音的情况下，用户可能会认为通话终止或出现异常。为了避免出现上述的问题，终端在静音场景下，将在消除回声后的音频信号中添加舒适噪声。
在一个实施例中，当获取的音频信号所对应的通话场景类型为静音场景类型时，终端对静音场景类型下所采集到的音频信号进行舒适噪声估计，获得舒适噪声信号。终端将所获得的舒适噪声信号添加于消除回声后的音频信号中。
上述实施例中，当获取的音频信号对应的通话场景类型是静音场景类型时，在音频信号中添加舒适噪声信号，提高了用户感知值。
在一个实施例中，回声消除方法应用于语音处理引擎；语音处理引擎用于将由游戏音频引擎处理的音频信号和远端参考信号转到语音处理引擎，以及用于当采集到游戏音效信号时将由游戏音频引擎播放的游戏音效信号转到语音处理引擎；游戏音频引擎采用系统回声消除方式。
其中，语音处理引擎指的是为游戏软件提供的SDK，包括实时语音引擎和回声消除模块。语音引擎用于控制对远端参考信号和采集的游戏音效进行播放。回声消除模块用于对音频信号进行回声消除，避免使用系统的回声消除模块。
作为一个示例，如图9所示，终端通过麦克风采集用户发出的语音信号，以及采集扬声器播放远端参考信号时重新由麦克风采集的远端回声信号，从而终端获得包含有用户语音和麦克风采集的回声的音频信号。
通过插件和HOOK等方法，终端将采集到的音频信号通过调用SDK中的高音质AEC(回声消除模块)进行回声消除，从而绕过了系统的回声消除模块，实现将由系统回声消除模块处理的远端参考信号(如远端发送的实时语音信号)转到SDK中的回声消除模块，由SDK中的回声消除模块对音频信号中的回声进行回声消除。此外，还实现当采集到的游戏音效(如伴奏音乐的)信号时，将由游戏音频引擎播放游戏音效信号转到语音处理引擎，由语音处理引擎播放。
此外，终端通过语音处理引擎调用AGC(自动增益补偿功能)、ANS(背景噪音抑制功能)进行音量调整和噪声消除。
其中，AGC用于调整终端的麦克风音量，使接听者收到一定的音量水平，避免因说话人与麦克风的距离改变时声音大小发生变化。
ANS用于探测出背景固定频率的背景噪音并进行消除，如对风扇声和空调声进行滤除。
AEC用于以远端参考信号与远端回声信号之间的相关性为基础，建立回声模型，通过回声模型对回声进行估计，并不断地修改回声模型的系数，使得回声估计值更加逼近真实的回声。然后，将回声估计值从所采集的音频信号中消除，从而达到消除回声的目的。
上述实施例中，当播放远端发送的实时语音时，通过实时音频引擎进行播放，避免了音量类型切换过程中导致正在播放的游戏音效出现突变而影响游戏体验。其次，通过软件AEC对音频信号进行回声消除，可以实现全频带音频信号的回声消除，避免了系统自带的回声消除模块，只支持窄带音频信号的回声消除，而导致游戏音效播放出来的音质下降。此外，通过实时音频引擎播放游戏音效信号，避免了使用了系统回声消除模块不支持双声道采集播放，而导致实时的3D游戏效果信号无法得到展示的问题，从而提高了游戏的体验。
作为一个示例，图10为一个实施例中对采集的音频信号进行回声消除和噪声抑制的流程示意图，如图10所示，包括以下方法和步骤：
(1)终端对采集的音频信号和远端参考信号进行信号对齐处理。
(2)将对齐处理后的音频信号和远端参考信号输入自适应滤波模块。
(3)模拟人造回声、线性抑制和系数更新。
终端以远端参考信号作为训练输入，以远端回声信号作为训练目标，对自适应滤波模块中的回声模型进行训练，调整回声模型中的系数，获得最终的回声模型。终端通过回声模型对远端参考信号进行处理，模拟出人造回声信号(即所述的线性回声信号)，根据人造回声信号对音频信号进行回声抑制，获得回声抑制后的残差信号。
(4)终端获得残差信号后，进行残留回声、背景噪声估计和舒适噪声估计，获得估计所得的残留回声信号、背景噪声信号和舒适噪声信号。
(5)进行单双讲场景类型检测。
其中，通话场景类型包括单讲场景类型、双讲场景类型和静音场景类型。
(6)确定衰减因子，根据衰减因子对回声预加重。
当检测的结果为单讲场景类型时，为了更多的消除残留回声信号，终端调大衰减因子，将估计出来的残留回声信号进行反相处理。终端将反相的残留回声信号乘以调大后的衰减因子，获得乘积值。终端将乘积值与残差信号中的残留回声进行叠加，从而实现对残留回声的消除。
当检测的结果为单讲场景类型时，为了避免损失终端对应的本地用户的声音信号，终端调小衰减因子，将估计出来的残留回声信号进行反相处理。终端将反相的残留回声信号乘以调小后的衰减因子，获得乘积值。终端将乘积值与残差信号中的残留回声进行叠加，从而实现对残留回声的消除。
终端根据估计所得的背景噪声信号，对残差信号中的背景噪声进行抑制，获得抑制噪声后的音频信号。
此外，当检测的结果为非单双讲场景类型(即静音场景类型)、且无背景噪声时，终端在残差信号中添加舒适噪声，获得添加舒适噪声后的音频信号。
(7)终端通过消除回声和抑制噪声后的音频信号，对衰减因子进行调整，以及对回声模型中的系数进行更新。
作为一个示例，图11为一个实施例中对残差信号进行残留回声抑制处理和噪声抑制处理的流程示意图，如图11所示，包括以下方法和步骤：
(1)计算残差信号和认证回声信号的功率。
若残差信号和人造回声信号为时域信号时，终端对残差信号和人造回声信号按照时域进行分帧，通过窗函数对分帧后的残差信号和人造回声信号分别进行平滑处理，对处理后的残差信号和人造回声信号分别进行傅里叶变换。终端分别计算傅里叶变换后的残差信号和人造回声信号的功率。
(2)终端根据残差信号进行背景噪声估计，获得背景噪声信号。
此外，终端残差信号进行舒适噪声估计，获得舒适噪声信号。终端根据残差信号和人造回声信号进行残留回声估计，获得残留回声信号。
(3)对各个子频带中的功率谱进行估计，获得各子频带的背景噪声信号、残留回声信号和舒适噪声信号。
对背景噪声信号、残留回声信号进行负增益，以消除背景噪声和残留回声。例如，根据衰减因子对音频信号中的背景噪声信号、残留回声信号进行衰减。
对舒适噪声进行适当正增益，以对静音场景下所获得的音频信号添加适当的舒适噪声。例如，在音频信号中添加适量的舒适噪声。
(4)将经过增益处理后的频域信号进行时域变换，获得经过回声消除后的时域信号。
作为一个示例，图12为一个实施例中回声消除装置的系统结构框图，结合图12，对回声消除方法进行如下阐述：
(1)采集的音频信号进入回声消除核心模块(AECcore)处理前，通过分频模块将采集的音频信号分频为低频信号和高频信号。
(2)将低频信号与远端参考信号进入核心回声消除模块处理，处理后的信号为线性回声信号和残差信号。
在远端参考信号进入核心回声消除模块处理之前，先对远端参考信号滤波处理，获得滤除高频分量的远端参考信号。
(3)通过合成滤波模块，将残差信号与高频载波进行合成，获得高频线性回声信号。
例如，将残差信号叠加上零的高频信号，从而获得高频线性回声信号。
(4)通过合成滤波模块，将残差信号与音频信号中的高频信号进行合成，获得高频残差信号。
(5)将高频线性回声信号与合成后的高频残差信号输入残留回声抑制模块，进行残留回声抑制与噪声抑制处理。
(6)输出全频带的语音信号。
其中，输出的语音信号保留全频带信息和高音质。
其中，回声消除模块可以根据计算能力，采样率可选16kHz、或32kHz、或48kHz。当终端计算能力不强时，先进行低频回声抵消，然后合成回高频信号，不仅节约计算量，而且也实现全带回声抵消功能。计算能力超强可以进行全带回声抵消，实现全带回声抵消功能。
图2为一个实施例中回声消除方法的流程示意图。应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图13所示，在一个实施例中，提供了一种回声消除装置，该回声消除装置具体包括：音频信号获取模块1302、信号提取模块1304、参考信号获取模块1306、回声抑制模块1308、信号合成模块1310和残留回声抑制模块1312；其中：
音频信号获取模块1302，用于获取本地采集的音频信号；
信号提取模块1304，用于从所获取到的音频信号中提取低频信号和高频信号；
参考信号获取模块1306，用于获取采集自远端的远端参考信号；
回声抑制模块1308，用于根据远端参考信号对低频信号进行回声抑制处理，获得残差信号；
信号合成模块1310，用于将残差信号与高频信号合成为高频残差信号；
残留回声抑制模块1312，用于根据远端参考信号对高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号。
上述实施例中，从获取到的音频信号中提取低频信号和高频信号，根据获取的远端参考信号对低频信号进行回声抑制处理，实现了低频信号的回声消除。然后，将残差信号与高频信号合成为高频残差信号，对合成的高频残差信号进行残留回声抑制处理，可以对音频信号的低频信号和高频信号都进行回声消除，提高了回声消除效率，提升了音频信号中的音频质量，避免了回声对语音通信的影响。
在一个实施例中，回声抑制模块1308还用于将获取的远端参考信号输入回声模型，获得线性回声信号；对线性回声信号进行反相处理；根据反相处理后的线性回声信号对低频信号进行回声抑制处理，获得残差信号。
上述实施例中，通过将远端参考信号输入回声模型获得线性回声信号，从而得到低频信号中回声的估计值，以便通过线性回声信号对低频信号中的回声进行抵消。对线性回声信号进行反相处理，将处理后的线性回声信号与低频信号进行叠加，从而对低频信号中的回声部分进行抵消，获得至少去掉一部分回声的残差信号。
在一个实施例中，如图14所示，装置还包括：时延量确定模块1314和信号对齐模块1316；其中：
时延量确定模块1314，用于确定远端参考信号与音频信号中远端回声信号之间的时延量；远端回声信号是远端参考信号经过本地播放后由本地所采集的信号；
信号对齐模块1316，用于根据时延量，将远端参考信号与获取到的音频信号进行对齐；
回声抑制模块1308还用于将对齐后的远端参考信号输入回声模型，获得线性回声信号。
上述实施例中，通过将远端参考信号与获取到的音频信号进行对齐，确保在进行回声消除的过程中，避免了因远端参考信号未与获取到的音频信号对齐，而无法根据处理远端参考信号处理所得的线性回声信号抵消远端回声信号的问题，使线性回声信号与消远端回声信号实现最大限度的抵消，从而有效地提高回声消除的效率。
在一个实施例中，残留回声抑制模块1312还用于将处理远端参考信号所得的线性回声信号转换为高频线性回声信号；根据高频线性回声信号，对高频残差信号进行残留回声估计，获得残留回声信号；对所获得的残留回声信号进行反相处理；根据反相处理后的残留回声信号对高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号。
上述实施例中，通过对高频残差信号进行残留回声估计，估计出高频残差信号中包含有残留回声信号的量，根据估计出来的残留回声信号对高频残差信号进行残留回声抑制处理，从而消除了高频残差信号中的残留回声信号，实现了全频带音频信号的回声消除。
在一个实施例中，残留回声抑制模块1312还用于确定所述高频线性回声信号与所述高频残差信号之间的关联矩阵；根据所述关联矩阵获得衰减因子；确定所述衰减因子与反相处理后的残留回声信号的乘积值；将所述乘积值与所述高频残差信号进行叠加，获得消除回声后的音频信号。
在一个实施例中，如图14所示，该装置还包括：场景类型检测模块1318和衰减因子调整模块1320；其中：
场景类型检测模块1318，用于检测获取的音频信号所对应的通话场景类型；
衰减因子调整模块1320，用于根据检测的通话场景类型调整所述衰减因子；
残留回声抑制模块1312还用于确定调整后的衰减因子与反相处理后的残留回声信号的乘积值。
上述实施例中，根据所获取的音频信号所对应的通话场景类型调整衰减因子，以便根据调整后的衰减因子对高频残差信号进行残留回声信号的消除，有利于提高残留回声信号的消除率。
在一个实施例中，如图14所示，该装置还包括：噪声估计模块1322、反相处理模块1324和降噪处理模块1326；其中：
噪声估计模块1322，用于在获得消除回声后的音频信号后，根据所述残差信号对背景噪声进行估计，获得背景噪声信号；
反相处理模块1324，用于对所述背景噪声信号进行反相处理；
降噪处理模块1326，用于根据反相处理后的背景噪声信号对消除回声后的音频信号进行降噪处理，获得降噪后的音频信号。
上述实施例中，对背景噪声的估计获得背景噪声信号，通过估计所得的背景噪声信号对消除回声后的音频信号进行降噪处理，从而得到降噪后的音频信号，从而提高了音频信号中音频的质量。
在一个实施例中，如图14所示，该装置还包括：噪声生成模块1328和添加模块1330；其中，
噪声生成模块1328，用于当获取的音频信号对应的通话场景类型是静音场景类型时，生成舒适噪声；
添加模块1330，用于将生成的舒适噪声添加于消除回声后的音频信号中。
上述实施例中，当获取的音频信号对应的通话场景类型是静音场景类型时，在音频信号中添加舒适噪声信号，提高了用户感知值。
图15示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图15所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现回声消除方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行回声消除方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的13装置可以实现为一种计算机程序的形式，计算机程序可在如图15所示的计算机设备上运行。计算机设备的存储器中可存储组成该13装置的各个程序模块，比如，图13所示的音频信号获取模块1302、信号提取模块1304、参考信号获取模块1306、回声抑制模块1308、信号合成模块1310和残留回声抑制模块1312。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的回声消除方法中的步骤。
例如，图15所示的计算机设备可以通过如图14所示的回声消除装置中的音频信号获取模块1302执行S202。计算机设备可通过信号提取模块1304执行S204。计算机设备可通过参考信号获取模块1306执行步骤S206。计算机设备可通过回声抑制模块1308执行步骤S208。计算机设备可通过信号合成模块1310执行步骤S210。计算机设备可通过残留回声抑制模块1312执行步骤S212。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取本地采集的音频信号；从所获取到的音频信号中提取低频信号和高频信号；获取采集自远端的远端参考信号；根据远端参考信号对低频信号进行回声抑制处理，获得残差信号；将残差信号与高频信号合成为高频残差信号；根据远端参考信号对高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号。
在一个实施例中，计算机程序被处理器执行根据远端参考信号对低频信号进行回声抑制处理，获得残差信号时，使得处理器具体执行以下步骤：将获取的远端参考信号输入回声模型，获得线性回声信号；对线性回声信号进行反相处理；根据反相处理后的线性回声信号对低频信号进行回声抑制处理，获得残差信号。
在一个实施例中，计算机程序被处理器执行骤时，使得处理器还执行以下步骤：将获取的远端参考信号输入回声模型，获得线性回声信号之前，确定远端参考信号与音频信号中远端回声信号之间的时延量；远端回声信号是远端参考信号经过本地播放后由本地所采集的信号；根据时延量，将远端参考信号与获取到的音频信号进行对齐；将获取的远端参考信号输入回声模型，获得线性回声信号，包括：将对齐后的远端参考信号输入回声模型，获得线性回声信号。
在一个实施例中，计算机程序被处理器执行根据远端参考信号对高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号的步骤时，使得处理器具体执行以下步骤：将处理远端参考信号所得的线性回声信号转换为高频线性回声信号；根据高频线性回声信号，对高频残差信号进行残留回声估计，获得残留回声信号；对所获得的残留回声信号进行反相处理；根据反相处理后的残留回声信号对高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号。
在一个实施例中，计算机程序被处理器执行根据反相处理后的残留回声信号对高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号的步骤时，使得处理器具体执行以下步骤：确定高频线性回声信号与高频残差信号之间的关联矩阵；根据关联矩阵获得衰减因子；确定衰减因子与反相处理后的残留回声信号的乘积值；将乘积值与高频残差信号进行叠加，获得消除回声后的音频信号。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行以下步骤：在根据关联矩阵获得衰减因子之后，检测所获取的音频信号所对应的通话场景类型；根据所检测的通话场景类型调整衰减因子；确定衰减因子与反相处理后的残留回声信号的乘积值，包括：确定调整后的衰减因子与反相处理后的残留回声信号的乘积值。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行以下步骤：在获得消除回声后的音频信号后，根据残差信号对背景噪声进行估计，获得背景噪声信号；对背景噪声信号进行反相处理；根据反相处理后的背景噪声信号对消除回声后的音频信号进行降噪处理，获得降噪后的音频信号。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行以下步骤：在获得消除回声后的音频信号之后，当获取的音频信号对应的通话场景类型是静音场景类型时，生成舒适噪声；将生成的舒适噪声添加于消除回声后的音频信号中。
在一个实施例中，回声消除方法应用于语音处理引擎；语音处理引擎用于将由游戏音频引擎处理的音频信号和远端参考信号转到语音处理引擎，以及用于当采集到游戏音效信号时将由游戏音频引擎播放的游戏音效信号转到语音处理引擎；游戏音频引擎采用系统回声消除方式。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取本地采集的音频信号；从所获取到的音频信号中提取低频信号和高频信号；获取采集自远端的远端参考信号；根据远端参考信号对低频信号进行回声抑制处理，获得残差信号；将残差信号与高频信号合成为高频残差信号；根据远端参考信号对高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号。
在一个实施例中，计算机程序被处理器执行根据远端参考信号对低频信号进行回声抑制处理，获得残差信号时，使得处理器具体执行以下步骤：将获取的远端参考信号输入回声模型，获得线性回声信号；对线性回声信号进行反相处理；根据反相处理后的线性回声信号对低频信号进行回声抑制处理，获得残差信号。
在一个实施例中，计算机程序被处理器执行骤时，使得处理器还执行以下步骤：将获取的远端参考信号输入回声模型，获得线性回声信号之前，确定远端参考信号与音频信号中远端回声信号之间的时延量；远端回声信号是远端参考信号经过本地播放后由本地所采集的信号；根据时延量，将远端参考信号与获取到的音频信号进行对齐；将获取的远端参考信号输入回声模型，获得线性回声信号，包括：将对齐后的远端参考信号输入回声模型，获得线性回声信号。
在一个实施例中，计算机程序被处理器执行根据远端参考信号对高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号的步骤时，使得处理器具体执行以下步骤：将处理远端参考信号所得的线性回声信号转换为高频线性回声信号；根据高频线性回声信号，对高频残差信号进行残留回声估计，获得残留回声信号；对所获得的残留回声信号进行反相处理；根据反相处理后的残留回声信号对高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号。
在一个实施例中，计算机程序被处理器执行根据反相处理后的残留回声信号对高频残差信号进行残留回声抑制处理，获得消除回声后的音频信号的步骤时，使得处理器具体执行以下步骤：确定高频线性回声信号与高频残差信号之间的关联矩阵；根据关联矩阵获得衰减因子；确定衰减因子与反相处理后的残留回声信号的乘积值；将乘积值与高频残差信号进行叠加，获得消除回声后的音频信号。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行以下步骤：在根据关联矩阵获得衰减因子之后，检测所获取的音频信号所对应的通话场景类型；根据所检测的通话场景类型调整衰减因子；确定衰减因子与反相处理后的残留回声信号的乘积值，包括：确定调整后的衰减因子与反相处理后的残留回声信号的乘积值。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行以下步骤：在获得消除回声后的音频信号后，根据残差信号对背景噪声进行估计，获得背景噪声信号；对背景噪声信号进行反相处理；根据反相处理后的背景噪声信号对消除回声后的音频信号进行降噪处理，获得降噪后的音频信号。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行以下步骤：在获得消除回声后的音频信号之后，当获取的音频信号对应的通话场景类型是静音场景类型时，生成舒适噪声；将生成的舒适噪声添加于消除回声后的音频信号中。
在一个实施例中，回声消除方法应用于语音处理引擎；语音处理引擎用于将由游戏音频引擎处理的音频信号和远端参考信号转到语音处理引擎，以及用于当采集到游戏音效信号时将由游戏音频引擎播放的游戏音效信号转到语音处理引擎；游戏音频引擎采用系统回声消除方式。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (20)
1.一种回声消除方法，包括：
获取本地采集的音频信号；
从所获取到的音频信号中提取低频信号和高频信号；
获取采集自远端的远端参考信号；
根据所述远端参考信号对所述低频信号进行回声抑制处理，获得残差信号；
将所述残差信号与所述高频信号合成为高频残差信号；
将所述远端参考信号输入自适应滤波模块进行线性处理，获得线性回声信号；根据所述线性回声信号和所述高频残差信号之间的关联度确定衰减因子；
依据所述音频信号所对应的通话场景类型调整所述衰减因子；确定调整后的衰减因子与反相处理后的残留回声信号的乘积值；
通过所述乘积值对所述高频残差信号中的残留回声信号进行衰减，获得消除回声后的音频信号。
2.根据权利要求1所述的方法，其特征在于，所述根据所述远端参考信号对所述低频信号进行回声抑制处理，获得残差信号，包括：
将获取的远端参考信号输入回声模型，获得线性回声信号；
对所述线性回声信号进行反相处理；
根据反相处理后的线性回声信号对所述低频信号进行回声抑制处理，获得残差信号。
3.根据权利要求2所述的方法，其特征在于，所述将获取的远端参考信号输入回声模型，获得线性回声信号之前，所述方法还包括：
确定所述远端参考信号与所述音频信号中远端回声信号之间的时延量；所述远端回声信号是所述远端参考信号经过本地播放后由本地所采集的信号；
根据所述时延量，将所述远端参考信号与获取到的音频信号进行对齐；
所述将获取的远端参考信号输入回声模型，获得线性回声信号，包括：
将对齐后的远端参考信号输入回声模型，获得线性回声信号。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述线性回声信号转换为高频线性回声信号；
根据所述高频线性回声信号，对所述高频残差信号进行残留回声估计，获得残留回声信号；
对所获得的残留回声信号进行反相处理，得到反相处理后的残留回声信号。
5.根据权利要求4所述的方法，其特征在于，所述根据所述线性回声信号和所述高频残差信号之间的关联度确定衰减因子，包括：
确定所述高频线性回声信号与所述高频残差信号之间的关联矩阵；
根据所述关联矩阵获得衰减因子。
6.根据权利要求1所述的方法，其特征在于，所述根据所述远端参考信号对所述低频信号进行回声抑制处理，获得残差信号，包括：
将所述线性回声信号与所采集到的音频信号进行对齐；
将对齐后的线性回声信号进行反相处理；
将反相处理后的线性回声信号与所述低频信号进行叠加，以消除所述低频信号中至少一部分远端回声信号，获得残差信号。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在获得消除回声后的音频信号后，根据所述残差信号对背景噪声进行估计，获得背景噪声信号；
对所述背景噪声信号进行反相处理；
根据反相处理后的背景噪声信号对消除回声后的音频信号进行降噪处理，获得降噪后的音频信号。
8.根据权利要求1所述的方法，其特征在于，所述获得消除回声后的音频信号之后，所述方法还包括：
当获取的音频信号对应的通话场景类型是静音场景类型时，生成舒适噪声；
将生成的舒适噪声添加于消除回声后的音频信号中。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法应用于语音处理引擎；所述语音处理引擎用于将由游戏音频引擎处理的所述音频信号和所述远端参考信号转到所述语音处理引擎，以及用于当采集到游戏音效信号时将由游戏音频引擎播放的所述游戏音效信号转到所述语音处理引擎；所述游戏音频引擎采用系统回声消除方式。
10.一种回声消除装置，包括：
音频信号获取模块，用于获取本地采集的音频信号；
信号提取模块，用于从所获取到的音频信号中提取低频信号和高频信号；
参考信号获取模块，用于获取采集自远端的远端参考信号；
回声抑制模块，用于根据所述远端参考信号对所述低频信号进行回声抑制处理，获得残差信号；
信号合成模块，用于将所述残差信号与所述高频信号合成为高频残差信号；
残留回声抑制模块，用于将所述远端参考信号输入自适应滤波模块进行线性处理，获得线性回声信号；根据所述线性回声信号和所述高频残差信号之间的关联度确定衰减因子；
衰减因子调整模块，用于依据所述音频信号所对应的通话场景类型调整所述衰减因子；
所述残留回声抑制模块，还用于确定调整后的衰减因子与反相处理后的残留回声信号的乘积值；通过所述乘积值对所述高频残差信号中的残留回声信号进行衰减，获得消除回声后的音频信号。
11.根据权利要求10所述的装置，其特征在于，所述回声抑制模块还用于将获取的远端参考信号输入回声模型，获得线性回声信号；对所述线性回声信号进行反相处理；根据反相处理后的线性回声信号对所述低频信号进行回声抑制处理，获得残差信号。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
时延量确定模块，用于确定所述远端参考信号与所述音频信号中远端回声信号之间的时延量；所述远端回声信号是所述远端参考信号经过本地播放后由本地所采集的信号；
信号对齐模块，用于根据所述时延量，将所述远端参考信号与获取到的音频信号进行对齐；
所述回声抑制模块还用于将对齐后的远端参考信号输入回声模型，获得线性回声信号。
13.根据权利要求10所述的装置，其特征在于，残留回声抑制模块还用于将所述线性回声信号转换为高频线性回声信号；根据所述高频线性回声信号，对所述高频残差信号进行残留回声估计，获得残留回声信号；对所获得的残留回声信号进行反相处理，得到反相处理后的残留回声信号。
14.根据权利要求13所述的装置，其特征在于，所述残留回声抑制模块，还用于确定所述高频线性回声信号与所述高频残差信号之间的关联矩阵；根据所述关联矩阵获得衰减因子。
15.根据权利要求10所述的装置，其特征在于，所述回声抑制模块，还用于将所述线性回声信号与所采集到的音频信号进行对齐；将对齐后的线性回声信号进行反相处理；将反相处理后的线性回声信号与所述低频信号进行叠加，以消除所述低频信号中至少一部分远端回声信号，获得残差信号。
16.根据权利要求10所述的装置，其特征在于，所述装置还包括：
噪声估计模块，用于在获得消除回声后的音频信号后，根据所述残差信号对背景噪声进行估计，获得背景噪声信号；
反相处理模块，用于对所述背景噪声信号进行反相处理；
降噪处理模块，用于根据反相处理后的背景噪声信号对消除回声后的音频信号进行降噪处理，获得降噪后的音频信号。
17.根据权利要求10所述的装置，其特征在于，所述装置还包括：
噪声生成模块，用于当获取的音频信号对应的通话场景类型是静音场景类型时，生成舒适噪声；
添加模块，用于将生成的舒适噪声添加于消除回声后的音频信号中。
18.根据权利要求10至17任一项所述的装置，其特征在于，所述装置应用于语音处理引擎；所述语音处理引擎用于将由游戏音频引擎处理的所述音频信号和所述远端参考信号转到所述语音处理引擎，以及用于当采集到游戏音效信号时将由游戏音频引擎播放的所述游戏音效信号转到所述语音处理引擎；所述游戏音频引擎采用系统回声消除方式。
19.一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
20.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810629420.4A CN110176244B (zh) | 2018-06-19 | 2018-06-19 | 回声消除方法、装置、存储介质和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810629420.4A CN110176244B (zh) | 2018-06-19 | 2018-06-19 | 回声消除方法、装置、存储介质和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110176244A CN110176244A (zh) | 2019-08-27 |
| CN110176244B true CN110176244B (zh) | 2023-10-03 |
Family
ID=67689252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810629420.4A Active CN110176244B (zh) | 2018-06-19 | 2018-06-19 | 回声消除方法、装置、存储介质和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110176244B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112929506B (zh) * | 2019-12-06 | 2023-10-17 | 阿里巴巴集团控股有限公司 | 音频信号的处理方法及装置，计算机存储介质及电子设备 |
| CN111294474B (zh) * | 2020-02-13 | 2021-04-16 | 杭州国芯科技股份有限公司 | 一种双端通话检测方法 |
| CN112491449B (zh) * | 2020-11-04 | 2024-04-16 | 北京百度网讯科技有限公司 | 声回波消除方法、装置、电子设备和存储介质 |
| CN112837697B (zh) * | 2021-02-20 | 2024-05-14 | 北京猿力未来科技有限公司 | 一种回声抑制方法及装置 |
| CN113763978B (zh) * | 2021-04-25 | 2024-05-03 | 腾讯科技（深圳）有限公司 | 语音信号处理方法、装置、电子设备以及存储介质 |
| CN113098901B (zh) * | 2021-04-29 | 2022-09-09 | 心动互动娱乐有限公司 | 高并发的实时语音通话方法、系统、设备及介质 |
| CN113709607A (zh) * | 2021-08-20 | 2021-11-26 | 深圳市京华信息技术有限公司 | 声信号传播方法、系统和计算机可读存储介质 |
| CN114760389B (zh) * | 2022-06-16 | 2022-09-02 | 腾讯科技（深圳）有限公司 | 语音通话方法、装置、计算机存储介质及电子设备 |
| CN117651096B (zh) * | 2024-01-29 | 2024-04-19 | 腾讯科技（深圳）有限公司 | 回声消除方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103460613A (zh) * | 2011-04-14 | 2013-12-18 | 阿尔卡特朗讯公司 | 节省计算的用于宽带音频信号的回声消除器 |
| CN104754157A (zh) * | 2013-12-26 | 2015-07-01 | 联芯科技有限公司 | 一种残留回声抑制方法和系统 |
| CN104751854A (zh) * | 2013-12-26 | 2015-07-01 | 联芯科技有限公司 | 一种宽带声学回声消除方法及系统 |
| CN104822001A (zh) * | 2015-04-23 | 2015-08-05 | 腾讯科技（深圳）有限公司 | 回声消除数据同步控制方法和装置 |
| CN105096960A (zh) * | 2014-05-12 | 2015-11-25 | 阿尔卡特朗讯 | 实现宽带分组语音的基于分组的声学回声消除方法与设备 |
| CN106898359A (zh) * | 2017-03-24 | 2017-06-27 | 上海智臻智能网络科技股份有限公司 | 音频信号处理方法、系统、音频交互装置及计算机设备 |
| CN107886965A (zh) * | 2017-11-28 | 2018-04-06 | 游密科技(深圳)有限公司 | 游戏背景音的回声消除方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7987095B2 (en) * | 2002-09-27 | 2011-07-26 | Broadcom Corporation | Method and system for dual mode subband acoustic echo canceller with integrated noise suppression |
| JP2009290825A (ja) * | 2008-06-02 | 2009-12-10 | Yamaha Corp | 音響エコーキャンセラ |
| CN103730125B (zh) * | 2012-10-12 | 2016-12-21 | 华为技术有限公司 | 一种回声抵消方法和设备 |
-
2018
- 2018-06-19 CN CN201810629420.4A patent/CN110176244B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103460613A (zh) * | 2011-04-14 | 2013-12-18 | 阿尔卡特朗讯公司 | 节省计算的用于宽带音频信号的回声消除器 |
| CN104754157A (zh) * | 2013-12-26 | 2015-07-01 | 联芯科技有限公司 | 一种残留回声抑制方法和系统 |
| CN104751854A (zh) * | 2013-12-26 | 2015-07-01 | 联芯科技有限公司 | 一种宽带声学回声消除方法及系统 |
| CN105096960A (zh) * | 2014-05-12 | 2015-11-25 | 阿尔卡特朗讯 | 实现宽带分组语音的基于分组的声学回声消除方法与设备 |
| CN104822001A (zh) * | 2015-04-23 | 2015-08-05 | 腾讯科技（深圳）有限公司 | 回声消除数据同步控制方法和装置 |
| CN106898359A (zh) * | 2017-03-24 | 2017-06-27 | 上海智臻智能网络科技股份有限公司 | 音频信号处理方法、系统、音频交互装置及计算机设备 |
| CN107886965A (zh) * | 2017-11-28 | 2018-04-06 | 游密科技(深圳)有限公司 | 游戏背景音的回声消除方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110176244A (zh) | 2019-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110176244B (zh) | 回声消除方法、装置、存储介质和计算机设备 | |
| CN108141502B (zh) | 降低声学系统中的声学反馈的方法及音频信号处理设备 | |
| JP4161628B2 (ja) | エコー抑圧方法及び装置 | |
| US8842851B2 (en) | Audio source localization system and method | |
| JP4702372B2 (ja) | エコー抑圧方法及び装置 | |
| US11297178B2 (en) | Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters | |
| CN111341336B (zh) | 一种回声消除方法、装置、终端设备及介质 | |
| JP4702371B2 (ja) | エコー抑圧方法及び装置 | |
| CN110970045B (zh) | 混音处理方法、装置、电子设备和存储介质 | |
| JP6703525B2 (ja) | 音源を強調するための方法及び機器 | |
| US20160309042A1 (en) | Echo cancellation | |
| EP2845189A1 (en) | A universal reconfigurable echo cancellation system | |
| JP2004537219A (ja) | 高調波計算のための非線形エコーサプレッサを備えたエコーキャンセラ | |
| CN109727605B (zh) | 处理声音信号的方法及系统 | |
| JP3507020B2 (ja) | 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体 | |
| US8582754B2 (en) | Method and system for echo cancellation in presence of streamed audio | |
| US8406430B2 (en) | Simulated background noise enabled echo canceller | |
| CN113744748A (zh) | 一种网络模型的训练方法、回声消除方法及设备 | |
| CN112929506B (zh) | 音频信号的处理方法及装置，计算机存储介质及电子设备 | |
| CN111917926B (zh) | 一种通信终端中的回声消除方法、装置及终端设备 | |
| CN115278465A (zh) | 啸叫抑制方法、装置、音响及扩音系统 | |
| Wang et al. | A frequency-domain nonlinear echo processing algorithm for high quality hands-free voice communication devices | |
| JP2014023110A (ja) | エコー消去装置、エコー消去方法及びプログラム | |
| WO2020205090A1 (en) | Dynamic speaker equalization for adaptation to room response | |
| WO2012157783A1 (ja) | 音声処理装置、音声処理方法および音声処理プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |