CN112929506B - 音频信号的处理方法及装置，计算机存储介质及电子设备 - Google Patents
音频信号的处理方法及装置，计算机存储介质及电子设备 Download PDFInfo
- Publication number
- CN112929506B CN112929506B CN201911239598.9A CN201911239598A CN112929506B CN 112929506 B CN112929506 B CN 112929506B CN 201911239598 A CN201911239598 A CN 201911239598A CN 112929506 B CN112929506 B CN 112929506B
- Authority
- CN
- China
- Prior art keywords
- signal
- audio signal
- processed
- component
- coherence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/085—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using digital techniques
Abstract
本申请公开一种音频信号的处理方法和装置，计算机存储介质和电子设备，其中处理方法包括：获取第一通信设备输入的包括有第一音频信号和第二音频信号的混合信号，以及来自第二通信设备的用于消除所述混合信号中回声信号的参考信号；根据所述参考信号，对所述混合信号进行相干性检测，获得所述参考信号和所述混合信号在相对应频带上的相干值；在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号；从而能够直接根据相干值对混合信号进行处理，过滤掉混合信号中的回声信号，保留近端人声信号，进而提高语音传输的音频信号质量。
Description
技术领域
本申请涉及通信领域，具体涉及一种音频信号的处理方法及装置，以及计算机存储介质和电子设备。
背景技术
随着移动互联网的蓬勃发展，通信技术的发展，以及人们日趋增长的物质文化需求，音视频即时通信类的需求越来越多。在音视频即时通信中，声音是传达信息的主要途径，从复杂的录音中通过信号处理的手段，使得传递的声音满足高保真、低延时、清晰可懂的目标是一直以来追求。
音视频通信中，扬声器发出的远端回声音频信号会被麦克风采集，并与麦克风近端音频信号混合，再通过远端的扬声器发送出去，进而产生回声。如果不做回声消除或者消除不干净，处于远端扬声器一端的人能够听到自己声音，降低通信质量。
现有技术中，回声消除方法存在如下缺点：
1、对于存在远近端信号重叠情况下，回声消除效果较差。
2、远端帧和近端帧的检测非常依赖于线性叠加回声的消除效果，基于固定步长的归一化的最小均方误差法对于突然变化的回声路径收敛较慢，误判的可能性很大，例如：将回声判断成近端信号，造成回声的残留；或者将近端信号判断成回声，则直接造成语音信息丢失。
3、非线性叠加回声消除依赖于对抑制系数的调节，无法应对远近端信号混叠的情况，存在残留回声未被消除或者存在语音信息丢失的情况。
发明内容
本申请提供一种音频信号的处理方法，以解决现有技术中回声信号未消除或者语音信息丢失的问题。
本申请提供一种音频信号的处理方法，包括：
获取第一通信设备输入的包括有第一音频信号和第二音频信号的混合信号，以及来自第二通信设备的用于消除所述混合信号中回声信号的参考信号，其中，所述第一音频信号为所述第一通信设备采集端采集的本地音频信号；所述第二音频信号为所述第一通信设备采集端采集的由所述第一通信设备输出端输出的回声信号；
根据所述参考信号，对所述混合信号进行相干性检测，获得所述参考信号和所述混合信号在相对应频带上的相干值；
在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号。
在一些实施例中，所述根据所述参考信号，对所述混合信号进行相干性检测，获得所述参考信号和所述混合信号在相对应频带上的相干值，包括：
根据所述混合信号的功率谱密度和所述参考信号的功率谱密度，确定所述混合信号和所述参考信号在相对应频带上的相干值。
在一些实施例中，所述在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号，包括：
根据所述相干值，确定所述混合信号中相对应的所述频带上需要待处理信号成分；
对所述待处理信号成分进行抑制处理，获得处理后的目标音频信号。
在一些实施例中，还包括：
对所述确定待处理信号成分进行二次相干性检测，获得针对所述待处理信号成分的成分检测结果；
所述对所述待处理信号成分进行抑制处理，获得处理后的目标音频信号，包括：
根据所述成分检测结果进行相应的抑制处理，获得处理后的所述目标音频信号。
在一些实施例中，所述对所述确定待处理信号成分进行二次相干性检测，获得针对所述待处理信号成分的成分检测结果，包括：
当所述待处理信号成分为所述第二音频信号时，计算所述待处理信号成分的低频功率谱；
判断所述待处理信号成分的低频功率谱是否大于或等于所述第一音频信号的低频功率谱门限值；
若是，则所述成分检测结果为所述待处理信号成分属于所述第一音频信号。
在一些实施例中，所述判断所述待处理信号成分的低频功率谱是否大于或等于所述第一音频信号的低频功率谱门限值，若否，则所述成分检测结果为所述待处理信号成分属于所述第二音频信号。
在一些实施例中，所述对所述确定待处理信号成分进行二次相干性检测，获得针对所述待处理信号成分的成分检测结果，包括：
当所述待处理信号成分为所述第一音频信号时，则更新所述第一音频信号的低频功率谱门限值，且所述成分检测结果为所述待处理信号成分属于第一音频信号。
在一些实施例中，所述在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号，包括：
当所述待处理信号成分属于所述第一音频信号时，调用所述二次相关性检测时的相干值，确定所述待处理信号成分中的残留回声信号；
根据所述残留回声信号，对第二音频信号协方差矩阵和全局信号协方差矩阵进行更新；
根据更新后的所述第二音频信号协方差矩阵和全局信号协方差矩阵，计算滤波器系数；
根据所述滤波器系数对所述待处理信号成分进行滤波处理，获得所述目标音频信号。
在一些实施例中，所述在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号，包括：
当待处理的信号成分属于所述第二音频信号时，则对第二音频信号协方差矩阵和全局信号协方差矩阵进行更新；
根据更新后的所述第二音频信号协方差矩阵和全局信号协方差矩阵，计算滤波器系数；
根据所述滤波器系数对所述第二音频信号进行滤波处理，获得消除所述回声信号的近端音频信号。
在一些实施例中，所述在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号，包括：
在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分的能量进行消除处理，获得处理后的目标音频信号。
在一些实施例中，还包括：
去除所述混合信号中的线性叠加回声信号，获得具有非线性叠加回声信号的混合信号；
所述根据所述参考信号，对所述混合信号进行相干性检测，获得所述参考信号和所述混合信号在相对应频带上的相干值，包括：
根据所述参考信号，对具有非线性叠加回声信号的混合信号进行相干性检测，获得所述参考信号和所述混合信号在相对应频带上的相干值。
在一些实施例中，所述去除所述混合信号中的线性叠加回声信号，获得具有非线性叠加回声信号的混合信号，包括：
采用基于变步长的归一化最小均方自适应滤波器或者是固定步长的归一化最小均方自适应滤波器，去除所述混合信号中的线性叠加回声信号，获得具有非线性叠加回声信号的混合信号。
本申请还提供一种音频信号的处理装置，包括：
获取单元，用于获取第一通信设备输入的包括有第一音频信号和第二音频信号的混合信号，以及来自第二通信设备的用于消除所述混合信号中回声信号的参考信号，其中，所述第一音频信号为所述第一通信设备采集端采集的本地音频信号；所述第二音频信号为所述第一通信设备采集端采集的由所述第一通信设备输出端输出回声信号；
检测单元，用于根据所述参考信号，对所述混合信号进行相干性检测，获得所述参考信号和所述混合信号在相对应频带上的相干值；
处理单元，用于在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号。
本申请还提供一种计算机存储介质，用于存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序；
所述程序在被读取执行时，执行如上所述的音频信号的处理方法的步骤。
本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储对终端设备产生数据进行处理的程序，所述程序在被所述处理器读取执行时，执行如上所述的音频信号的处理方法的步骤。
与现有技术相比，本申请具有以下优点:
本申请提供一种音频信号的处理方法，通过获取第一通信设备输入的包括有第一音频信号和第二音频信号的混合信号，以及来自第二通信设备的用于消除所述混合信号中回声信号的参考信号，其中，所述第一音频信号为所述第一通信设备采集端采集的本地音频信号；所述第二音频信号为所述第一通信设备采集端采集的由所述第一通信设备输出端输出的回声信号；根据所述参考信号，对所述混合信号进行相干性检测，获得所述参考信号和所述混合信号在相对应频带上的相干值；在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号；从而能够直接根据相干值对混合信号进行处理，过滤掉混合信号中的回声信号，保留近端人声信号，进而提高语音传输的音频信号质量。
附图说明
图1是音视频即时通信过程中音频信号的传输原理结构图；
图2是音视频即时通信过程中回声信号形成的原理结构图；
图3是现有技术中音频信号传输过程中回声信号消除的原理结构图；
图4是本申请提供的一种音频信号的处理方法实施例的流程图；
图5是本申请提供的一种音频信号的处理方法实施例中信号成分检测的流程图；
图6是本申请提供的一种音频信号的处理方法实施例中针对信号成分为近端人声信号时的消除处理流程图；
图7是本申请提供的一种音频信号的处理方法实施例中针对信号成分为远端回声信号时的消除处理流程图；
图8是本申请提供的一种音频信号的处理方法实施例的原理结构图；
图9是本申请提供的一种音频信号的处理方法实施例中时序图；
图10是本申请提供的一种音频信号的处理装置实施例的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请中使用的术语是仅仅出于对特定实施例描述的目的，而非旨在限制本申请。在本申请中和所附权利要求书中所使用的描述方式例如：“一种”、“第一”、和“第二”等，并非对数量上的限定或先后顺序上的限定，而是用来将同一类型的信息彼此区分。
基于背景技术部分的描述，为了能够更好的了解本申请提供的音频信号的处理方法，下面将对回声信号的产生以及现有技术中对回声信号的消除进行描述，具体如下：
首先，对回声信号进行概要性的阐述，回声信号可以分为声学回音(AcousticEcho)和线路回音(Line Echo)，相应的回声消除技术可以被称之为声学回声消除(Acoustic Echo Cancellation，AEC)和线路回声消除(Line Echo Cancellation,LEC)。声学回音是由于在免提或者会议应用中，扬声器的声音多次反馈到麦克风引起；线路回音是由于物理电子线路中线路匹配耦合引起。本申请主要是基于AEC提供的音频信号中音频信号的处理方法，即针对网络通信中产生的回声信号进行处理的过程(声学回声信号的处理)。
对音频信号的传输过程进行说明，请参考图1所示，图1是音视频即时通信过程中音频信号的传输原理结构图。在发送端音频信号被麦克风采集之后分别经过了自动噪声抑制(ans:auto noise suppression)，自适应回声消除(aec：adaptive echocancellation)，自动增益控制(agc:auto gain control)和编码器编码，经服务端转发到接收端，在接收端所述音频信号经过解码器解码，解码后的音频信号经过音频渲染最终被扬声器播放，完成音频信号的播放过程。
当两个用户在进行网络通信过程中，例如：即时音视频通信场景，请参考图2所示，图2是音视频即时通信过程中回声信号形成的原理结构图。如图2所示，以左边user1(麦克风和扬声器)为例：麦克风为近端，其采集的信号可以称之为近端信号d(n)，包括：近端人声信号s(n)，近端环境噪声v(n)，麦克风(mic)接收到的远端信号x'(n)，也就是说，近端信号d(n)＝近端人声信号s(n)+近端环境噪声信号v(n)+远端回声信号x'(n)，需要说明的是，播放的远端回声信号x'(n)与实际的远端信号x(n)不同。在音视频即时通信系统中，d(n)和x(n)为已知信号。如果不做远端回声消除或者消除不干净，x'(n)会随着s(n)一起发送到对端，即用户use2的扬声器，因此用户use2就能够听到自己的声音。因此，发送端的音频3a(ans，aec，agc)处理直接影响通话音质，而其中的自适应回声消除模块(aec)决定在实际音视频传输过程中音频传输的质量。
基于上述网络通信过程中产生的回声，现有技术通过基于Webrtc开源架构对回声信号进行消除，请参考图3所示，图3是现有技术中音频信号传输过程中回声信号消除的原理结构图。基于Webrtc开源架构的回声消除过程中，音频信号处理部分也沿用了Webrtc现有模块。消除过程包括：线性处理模块，远近端信号检测模块和非线性处理模块三个模块。线性处理模块基于固定步长的归一化的最小均方误差法消除线性叠加的回声，远近端信号检测模块是根据相干性大小，通过固定门限阈值区分近远端信号，非线性处理模块通过对抑制系数的调节实现对非线性叠加回声的抑制，从而去除远端信号，保留近端信号。
线性处理模块，远近端信号检测模块和非线性处理模块三个模块前后依赖，现实场景中远端回声音频信号通过扬声器播放出来再被麦克风采集的过程中同时包括回声的线性叠加和非线性叠加，因此，在处理过程中需要消除线性叠加的回声信号，目的是为增大近端混合信号与估计的非线性回声信号之间的差异，进而能够通过相干性区分出近端区域与回声区域。
然而，采用该技术进行回声消除的过程中，如果远近端信号重叠，则远近端信号检测模块在通过阈值进行回声抑制时，容易将近端信号误判成远端信号或将远端信号误判成近端信号，从而造成回声消除失败或者真正需要传输的音频信号丢失情况。故此，本申请提供的一种音频信号的处理方法解决远近端信号误判，挺高回声消除的准确性，提高音频信号的输出质量。本申请提供的音频信号的处理方法具体如下：
请参考图4，图4是本申请提供的一种音频信号的处理方法实施例的流程图，该处理方法包括：
步骤S401：获取第一通信设备输入的包括有第一音频信号和第二音频信号的混合信号，以及来自第二通信设备的用于消除所述混合信号中回声信号的参考信号，其中，所述第一音频信号为所述第一通信设备采集端采集的本地音频信号；所述第二音频信号为所述第一通信设备采集端采集的由所述第一通信设备输出端输出回声信号。
所述步骤S401的目的在于，基于网络通信中，获取包括有第一音频信号和第二音频信号的混合信号，以及消除回声信号的参考信号。所述第一音频信号可以理解为近端音频信号，第二音频信号可以理解为远端回声音频信号。下述中，所述近端音频信号即可看作是第一音频信号，远端回声音频信号即可看作是第二音频信号。其中，近端音频信号可以是被第一通信设备的麦克风采集的本地音频信号，包括：人声音频信号；所述远端回声音频信号可以是第一通信设备的麦克风采集的由第一通信设备输出端输出的回声信号，即需要把混合信号中的第二音频信号(回声信号)去除。所述参考信号是来自第二通信设备的输入端输入的信号。
在本实施例中，网络通信可以是包括音频通信或者包括音视频通信，音频通信或音视频通信过程中，通信双方可以为分别为一个，或者可以为多个，例如多方会议。
近端和远端可以理解为进行音视频通信或仅为音频通信的两端，例如：用户use1和用于use2之间的通信。每侧分别包括采集端(麦克风)和播放端(扬声器)，以用户use1为例，对包括回声信号的近端音频信号和未被远端设备输出的远端回声音频信号进行解释。
用户use1的采集端(麦克风)，能够采集包括近端音频信号同时也能够采集扬声器播放的远端回声音频信号，此时采集到的为包括有近端音频信号和远端回声音频信号的混合信号，远端回声音频信号包括来自用户use2的音频信号，用户use1采集的用户use2的音频信号如果不进行处理则会被用户use2的扬声器播放出来，则用户use2会听到自己的声音，即回声信号，因此，不论是用户use1还是用户use2麦克风采集的可以理解为近端信号，扬声器播放的可以理解远端信号。需要特别说明的是，回声信号如果被扬声器播放出来的音频信号那么就是真正意义上的回声，会使得用户能够听到自己的声音，然而，本申请的目的在于消除回声信号，因此被播放处理来的回声信号已经失去消除的意义，故，被播放的回声信号并不是本实施例中获取的远端回声音频信号，本实施例中的远端回声音频信号可以理解为被用户use1或用户use2的麦克风采集到的远端信号，但是并未通过use1或use2的扬声器播放的信号。也就是说，混合信号中包括近端音频信号和远端回声音频信号，为了消除远端回声音频信号，还需要获取消除回声信号的参考信号，参考信号即为第二通信设备输入的音频信号。
所述步骤S401中获取包括参考信号的目的就是在后续对获取的混合信号进行消除第二音频信号(远端回声音频信号)，从而使得在第二通信设备输出时，能够输出不包括第二音频信号(远端回声音频信号)的第一音频信号(近端音频信号)。
需要说明的是，本实施例对于音频信号的处理可以理解为针对非线性的叠加回声进行处理，所述非线性的叠加回声是被麦克风采集的远端回声音频信号发生失真的远端回声音频信号，该发生失真的远端回声音频信号与实际远端回声音频信号相似度较低，因此，需要通过本实施例提供的处理方法进行处理。
需要说明的是，所谓叠加可以理解为user1和user2之间在进行通信过程中，音频信号重叠，通俗的可以理解为user1和user2的双讲通信。
在其他实施例中，还存在线性叠加回声信号，该部分回声信号具有与实际远端回声信号较为相似，因此，还可以先对该部分信号进行处理，之后再对非线性叠加回声进行处理。对于线性叠加回声信号的消除可以包括：
根据所述近端音频信号和所述远端回声音频信号，采用基于变步长的归一化最小均方自适应滤波器(NLMS：Normalized Least Mean Square)或者是固定步长的归一化最小均方自适应滤波器(NLMS：Normalized Least Mean Square)，去除所述混合信号中的线性叠加回声信号，获得具有非线性回声信号的近端音频信号，即近端音频信号和远端回声音频信号重叠的重叠混合信号e(w)。
由于变步长的归一化最小均方自适应滤波器具有较高的收敛性，因此，在本实施例中主要采用该方式对线性叠加回声进行消除。
可以理解的是，在回声信号处理的过程中，也可能仅存在非线性的叠加回声信号，因此，无需对线性叠加回声信号进行处理。
基于上述内容，能够缩小处理远端回声音频信号的处理范围。
步骤S402：根据所述参考信号，对所述混合信号进行相干性检测，获得所述参考信号和所述混合信号在相对应频带上的相干值。
首先，在对步骤S402进行详细说明前，基于上述步骤S401中的描述，当基于变步长的归一化最小均方自适应滤波器，以及根据远端回声音频信号和近端音频信号，对线性叠加回声处理后，获得具有非线性叠加回声信号的近端音频信号。在执行步骤S402时可以根据步骤S401中获得所述混合信号以及参考信号计算相干性，即对所述混合信号和参考信号进行相干性检测，获得相干值。
具体的，可以根据所述混合信号的功率谱密度和所述参考信号的功率谱密度，确定所述混合信号和所述参考信号在相对应频带上的相干值。在本实施例中，相干值表征混合信号和参考信号在相同频带上的能量值。
基于所述步骤S401先将线性叠加回声信号过滤，再进行相干性计算，换言之，本实施例中是对非线性叠加回声信号进行处理，而非线性叠加回声信号(双讲时重叠的音频信号)可以通过消除线性叠加回声信号之后得到，因此，下述描述过程中，是基于线性叠加回声处理后得到的具有非线性叠加回声信号的混合信号的处理过程。
根据步骤S401中可知混合信号中包括近端音频信号和远端回声音频信号等信号成分，因此，根据相干值可以确定出信号成分，通常相干值越大说明音频信号之间相似度越高，那么，如果参考信号和混合信号之间相干值较大，接近于1，则说明混合信号在当前频带上的信号成分为回声信号，如果参考信号和混合信号之间相干值较小，接近于0，则说明混合信号在当前频带上的信号成分为近端音频信号。
本实施例中，采用相干性计算确定混合信号中当前音频信号帧的信号成分，具体可以包括：
步骤S402-1：对所述混合信号和所述参考信号计算相干性，获得所述当前音频信号帧在当前频带上的相干值，即当前音频信号帧在各频带子带上的相干值；
步骤S402-2：根据所述相干值，确定所述当前音频信号帧的信号成分。
其中，步骤S402-1的具体实现过程可以包括：
步骤S402-11：根据所述混合信号的功率谱密度、所述参考信号的功率谱密度以及所述混合信号和参考信号之间的互功率谱密度，计算所述混合信号和所述参考信号之间的相干性，获得所述当前音频信号帧在当前频带上的相干值。
基于上述内容，当混合信号中包括线性叠加信号时，本实施例中，所述步骤S402-1的具体实现是，基于所述混合信号、所述参考信号以及非线性回声信号计算相干性，获得所述当前音频信号帧在当前频带上的相干值，具体计算过程可以包括：
根据采集的混合信号的自功率谱密度，非线性叠加回声信号(近端音频信号和远端回声音频信号重叠的重叠混合信号)的自功率谱密度，参考信号的自功率谱密度，采集混合信号与非线性叠加回声信号的互功率谱密度，非线性叠加回声信号与参考信号的互功率谱密度，以及采集的混合信号与参考信号的互功率谱密度，计算混合信号与非线性回声信号的相干性，混合信号与参考信号的相干性，非线性叠加回声信号与参考信号的互功率谱密度的相干性等。从频带角度分析，信号的频谱差异越小(即：相似性越高)，相干值越接近1.0，反之频谱差异越大(即：相似性越低)，相干性越接近0.0，计算公式如下：
其中Gxy(f)表示信号x(t)和y(t)的互功率谱密度，Gxx(f)和Gyy(f)表示信号x(t)和y(t)各自的功率谱密度。根据相干性的计算公式可以看出：相干性表征着混在一起的信号在每一个频带上的能量比。因此，可以从混合信号中估计出回声信号的成分。
上述公式主要是以混合信号和参考信号计算相干性进行举例，该公式同样适用于具有非线性叠加回声信号和混合信号的相干性计算，获得相干值。
步骤S403：在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号。
所述步骤S403的目的在于，根据相干值对混合信号中的回声信号成分进行消除处理前，混合信号是不会经过第二通信设备输出的，消除处理即为可以输出的目标音频信号，所述目标音频信号可以通过第二通信设备输出，此时，第二通信设备输出的目标音频信号中不存在第二音频信号。
具体实现过程可以包括：
步骤S403-1：根据所述相干值，确定所述混合信号中相对应的所述频带上需要待处理信号成分；
步骤S403-2：对所述待处理信号成分进行抑制处理，获得处理后的目标音频信号。
步骤S403-2中的抑制处理可以是通过相干值，对确定的信号成按照相干值的大小进行信号能量的抑制处理，即相干值是多少则抑制相对应的信号能量。
为了保证根据相干值确定的所述混合信号中当前音频信号帧的信号成分的准确性，因此，在本实施例中，会基于上述计算公式计算出所述混合信号、所述参考信号以及非线性叠加回声信号两两之间的相干值后，继续对确定的信号成分结果进行进一步的检测，以保证确定的信号成分的准确性，因此还包括：
步骤S50a：对所述确定待处理信号成分进行二次相干性检测，获得针对所述待处理信号成分的成分检测结果。
所述步骤S50a的目的在于，基于对所述步骤S403中确定的待处理信号成分的相干性检测结果，进一步对待处理的信号成分进行二次相干性检测，避免所述步骤S403中存在的误判，提高目标音频信号的准确度。因此，请参考图5所示，图5是本申请提供的一种音频信号的处理方法实施例中信号成分检测的流程图。所述步骤S50a：对所述确定待处理信号成分进行二次相干性检测，获得针对所述待处理信号成分的成分检测结果，具体可以包括：
步骤S50a-11：确定待处理信号成分是否为所述第二音频信号；
步骤S50a-12：当待处理信号成分为所述第二音频信号时，计算所述待处理信号成分的低频功率谱；
步骤S50a-13：判断所述待处理信号成分的低频功率谱是否大于或等于所述第一音频信号的低频功率谱门限值；
步骤S50a-14：若是，则所述成分检测结果为所述待处理信号成分属于所述第一音频信号。
步骤S50a-15：若所述步骤S50a-2的判断结果为否，则所述成分检测结果为所述待处理信号成分属于所述第二音频信号。
步骤S50a：对所述确定待处理信号成分进行二次相干性检测，获得针对所述待处理信号成分的成分检测结果，具体可以包括：
步骤S50a-21：当所述待处理信号成分为所述第一音频信号时，则更新所述第一音频信号的低频功率谱门限值，且所述成分检测结果为所述待处理信号成分属于第一音频信号。
基于上述内容，可以理解的是，需要对步骤S403中确定的待处理信号成分结果进行纠正，纠正后进行后续处理操作。
所述更新所述第一音频信号的低频功率谱门限值可以是，将设置的第一音频信号的低频功率谱门限值更新为待确定信号成分为第一音频信号时的低频功率谱。
上述为基于所述步骤S403中对所述待确定信号成分的确定结果进行二次相干性检测过程，该相干性检测过程能够降低在步骤S403中通过相干值确定待确定信号成分的误判率，避免后续处理中将第二音频信号保留，第一音频信号消除，导致音频信息输出不正确或不完整。
针对待处理信号成分的二次检测结果需要进行处理，以获得目标音频信号，因此，所述步骤S403所述在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号，具体可以包括：
对所述待处理的信号成分进行滤波处理。
目的在于根据不同的待处理信号成分进行相应的处理。在本实施例中，请参考图6和图7所示，图6是本申请提供的一种音频信号的处理方法实施例中针对待确定信号成分的二次检测结果为第一音频信号时的消除处理流程图；图7是本申请提供的一种音频信号的处理方法实施例中针对待确定信号成分的二次检测结果为第二音频信号时的消除处理流程图。因此，对所述待处理的信号成分进行滤波处理可以包括两种形式，一种是针对第一音频信号的处理，另一种是针对第二音频信号的处理，具体包括：
一、针对第一音频信号的处理
如图6所示，针对第一音频信号的处理过程可以包括：
步骤S601-11：当待处理的信号成分属于为所述第一音频信号时，调用所述二次相关性检测时的相干值，确定所述待处理信号成分中的残留回声信号；
步骤S602-12：根据所述残留回声信号，对第二音频信号协方差矩阵和全局信号协方差矩阵进行更新；
步骤S603-13：根据更新后的所述第二音频信号协方差矩阵和全局信号协方差矩阵，计算滤波器系数；
步骤S604-14：根据所述滤波器系数对所述待处理信号成分进行滤波处理，获得所述目标音频信号。
二、针对第二音频信号的处理
如图7所示，针对远端回声信号的处理过程可以包括：
步骤S701-11：当待处理的信号成分属于所述第二音频信号时，则对第二音频信号协方差矩阵和全局信号协方差矩阵进行更新；
步骤S702-12：根据更新后的所述第二音频信号协方差矩阵和全局信号协方差矩阵，计算滤波器系数；
步骤S703-13：根据所述滤波器系数对所述第二音频信号进行滤波处理，获得消除所述回声信号的近端音频信号。
上述滤波器采用MVDR(Minimum variance distortionless response)滤波器，其是一种数据自适应波束成形解决方案，其目标是最小化记录信号的方差。本实施例中，第一音频信号可以理解为近端人声信号，第二音频信号可以理解为远端回声信号。所述第二音频信号的协方差矩阵表征不带近端人声的回声信号的频谱能量，全局协方差矩阵表征近端人声信号和远端回声信号共同的频谱能量，通过远端回声信号的协方差矩阵和全局协方差矩阵两个参数参与mvdr算法，可以获得MVDR滤波器滤波系数，之后通过频谱乘以滤波系数将非目标信号成分(非线性回声)消除，得到近端人声信号的频谱，进而将得到的频谱经傅里叶逆变换可以转化为时域信号输出并通过远端扬声器播出。
对各个子带信号的计算，统称为滤波。对于滤波过程举例来说，假设傅里叶变换将频谱划分为64个自带，会对应64个相干性值，通过第三个模块，同样会算法一组值，假设叫增益g，增益g表征各个频带自带上要留下的混合信号的百分比。如带回声的混合信号在第1个子带上的能量为100，计算出的g1＝0.6，说明能量100中，有60％是需要保留的信号，相应的，可以得到第1个频带上需要保留的混合信号的能量为60，同理依次处理余下的63个子带，该过程可以理解为滤波过程。
上述对近端人声信号或对远端回声信号的处理过程中具体更新可以理解为：用当前帧的信号计算出来的协方差矩阵参数(包括远端回声信号协方差矩阵和全局信号协方差矩阵)，替换上一帧计算出来的协方差矩阵参数(包括远端回声信号协方差矩阵和全局信号协方差矩阵)，具体替换可以采用平滑系数参与更新，比如上一帧全局协方差矩阵第一个值为80，当前帧计算得到的全局协方差矩阵第一个值为90，平滑系数为β，那么当前全局协方差矩阵更新之后为(1-β)*80+β*90。那么，协方差矩阵参数的计算可以是：例如，获取当前帧之后，首先可以计算出该当前帧的每个频带子带上远端回声音频信号的信号成分，继续沿用上述滤波处理中的举例，如60％的信息是有用信息，非线性回声部分占40％，因此可以计算出远端回声信号的能量，进一步可以计算该当前帧的协方差矩阵，用该当前帧的协方差矩阵与上一帧的值(协方差矩阵)做平滑，得到新的值，即完成更新。
以上是对本申请提供的一种音频信号的处理方法实施例中每一个步骤的说明，下面结合上述内容对该处理方法的过程进行总结，请参考图8所示，图8是本申请提供的一种音频信号的处理方法实施例的原理结构图。
首先，根据输入的具有回声信号的近端信号x(t)(混合信号)和远端信号y(t)(参考信号)，在延时情下对远端信号进行调整，以保证远端信号作为参考信号与近端信号中叠加的回声信号在播放时域上一致，再经过傅里叶变换获取近端信号x(t)的频谱信息x(w)和远端信号y(t)的频谱信息y(w)，以及功率谱密度Sx(w)和Sy(w)。
接着，获取若干帧用于估计环境噪音，计算噪音信号的功率谱noisePow(w)，需要说明的是，对于环境噪音的估计可以在对线性叠加回声处理后进行，也可以在确定待处理回声信号后进行。
再接着，基于变步长的NLMS，估计非线性回声信号e的时域信息e(n)和频域信息e(w)，即通过基于变步长的NLMS去除近端信号中的线性叠加回声信号，估计出近端信号中的非线性回声信号e。
再接着，根据具有回声信号的近端信号x(t)、远端信号y(t)以及非线性回声信号e，计算相干性，确定当前语音帧属于近端帧或者远端帧。
再接着，根据相干性确定的结果，更新全局信号协方差矩阵和远端信号协方差矩阵，计算MVDR滤波器系数，所述MVDR滤波器进行滤波处理，得到滤波之后的近端信号。接着，叠加舒适噪声；之后经过傅里叶逆变换，输出时域的消除回声之后的近端信号。
为更好的理解本申请的技术方案，现结合应用场景对本申请提供的一种音频信号的处理方法实施例进行说明。
请参考图9所示，图9是本申请提供的一种音频信号的处理方法实施例中时序图。
用户user1向用户user2请求通信，该通信可以是单纯的音频通信也可以是音视频通信。用户user1的通信请求被接收后，建立user1和user2之间的通信网络传输通道。回声消除模块aec通过获取user1传输到user2的音频内容，即：包括近端人声信号和远端回声信号的混合信号和未被user2的扬声器播放的参考，确定出混合信号中当前音频信号帧的信号成分，即：近端人声信号x(t)，远端回声信号y(t)；并对信号成分进行检测，检测出之前确定的信号成分是否正确，即避免对信号成分的误判；之后根据检测后的结果，对信号成分进行过滤，即：将回声信号消除，保留人声信号；最后将过滤处理后的人声信号发送至user1的扬声器播放，至此，user2向user1待传输的近端人声信号中不包括回声信号，处理后的音频信号通过user1的扬声器播放。
以上是对本申请提供的一种音频信号的处理方法实施例的描述，该实施例可以应用在通信技术场景下，例如：基于蜂窝网络的通信方式、基于应用软件的通信方式，包括：线上音频通信和线上视频通信。也可以基于智能音箱，人机交互等通信场景下，例如：智能语音终端设备，可以通过设置调节开关针对相干性检测结果进行调整，控制输出语音能量的过滤或抑制，当然也可以通过声纹等方式进行语音的抑制或过滤。也就是说，对于语音能量的抑制量或过滤量，或者抑制内容或过滤内容可以根据实际需求进行调节。
以上是对本申请提供的一种音频信号的处理方法实施例的详细描述，与前述提供的一种音频信号的处理方法实施例相对应，本申请还公开一种音频信号的处理装置实施例，请参看图10，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
如图10所示，图10是本申请提供的一种音频信号的处理装置实施例的结构框图，该装置包括：
获取单元1001，用于获取第一通信设备输入的包括有第一音频信号和第二音频信号的混合信号，以及来自第二通信设备的用于消除所述混合信号中回声信号的参考信号，其中，所述第一音频信号为所述第一通信设备采集端采集的本地音频信号；所述第二音频信号为所述第一通信设备采集端采集的由所述第一通信设备输出端输出的回声信号；
检测单元1002，用于根据所述参考信号，对所述混合信号进行相干性检测，获得所述参考信号和所述混合信号在相对应频带上的相干值；
所述检测单元1002具体用于根据所述混合信号的功率谱密度和所述参考信号的功率谱密度，确定所述混合信号和所述参考信号在相对应频带上的相干值。
处理单元1003，用于在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号。
所述处理单元1003包括：成分确定子单元和处理子单元；所述成分确定子单元用于根据所述相干值，确定所述混合信号中相对应的所述频带上需要待处理信号成分；所述处理子单元，用于对所述待处理信号成分进行抑制处理，获得处理后的目标音频信号。
还包括：二次检测单元，用于对所述确定待处理信号成分进行二次相干性检测，获得针对所述待处理信号成分的成分检测结果；所述处理子单元1003具体用于根据所述成分检测结果进行相应的抑制处理，获得处理后的所述目标音频信号。
所述二次检测单元包括：
功率谱计算子单元，用于当所述待处理信号成分为所述第二音频信号时，计算所述待处理信号成分的低频功率谱；
判断子单元，用于判断所述待处理信号成分的低频功率谱是否大于或等于所述第一音频信号的低频功率谱门限值；
检测结果确定子单元，用于根据所述判断子单元的判断结果为是时，将所述成分检测结果为所述待处理信号成分属于所述第一音频信号。
所述检测结果确定子单元还包括：用于根据所述判断子单元的判断结果为否时，所述成分检测结果为所述待处理信号成分属于所述第二音频信号。
所述二次检测单元还包括：
更新子单元，用于当所述待处理信号成分为所述第一音频信号时，则更新所述第一音频信号的低频功率谱门限值，且所述成分检测结果为所述待处理信号成分属于第一音频信号。
所述处理单元1003具体用于，当所述待处理信号成分属于所述第一音频信号时，调用所述二次相关性检测时的相干值，确定所述待处理信号成分中的残留回声信号；根据所述残留回声信号，对第二音频信号协方差矩阵和全局信号协方差矩阵进行更新；根据更新后的所述第二音频信号协方差矩阵和全局信号协方差矩阵，计算滤波器系数；根据所述滤波器系数对所述待处理信号成分进行滤波处理，获得所述目标音频信号。
所述处理单元1003具体用于，当待处理的信号成分属于所述第二音频信号时，则对第二音频信号协方差矩阵和全局信号协方差矩阵进行更新；根据更新后的所述第二音频信号协方差矩阵和全局信号协方差矩阵，计算滤波器系数；根据所述滤波器系数对所述第二音频信号进行滤波处理，获得消除所述回声信号的近端音频信号。
所述处理单元1003具体用于在向所述第二通信设备输出前，根据所述相干值对所述混合信号中相对应的所述频带上信号成分的能量进行消除处理，获得处理后的目标音频信号。
本实施例中，该装置还包括：
线性去除单元，用于去除所述混合信号中的线性叠加回声信号，获得具有非线性叠加回声信号的混合信号；
所述检测单元1002具体用于根据所述参考信号，对具有非线性叠加回声信号的混合信号进行相干性检测，获得所述参考信号和所述混合信号在相对应频带上的相干值。
所述线性去除单元具体采用基于变步长的归一化最小均方自适应滤波器或者是固定步长的归一化最小均方自适应滤波器，去除所述混合信号中的线性叠加回声信号，获得具有非线性叠加回声信号的混合信号。
以上是针对本申请提供的一种音频信号的处理装置实施例的概要说明，具体内容可参考上述音频信号的处理方法实施例的详细描述，此处不再重复赘述。
基于上述内容，本申请还提供一种计算机存储介质，用于存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序；
所述程序在被读取执行时，执行如上所述的音频信号的处理方法的步骤。
本申请还提供一种电子设备，包括：处理器；
存储器，用于存储对终端设备产生数据进行处理的程序，所述程序在被所述处理器读取执行时，执行如上所述的音频信号的处理方法的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他成分的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (9)
1.一种音频信号的处理方法，其特征在于，包括：
获取第一通信设备输入的包括有第一音频信号和第二音频信号的混合信号，以及来自第二通信设备的用于消除所述混合信号中回声信号的参考信号，其中，所述第一音频信号为所述第一通信设备采集端采集的本地音频信号；所述第二音频信号为所述第一通信设备采集端采集的由所述第一通信设备输出端输出的回声信号；
基于变步长的归一化最小均方自适应滤波器去除所述混合信号中的线性叠加回声信号，获得具有非线性叠加回声信号的重叠混合信号；
根据所述参考信号，对所述重叠混合信号进行相干性检测，获得所述参考信号和所述重叠混合信号在相对应频带上的相干值；所述相干值用于表征所述重叠混合信号和所述参考信号在相同频带上的能量值；
在向所述第二通信设备输出前，根据所述相干值对所述重叠混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号；
所述在向所述第二通信设备输出前，根据所述相干值对所述重叠混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号，包括：
根据所述相干值，确定所述重叠混合信号中相对应的所述频带上需要待处理信号成分；
对所述待处理信号成分进行二次相干性检测，获得针对所述待处理信号成分的成分检测结果；
根据所述成分检测结果进行相应的抑制处理，获得处理后的所述目标音频信号；
其中，所述对所述待处理信号成分进行二次相干性检测，获得针对所述待处理信号成分的成分检测结果，包括：
当所述待处理信号成分为所述第二音频信号时，计算所述待处理信号成分的低频功率谱；
判断所述待处理信号成分的低频功率谱是否大于或等于所述第一音频信号的低频功率谱门限值；
若是，则所述成分检测结果为所述待处理信号成分属于所述第一音频信号；
或者，
当所述待处理信号成分为所述第一音频信号时，则更新所述第一音频信号的低频功率谱门限值，且所述成分检测结果为所述待处理信号成分属于第一音频信号。
2.根据权利要求1所述的音频信号的处理方法，其特征在于，所述根据所述参考信号，对所述重叠混合信号进行相干性检测，获得所述参考信号和所述重叠混合信号在相对应频带上的相干值，包括：
根据所述重叠混合信号的功率谱密度和所述参考信号的功率谱密度，确定所述重叠混合信号和所述参考信号在相对应频带上的相干值。
3.根据权利要求1所述的音频信号的处理方法，其特征在于，所述判断所述待处理信号成分的低频功率谱是否大于或等于所述第一音频信号的低频功率谱门限值，若否，则所述成分检测结果为所述待处理信号成分属于所述第二音频信号。
4.根据权利要求1所述的音频信号的处理方法，其特征在于，所述在向所述第二通信设备输出前，根据所述相干值对所述重叠混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号，包括：
当所述待处理信号成分属于所述第一音频信号时，调用所述二次相干性检测时的相干值，确定所述待处理信号成分中的残留回声信号；
根据所述残留回声信号，对第二音频信号协方差矩阵和全局信号协方差矩阵进行更新；
根据更新后的所述第二音频信号协方差矩阵和全局信号协方差矩阵，计算滤波器系数；
根据所述滤波器系数对所述待处理信号成分进行滤波处理，获得所述目标音频信号。
5.根据权利要求3所述的音频信号的处理方法，其特征在于，所述在向所述第二通信设备输出前，根据所述相干值对所述重叠混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号，包括：
当待处理的信号成分属于所述第二音频信号时，则对第二音频信号协方差矩阵和全局信号协方差矩阵进行更新；
根据更新后的所述第二音频信号协方差矩阵和全局信号协方差矩阵，计算滤波器系数；
根据所述滤波器系数对所述第二音频信号进行滤波处理，获得消除所述回声信号的近端音频信号。
6.根据权利要求1所述的音频信号的处理方法，其特征在于，所述在向所述第二通信设备输出前，根据所述相干值对所述重叠混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号，包括：
在向所述第二通信设备输出前，根据所述相干值对所述重叠混合信号中相对应的所述频带上信号成分的能量进行消除处理，获得处理后的目标音频信号。
7.一种音频信号的处理装置，其特征在于，包括：
获取单元，用于获取第一通信设备输入的包括有第一音频信号和第二音频信号的混合信号，以及来自第二通信设备的用于消除所述混合信号中回声信号的参考信号，其中，所述第一音频信号为所述第一通信设备采集端采集的本地音频信号；所述第二音频信号为所述第一通信设备采集端采集的由所述第一通信设备输出端输出回声信号；
线性去除单元，用于基于变步长的归一化最小均方自适应滤波器去除所述混合信号中的线性叠加回声信号，获得具有非线性叠加回声信号的重叠混合信号；
检测单元，用于根据所述参考信号，对所述重叠混合信号进行相干性检测，获得所述参考信号和所述重叠混合信号在相对应频带上的相干值；所述相干值用于表征所述重叠混合信号和所述参考信号在相同频带上的能量值；
处理单元，用于在向所述第二通信设备输出前，根据所述相干值对所述重叠混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号；
所述在向所述第二通信设备输出前，根据所述相干值对所述重叠混合信号中相对应的所述频带上信号成分进行消除处理，获得处理后的目标音频信号，包括：根据所述相干值，确定所述重叠混合信号中相对应的所述频带上需要待处理信号成分；对所述待处理信号成分进行二次相干性检测，获得针对所述待处理信号成分的成分检测结果；根据所述成分检测结果进行相应的抑制处理，获得处理后的所述目标音频信号；
其中，所述对所述待处理信号成分进行二次相干性检测，获得针对所述待处理信号成分的成分检测结果，包括：当所述待处理信号成分为所述第二音频信号时，计算所述待处理信号成分的低频功率谱；判断所述待处理信号成分的低频功率谱是否大于或等于所述第一音频信号的低频功率谱门限值；若是，则所述成分检测结果为所述待处理信号成分属于所述第一音频信号；或者，当所述待处理信号成分为所述第一音频信号时，则更新所述第一音频信号的低频功率谱门限值，且所述成分检测结果为所述待处理信号成分属于第一音频信号。
8.一种计算机存储介质，用于存储网络平台产生数据，以及对应所述网络平台产生数据进行处理的程序；
所述程序在被读取执行时，执行如权利要求1至6任意一项所述的音频信号的处理方法的步骤。
9.一种电子设备，包括：
处理器；
存储器，用于存储对终端设备产生数据进行处理的程序，所述程序在被所述处理器读取执行时，执行如权利要求1至6任意一项所述的音频信号的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911239598.9A CN112929506B (zh) | 2019-12-06 | 2019-12-06 | 音频信号的处理方法及装置，计算机存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911239598.9A CN112929506B (zh) | 2019-12-06 | 2019-12-06 | 音频信号的处理方法及装置，计算机存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112929506A CN112929506A (zh) | 2021-06-08 |
| CN112929506B true CN112929506B (zh) | 2023-10-17 |
Family
ID=76162376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911239598.9A Active CN112929506B (zh) | 2019-12-06 | 2019-12-06 | 音频信号的处理方法及装置，计算机存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112929506B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115810361A (zh) * | 2021-09-14 | 2023-03-17 | 中兴通讯股份有限公司 | 回声消除方法、终端设备及存储介质 |
| CN114401399B (zh) * | 2022-03-28 | 2022-08-09 | 广州迈聆信息科技有限公司 | 一种音频双向延时估计方法、装置、会议终端及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103718538A (zh) * | 2011-05-17 | 2014-04-09 | 谷歌公司 | 用于实现声学回声消除的非线性后期处理 |
| CN107123430A (zh) * | 2017-04-12 | 2017-09-01 | 广州视源电子科技股份有限公司 | 回声消除方法、装置、会议平板及计算机存储介质 |
| CN107886965A (zh) * | 2017-11-28 | 2018-04-06 | 游密科技(深圳)有限公司 | 游戏背景音的回声消除方法 |
| CN110176244A (zh) * | 2018-06-19 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 回声消除方法、装置、存储介质和计算机设备 |
| CN110491403A (zh) * | 2018-11-30 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 音频信号的处理方法、装置、介质和音频交互设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9762742B2 (en) * | 2014-07-24 | 2017-09-12 | Conexant Systems, Llc | Robust acoustic echo cancellation for loosely paired devices based on semi-blind multichannel demixing |
| CN105847611B (zh) * | 2016-03-21 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 一种回声时延检测方法、回声消除芯片及终端设备 |
-
2019
- 2019-12-06 CN CN201911239598.9A patent/CN112929506B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103718538A (zh) * | 2011-05-17 | 2014-04-09 | 谷歌公司 | 用于实现声学回声消除的非线性后期处理 |
| CN107123430A (zh) * | 2017-04-12 | 2017-09-01 | 广州视源电子科技股份有限公司 | 回声消除方法、装置、会议平板及计算机存储介质 |
| CN107886965A (zh) * | 2017-11-28 | 2018-04-06 | 游密科技(深圳)有限公司 | 游戏背景音的回声消除方法 |
| CN110176244A (zh) * | 2018-06-19 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 回声消除方法、装置、存储介质和计算机设备 |
| CN110491403A (zh) * | 2018-11-30 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 音频信号的处理方法、装置、介质和音频交互设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112929506A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108141502B (zh) | 降低声学系统中的声学反馈的方法及音频信号处理设备 | |
| JP4955228B2 (ja) | ラウンドロビン正則化を用いたマルチチャネルエコーキャンセレーション | |
| JP6703525B2 (ja) | 音源を強調するための方法及び機器 | |
| US11297178B2 (en) | Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters | |
| US8842851B2 (en) | Audio source localization system and method | |
| US7773743B2 (en) | Integration of a microphone array with acoustic echo cancellation and residual echo suppression | |
| JP4702371B2 (ja) | エコー抑圧方法及び装置 | |
| US7477735B2 (en) | System and method for enhanced stereo audio | |
| US9699554B1 (en) | Adaptive signal equalization | |
| US10455326B2 (en) | Audio feedback reduction utilizing adaptive filters and nonlinear processing | |
| CN110176244B (zh) | 回声消除方法、装置、存储介质和计算机设备 | |
| US7315619B2 (en) | System and method for enhanced subjective stereo audio | |
| JPWO2007049644A1 (ja) | エコー抑圧方法及び装置 | |
| WO2003007500A1 (en) | Multi-channel echo cancel method, multi-channel sound transfer method, stereo echo canceller, stereo sound transfer apparatus, and transfer function calculation apparatus | |
| JP2004537219A (ja) | 高調波計算のための非線形エコーサプレッサを備えたエコーキャンセラ | |
| CN110956975B (zh) | 回声消除方法及装置 | |
| CN112929506B (zh) | 音频信号的处理方法及装置，计算机存储介质及电子设备 | |
| CN111885276B (zh) | 消除回声的方法及系统 | |
| Yang | Multilayer adaptation based complex echo cancellation and voice enhancement | |
| US10938992B1 (en) | Advanced audio feedback reduction utilizing adaptive filters and nonlinear processing | |
| CN115834778A (zh) | 一种回声消除方法、装置、电子设备及存储介质 | |
| CN114449115B (zh) | 一种消除残余回声的处理系统 | |
| CN114449115A (zh) | 一种消除残余回声的处理系统 | |
| WO2019244535A1 (ja) | エコー消去装置、エコー消去方法、プログラム | |
| CN117649854A (zh) | 一种非线性回声消除方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40050678 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |