CN117577123A - 基于音频编解码器的回声消除装置及电子终端 - Google Patents
基于音频编解码器的回声消除装置及电子终端 Download PDFInfo
- Publication number
- CN117577123A CN117577123A CN202311465603.4A CN202311465603A CN117577123A CN 117577123 A CN117577123 A CN 117577123A CN 202311465603 A CN202311465603 A CN 202311465603A CN 117577123 A CN117577123 A CN 117577123A
- Authority
- CN
- China
- Prior art keywords
- signal
- echo
- audio signal
- unit
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 230000005236 sound signal Effects 0.000 claims description 204
- 238000012545 processing Methods 0.000 claims description 56
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 230000008030 elimination Effects 0.000 claims description 20
- 238000003379 elimination reaction Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000000872 buffer Substances 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 6
- 235000019800 disodium phosphate Nutrition 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
本申请提供一种基于音频编解码器的回声消除装置及电子终端，通过音频编解码器的硬件电路实现回声消除的装置及电子终端，解决了现有技术中利用软件算法进行回声消除时产生的延迟高，导致参考信号和回声信号难以匹配，回声消除效果不佳的问题。通过硬件化音频编解码器的回声消除算法，无需内置DSP芯片核进行软件算法就可实现回声消除，降低了用户使用的复杂度，简化了芯片的时钟方案并减少了芯片功耗。此外，由于无需采用DSP芯片及其附属的IP模块，大大减小了芯片的面积，节约了工艺成本。硬件电路的实现还降低了系统的延时，使得延时匹配时更加准确。还提供了可选的电回采和声回采的方式作为参考信号源，进一步提升了回声消除系统的稳定性。
Description
技术领域
本申请涉及领域音频信号编解码领域，特别是涉及基于音频编解码器的回声消除装置及电子终端。
背景技术
随着社会的进步，科技的发展，对音频质量的要求日益提升。例如，和家人朋友打电话或者实时的音频/视频聊天、和智能设备进行智能语音交互、和同事的线上会议，车载通话、音频的录制等各个场景，实时通信已成为现代生活不可或缺的一部分。随着互联网和技术的发展，现代通信发展到了前所未有的高度。但是，远程通信仍面临许多问题，比如回声、抖动、高延迟等。但回声问题一直是影响这些场景的一个重要阻碍因素。
回声问题是影响用户体验的重要因素之一，视频通话中出现回声会导致会议流程受到阻碍和破坏、经常性的回声会影响声音的清晰度、网络连接滞后会加重回声导致通话者的专业性被质疑，从而严重影响人们日常通过电子设备交流/沟通的体验。为了解决这样的回声问题，回声消除技术近十年来得到了快速的发展。回声消除的基本原理：估计扬声器到麦克风的声学冲击响应，利用参考信号与估计的滤波来逼近麦克风接收到的回声信号，然后从混合信号中将其减去，保留近端语音信号，从而实现回声消除的效果。
如图1a和图1b展示了目前常见的系统中，回声消除算法技术与音频编解码器硬件相结合的两种常见方式。图1a展示了在主处理器中内置DSP芯片，并在DSP芯片内部运用AEC回声消除算法的方式，由于该方式需要经过信号采集，编码器转换及缓存、芯片数据接口传输、DSP芯片的业务切换、软件调度等耗时因素，从而导致参考信号和回声信号之间差异过大难以进行匹配及延时估计。图1b展示了将DSP芯片设置于编码器内部并通过软件算法进行回声消除的方案。该方案虽然减少了芯片之间数据交互的延迟，然而仍存在软件算法处理固有的问题，即由于主处理器中总线路由、仲裁、数据搬运等不确定的延时，从而导致参考信号和回声信号仍难以匹配，且由于DSP芯片内置在音频解码其中，导致其面积/功耗成本提升。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供基于音频编解码器的回声消除装置及电子终端，用于解决现有利用软件算法进行回声消除时产生的延迟高，导致参考信号和回声信号难以匹配，回声消除效果不佳的问题。
为实现上述目的及其他相关目的，本申请的第一方面提供一种基于音频编解码器的回声消除装置，包括：第一信号提取单元，用于输入远端的第一音频信号并从中提取第一参考音频信号；第二信号提取单元，用于输入近端的第二音频信号并从中提取第二参考音频信号和包含有回声的近端音频信号；信号选择单元，其包括两个输入端和一个输出端；两个输入端分别输入第一参考音频信号和第二参考音频信号；输出端输出被选中的参考音频信号；回声处理单元，其包括两个输入端和一个输出端；两个输入端分别输入所述被选中的参考音频信号以及所述近端音频信号；输出端输出过滤掉回声的近端音频信号。
于本申请的第一方面的一些实施例中，所述回声处理单元包括：第一FFT处理单元：用于将接收到的所述近端音频信号基于FFT算法从时域转换至频域，并将近端音频信号的频域信号发送至误差消除单元；第二FFT处理单元：用于将接收到的所述被选中的参考音频信号基于FFT算法从时域转换至频域，并将被选中的参考音频信号的频域信号发送至回声估计单元；误差消除单元：用于接收所述第一FFT处理单元发送的所述近端信号的频域信号和回声估计单元发送的回声信号，并执行误差消除计算；信道权重更新单元：用于接收所述误差消除单元发送的过滤掉回声的近端音频信号的频域信号，并执行信道权重更新操作；回声估计单元：用于接收所述第二FFT处理单元发送的被选中的参考音频信号的频域信号和所述信道权重更新单元发送的所述信道权重，并执行回声估计计算操作；IFFT处理单元：用于接收所述误差消除单元发送的过滤掉回声的近端音频信号的频域信号基于IFFT算法从频域转换至时域，以输出过滤掉回声的近端音频信号的时域信号。
于本申请的第一方面的一些实施例中，误差消除单元执行误差消除计算的过程包括：基于所述回声信号对所述近端信号的频域信号进行误差消除计算，以生成得到过滤掉回声的近端音频信号的频域信号；并将过滤掉回声的近端音频信号的频域信号发送至信道权重更新单元和IFFT处理单元。
于本申请的第一方面的一些实施例中，信道权重更新单元执行信道权重更新操作的过程包括：对信道权重进行初始化；接收所述误差消除单元发送的过滤掉回声的近端音频信号的频域信号，基于过滤掉回声的近端音频信号的频域信号对下一样点的信道权重进行更新，并将更新后的所述信道权重发送至所述回声估计单元；回声估计单元执行回声估计计算操作的过程包括：基于被选中的参考音频信号的频域信号和所述信道权重进行回声估计计算，以生成得到回声估计信号，并将所述回声估计信号发送至所述误差消除单元。
于本申请的第一方面的一些实施例中，所述第二信号提取单元从近端的第二音频信号中提取第二参考音频信号和包含有回声的近端音频信号，其过程包括：所述第二信号提取单元从近端的第二音频信号中提取第二参考音频信号和包含有回声的近端音频信号，其过程包括：所述第二信号提取单元接收模拟信号格式的第二音频信号，所述模拟信号格式的第二音频信号中包括回声信号和包含有回声的近端音频信号的模拟信号；将所述回声信号的模拟信号输入至第一模数转换单元，以提取所述回声信号的数字信号，以作为所述第二参考音频信号；将所述包含有回声的近端音频信号的模拟信号输入至第二模数转换单元，以提取所述包含有回声的近端音频信号的数字信号，以作为包含有回声的近端音频信号。以提取所述包含有回声的近端音频信号的数字信号，以作为包含有回声的近端音频信号。
于本申请的第一方面的一些实施例中，所述信号选择单元的输出端输出被选中的参考音频信号的过程包括：所述信号选择单元通过对其上设置的寄存器进行配置，以产生对应的寄存器配置信号；所述信号选择单元根据所述寄存器配置信号在所述第一参考音频信号和所述第二参考音频信号中选择一个作为被选中的参考音频信号并输出至所述回声处理单元。
于本申请的第一方面的一些实施例中，所述第一信号提取单元输入远端的第一音频信号并从中提取第一参考音频信号的过程包括：所述第一信号提取单元通过数据接口接收所述第一音频信号；将所述第一音频信号输入至第一数据缓存单元；将所述第一数据缓存单元中的所述第一音频信号输入至第一数据匹配单元进行格式匹配操作；将经过格式匹配操作的所述第一音频信号输入至混音单元进行混音操作，以生成得到所述第一参考音频信号。
于本申请的第一方面的一些实施例中，所述装置在提取到所述第一参考音频信号后还执行如下：将所述第一参考音频信号输入至第一数模转换单元中，以生成所述第一参考音频信号的模拟信号；将所述第一参考音频信号的模拟信号输入至音频输出信号单元以进行音频播放。
为实现上述目的及其他相关目的，本申请的第二方面提供一种电子终端，所述电子终端包括如权利要求1至9中任一项所述基于音频编解码器的回声消除装置。
如上所述，本申请涉及的领域音频信号编码领域的一种基于音频编解码器的回声消除装置及电子终端，具有以下有益效果：本发明通过实现音频编解码器的回声消除算法的硬化，即通过硬件单元实现音频编解码器的回声消除，而无需内置DSP芯片核进行软件算法的运行，无需进行芯片配置从而简化了用户使用的复杂度，同时简化了芯片的时钟方案并降低了芯片功耗，另外由于无需采用DSP芯片及其附属的IP模块，大大减小了的芯片的面积，节约了工艺成本。最重要的是，硬件电路降低了系统的不确定延时，减小了参考信号和回声信号之间的延迟使得AEC算法在进行延时匹配时能够更加准确。还可通过电回采和声回采的方式为系统提供多种参考信号供用户进行选择，提升了回声消除系统的稳定性及兼容性，对于新开发的回声消除系统无需硬件配置即可支持电回采，同时也可兼容早期芯片所采用的声回采系统。
附图说明
图1a显示了本申请回声消除技术一现有技术的的结构示意图。
图1b显示了本申请回声消除技术另一现有技术的的结构示意图。
图2显示了本申请基于音频编解码器的回声消除装置一实施例的结构示意图。
图3显示了本申请基于音频编解码器的回声消除装置另一实施例的结构示意图。
图4显示了本申请基于音频编解码器的回声消除装置一实施例中音频编解码器内部的结构示意图。
图5显示了本申请基于音频编解码器的回声消除装置一实施例中回声处理单元的结构示意图。
图6显示了本申请基于音频编解码器的回声消除的电子终端一实施例的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
为解决上述背景技术中的问题，本发明提供一种基于音频编解码器的回声消除装置及电子终端，旨在解决现有利用软件算法进行回声消除时产生的延迟高，导致参考信号和回声信号难以匹配，回声消除效果不佳的问题。与此同时，为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案的进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
在对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释：
<1>音频编解码器：音频编解码器是一种设备或软件，用于将数字音频信号解码为模拟音频信号，以便在扬声器或耳机中播放。
<2>AEC回声消除：AEC回声消除是一种信号处理技术，用于在通信系统中消除由麦克风捕捉到的扬声器输出引起的回声。它通过分析输入和输出信号之间的差异来抵消或减少回声。
<3>DSP芯片：DSP芯片是一种数字信号处理器芯片，专门用于处理数字信号，如音频、视频和图像等。它具有高效的算法和处理能力，可用于实现各种音频处理和增强功能。
<4>近端音频信号：近端音频信号是指从麦克风或其他近距离音频源捕捉到的音频信号。它通常用于进行通信或语音识别。
<5>远端音频信号：远端音频信号是指从远处音频源捕捉到的音频信号。它通常用于远程通信或远程监控。
<6>参考信号：参考信号是指一个已知的信号，用于估计和消除回声信号。参考信号可以是多种类型的信号，例如白噪声、脉冲信号或特定的音频信号。这个参考信号通过扬声器播放并同时被麦克风接收，然后被用来估计回声信号的特征和延迟。通过将参考信号和麦克风接收到的信号进行比较，可以计算出回声的延迟和特征，从而进行回声消除。
<7>回声信号：回声信号是指由于声音在环境中的反射而产生的延迟和失真的信号。当声音从扬声器发出后，它会在环境中的各种表面上反射，并在一定时间后再次被麦克风接收到。这个被反射的声音就是回声信号。
<8>模数转换器：模数转换器(ADC)是一种设备或电路，用于将模拟信号转换为数字信号。它将连续的模拟信号按照一定的采样率进行离散化和量化，以便数字系统可以处理。
<9>寄存器配置信号：寄存器配置信号是一种用于配置或设置硬件设备或芯片内部寄存器的信号。它可以用于调整设备的工作模式、参数或功能。
<10>混音电路：混音电路是一种电路或设备，用于将多个音频信号混合在一起，以产生合成的音频输出。它可以用于音乐制作、广播、录音等应用中。
本发明实施例提供基于音频编解码器的回声消除装置及电子终端。就基于音频编解码器的回声消除装置而言，本发明实施例将对基于音频编解码器的回声消除装置进行回声消除的示例性实施场景进行说明。
在本发明一实施例中，所述音频编解码器指对音频数据进行编码/解码的器件。通过将音频数据将一种格式转换成另一种格式，实现降低数据计算、传输和存储成本的目的。其基本结构一般包括两部分，第一部分是上行(录音)通路，包括模数转换单元，数据匹配单元，数据缓存单元，数据接口；第二部分是下行(播放)通路，包括数据缓存单元，数据匹配单元，混音单元(多个音频流)，数模转换单元。本发明的音频编解码系统是在常规音频编解码系统的架构上，增加了回声消除处理单元，形成一个具有回声消除功能的音频编解码系统。下文将结合图2对本发明进行阐述。
如图2所示，展示了本发明实施例中的一种基于音频编解码器的回声消除装置的结构示意图。本实施例中，基于音频编解码器的回声消除装置200包括：
第一信号提取单元，用于输入远端的第一音频信号并从中提取第一参考音频信号。
进一步地，所述装置在提取到所述第一参考音频信号后还执行如下：将所述第一参考音频信号输入至第一数模转换单元中，以生成所述第一参考音频信号的模拟信号；将所述第一参考音频信号的模拟信号输入至音频输出信号单元以进行音频播放
在本发明一实施例中，所述第一信号提取单元是通过数据接口从主处理器获取的音频数据。数据接口是主处理器的音频编解码器之间音频数据交互的通道。其将处理后的近端音频流通过该接口送到主处理器，主处理器将远端音频信号通过数据接口传输给音频编解码器。其可采用的接口协议包括但不限于：I2S/PCM/TDM协议、Soundwire协议、Slimbus协议、HDA协议等，
进一步地，本发明所述主处理器指SOC处理芯片，其负责设备的主控功能，接收并处理音频编解码上行的音频数据，将其发送到远端设备，或者接收远端设备的音频数据并传输给近端音频编解码器下行通道，以进行进一步处理。进行音频播放的设备指音频编解码器将音频流输出给外部的声音播放器件，其可采用的形式包括听筒、喇叭或者耳机中的一种或多种，可采用单通道或多通道的方式进行传输。其输入为电压信号，输入为声波信号。
在本发明一实施例中，所述第一信号提取单元输入远端的第一音频信号并从中提取第一参考音频信号的过程包括：所述第一信号提取单元通过数据接口接收所述第一音频信号；将所述第一音频信号输入至第一数据缓存单元；将所述第一数据缓存单元中的所述第一音频信号输入至第一数据匹配单元进行格式匹配操作；将经过格式匹配操作的所述第一音频信号输入至混音单元进行混音操作，以生成得到所述第一参考音频信号。
值得说明的是，所述第一数据缓存单元接收主处理器经过数据接口发送的远端音频信号，并将数据缓存。第一数据缓存单元一方面缓解主处理器和音频编解码器两边时钟相位偏移引起的数据丢失或者重采样问题，另一方面在多通道场景对齐输出。其输入来自数据接口的输出，输出送到第一数据匹配单元的入口。
在本发明一实施例中，第一数据匹配单元用于将音频数据格式进行转换，以便于在音频编解码器中处理及传输。第一数据匹配单元输入为第一数据缓存单元的输出，其输出为混音单元入口。
进一步地，所述混音单元用于将下行多通道远端音频信号或者本地播放音频流进行混音叠加。其中，公式1表示有M个输入音频流x(n)，将M个输入音频流累加后，得到输出混音后的音频流y(n)。
在本发明一实施例中，将所述第一参考音频信号输入至第一数模转换单元中，以生成所述第一参考音频信号的模拟信号中，数模转换单元，将编解码器处理完成的数字音频流转换成模拟音频流。
v＝k*y(t) (公式3)
其中，公式2是通过插值过程将采样率升到模拟处理采样率，并且数字样点之间插值拟合。公式3是数字信号转成模拟信号过程，输入数字离散信号y(n)，乘以比例因子k，得到输出模拟电压信号v(t)，实现离散数字信号转成连续模拟信号的功能。
第二信号提取单元，用于输入近端的第二音频信号并从中提取第二参考音频信号和包含有回声的近端音频信号。
在本发明一实施例中，所述第二信号提取单元从近端的第二音频信号中提取第二参考音频信号和包含有回声的近端音频信号，其过程包括：所述第二信号提取单元从近端的第二音频信号中提取第二参考音频信号和包含有回声的近端音频信号，其过程包括：所述第二信号提取单元接收模拟信号格式的第二音频信号，所述模拟信号格式的第二音频信号中包括回声信号和包含有回声的近端音频信号的模拟信号；将所述回声信号的模拟信号输入至第一模数转换单元，以提取所述回声信号的数字信号，以作为所述第二参考音频信号；将所述包含有回声的近端音频信号的模拟信号输入至第二模数转换单元，以提取所述包含有回声的近端音频信号的数字信号，以作为包含有回声的近端音频信号。以提取所述包含有回声的近端音频信号的数字信号，以作为包含有回声的近端音频信号。
进一步地，所述第二信号提取单元通过音频输入单元获取近端第二音频信号。其中音频输入单元是音频编解码器从外部获取音频流的音频采集单元。其可以采用的声电转换器件包括但不限于数字麦克风、模拟麦克风、传感器等。其可以采用单通道也可以采用多通道的方式，将声信号转换成电信号的功能。其输入为声波信号，输入为电压信号。
如图3和图4展示了本发明一实施例中音频编解码器内部连接示意图。其中，音频输入单元将获取到的近端第二音频信号输入至模数转换单元进行转换的过程包括，将音频输入采集进来的模拟音频流，经过采样、量化，转换成数字音频流，以便后续处理均基于数字离散信号。
x(n)＝x(nT),-∞<n<∞ (公式4)
xq(n)＝Q[x(n)] (公式5)
其中，公式4展示了模数转换单元的采样操作，即将输入模拟连续信号x(t)按采样周期T进行离散时间采样，输出x(n)。公式5展示了模数转换单元的量化操作，即将采样过程的输出x(n)经量化函数Q将幅度进行离散，输出xq(n)。经过采样操作和量化操作，实现了将模拟连续信号转换成输入的数字离散信号。
信号选择单元，其包括两个输入端和一个输出端。两个输入端分别输入第一参考音频信号和第二参考音频信号。输出端输出被选中的参考音频信号。
在本发明一实施例中，所述信号选择单元的输出端输出被选中的参考音频信号的过程包括：所述信号选择单元通过对其上设置的寄存器进行配置，以产生对应的寄存器配置信号；所述信号选择单元根据所述寄存器配置信号在所述第一参考音频信号和所述第二参考音频信号中选择一个作为被选中的参考音频信号并输出至所述回声处理单元。
如图4所示，在本发明一实施例中，用于选择回声处理单元的参考源的信号选择单元共包含两个输入，分别为通过电回采的第一参考音频信号和通过声回采的第二参考音频信号。其中第一参考音频信号是从下行音频流中抓取的远端信号作为第一参考音频信号，特别地，其抓取的位置需尽量靠近数模转换单元以便于抓取及计算。所述第二参考音频信号是从近端麦克风拾取的回声信号作为第二参考音频信号。通过信号选择单元可以实现第一参考音频信号和第二参考音频信号的参考音频信号的选择，并可根据实际测试情况，在无需对硬件进行升级的情况下即可实现参考信号源的切换。
进一步地，所述信号选择单元实现信号选择的过程是通过寄存器而设置的。
其中，sel表示寄存器配置信号，其中，当sel置为1时，则选择第二参考音频信号，置为0时则选择第一参考音频信号。
回声处理单元，其包括两个输入端和一个输出端；两个输入端分别输入所述被选中的参考音频信号以及所述近端音频信号；输出端输出过滤掉回声的近端音频信号。
在本发明一实施例中，所述回声处理单元内设置有的电路包括但不限于：时延估计电路、线性自适应滤波电路、误差信号计算电路。其中，时延估计电路用于衡量参考信号和近端麦克风信号之间的相似度；线性自适应滤波电路用于自适应实时更新回声信号的估计值；误差信号计算电路用于将近端拾取的音频信号，减去算法跟据参考信号产生的回声估计，其之间的差值为不包含远端的回声的纯净的近端音频信号。
如图5展示了在本发明一实施例中回声处理单元的结构示意图。所述回声处理单元包括：第一FFT处理单元、第二FFT处理单元、误差消除单元、信道权重更新单元、回声估计单元。下文将结合图5对回声处理单元中的具体结构进行详细说明。
第一FFT处理单元：用于将接收到的所述近端音频信号基于FFT算法从时域转换至频域，并将近端音频信号的频域信号发送至误差消除单元。
在本发明一实施例中，第一FFT处理单元用于对近端信号进行FFT变换。其输入是经过模数转换后的麦克风捕获的近端音频信号xq(n)，将该信号做FFT处理，输出频域信号X[k]。
X[k]＝FFT(x[n]) (公式7)
第二FFT处理单元：用于将接收到的所述被选中的参考音频信号基于FFT算法从时域转换至频域，并将被选中的参考音频信号的频域信号发送至回声估计单元。
在本发明一实施例中，第二FFT处理单元用于对参考音频信号进行FFT变换。其输入是经过选择单元后的参考源信号d[n]＝xmux(n)，将该信号做FFT处理，输出频域信号D[k]。
D[k]＝FFT(d[n]) (公式8)
误差消除单元：用于接收所述第一FFT处理单元发送的所述近端信号的频域信号和回声估计单元发送的回声信号，并执行误差消除计算。
在本发明一实施例中，误差消除单元用于计算近端音频信号和回声信号的误差，并通过该误差计算近端音频信号和回声信号的误差。
进一步地，误差消除单元执行误差消除计算的过程包括：基于所述回声信号对所述近端信号的频域信号进行误差消除计算，以生成得到过滤掉回声的近端音频信号的频域信号；并将过滤掉回声的近端音频信号的频域信号发送至信道权重更新单元和IFFT处理单元。
信道权重更新单元：用于接收所述误差消除单元发送的过滤掉回声的近端音频信号的频域信号，并执行信道权重更新操作。
在本发明一实施例中，信道权重更新单元执行信道权重更新操作的过程包括：对信道权重进行初始化；接收所述误差消除单元发送的过滤掉回声的近端音频信号的频域信号，基于过滤掉回声的近端音频信号的频域信号对下一样点的信道权重进行更新，并将更新后的所述信道权重发送至所述回声估计单元。
在本发明一实施例中，信道权重更新单元用于基于信号之间的误差对信道权重进行更新。具体地，信道权重更新单元的输入是近端频域信号X[k]和回声估计输出信号输出为下一个样点的信道估计值W[k,n+1]。其中，μ为更新步长，用于控制信道估计的更新速度。
W[k,n+1]＝W[k,n]+μ·E[k]·conj (D[k]) (公式9)
回声估计单元：用于接收所述第二FFT处理单元发送的被选中的参考音频信号的频域信号和所述信道权重更新单元发送的所述信道权重，并执行回声估计计算操作。
在本发明一实施例中，回声估计单元执行回声估计计算操作的过程包括：基于被选中的参考音频信号的频域信号和所述信道权重进行回声估计计算，以生成得到回声估计信号，并将所述回声估计信号发送至所述误差消除单元。
IFFT处理单元：用于接收所述误差消除单元发送的过滤掉回声的近端音频信号的频域信号基于IFFT算法从频域转换至时域，以输出过滤掉回声的近端音频信号的时域信号。
在本发明一实施例中，IFFT处理单元用于将电路实现AEC算法处理完后的纯净近端音频信号(误差信号)，从频域变换到时域，其输入是误差计算单元的误差信号E[k]，输出为时域信号e[n]。误差信号输出即为消除了回声信号的近端音频信号。
e[n]＝IFFT(E[k])(公式10)
在本发明一实施例中，IFFT处理单元将过滤掉回声的近端音频信号的时域信号输出至第二数据匹配单元、第二数据缓存单元，最后通过音频接口发送至主处理器。
具体地，第二数据匹配单元用于进行预设音频数据格式的转换。将回声处理单元处理完的音频流按要求进行一定的格式转换，包括采样率的匹配，信号位宽的匹配等。
其中，公式11是对该单元输入信号进行滤波和采样率变换，此处x(n)即为AEC输出的e[n]，M为降采样变化因子，I为升采样变化因子，h(k)是单位冲击响应函数，输出yd(n)或yu(n)。公式12展示了信号位宽的匹配过程，根据移位位宽B的正负性，决定位宽匹配是左移放大还是右移缩小。
进一步地，所述第二数据缓存单元的设置是为了适应多通道应用的场景，用于对各个通道的数据进行延时匹配。第二数据缓存单元仅对数据缓存，不对数据处理。其输入是第二数据匹配单元输出，输出送到数据接口。
本发明实施例提供的基于音频编解码器的回声消除装置可设置于终端侧或服务器侧实施(未图示)，就基于音频编解码器的回声消除终端的硬件结构而言，请参阅图6，为本发明实施例提供的基于音频编解码器的回声消除终端600的一个可选的硬件结构示意图，该终端600可以是移动电话、计算机设备、平板设备、个人数字处理设备、工厂后台处理设备等。基于音频编解码器的回声消除终端600包括：至少一个处理器601、存储器602、至少一个网络接口604和用户接口606。装置中的各个组件通过总线系统605耦合在一起。可以理解的是，总线系统605用于实现这些组件之间的连接通信。总线系统605除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统。
其中，用户接口606可以包括显示器、键盘、鼠标、轨迹球、点击枪、按键、按钮、触感板或者触摸屏等。
可以理解，存储器602可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，StaticRandom Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static RandomAccess Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类别的存储器。
本发明实施例中的存储器602用于存储各种类别的数据以支持基于音频编解码器的回声消除终端600的操作。这些数据的示例包括：用于在基于音频编解码器的回声消除终端600上操作的任何可执行程序，如操作系统6021和应用程序6022；操作系统6021包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序6022可以包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。
在示例性实施例中，基于音频编解码器的回声消除终端600可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Comple6Programmable Logic Device)，用于辅助前述基于音频编解码器的回声消除装置执行回声消除操作。
需要说明的是：上述实施例提供的基于音频编解码器的回声消除装置在进行基于音频编解码器的回声消除时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的基于音频编解码器的回声消除装置与基于音频编解码器的回声消除方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
综上所述，本申请提供基于音频编解码器的回声消除装置及电子终端，本发明提供了一种音频编解码器的硬件电路实现回声消除的装置及电子终端，解决了现有技术中利用软件算法进行回声消除时产生的延迟高，导致参考信号和回声信号难以匹配，回声消除效果不佳的问题。通过硬件化音频编解码器的回声消除算法，无需内置DSP芯片核进行软件算法就可实现回声消除，降低了用户使用的复杂度，简化了芯片的时钟方案并减少了芯片功耗。此外，由于无需采用DSP芯片及其附属的IP模块，大大减小了芯片的面积，节约了工艺成本。硬件电路的实现还降低了系统的延时，使得延时匹配时更加准确。还提供了可选的电回采和声回采的方式作为参考信号源，进一步提升了回声消除系统的稳定性。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种基于音频编解码器的回声消除装置，其特征在于，包括：
第一信号提取单元，用于输入远端的第一音频信号并从中提取第一参考音频信号；
第二信号提取单元，用于输入近端的第二音频信号并从中提取第二参考音频信号和包含有回声的近端音频信号；
信号选择单元，其包括两个输入端和一个输出端；两个输入端分别输入第一参考音频信号和第二参考音频信号；输出端输出被选中的参考音频信号；
回声处理单元，其包括两个输入端和一个输出端；两个输入端分别输入所述被选中的参考音频信号以及所述近端音频信号；输出端输出过滤掉回声的近端音频信号。
2.根据权利要求1所述的基于音频编解码器的回声消除装置，其特征在于，所述回声处理单元包括：
第一FFT处理单元：用于将接收到的所述近端音频信号基于FFT算法从时域转换至频域，并将近端音频信号的频域信号发送至误差消除单元；
第二FFT处理单元：用于将接收到的所述被选中的参考音频信号基于FFT算法从时域转换至频域，并将被选中的参考音频信号的频域信号发送至回声估计单元；
误差消除单元：用于接收所述第一FFT处理单元发送的所述近端信号的频域信号和回声估计单元发送的回声信号，并执行误差消除计算；
信道权重更新单元：用于接收所述误差消除单元发送的过滤掉回声的近端音频信号的频域信号，并执行信道权重更新操作；
回声估计单元：用于接收所述第二FFT处理单元发送的被选中的参考音频信号的频域信号和所述信道权重更新单元发送的所述信道权重，并执行回声估计计算操作；
IFFT处理单元：用于接收所述误差消除单元发送的过滤掉回声的近端音频信号的频域信号基于IFFT算法从频域转换至时域，以输出过滤掉回声的近端音频信号的时域信号。
3.根据权利要求2所述的基于音频编解码器的回声消除装置，其特征在于，误差消除单元执行误差消除计算的过程包括：
基于所述回声信号对所述近端信号的频域信号进行误差消除计算，以生成得到过滤掉回声的近端音频信号的频域信号；并将过滤掉回声的近端音频信号的频域信号发送至信道权重更新单元和IFFT处理单元。
4.根据权利要求2所述的基于音频编解码器的回声消除装置，其特征在于，信道权重更新单元执行信道权重更新操作的过程包括：
对信道权重进行初始化；接收所述误差消除单元发送的过滤掉回声的近端音频信号的频域信号，基于过滤掉回声的近端音频信号的频域信号对下一样点的信道权重进行更新，并将更新后的所述信道权重发送至所述回声估计单元。
5.根据权利要求2所述的基于音频编解码器的回声消除装置，其特征在于，回声估计单元执行回声估计计算操作的过程包括：
基于被选中的参考音频信号的频域信号和所述信道权重进行回声估计计算，以生成得到回声估计信号，并将所述回声估计信号发送至所述误差消除单元。
6.根据权利要求1所述的基于音频编解码器的回声消除装置，其特征在于，所述第二信号提取单元从近端的第二音频信号中提取第二参考音频信号和包含有回声的近端音频信号，其过程包括：
所述第二信号提取单元接收模拟信号格式的第二音频信号，所述模拟信号格式的第二音频信号中包括回声信号和包含有回声的近端音频信号的模拟信号；
将所述回声信号的模拟信号输入至第一模数转换单元，以提取所述回声信号的数字信号，以作为所述第二参考音频信号；将所述包含有回声的近端音频信号的模拟信号输入至第二模数转换单元，以提取所述包含有回声的近端音频信号的数字信号，以作为包含有回声的近端音频信号。
7.根据权利要求1所述的基于音频编解码器的回声消除装置，其特征在于，所述信号选择单元的输出端输出被选中的参考音频信号的过程包括：
所述信号选择单元通过对其上设置的寄存器进行配置，以产生对应的寄存器配置信号；
所述信号选择单元根据所述寄存器配置信号在所述第一参考音频信号和所述第二参考音频信号中选择一个作为被选中的参考音频信号并输出至所述回声处理单元。
8.根据权利要求1所述的基于音频编解码器的回声消除装置，其特征在于，所述第一信号提取单元输入远端的第一音频信号并从中提取第一参考音频信号的过程包括：
所述第一信号提取单元通过数据接口接收所述第一音频信号；
将所述第一音频信号输入至第一数据缓存单元；
将所述第一数据缓存单元中的所述第一音频信号输入至第一数据匹配单元进行格式匹配操作；
将经过格式匹配操作的所述第一音频信号输入至混音单元进行混音操作，以生成得到所述第一参考音频信号。
9.根据权利要求1所述的基于音频编解码器的回声消除装置，其特征在于，所述装置在提取到所述第一参考音频信号后还执行如下：
将所述第一参考音频信号输入至第一数模转换单元中，以生成所述第一参考音频信号的模拟信号；
将所述第一参考音频信号的模拟信号输入至音频输出信号单元以进行音频播放。
10.一种电子终端，其特征在于，所述电子终端包括如权利要求1至9中任一项所述基于音频编解码器的回声消除装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311465603.4A CN117577123A (zh) | 2023-11-06 | 2023-11-06 | 基于音频编解码器的回声消除装置及电子终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311465603.4A CN117577123A (zh) | 2023-11-06 | 2023-11-06 | 基于音频编解码器的回声消除装置及电子终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117577123A true CN117577123A (zh) | 2024-02-20 |
Family
ID=89890860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311465603.4A Pending CN117577123A (zh) | 2023-11-06 | 2023-11-06 | 基于音频编解码器的回声消除装置及电子终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117577123A (zh) |
-
2023
- 2023-11-06 CN CN202311465603.4A patent/CN117577123A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8401176B2 (en) | Acoustic echo canceller with multimedia training signal | |
| US20090046866A1 (en) | Apparatus capable of performing acoustic echo cancellation and a method thereof | |
| US20070019802A1 (en) | Audio data stream synchronization | |
| JP2006018254A (ja) | ラウンドロビン正則化を用いたマルチチャネルエコーキャンセレーション | |
| US8385558B2 (en) | Echo presence determination in voice conversations | |
| CA2328006C (en) | Linear predictive coding based acoustic echo cancellation | |
| CN111883158B (zh) | 一种回声消除方法和装置 | |
| US20130066638A1 (en) | Echo Cancelling-Codec | |
| WO2013121749A1 (ja) | エコー消去装置、エコー消去方法、及び、通話装置 | |
| CN115620736A (zh) | 音频分享方法、装置、计算机可读存储介质及电子设备 | |
| US8874175B2 (en) | Converting samples of a signal at a sample rate into samples of another signal at another sample rate | |
| CN111933168B (zh) | 基于binder的软回路动态消回声方法及移动终端 | |
| JP5158099B2 (ja) | 音声ミキシング装置および方法ならびに多地点会議サーバ | |
| CN117577123A (zh) | 基于音频编解码器的回声消除装置及电子终端 | |
| WO2022142984A1 (zh) | 语音处理方法、装置、系统、智能终端以及电子设备 | |
| Chinna Rao et al. | Real-time implementation and testing of VoIP vocoders with asterisk PBX using wireshark packet analyzer | |
| US11935546B2 (en) | Transmission error robust ADPCM compressor with enhanced response | |
| EP2568619A1 (en) | Echo cancelling-codec | |
| JP2011071875A (ja) | 音声通信装置及びプログラム | |
| CN117351971A (zh) | 内置dsp及音频算法的音频编解码系统及音频编解码器 | |
| WO2023212441A1 (en) | Systems and methods for reducing echo using speech decomposition | |
| CN117912438A (zh) | 具有啸叫抑制功能的音频编解码装置、方法和系统 | |
| CN113495714A (zh) | 数据处理装置、音频处理设备、回音消除系统和回音消除方法 | |
| CN117594055A (zh) | 一种音视频系统中多麦克风回声消除方法及系统 | |
| Hua-Zhu et al. | Research on VoIP Acoustic Echo Cancelation Algorithm Based on Speex |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |