CN117351971A - 内置dsp及音频算法的音频编解码系统及音频编解码器 - Google Patents

内置dsp及音频算法的音频编解码系统及音频编解码器 Download PDF

Info

Publication number
CN117351971A
CN117351971A CN202311259917.9A CN202311259917A CN117351971A CN 117351971 A CN117351971 A CN 117351971A CN 202311259917 A CN202311259917 A CN 202311259917A CN 117351971 A CN117351971 A CN 117351971A
Authority
CN
China
Prior art keywords
audio
audio stream
dsp
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311259917.9A
Other languages
English (en)
Inventor
王青松
李甲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaoxin Microelectronics Technology Shanghai Co ltd
Original Assignee
Yaoxin Microelectronics Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoxin Microelectronics Technology Shanghai Co ltd filed Critical Yaoxin Microelectronics Technology Shanghai Co ltd
Priority to CN202311259917.9A priority Critical patent/CN117351971A/zh
Publication of CN117351971A publication Critical patent/CN117351971A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种内置DSP及音频算法的音频编解码系统及音频编解码器，将DSP内置于音频编解码器中，基于音频算法对输入的音频流进行编码或解码处理。本发明的DSP与编解码器为单一芯片，因此外围器件少，系统成本低；并且释放主处理器的算力压力，使得主处理器将核的性能专注于提升主控性能，且算法已经基于DSP进行过特定优化，整体的运算效率高以及部署成本低；并且无芯片间接口交互带宽约束，内部数据访问速度更快，效率更高，有益于提升部分算法性能；另外，能合理的匹配音频编解码的设计，使得资源充分利用，不会损失性能。

Description

内置DSP及音频算法的音频编解码系统及音频编解码器
技术领域
本发明涉及音频数据处理领域，特别是涉及一种内置DSP及音频算法的音频编解码系统及音频编解码器。
背景技术
随着社会的进步，生活质量的提高，人们对音频产品的质量要求越来越高，传统的音频设备处理能力已经不能满足新生代的耳膜要求。
为了解决这样的问题，高性能音频编解码器以及高性能DSP产品，在近些年得到了快速发展，以满足日益增长的市场需求。首先，随着芯片制造工艺的发展，同样面积的音频编解码器或者DSP中，先进工艺可以放的下更多的处理模块，以提高音频信号的处理性能，同时先进工艺支持更低的电压，因此芯片功耗也随之降低。其次，随着音频算法的发展演进，现在的算法具有更好的性能及更小的算力，更容易集成到音频编解码器或者DSP中。
优秀的的音频效果离不开高性能的音频编解码器和高性能DSP的配合，音频编解码器提供低延时的数据处理单元，DSP运行需要灵活多变或者复杂的音频算法。
目前主流的方案分为二类：方案一：在主处理器内置DSP的架构；方案二：在音频编解码器外挂DSP的架构。
如图1，为方案一的架构图，该方案好处主要是，将DSP内置于主处理器中，编解码器架构简单，可选择范围性大，兼容性好。但该方案也有以下缺点：
1.信号处理链路延迟大，部分算法响应不及时，会降低算法性能；
2.大量音频数据通过数据接口传输，接口的带宽限制时，业务会产生冲突；
3.主处理器负担加重，面积增大，功耗增加，成本增大；
4.DSP选择灵活性不高，DSP算法能力取决于主处理器综合考虑的约束。
如图2，为方案二的架构图，相比方案一的架构，方案二将DSP外挂于CODEC上，该方案解决了方案一的部分问题，比如减轻了主处理器负担，让其更专注于主控功能的性能提升，也，减小主处理器的成本和面积，同时外挂DSP的选择灵活性大，通用性强，也是目前市面上用的最多的方案。但该方案也有以下缺点：
1.外购DSP较贵，外围器件增加，总成本增加；
2.同样也会有芯片间接口传输带宽限制约束；
3.无法和音频编解码器完美的兼容，存在性能的损失或资源的浪费；
4.目前市面上DSP内置的成熟算法比较少，应用场景有限。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种内置DSP及音频算法的音频编解码系统，用于解决以上现有技术问题。
为实现上述目的及其他相关目的，本发明提供一种内置DSP及音频算法的音频编解码系统，所述系统包括：音频输入模块、内置DSP的音频编解码器、主处理器、数据接口、音频输出模块；其中，内置DSP的音频编解码器分别与音频输入模块、主处理器、数据接口以及音频输出装置通信连接；所述音频输入模块，用于从外部获取音频流；所述内置DSP的音频编解码器，用于基于音频算法，对输入的音频流进行编码或解码处理；所述主处理器，用于通过所述数据接口接收并处理经所述内置DSP的音频编解码器处理的音频流和/或将音频流输入至所述内置DSP的音频编解码器进行处理；所述音频输出模块，用于将经所述内置DSP的音频编解码器处理的音频流以声波信号形式输出至外部。
于本发明的一实施例中，所述内置DSP的音频编解码器包括：上行传输通路、下行传输通路、DSP处理单元以及数据搬运单元；其中，所述上行传输通路包括：至少一路上行通道，用于通过上行通道对由所述音频输入模块从外部获取的音频流进行单通道或多通道的上行传输；所述下行传输通路包括：至少一路下行通道，用于对经所述音频编解码器处理的音频流进行单通道或多通道的下行传输，以供由所述音频输出模块向外部输出；数据搬运单元，连接所述上行传输通路、下行传输通路以及DSP处理单元，用于将上行传输的音频流搬运至所述DSP处理单元进行处理；和/或，将所述DSP处理单元处理后的音频流搬运至下行传输通路进行下行传输；DSP处理单元，用于基于音频算法，对输入的音频流进行处理，以供通过数据接口将处理后的音频流传输至主处理器或通过所述数据搬运单元搬运至下行传输通路输出。
于本发明的一实施例中，所述上行通道包括：模数转换单元，用于将对应通道输入的模拟信号形式的音频流转换为数字音频流；第一数据匹配单元，连接所述模数转换单元，用于将转换的数字音频流进行第一数据匹配，获得经过第一数据匹配的音频流；其中，第一数据匹配的方式包括：采样率匹配方式以及信号位宽匹配方式；第一数据缓存单元，连接所述数据匹配单元，用于缓存经过第一数据匹配的音频流，以供数据搬运单元将数据搬运至所述DSP处理单元；所述下行通道，包括：第二数据缓存单元，用于缓存来自所述数据搬运单元的音频流；第二数据匹配单元，连接所述第二数据缓存单元，用于将音频流进行第二数据匹配，获得经过第二数据匹配的音频流；其中，第二数据匹配的方式包括：采样率匹配方式以及信号位宽匹配方式；数模转换单元，连接所述第二数据匹配单元，用于将经过第二数据匹配的音频流转换为模拟音频流，以供所述音频输出模块以声波信号形式通过对应通道输出至外部。
于本发明的一实施例中，所述DSP处理单元包括：内部缓存单元以及与所述内部缓存单元连接的算法处理单元；内部缓存单元，用于储存来自数据搬运单元和/或主处理器的音频流，以供发送至算法处理单元进行处理；和/或储存由所述算法处理单元处理后的音频流，以供所述数据搬运单元将其搬运至下行传输通路输出；算法处理单元，用于基于音频算法，对来自所述内部缓存单元的音频流进行处理，并将处理后的音频流发送至所述内部缓存单元进行储存。
于本发明的一实施例中，所述基于音频算法，对来自所述内部缓存单元的音频流进行处理包括：对输入的音频流进行短时傅里叶变换；将经过短时傅里叶变换的音频流进行语音活动检测以及噪声估计；对经过短时傅里叶变换的音频流进行噪声抑制；对经过噪声抑制的音频流进行自动增益控制；对自动增益控制后的音频流进行短时傅里叶反变换；基于同步输入的参考音频流，将经过短时傅里叶反变换的音频流进行回声消除，以供将经过回声消除后的音频流发送至所述内部缓存单元进行储存。
于本发明的一实施例中，将经过短时傅里叶变换的音频流进行语音活动检测以及噪声估计包括：根据经过短时傅里叶变换的音频流依次对每帧音频信号的语音活动检测以及噪声估计，以获得各帧音频信号所对应的语音存在概率以及噪声估计值；其中，对每帧音频信号的语音活动检测以及噪声估计的方式包括：将上一次计算获得的当前帧音频信号的噪声估计值进行迭代更新，并初次计算当前帧音频信号的语音存在概率；基于初次计算的当前帧音频信号的语音存在概率，计算下一帧当前帧音频信号的噪声估计值；二次计算当前帧音频信号的语音存在概率。
于本发明的一实施例中，对经过噪声抑制的音频流进行自动增益控制包括：根据经过噪声抑制的音频流计算瞬时幅度以及平均幅度；基于计算的平均幅度计算应用到对应音频流的增益数据；对计算增益数据进行平滑处理，并将平滑处理后的增益数据与经过噪声抑制的音频流结合，获得自动增益控制后的音频流。
于本发明的一实施例中，基于同步输入的参考音频流，将经过短时傅里叶反变换的音频流进行回声消除包括：对经过短时傅里叶反变换的音频流以及同步输入的参考音频流利用多频段分析滤波器组分别进行相同子带分解，以获得对应各子带的输入音频流子带数据以及参考音频流子带数据；根据各子带所对应的的输入音频流子带数据以及参考音频流子带数据对每个子带进行回声估计以及误差计算，并进行权重更新，以获得更新后的各子带；将更新后的各子带合成为完整的宽带信号，以获得经过回声消除后的音频流。
于本发明的一实施例中，所述音频编解码系统还包括：控制接口，用于所述主处理器向所述内置DSP的音频编解码器发送控制指令以及所述内置DSP的音频编解码器向所述主处理器实时反馈状态信息；外部存储单元，连接所述内置DSP的音频编解码器。
为实现上述目的及其他相关目的，本发明提供一种音频编解码器所述音频编解码器包括：上行传输通路、下行传输通路、DSP处理单元以及数据搬运单元；其中，所述数据搬运单元连接所述上行传输通路、下行传输通路以及DSP处理单元；所述上行传输通路，用于对从外部获取的音频流进行单通道或多通道的上行传输；所述下行传输通路，用于对经所述DSP处理单元处理的音频流进行单通道或多通道的下行传输，以供向外部输出；所述数据搬运单元，用于将上行传输的音频流搬运至所述DSP处理单元进行处理；和/或，将所述DSP处理单元处理后的音频流搬运至下行传输通路进行下行传输；所述DSP处理单元，用于基于音频算法，对输入的音频流进行处理，以供将处理后的音频流传输至所述主处理器或通过所述数据搬运单元搬运至下行传输通路输出。
如上所述，本发明是一种内置DSP及音频算法的音频编解码系统及音频编解码器，具有以下有益效果：本发明的音频编解码系统将DSP内置于音频编解码器中，基于音频算法对输入的音频流进行编码或解码处理。本发明将DSP内置于音频编解码器中，DSP与编解码器为单一芯片，因此外围器件少，系统成本低；并且释放主处理器的算力压力，使得主处理器将核的性能专注于提升主控性能，且算法已经基于DSP进行过特定优化，整体的运算效率高以及部署成本低；并且无芯片间接口交互带宽约束，内部数据访问速度更快，效率更高，有益于提升部分算法性能；另外，能合理的匹配音频编解码的设计，使得资源充分利用，不会损失性能。
附图说明
图1显示为第一种现有方案的音频编解码系统的结构示意图。
图2显示为第二种现有方案的音频编解码系统的结构示意图。
图3显示为本发明一实施例中的内置DSP及音频算法的音频编解码系统的结构示意图。
图4显示为本发明一实施例中的内置DSP的音频编解码器的结构示意图。
图5显示为本发明一实施例中的内置DSP的音频编解码器的结构示意图。
图6显示为本发明一实施例中的音频算法的流程示意图。
图7显示为本发明一实施例中的音频编解码器的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此，以下叙述的第一部分、成分、区域、层或段在不超出本发明范围的范围内，可以言及到第二部分、成分、区域、层或段。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本发明的一种内置DSP及音频算法的音频编解码系统，将DSP内置于音频编解码器中，基于音频算法对输入的音频流进行编码或解码处理。本发明将DSP内置于音频编解码器中，DSP与编解码器为单一芯片，因此外围器件少，系统成本低；并且释放主处理器的算力压力，使得主处理器将核的性能专注于提升主控性能，且算法已经基于DSP进行过特定优化，整体的运算效率高以及部署成本低；并且无芯片间接口交互带宽约束，内部数据访问速度更快，效率更高，有益于提升部分算法性能；另外，能合理的匹配音频编解码的设计，使得资源充分利用，不会损失性能。
下面以附图为参考，针对本发明的实施例进行详细说明，以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现，并不限于此处说明的实施例。
如图3展示本发明实施例中的一种内置DSP及音频算法的音频编解码系统的结构示意图。
所述系统包括：音频输入模块1、内置DSP的音频编解码器2、主处理器3、数据接口4、音频输出模块5；
其中，内置DSP的音频编解码器2分别与音频输入模块1、主处理器3、数据接口4以及音频输出装置5通信连接；
所述音频输入模块1，用于从外部获取单通道或多通道的音频流，并输入至内置DSP的音频编解码器2；所述音频输入模块1包括：一或多个音频输入装置，用于采集每个通道的音频流；所述音频输入装置是内置DSP的音频编解码器从外部获取音频流的音频采集器件，可以为数字麦克风、模拟麦克风、传感器，或者其他形式的声电转换器件，完成将声信号转换成电信号的功能。该装置输入是声波信号，输出为电压信号。
所述内置DSP的音频编解码器2，是对音频数据进行编码/解码的器件，将音频数据压以一种格式转换成另一种格式，以降低数据计算、传输和存储成本。
所述内置DSP的音频编解码器2用于通过内置的DSP，基于音频算法对输入的音频流进行编码或解码处理；这里需要说明的是，输入的音频流可以是由所述音频输入模块1或主处理器3输入的单通道或多通道的音频流。
所述数据接口4，是主处理器3和内置DSP的音频编解码器2之间音频数据交互的通道，如原始音频流通过该接口送到主处理器3，主处理器3将远端音频信号或者本地音乐信号，通过该接口传输给音频编解码器2，可以是I2S/PCM/TDM、Soundwire、Slimbus、HDA等接口协议。
所述主处理器3，是指SOC(System On Chip)处理芯片，负责设备的主控功能，通过所述数据接口4接收并处理经所述音频编解码器2处理的音频流和/或将音频流输入至所述音频编解码器2进行处理。
所述音频输出模块5，用于将经所述音频编解码器处理单通道或多通道的音频流以声波信号形式输出至外部。所述音频输出模块5包括：一或多个音频输出装置，用于分别输出各通道的音频流；所述音频输出装置是音频编解码器将音频流输出给外部的声音播放器件，可以是听筒、喇叭或者耳机，或者以上三种的组合，完成将电信号转换成声信号的功能。其装置输入是电压信号，输出是声波信号。
在一实施例中，所述音频编解码系统还包括：
控制接口6，是主处理器3给音频编解码器2下发命令的通道，也是音频编解码器2向主处理器3反馈状态的通道，用于所述主处理器3向所述内置DSP的音频编解码器2发送控制指令以及所述内置DSP的音频编解码器3向所述主处理器3实时反馈状态信息；所述控制接口6可以是I2C、Soundwire、Slimbus、HAD等接口协议。通过控制接口6，用户可以直接配置或者修改相应音频算法的开启状态和运行参数。
外部存储单元7，连接所述内置DSP的音频编解码器2，为音频编解码器外部存储单元，主要负责后期算法的升级和扩展，对音频数据不做任何处理。设置该Flash，为将来算法的扩展及更新留好了通道，增强音频算法的兼容性。
在一实施例中，如图4，所述内置DSP的音频编解码器2包括：上行传输通路21、下行传输通路22、DSP处理单元23以及数据搬运单元24；
所述上行传输通路21，为录音通路，包括：至少一路上行通道；其中，每路上行通道分别与所述音频输入模块1中的一音频输入装置对应，用于上行传输由该音频输入装置输入的单通道的音频流；则所述上行传输通路21用于通过上行通道对由所述音频输入模块从外部获取的音频流进行单通道或多通道的上行传输；
所述下行传输通路22，为播放通路，包括：至少一路下行通道；其中，每路下行通道分别与所述音频输出模块5中的一音频输出装置对应，用于对经所述音频编解码器2处理的音频流进行单通道的下行传输；则所述下行传输通路22用于对经所述音频编解码器2处理的音频流进行单通道或多通道的下行传输，以供由对应音频输出装置向外部输出。
数据搬运单元24，连接所述上行传输通路21、下行传输通路22以及DSP处理单元23；所述数据搬运单元24，即DMA，用于将上行通路21上行传输的音频流搬运至所述DSP处理单元23进行处理；和/或，将所述DSP处理单元23处理后的音频流搬运至下行传输通路22进行下行传输。优选的，可通过内部总线数据搬运单元24向上下传输通路以及DSP处理单元搬运数据；
DSP处理单元23，用于基于音频算法，对输入的音频流进行处理，以供通过数据接口4将处理后的音频流传输至所述主处理器3或通过所述数据搬运单元24搬运至下行传输通路22输出。DSP处理单元23为本发明的核心处理模块，内含多种高性能音频算法，主要负责运行获取算法前处理数据，运行算法，产生算法后处理数据，实现算法的效果。
在一实施例中，为了更好的描述音频编解码器2的上行传输以及下行传输过程，现结合图5对上行通道以及下行通道的结构进行说明，为了描述方便图2仅显示一个上行通道以及下行通道为例，对此不作限定。
如图5，所述上行通道包括：
模数转换单元201，用于将对应通道输入的模拟信号形式的音频流经过采样、量化转换为数字音频流，以便后续处理均基于数字离散信号；
具体的，通过以下公式实现转换：
x(n)＝x(nT)，-∞＜n＜∞； (1)
xq(n)＝Q[x(n)]； (2)
其中，公式(1)是采样过程，将输入模拟连续音频信号x(t)按采样周期T进行离散时间采样，输出x(n)；公式(2)是量化过程，将采样过程的输出x(n)经量化函数Q将幅度进行离散，输出xq(n)。经过上述两个过程，实现将模拟连续信号，转换成输出的数字离散信号。
第一数据匹配单元202，连接所述模数转换单元201，将转换后的数字音频流按要求进行一定的格式转换，用于将转换的数字音频流进行第一数据匹配，获得经过第一数据匹配的音频流；其中，第一数据匹配的方式包括：采样率匹配方式以及信号位宽匹配方式；
具体的，采样率匹配方式通过以下公式实现：
其中，公式(3)是对该单元输入信号进行滤波和采样率变换，x(n)为模数转换单元的输出，M为降采样变化因子，I为升采样变化因子，h(k)是单位冲击响应函数，输出yd(n)或yu(n)。
信号位宽匹配方式通过以下公式实现：
其中，公式(4)是信号位宽的匹配，根据移位位宽B的正负性，决定位宽匹配是左移放大还是右移缩小。
第一数据缓存单元203，即FIFO，连接所述数据匹配单元202，用于缓存经过第一数据匹配的音频流，以供数据搬运单元24将数据搬运至所述DSP处理单元23；本单元仅对数据缓存，不对数据处理。
所述下行通道包括：
第二数据缓存单元204，用于缓存来自所述数据搬运单元的音频流；所述第二数据缓存单元204与上行通道的第一数据缓存单元203的功能类似，仅在于传输对象以及传输方向不同，在此不作赘述。
第二数据匹配单元205，连接所述第二数据缓存单元204，用于将音频流进行第二数据匹配，获得经过第二数据匹配的音频流；其中，第二数据匹配的方式包括：采样率匹配方式以及信号位宽匹配方式；其中，采样率匹配方式以及信号位宽匹配方式与上述实施例说明的采样率匹配方式以及信号位宽匹配方式相似，在此不作赘述。
数模转换单元206，连接所述第二数据匹配单元205，用于将经过第二数据匹配的音频流转换为模拟音频流，以供所述音频输出模块以声波信号形式通过对应通道输出至外部。
具体的，通过以下公式实现转换：
v ＝ ky(t)； (7)
其中，公式(6)是通过插值过程将采样率升到模拟处理采样率，并且数字样点之间插值拟合。公式(7)是数字信号转成模拟信号过程，输入数字离散信号y(n)，乘以比例因子k，得到输出模拟电压信号v(t)，实现离散数字信号转成连续模拟信号的功能。
在一实施例中，所述DSP处理单元23包括：内部缓存单元231以及与所述内部缓存单元231连接的算法处理单元232；
内部缓存单元231，用于储存来自数据搬运单元24和/或主处理器3的音频流，以供发送至算法处理单元232进行处理，和/或储存由所述算法处理单元232处理后的音频流，以供所述数据搬运单元24将其搬运至下行传输通路输出；所述内部缓存单元231主要负责待处理数据和处理完成后的数据。本身不对数据进行处理，仅存储功能。
算法处理单元232，用于基于音频算法，对来自所述内部缓存单元231的音频流进行处理，并在将处理后的音频流发送至所述内部缓存单元进行储存。
在一实施例中，算法处理单元232处理流程针对的可以是单通道的音频流，也可以是多通道的音频流。如果是多通道的音频流的话，则对每个通道的音频流单独处理的。
因此，如图6，所述基于音频算法，对来自所述内部缓存单元的每个通道的音频流进行处理包括：
步骤S1：对输入的音频流进行短时傅里叶变换，通过短时傅里叶变换将获取的音频流中的音频信号从时域转换到频域。
用x(t，m)表示t时刻第m个通道的音频信号，w(n)表示第n个窗函数值，则第m个通道第k个频点在t时刻的短时傅里叶变换可表示为：
其中，N表示窗长，wk＝2πk/K是角频率，K是短时傅里叶变换的长度。
步骤2：将经过短时傅里叶变换的音频流进行语音活动检测以及噪声估计。
其中，语音活动检测主要是用来检测当前声音信号中是否存在人的话音信号的。通过对输入信号进行判断，将话音信号片段与各种背景噪声信号片段区分出来，使得我们能够分别对两种信号采用不同的处理方法。由于语音活动检测一般需要和噪声估计同时进行。
对于噪声估计，由于真实环境中的噪声在不断的变化，为了获取更好的降噪效果，噪声估计是必不可少的。噪声估计是通过跟踪信号中的信噪比、幅值等特征的变化，来实时跟踪噪声频谱的变化的。
步骤3：对经过短时傅里叶变换的音频流进行噪声抑制。
其中，实际环境中噪声无处不在，优秀的噪声消除必不可少。这里的噪声消除是通过频率滤波来实现的，而该滤波器可以通过最小化纯净信号与估计信号之间的差值来求得。
这里给出一个通过谱减法来降噪的实例。谱减法的思路就是针对每个频点，利用当前信号的能量和噪声估计值，计算纯净信号与观测信号的比值。然后通过该比值进行频率滤波。即：
通过滤波器滤波后的信号可表示为：
S(k，t)＝hNR(k)X(k，t)； (10)
其中，所述V(k，t)为由步骤S2计算的噪声估计值，X(k，t)为经过短时傅里叶变换的音频信号。
步骤4：对经过噪声抑制的音频流进行自动增益控制。
其中，自动增益控制(AGC)是音频处理领域的关键技术，旨在自动调整音频信号的幅度，以确保其始终保持在预定的目标范围内。其基本概念在于对音频输入进行实时监测，根据其当前和平均幅度自动调整增益，实现持续稳定的输出。在实际音频应用中，如广播、通信和录音，由于各种原因导致的输入信号幅度不同，可能会对听众体验造成不便，甚至导致设备输入溢出。AGC技术的引入能够确保音频输出的一致性和质量，提高信号的清晰度，并避免失真。在其工作原理中，AGC首先测量音频信号的瞬时和平均幅度，然后基于预设的目标幅度决策增益值，最后应用平滑技术避免增益的突然变化，为听众提供平滑、舒适的听觉体验。
步骤S5：对自动增益控制后的音频流进行短时傅里叶反变换。
其中，短时傅里叶反变换为将频域信号重新变到时域，方法同短时傅里叶变换相同。
步骤6：基于同步输入的参考音频流，将经过短时傅里叶反变换的音频流进行回声消除，以供将经过回声消除后的音频流发送至所述内部缓存单元进行储存。
其中，自适应回声消除(AEC)是音频处理中的一种先进技术，主要应用于通信系统，特别是在电话和视频会议中。当声音从一个麦克风传送到扬声器，并从那里反馈到同一个或另一个麦克风时，会产生所谓的“回声”。这种回声不仅会干扰通信的清晰度，还可能导致听者的不愉快体验。AEC的目的是自动检测和消除这种回声，确保双方的通信清晰无干扰。
自适应回声消除使用一个自适应滤波器，该滤波器能够学习并预测从扬声器到麦克风的声音传播路径，从而估计和消除回声。随着环境条件(如房间的声学或设备位置)的变化，AEC的自适应算法能够不断地调整滤波器系数，以确保在各种条件下都能有效地消除回声。
在一具体实施例中，步骤2中将经过短时傅里叶变换的音频流进行语音活动检测以及噪声估计的方式包括：
根据经过短时傅里叶变换的音频流依次对每帧音频信号的语音活动检测以及噪声估计，以获得各帧音频信号所对应的语音存在概率以及噪声估计值；
其中，对每帧音频信号的语音活动检测以及噪声估计的方式包括：
步骤一：将上一次计算获得的当前帧音频信号的噪声估计值进行迭代更新，并初次计算当前帧音频信号的语音存在概率；
具体的，对于带有加性噪声的数据：
y(n)＝x(n)+d(n)； (11)
经过STFT处理后的音频信号为：
其中，k为频域坐标，l为时域坐标，h(n)为窗函数，N为帧长，M为帧移。
给定两个假设H0(k,l)和H1(k,l)，分别表示“语音不存在”和“语音存在”，如公式(13)：
上一次计算获得的当前帧音频信号的噪声估计值为：
λd(k，l)＝E[|D(k，l)|2]； (14)
采用时间递归平滑的方式，迭代更新λd(k，l)：
其中，αd(0＜αd＜1)是平滑因子。
基于迭代更新的噪声估计值，初次计算语音存在概率：
步骤二：基于初次计算的当前帧音频信号的语音存在概率，计算下一帧当前帧音频信号的噪声估计值；
具体的，下一帧当前帧音频信号的噪声估计值可以表示为：
其中，为噪声估计的平滑因子。
步骤三：二次计算当前帧音频信号的语音存在概率。
具体的，二次计算当前帧音频信号的语音存在概率包括：
在一个短时窗内，计算局部能量(local energy，通常用S(k，l)表示)与最小能量Smin(k，l)的比值。
其中，S(k，l)可以通过频域和时域的平滑计算出来：频域平滑的计算方式包括：
其中，频域平滑就是在当前的频点k，上下各扩展w个频点(通常取1)，在经过频域窗b(i)加权之后，可以得到频域平滑后的局部能量。
频域平滑的计算方式包括：
S(k，l)＝αsS(k，l-1)+(1-αs)Sf(k，l)； (19)
其中，αs(0＜αs＜1)是局部能量的时域平滑因子。
接下来计算最小能量Smin(k，l)，采用局部最小值追踪的方法，设定一个时间窗L，搜索局部最小值，可以得到Smin(k，l)。
计算局部能量S(k，l)与最小能量Smin(k，l)的比值为：
则语音是否存在的判决式为:
其中，δ为设定的判断语音是否存在的阈值。
根据上式，可以得到语音存在概率的迭代估计，当前帧音频信号的语音存在概率：
其中，αn(0<αn<1)是语音存在概率的平滑因子。
在一具体实施例中，步骤S4中对经过噪声抑制的音频流进行自动增益控制的方式包括：
步骤一：根据经过噪声抑制的音频流计算瞬时幅度以及平均幅度；
具体的，对于输入的经过噪声抑制的音频信号x[n]，首先计算其瞬时幅度|x[n]|；再利用计算的瞬时幅度|x[n]|使用低通滤波器来估计信号的平均幅度，获得一个长时间的平均值：
A[n]＝α·A[n-1]+(1-α)·|x[n]|； (23)
其中，α是滤波器的时间常数，通常选择一个接近的值，如0.99，以保证平滑的响应。
步骤二：基于计算的平均幅度计算应用到对应音频流的增益数据；
具体的，计算应用到音频信号的增益，同时设置一个增益上限以避免过度放大：
其中，R是期望的目标幅度(例如，我们希望输出音频信号的平均幅度为R)，而gmax是增益的最大允许值。
步骤三：对计算增益数据进行平滑处理，并将平滑处理后的增益数据与经过噪声抑制的音频流结合，获得自动增益控制后的音频流。
具体的，为了避免音频信号的突然变化和不连续性，使用另一个低通滤波器来平滑计算的增益数据。
gsmooth[n]＝β·gsmooth[n-1]+(1-β)·g[n]； (25)
其中，β是滤波器的时间常数，通常选择一个适中的值，如0.9，来平衡增益的连续性和响应速度。
将平滑后的增益应用于输入音频信号，得到增益调整后的输出音频信号。
y[n]＝gsmooth[n]·x[n]； (26)
在一具体实施例中，步骤S6中基于同步输入的参考音频流，将经过短时傅里叶反变换的音频流进行回声消除的方式包括：
步骤一：对经过短时傅里叶反变换的音频流以及同步输入的参考音频流利用多频段分析滤波器组分别进行相同子带分解，以获得对应各子带的输入音频流子带数据以及参考音频流子带数据；
具体的，利用多频段分析滤波器组对信号进行子带分解。对于每个子带m，使用滤波器Hm[n]进行分解：
其中d[n]是参考音频信号，x[n]是经过短时傅里叶反变换的音频信号，*代表卷积。
步骤二：根据各子带所对应的的输入音频流子带数据以及参考音频流子带数据对每个子带进行回声估计以及误差计算，并进行权重更新，以获得更新后的各子带；
具体的，对各子带进行回声估计：
进行误差计算：
进行权重更新(例如使用LMS算法)：
wm[n+1]＝wm[n]+μ·em[n]·dm[n]； (30)
步骤三：将更新后的各子带合成为完整的宽带信号，以获得经过回声消除后的音频流。
具体的，用合成滤波器Gm[n]对处理后的子带信号进行合成以得到完整的宽带信号：
其中，M是子带的总数。
本发明提供一种音频编解码器。如图4所示，展示本发明实施例中的一种音频编解码器的结构示意图。
所述音频编解码器包括：上行传输通路21、下行传输通路22、DSP处理单元23以及数据搬运单元24；其中，所述数据搬运单元24连接所述上行传输通路21、下行传输通路22以及DSP处理单元23；
所述上行传输通路21，至少一路上行通道，用于对从外部获取的音频流进行单通道或多通道的上行传输；
所述下行传输通路21，包括：至少一路下行通道，用于对经所述DSP处理单元处理的音频流进行单通道或多通道的下行传输，以供向外部输出；
所述数据搬运单元24，用于将上行传输的音频流搬运至所述DSP处理单元23进行处理；和/或，将所述DSP处理单元23处理后的音频流搬运至下行传输通路21进行下行传输；
所述DSP处理单元23，用于基于音频算法，对输入的音频流进行处理，以供将处理后的音频流传输至主处理器或通过所述数据搬运单元24搬运至下行传输通路输出。
由于音频编解码器与上述实施例中所描述的内置DSP的音频编解码器的结构以及实现功能相同，因此在此不作赘述。
在一实施例中，所述上行通道包括：模数转换单元，用于将对应通道输入的模拟信号形式的音频流转换为数字音频流；第一数据匹配单元，连接所述模数转换单元，用于将转换的数字音频流进行第一数据匹配，获得经过第一数据匹配的音频流；其中，第一数据匹配的方式包括：采样率匹配方式以及信号位宽匹配方式；第一数据缓存单元，连接所述数据匹配单元，用于缓存经过第一数据匹配的音频流，以供数据搬运单元24将数据搬运至所述DSP处理单元23；
所述下行通道，包括：第二数据缓存单元，用于缓存来自所述数据搬运单元24的音频流；第二数据匹配单元，连接所述第二数据缓存单元，用于将音频流进行第二数据匹配，获得经过第二数据匹配的音频流；其中，第二数据匹配的方式包括：采样率匹配方式以及信号位宽匹配方式；数模转换单元，连接所述第二数据匹配单元，用于将经过第二数据匹配的音频流转换为模拟音频流，以供以声波信号形式通过对应通道输出至外部。
在一实施例中，所述DSP处理单元23包括：内部缓存单元以及与所述内部缓存单元连接的算法处理单元；内部缓存单元，用于储存来自数据搬运单元和/或主处理器的音频流，以供发送至算法处理单元进行处理；和/或储存由所述算法处理单元处理后的音频流，以供所述数据搬运单元将其搬运至下行传输通路输出；算法处理单元，用于基于音频算法，对来自所述内部缓存单元的音频流进行处理，将处理后的音频流发送至所述内部缓存单元进行储存。
在一实施例中，所述基于音频算法，对来自所述内部缓存单元的音频流进行处理包括：对输入的音频流进行短时傅里叶变换；将经过短时傅里叶变换的音频流进行语音活动检测以及噪声估计；对经过短时傅里叶变换的音频流进行噪声抑制；对经过噪声抑制的音频流进行自动增益控制；对自动增益控制后的音频流进行短时傅里叶反变换；基于同步输入的参考音频流，将经过短时傅里叶反变换的音频流进行回声消除，以供将经过回声消除后的音频流发送至所述内部缓存单元进行储存。
在一实施例中，将经过短时傅里叶变换的音频流进行语音活动检测以及噪声估计包括：根据经过短时傅里叶变换的音频流依次对每帧音频信号的语音活动检测以及噪声估计，以获得各帧音频信号所对应的语音存在概率以及噪声估计值；其中，对每帧音频信号的语音活动检测以及噪声估计的方式包括：将上一次计算获得的当前帧音频信号的噪声估计值进行迭代更新，并初次计算当前帧音频信号的语音存在概率；基于初次计算的当前帧音频信号的语音存在概率，计算下一帧当前帧音频信号的噪声估计值；二次计算当前帧音频信号的语音存在概率。
在一实施例中，对经过噪声抑制的音频流进行自动增益控制包括：根据经过噪声抑制的音频流计算瞬时幅度以及平均幅度；基于计算的平均幅度计算应用到对应音频流的增益数据；对计算增益数据进行平滑处理，并将平滑处理后的增益数据与经过噪声抑制的音频流结合，获得自动增益控制后的音频流。
在一实施例中，基于同步输入的参考音频流，将经过短时傅里叶反变换的音频流进行回声消除包括：对经过短时傅里叶反变换的音频流以及同步输入的参考音频流利用多频段分析滤波器组分别进行相同子带分解，以获得对应各子带的输入音频流子带数据以及参考音频流子带数据；根据各子带所对应的的输入音频流子带数据以及参考音频流子带数据对每个子带进行回声估计以及误差计算，并进行权重更新，以获得更新后的各子带；将更新后的各子带合成为完整的宽带信号，以获得经过回声消除后的音频流。
本发明与现有技术相比具有以下优势：
1、将DSP内置于音频编解码器中，释放主处理器的算力压力，使得主处理器将核的性能专注于提升主控性能，主处理器的选择范围扩大。
2、将DSP内置于音频编解码器中，无芯片间接口交互带宽约束，内部数据访问速度更快，效率更高，有益于提升部分算法性能。
3、将DSP内置于音频编解码器中，能合理的匹配音频编解码的设计，使得资源充分利用，不会损失性能。
4、由于算法已经基于DSP进行过特定优化，相比于将算法部署在主处理器上，整体的运算效率更高，部署成本更低。
5、搭配flash，为将来算法的扩展及更新留好了通道，增强音频算法的兼容性。
6、完整的算法流程设计及合理的整体逻辑顺序，使得每种音频算法获得最大的性能，总体音频效果得到最大的提升。
7、每个步骤的处理思路及流程，经过精心的设计和优化，以最小的算力达到最优的性能，节省DSP算力要求及系统功耗。
8、本发明支持通过PC软件连接，通过该连接可以直接配置或者修改相应音频算法的开启状态和运行参数。
综上所述，本发明的内置DSP及音频算法的音频编解码系统及音频编解码器，将DSP内置于音频编解码器中，基于音频算法对输入的音频流进行编码或解码处理。本发明将DSP内置于音频编解码器中，DSP与编解码器为单一芯片，因此外围器件少，系统成本低；并且释放主处理器的算力压力，使得主处理器将核的性能专注于提升主控性能，且算法已经基于DSP进行过特定优化，整体的运算效率高以及部署成本低；并且无芯片间接口交互带宽约束，内部数据访问速度更快，效率更高，有益于提升部分算法性能；另外，能合理的匹配音频编解码的设计，使得资源充分利用，不会损失性能。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种内置DSP及音频算法的音频编解码系统，其特征在于，所述系统包括：音频输入模块、内置DSP的音频编解码器、主处理器、数据接口、音频输出模块；
其中，内置DSP的音频编解码器分别与音频输入模块、主处理器、数据接口以及音频输出装置通信连接；
所述音频输入模块，用于从外部获取音频流；
所述内置DSP的音频编解码器，用于基于音频算法，对输入的音频流进行编码或解码处理；
所述主处理器，用于通过所述数据接口接收并处理经所述内置DSP的音频编解码器处理的音频流和/或将音频流输入至所述内置DSP的音频编解码器进行处理；
所述音频输出模块，用于将经所述内置DSP的音频编解码器处理的音频流以声波信号形式输出至外部。
2.根据权利要求1中所述的内置DSP及音频算法的音频编解码系统，其特征在于，所述内置DSP的音频编解码器包括：上行传输通路、下行传输通路、DSP处理单元以及数据搬运单元；
其中，所述上行传输通路包括：至少一路上行通道，用于通过上行通道对由所述音频输入模块从外部获取的音频流进行单通道或多通道的上行传输；
所述下行传输通路包括：至少一路下行通道，用于对经所述音频编解码器处理的音频流进行单通道或多通道的下行传输，以供由所述音频输出模块向外部输出；
数据搬运单元，连接所述上行传输通路、下行传输通路以及DSP处理单元，用于将上行传输的音频流搬运至所述DSP处理单元进行处理；和/或，将所述DSP处理单元处理后的音频流搬运至下行传输通路进行下行传输；
DSP处理单元，用于基于音频算法，对输入的音频流进行处理，以供通过数据接口将处理后的音频流传输至主处理器或通过所述数据搬运单元搬运至下行传输通路输出。
3.根据权利要求2中所述的内置DSP及音频算法的音频编解码系统，其特征在于，所述上行通道包括：
模数转换单元，用于将对应通道输入的模拟信号形式的音频流转换为数字音频流；
第一数据匹配单元，连接所述模数转换单元，用于将转换的数字音频流进行第一数据匹配，获得经过第一数据匹配的音频流；其中，第一数据匹配的方式包括：采样率匹配方式以及信号位宽匹配方式；
第一数据缓存单元，连接所述数据匹配单元，用于缓存经过第一数据匹配的音频流，以供数据搬运单元将数据搬运至所述DSP处理单元；
所述下行通道，包括：
第二数据缓存单元，用于缓存来自所述数据搬运单元的音频流；
第二数据匹配单元，连接所述第二数据缓存单元，用于将音频流进行第二数据匹配，获得经过第二数据匹配的音频流；其中，第二数据匹配的方式包括：采样率匹配方式以及信号位宽匹配方式；
数模转换单元，连接所述第二数据匹配单元，用于将经过第二数据匹配的音频流转换为模拟音频流，以供所述音频输出模块以声波信号形式通过对应通道输出至外部。
4.根据权利要求2中所述的内置DSP及音频算法的音频编解码系统，其特征在于，所述DSP处理单元包括：内部缓存单元以及与所述内部缓存单元连接的算法处理单元；
内部缓存单元，用于储存来自数据搬运单元和/或主处理器的音频流，以供发送至算法处理单元进行处理；和/或储存由所述算法处理单元处理后的音频流，以供所述数据搬运单元将其搬运至下行传输通路输出；
算法处理单元，用于基于音频算法，对来自所述内部缓存单元的音频流进行处理，并将处理后的音频流发送至所述内部缓存单元进行储存。
5.根据权利要求4中所述的内置DSP及音频算法的音频编解码系统，其特征在于，所述基于音频算法，对来自所述内部缓存单元的音频流进行处理包括：
对输入的音频流进行短时傅里叶变换；
将经过短时傅里叶变换的音频流进行语音活动检测以及噪声估计；
对经过短时傅里叶变换的音频流进行噪声抑制；
对经过噪声抑制的音频流进行自动增益控制；
对自动增益控制后的音频流进行短时傅里叶反变换；
基于同步输入的参考音频流，将经过短时傅里叶反变换的音频流进行回声消除，以供将经过回声消除后的音频流发送至所述内部缓存单元进行储存。
6.根据权利要求5中所述的内置DSP及音频算法的音频编解码系统，其特征在于，将经过短时傅里叶变换的音频流进行语音活动检测以及噪声估计包括：
根据经过短时傅里叶变换的音频流依次对每帧音频信号的语音活动检测以及噪声估计，以获得各帧音频信号所对应的语音存在概率以及噪声估计值；
其中，对每帧音频信号的语音活动检测以及噪声估计的方式包括：
将上一次计算获得的当前帧音频信号的噪声估计值进行迭代更新，并初次计算当前帧音频信号的语音存在概率；
基于初次计算的当前帧音频信号的语音存在概率，计算下一帧当前帧音频信号的噪声估计值；
二次计算当前帧音频信号的语音存在概率。
7.根据权利要求5中所述的内置DSP及音频算法的音频编解码系统，其特征在于，对经过噪声抑制的音频流进行自动增益控制包括：
根据经过噪声抑制的音频流计算瞬时幅度以及平均幅度；
基于计算的平均幅度计算应用到对应音频流的增益数据；
对计算增益数据进行平滑处理，并将平滑处理后的增益数据与经过噪声抑制的音频流结合，获得自动增益控制后的音频流。
8.根据权利要求5中所述的内置DSP及音频算法的音频编解码系统，其特征在于，基于同步输入的参考音频流，将经过短时傅里叶反变换的音频流进行回声消除包括：
对经过短时傅里叶反变换的音频流以及同步输入的参考音频流利用多频段分析滤波器组分别进行相同子带分解，以获得对应各子带的输入音频流子带数据以及参考音频流子带数据；
根据各子带所对应的的输入音频流子带数据以及参考音频流子带数据对每个子带进行回声估计以及误差计算，并进行权重更新，以获得更新后的各子带；
将更新后的各子带合成为完整的宽带信号，以获得经过回声消除后的音频流。
9.根据权利要求1中所述的内置DSP及音频算法的音频编解码系统，其特征在于，所述音频编解码系统还包括：
控制接口，用于所述主处理器向所述内置DSP的音频编解码器发送控制指令以及所述内置DSP的音频编解码器向所述主处理器实时反馈状态信息；
外部存储单元，连接所述内置DSP的音频编解码器。
10.一种音频编解码器，其特征在于，所述音频编解码器包括：上行传输通路、下行传输通路、DSP处理单元以及数据搬运单元；其中，所述数据搬运单元连接所述上行传输通路、下行传输通路以及DSP处理单元；
所述上行传输通路，用于对从外部获取的音频流进行单通道或多通道的上行传输；
所述下行传输通路，用于对经所述DSP处理单元处理的音频流进行单通道或多通道的下行传输，以供向外部输出；
所述数据搬运单元，用于将上行传输的音频流搬运至所述DSP处理单元进行处理；和/或，将所述DSP处理单元处理后的音频流搬运至下行传输通路进行下行传输；
所述DSP处理单元，用于基于音频算法，对输入的音频流进行处理，以供将处理后的音频流传输至所述主处理器或通过所述数据搬运单元搬运至下行传输通路输出。
CN202311259917.9A 2023-09-26 2023-09-26 内置dsp及音频算法的音频编解码系统及音频编解码器 Pending CN117351971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311259917.9A CN117351971A (zh) 2023-09-26 2023-09-26 内置dsp及音频算法的音频编解码系统及音频编解码器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311259917.9A CN117351971A (zh) 2023-09-26 2023-09-26 内置dsp及音频算法的音频编解码系统及音频编解码器

Publications (1)

Publication Number Publication Date
CN117351971A true CN117351971A (zh) 2024-01-05

Family

ID=89358615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311259917.9A Pending CN117351971A (zh) 2023-09-26 2023-09-26 内置dsp及音频算法的音频编解码系统及音频编解码器

Country Status (1)

Country Link
CN (1) CN117351971A (zh)

Similar Documents

Publication Publication Date Title
US10930298B2 (en) Multiple input multiple output (MIMO) audio signal processing for speech de-reverberation
JP5535198B2 (ja) 雑音抑圧装置
CN1719516B (zh) 自适应滤波装置以及自适应滤波方法
JP2010507105A (ja) 音声会議通信システムにおいて音響エコーをキャンセルするためのシステム及び方法
JP4611423B2 (ja) 低遅延エコーキャンセル動作用の方法とシステム
JP6545419B2 (ja) 音響信号処理装置、音響信号処理方法、及びハンズフリー通話装置
US20050096904A1 (en) Signal processing apparatus and mobile radio communication terminal
JP2014045507A (ja) 複数のマイクからの信号間で知的に選択することによって音質を改善すること
KR102317686B1 (ko) 잡음 환경에 적응적인 음성 신호 처리방법 및 장치
WO2006017993A1 (fr) Dispositif et procede d&#39;elimination de bruit de fond pour un terminal de communication orale
JP2009500938A (ja) 音響ビーム形成装置及び方法
US9318096B2 (en) Method and system for active noise cancellation based on remote noise measurement and supersonic transport
JP2008216720A (ja) 信号処理の方法、装置、及びプログラム
US10504530B2 (en) Switching between transforms
US9508359B2 (en) Acoustic echo preprocessing for speech enhancement
JP5130895B2 (ja) 音声処理装置、音声処理システム、音声処理プログラム及び音声処理方法
US20130066638A1 (en) Echo Cancelling-Codec
JP5887535B2 (ja) エコー消去装置、エコー消去方法、及び、通話装置
KR100842590B1 (ko) 이동 단말에서 음향 반향 제거 방법 및 장치
CN117351971A (zh) 内置dsp及音频算法的音频编解码系统及音频编解码器
EP2568619B1 (en) Echo cancelling-codec
CN112185404A (zh) 一种基于子带信噪比估计的低复杂度双端检测方法
WO2008086920A1 (en) Disturbance reduction in digital signal processing
CN117577123A (zh) 基于音频编解码器的回声消除装置及电子终端
CN115762554A (zh) 一种基于麦克风阵列的低功耗无线音频传输系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination