CN113613140A - 一种基于RISC v软核的音频降噪系统、方法及介质 - Google Patents

一种基于RISC v软核的音频降噪系统、方法及介质 Download PDF

Info

Publication number
CN113613140A
CN113613140A CN202110887738.4A CN202110887738A CN113613140A CN 113613140 A CN113613140 A CN 113613140A CN 202110887738 A CN202110887738 A CN 202110887738A CN 113613140 A CN113613140 A CN 113613140A
Authority
CN
China
Prior art keywords
audio
noise reduction
signal
risc
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110887738.4A
Other languages
English (en)
Other versions
CN113613140B (zh
Inventor
袁军
赵强
李军
孟祥胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110887738.4A priority Critical patent/CN113613140B/zh
Publication of CN113613140A publication Critical patent/CN113613140A/zh
Application granted granted Critical
Publication of CN113613140B publication Critical patent/CN113613140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
    • G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/128—Vehicles
    • G10K2210/1281—Aircraft, e.g. spacecraft, airplane or helicopter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/128—Vehicles
    • G10K2210/1282—Automobiles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/128—Vehicles
    • G10K2210/1283—Trains, trams or the like
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

本发明请求保护一种基于RISC v软核的音频降噪系统、方法及介质，属于集成电路技术领域，主要包括：RISC v处理器SOC、IIS音频传输接口电路、音频编解码WM8731模块、音频降噪FxLMS算法。其中RISC v处理器SOC与IIS音频传输接口电路相连接，IIS音频传输接口电路与音频编解码WM8731模块相连接，音频降噪FxLMS算法通过软件编程下载到RISC v处理器核内运行。创新点在于通过SOC技术集成音频传输专用的IIS接口电路，确保音频传输的稳定性；同时相比较ARM指令集架构的处理器而言，采用RISC v自定义指令的处理器能够对音频降噪系统进行专用的运算加速；同时相比较纯硬件实现方式的FxLMS算法而言，采用软硬件协同实现方式使算法更具备灵活性和可行性，并解决了纯硬件实现带来的颗粒度大的问题。

Description

一种基于RISC v软核的音频降噪系统、方法及介质
技术领域
本发明属于集成电路技术领域，具体涉及到一种基于RISC v软核的音频降噪系统、方法及介质。
背景技术
随着经济的发展和技术的不断进步，音频降噪系统的应用场景越来越多，例如车内降噪、燃气站内降噪、耳机降噪等。但是目前往往采取的还是物理隔绝噪声源等被动降噪的方式，采用主动降噪让声源信号叠加相消的方式往往具备硬件实现困难，改进的优良算法很难用FPGA进行硬件实现，因此采用软件实现方式将会使得改进的算法能够实现，这将会是解决音频降噪算法实现困难的一种重要手段。
同时，RISC v作为一种新兴的指令集架构，具备了开源和后发优势。针对嵌入式领域而言，采用这种指令集架构的软核能够自定义指令，针对算法中的乘积累加结构和卷积结构，能定制出专用的加速单元电路，实现音频降噪专用设计领域。随着国内对于RISC v指令集架构的热烈推崇，这样的专用领域SOC芯片设计将能得到更大的发展。
传统的降噪方式如提取多个噪声音频信号的幅度值角度值然后利用神经网络进行训练确定出一个纯净音频信号的复数谱，然后将得到的复数谱进行逆变换，最后根据这个逆变换去进行音频降噪。这样的方式往往不具备灵活性，针对不同的噪声源就需要进行重新训练，同时这样的方式也不具备采用软硬件协同处理的灵活性，因此本发明基于RISCv软核的音频降噪系统将为音频降噪提供一种新的方法。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于RISC v软核的音频降噪系统、方法及介质。以期能够实现算法的灵活可更改性，传输的稳定性，专用性强的音频降噪系统，本系统能够广泛用于汽车降噪、耳机降噪、高铁飞机降噪等声源降噪领域。本发明的技术方案如下：
一种基于RISC v软核的音频降噪系统，其包括：RISC v处理器SOC、IIS音频传输接口电路、音频编解码WM8731模块、音频降噪FxLMS算法，其中，
所述RISC v处理器SOC与IIS音频传输接口电路相连接，IIS音频传输接口电路与音频编解码WM8731模块相连接。音频降噪FxLMS算法则通过软件编程的方式下载到RISC v处理器核内进行运行。
所述RISC v处理器SOC包括E203_CORE、指令紧耦合存储器(ITCM)、数据紧耦合存储器(DTCM)、中断控制器(PLIC和CLINT)、系统存储总线、ROM只读存储器、片外Flash存储器、JTAG调试接口、协处理器接口、NICE_CORE、外设设备总线、UART串口、IIC接口及IIS接口组成；其中，E203_CORE为处理器核用于运行指令并按照顺序执行指令，同时根据指令内容控制相应的部件对数据信息进行处理，指令紧耦合存储器用于存储指令供处理器核获得指令字，数据紧耦合存储器用于存储数据供处理器核获得操作数，中断控制器中的CLINT则用于生成软件中断和计时器中断，PLIC则用于多个外部中断源的优先级仲裁和派发，系统存储总线用于处理器对存储器的访问，ROM只读存储器用于存储固化的软核文件，片外Flash存储器用于存储编译汇编后的C语言程序，JTAG调试接口用于在线调试，协处理器接口用于处理器核与协处理器核之间通信传输，NICE_CORE用于对处理器核中传来的数据进行加速处理，外设设备总线用于处理器核与各个外设接口之间的通信传输，UART串口用于把ADCDATA和DACDATA传输至上位机进行保存，便于用MATLAB对数据进行分析，IIC接口用于处理器核对音频编解码WM8731模块进行寄存器的配置，及IIS接口用于处理器核与音频编解码WM8731模块之间的通信传输。
通过片外Flash存储器保存C语言程序编译汇编链接之后产生的可执行文件，系统启动之后，首先蜂鸟E203核进行初始化，然后根据指令执行访问外设总线上的IIC接口电路，根据指令首先通过IIC接口配置音频编解码模块WM8731；通过参考麦克风采集声音信号和目标噪声叠加之后的声源信号，通过误差麦克风采集到残余噪声，将采集到的声源信号和残余噪声经过WM8731模块的音频数据接收端，通过模块其内置的ADC转换模块，将模拟信号转变成数字信号，之后通过一个模块内置的数字滤波器模块进行滤波处理，把滤波后的数字信号通过IIS接口电路传输到外设总线上；然后根据指令从外设总线上获取滤波后的数字信号并传输至E203_CORE内按照FxLMS算法的软件实现流程进行处理；之后又根据指令执行将处理之后的数字信号传输至外设总线，将经过降噪FxLMS算法处理之后的数字信号进行输出，再通过IIS外设接口电路传输至WM8731音频编解码模块中进行DAC转换，将处理之后的数字信号转变成模拟信号，通过音频数据发送端传输至次级声源得到反相噪声；最后得到的反相噪声与目标噪声干涉相消，从而进行音频的主动降噪实现音频降噪系统。
进一步的，所述IIS音频传输接口电路接收来自音频编解码模块采集处理之后的数字信号，并根据传输采样率和传输字节位数进行左右声道的传输，同时IIS音频传输接口电路还用于配置FIFO的宽度和深度，以满足对不同传输情况下的要求，并且也用于传输来自RISC v软核降噪处理之后的数字信号，使该数字信号能正确的传输回到音频编解码模块进行DAC处理并产生次级声源。
进一步的，所述音频编解码模块WM8731的内部设置有一个内置的ADC和一个DAC以及一个数字滤波器，通过MIC或者LINE传输采集模式，采集外部的待处理声源，经过其内置ADC进行模拟信号到数字信号的转变，然后将得到的数字信号经过内置数字滤波器进行滤波处理，得到输出数据ADCDATA，然后通过RISC v软核处理之后的数据DACDATA输入到音频编解码模块中的DAC，进行数字信号到模拟信号的转换，将转换之后的模拟信号通过MIC进行输出。
进一步的，在IIS音频传输接口电路中，来自音频编解码模块的ADCDATA作为接口电路传输的输入，来自RISC v软核处理之后的DACDATA作为接口电路传输的输出，同时该接口电路的位时钟信号来自RISC v软核中混合时钟管理单元电路mmcm-ip核生成的12.288MHZ的时钟，在采用256fs采样率和16bits单一声道传输的情况下，产生左右声道切换时钟信号为48KHZ的LRCK。
进一步的，所述音频降噪FxLMS算法模块，编写以C语言为描述语言，通过IDE软件进行编译汇编链接下载可执行文件到RISC v软核中，通过指令的执行以软件方式实现FxLMS音频降噪算法。
进一步的在音频降噪FxLMS算法的软件实现中，将待处理数字信号降噪处理后得到的数字信号，采用如下公式进行降噪处理：
y(n)＝y(n)+w(n)(k-2)x(n)
e(n)＝d(n)-ys(n)
d(n)＝p(n)*x(n)
ys(n)＝s(n)*y(n)
Figure BDA0003194818500000041
Figure BDA0003194818500000042
其中y(n)：次级声源、w(n)(k)：权值系数、x(n)：声源信号、e(n)：误差信号、d(n)：残余噪声、ys(n)：通过次级路径的次级声源、p(n)：声源信号到误差麦克风的参考信号、s(n)：次级声源到误差麦克风次级路径产生的信号、
Figure BDA0003194818500000043
声源信号的估计值，其中对步长因子的约束具体为：
Figure BDA0003194818500000044
其中μ：FxLMS算法的步长；λmax：自相关矩阵的特征值的最大值。
一种基于任一项所述系统的音频降噪方法，其包括以下步骤：
首先通过片外Flash存储器保存C语言程序编译汇编链接之后产生的可执行文件，系统启动之后，蜂鸟E203核进行初始化，根据指令执行访问外设总线上的IIC接口电路，根据指令通过IIC接口配置音频编解码模块WM8731；
其次，通过参考麦克风采集声音信号和目标噪声叠加之后的声源信号，通过误差麦克风采集到残余噪声，将采集到的声源信号和残余噪声经过WM8731模块的音频数据接收端，通过内置的ADC转换模块，将模拟信号转变成数字信号，通过WM8731模块内置的数字滤波器模块进行滤波处理，把数字信号通过IIS接口电路传输到外设总线上；
接着，从外设总线上获取滤波后的数字信号并传输至E203_CORE内按照FxLMS算法的软件实现流程进行处理；
然后又根据指令执行将处理之后的数字信号传输回外设总线，将经过降噪FxLMS算法处理之后的数字信号进行输出，再通过IIS外设接口电路传输至WM8731音频编解码模块中进行DAC转换，将处理之后的数字信号转变成模拟信号，通过音频数据发送端传输至次级声源得到反相噪声；
最后，反相噪声与目标噪声干涉相消，从而进行音频的主动降噪，实现音频降噪系统。
进一步的，对音频传输接口IIS外设接口电路的主时钟MCLK、音频传输位时钟SCLK、左右声道切换时钟LRCK进行分频管理，按照如下公式计算出相应时钟
SCLK＝2*fs*bits
LRCK＝fs
fs表示采样频率；bits表示传输字节数。
进一步的，所述硬件IIS接口电路，从IDLE状态进行接口使能和发送FIFO的非空状态的判断，如是则进入到START状态，在ws_f1_edge下进入WAIT1状态，判断位时钟的跳变沿和接口使能以及发送FIFO的非空状态的判断，如是则进入到左声道信号的发送，每个时钟沿进行重复传送，只到进入跳变沿则进行右声道信号的等待发送状态，重复如左声道状态一样的步骤即可保证传输左声道到右声道的传输过程的正确性。
一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述的音频降噪方法。
本发明的优点及有益效果如下：
1、本发明采用RISC v软核SOC，具有高度的可配置性，能够根据功能的不同需求进行配置不同的外设接口电路，同时删减掉电路中使用不到的一些接口外设，减少资源的浪费。
2、本发明采用RISC v指令集架构，能够根据算法中的运算关键步骤，自行定义指令，然后采用内联汇编的格式，进行硬件加速单元的设计，给特定运算关键步骤进行加速。使算法的运算速度更快，同时也能够更好的减少指令数和执行周期数。
3、本发明采用硬件IIS接口电路，能够稳定传输音频信号，并且可配置的FIFO宽度和深度以及时钟单元等，可以满足不同的采样率和采样字节数的选择，其适用范围更加广阔。
4、本发明采用软件方式实现FxLMS算法，利用雅可比公式求出矩阵的最大特征值，然后求倒数得到步长因子。相比纯硬件实现方式而言，软件实现更具有可行性，没有硬件实现那么困难，同时软件实现具有更好的灵活性，在RISC v指令集体系下还可以利用硬件加速单元对其进行部分加速，采用软硬件协同的处理方式，将硬件和软件开发的优势都汇聚到一起。
附图说明
图1是本发明提供优选实施例音频降噪系统架构图；
图2为IIS接口电路时钟管理单元；
图3为IIS接口电路控制状态转移图；
图4为APB_IIS电路结构示意图；
图5为FxLMS算法的硬件模型结构图；
图6为FxLMS算法的C语言实现流程图；
图7为逻辑分析仪抓取接口信号时序图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
本发明设计的一种基于RISC v软核的音频降噪系统的设计与实现，如附图1所示，其结构包括：RISC v处理器SOC、IIS音频传输接口、音频编解码WM8731模块、音频降噪FxLMS算法的软件实现；其中：
RISC v处理器SOC，由E203_CORE、指令紧耦合存储器(ITCM)、数据紧耦合存储器(DTCM)、中断控制器(PLIC和CLINT)、系统存储总线、ROM只读存储器、片外Flash存储器、JTAG调试接口、协处理器接口、NICE_CORE、外设设备总线、UART串口、IIC接口及IIS接口组成；其中，通过片外Flash存储器保存C语言程序编译汇编链接之后产生的可执行文件，系统启动之后，首先蜂鸟E203核进行初始化，然后根据指令执行访问外设总线上的IIC接口电路，根据指令首先通过IIC接口配置音频编解码模块WM8731；通过参考麦克风采集声音信号和目标噪声叠加之后的声源信号，通过误差麦克风采集到残余噪声，将采集到的声源信号和残余噪声经过WM8731模块的音频数据接收端，通过模块其内置的ADC转换模块，将模拟信号转变成数字信号，之后通过一个模块内置的数字滤波器模块进行滤波处理，把滤波后的数字信号通过IIS接口电路传输到外设总线上；然后根据指令从外设总线上获取滤波后的数字信号并传输至E203_CORE内按照FxLMS算法的软件实现流程进行处理；之后又根据指令执行将处理之后的数字信号传输至外设总线，将经过降噪FxLMS算法处理之后的数字信号进行输出，再通过IIS外设接口电路传输至WM8731音频编解码模块中进行DAC转换，将处理之后的数字信号转变成模拟信号，通过音频数据发送端传输至次级声源得到反相噪声；最后得到的反相噪声与目标噪声干涉相消，从而进行音频的主动降噪实现音频降噪系统。
本发明为了更好的控制音频传输的稳定性，和随时可以调节的采样率和传输字节数等音频传输格式，采用了如附图2的时间管理单元，对IIS接口模块的主时钟(MCLK)，音频传输位时钟(SCLK)，左右声道切换时钟(LRCK)等进行分频管理，按照如下公式可计算出相应时钟
SCLK＝2*fs*bits
LRCK＝fs
本发明还设计了硬件IIS接口电路，如附图3所示为其控制模块的状态转移图，从IDLE状态进行接口使能和发送FIFO的非空状态的判断，如是则进入到START状态，在ws_f1_edge下进入WAIT1状态，判断位时钟的跳变沿和接口使能以及发送FIFO的非空状态的判断，如是则进入到左声道信号的发送，每个时钟沿进行重复传送，只到进入跳变沿则进行右声道信号的等待发送状态，重复如左声道状态一样的步骤即可保证传输左声道到右声道的传输过程的正确性。如附图4所示，则是APB_IIS电路结构和各个模块的分布情况。分别是IIS的发送、接收控制模块和FIFO缓存等部分，以及APB接口转换部分模块还有IIS接口部分模块所组成。
本发明分析了典型FxLMS算法的硬件模型如附图5所示，输入序列经过延迟器之后与权值系数进行乘积之后累加得到输出序列，同时权值系数进入LMS之后进行权值系数的更新迭代，多次重复这个步骤将输入序列进行多次更新得到降噪算法处理之后的序列，同时通过FxLMS算法的硬件模型，能够提取出如下运算公式：
y(n)＝y(n)+w(n)(k-2)x(n)
e(n)＝d(n)-ys(n)
d(n)＝p(n)*x(n)
ys(n)＝s(n)*y(n)
Figure BDA0003194818500000081
Figure BDA0003194818500000082
之后对公式进行如附图6所示的C语言程序编写，同时针对算法中的特定运算部分加入我们特定的硬件加速单元电路，针对数字滤波器部分加入卷积运算单元，针对权值系数更新的部分加入乘积累加电路进行运算的加速，以此体现出RISC v指令集架构的优势。
最后如附图7所示，是采用逻辑分析器通过抓取IIS音频传输接口电路的各个输出接口的时序图，可以知道本发明设计的一种基于RISC v软核的音频降噪系统的设计与实现，具有很好的数据传输稳定性，同时也能够极大程度的节省硬件资源并且能够实现较为复杂的音频降噪算法的同时保证其运算效率等各个方面的优异性能。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种基于RISC v软核的音频降噪系统，其特征在于，包括：RISC v处理器SOC、IIS音频传输接口电路、音频编解码WM8731模块、音频降噪FxLMS算法，其中，
所述RISC v处理器SOC与IIS音频传输接口电路相连接，IIS音频传输接口电路与音频编解码WM8731模块相连接，音频降噪FxLMS算法则通过软件编程的方式下载到RISC v处理器核内进行运行；
所述RISC v处理器SOC包括E203_CORE、指令紧耦合存储器(ITCM)、数据紧耦合存储器(DTCM)、中断控制器(PLIC和CLINT)、系统存储总线、ROM只读存储器、片外Flash存储器、JTAG调试接口、协处理器接口、NICE_CORE、外设设备总线、UART串口、IIC接口及IIS接口组成；其中，E203_CORE为处理器核用于运行指令并按照顺序执行指令，同时根据指令内容控制相应的部件对数据信息进行处理，指令紧耦合存储器用于存储指令供处理器核获得指令字，数据紧耦合存储器用于存储数据供处理器核获得操作数，中断控制器中的CLINT则用于生成软件中断和计时器中断，PLIC则用于多个外部中断源的优先级仲裁和派发，系统存储总线用于处理器对存储器的访问，ROM只读存储器用于存储固化的软核文件，片外Flash存储器用于存储编译汇编后的C语言程序，JTAG调试接口用于在线调试，协处理器接口用于处理器核与协处理器核之间通信传输，NICE_CORE用于对处理器核中传来的数据进行加速处理，外设设备总线用于处理器核与各个外设接口之间的通信传输，UART串口用于把ADCDATA和DACDATA传输至上位机进行保存，便于用MATLAB对数据进行分析，IIC接口用于处理器核对音频编解码WM8731模块进行寄存器的配置，及IIS接口用于处理器核与音频编解码WM8731模块之间的通信传输；
通过片外Flash存储器保存C语言程序编译汇编链接之后产生的可执行文件，系统启动之后，首先蜂鸟E203核进行初始化，然后根据指令执行访问外设总线上的IIC接口电路，根据指令首先通过IIC接口配置音频编解码模块WM8731；通过参考麦克风采集声音信号和目标噪声叠加之后的声源信号，通过误差麦克风采集到残余噪声，将采集到的声源信号和残余噪声经过WM8731模块的音频数据接收端，通过模块其内置的ADC转换模块，将模拟信号转变成数字信号，之后通过一个模块内置的数字滤波器模块进行滤波处理，把滤波后的数字信号通过IIS接口电路传输到外设总线上；然后根据指令从外设总线上获取滤波后的数字信号并传输至E203_CORE内按照FxLMS算法的软件实现流程进行处理；之后又根据指令执行将处理之后的数字信号传输至外设总线，将经过降噪FxLMS算法处理之后的数字信号进行输出，再通过IIS外设接口电路传输至WM8731音频编解码模块中进行DAC转换，将处理之后的数字信号转变成模拟信号，通过音频数据发送端传输至次级声源得到反相噪声；最后得到的反相噪声与目标噪声干涉相消，从而进行音频的主动降噪实现音频降噪系统。
2.根据权利要求1所述的一种基于RISC v软核的音频降噪系统，其特征在于，所述IIS音频传输接口电路接收来自音频编解码模块采集处理之后的数字信号，并根据传输采样率和传输字节位数进行左右声道的传输，同时IIS音频传输接口电路还用于配置FIFO的宽度和深度，以满足对不同传输情况下的要求，并且也用于传输来自RISC v软核降噪处理之后的数字信号，使该数字信号能正确的传输至音频编解码模块进行DAC处理并产生次级声源。
3.根据权利要求2所述的一种基于RISC v软核的音频降噪系统，其特征在于，所述音频编解码模块WM8731的内部设置有一个内置的ADC和一个DAC以及一个数字滤波器，通过MIC或者LINE传输采集模式，采集外部的待处理声源，经过其内置ADC进行模拟信号到数字信号的转变，然后将得到的数字信号经过内置数字滤波器进行滤波处理，得到输出数据ADCDATA，然后通过RISC v软核处理之后的数据DACDATA输入到音频编解码模块中的DAC，进行数字信号到模拟信号的转换，将转换之后的模拟信号通过MIC进行输出。
4.根据权利要求3所述的一种基于RISC v软核的音频降噪系统，其特征在于，在IIS音频传输接口电路中，来自音频编解码模块的ADCDATA作为接口电路传输的输入，来自RISC v软核处理之后的DACDATA作为接口电路传
输的输出，同时该接口电路的位时钟信号来自RISC v软核中混合时钟管理单元电路mmcm-ip核生成的12.288MHZ的时钟，在采用256fs采样率和16bits单一声道传输的情况下，产生左右声道切换时钟信号为48KHZ的LRCK。
5.根据权利要求1所述的一种基于RISC v软核的音频降噪系统，其特征在于，所述音频降噪FxLMS算法，编写以C语言为描述语言，通过IDE软件进行编译汇编链接下载可执行文件到RISC v软核中，通过指令的执行以软件方式实现FxLMS音频降噪算法。
6.根据权利要求5所述的一种基于RISC v软核的音频降噪系统，其特征在于，在音频降噪FxLMS算法的软件实现中，将待处理数字信号降噪处理后得到的数字信号，采用如下公式进行降噪处理：
y(n)＝y(n)+w(n)(k-2)x(n)
e(n)＝d(n)-ys(n)
d(n)＝p(n)*x(n)
ys(n)＝s(n)*y(n)
Figure FDA0003194818490000031
Figure FDA0003194818490000032
其中y(n)：次级声源、w(n)(k)：权值系数、x(n)：声源信号、e(n)：误差信号、d(n)：残余噪声、ys(n)：通过次级路径的次级声源、p(n)：声源信号到误差麦克风的参考信号、s(n)：次级声源到误差麦克风次级路径产生的信号、
Figure FDA0003194818490000033
声源信号的估计值，其中对步长因子的约束具体为：
Figure FDA0003194818490000034
其中μ：FxLMS算法的步长；λmax：自相关矩阵的特征值的最大值。
7.一种基于权利要求1-6任一项所述系统的音频降噪方法，其特征在于，包括以下步骤：
首先通过片外Flash存储器保存C语言程序编译汇编链接之后产生的可执行文件，系统启动之后，蜂鸟E203核进行初始化，根据指令执行访问外设总线上的IIC接口电路，根据指令通过IIC接口配置音频编解码模块WM8731；
其次，通过参考麦克风采集声音信号和目标噪声叠加之后的声源信号，通过误差麦克风采集到残余噪声，将采集到的声源信号和残余噪声经过WM8731模块的音频数据接收端，通过内置的ADC转换模块，将模拟信号转变成数字信号，通过WM8731模块内置的数字滤波器模块进行滤波处理，把数字信号通过IIS接口电路传输到外设总线上；
接着，从外设总线上获取滤波后的数字信号并传输至E203_CORE内按照FxLMS算法的软件实现流程进行处理；
然后又根据指令执行将处理之后的数字信号传输回外设总线，将经过降噪FxLMS算法处理之后的数字信号进行输出，再通过IIS外设接口电路传输至WM8731音频编解码模块中进行DAC转换，将处理之后的数字信号转变成模拟信号，通过音频数据发送端传输至次级声源得到反相噪声；
最后，反相噪声与目标噪声干涉相消，从而进行音频的主动降噪，实现音频降噪系统。
8.根据权利要求7所述的音频降噪方法，其特征在于，对音频传输接口IIS外设接口电路的主时钟MCLK、音频传输位时钟SCLK、左右声道切换时钟LRCK进行分频管理，按照如下公式计算出相应时钟
SCLK＝2*fs*bits
LRCK＝fs
fs表示采样频率；bits表示传输字节数。
9.根据权利要求8所述的音频降噪方法，其特征在于，所述硬件IIS接口电路，从IDLE状态进行接口使能和发送FIFO的非空状态的判断，如是则进入到START状态，在ws_f1_edge下进入WAIT1状态，判断位时钟的跳变沿和接口使能以及发送FIFO的非空状态的判断，如是则进入到左声道信号的发送，每个时钟沿进行重复传送，只到进入跳变沿则进行右声道信号的等待发送状态，重复如左声道状态一样的步骤即可保证传输左声道到右声道的传输过程的正确性。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求7-9任一项所述的音频降噪方法。
CN202110887738.4A 2021-08-03 2021-08-03 一种基于RISC v软核的音频降噪系统、方法及介质 Active CN113613140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110887738.4A CN113613140B (zh) 2021-08-03 2021-08-03 一种基于RISC v软核的音频降噪系统、方法及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110887738.4A CN113613140B (zh) 2021-08-03 2021-08-03 一种基于RISC v软核的音频降噪系统、方法及介质

Publications (2)

Publication Number Publication Date
CN113613140A true CN113613140A (zh) 2021-11-05
CN113613140B CN113613140B (zh) 2022-10-18

Family

ID=78306633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110887738.4A Active CN113613140B (zh) 2021-08-03 2021-08-03 一种基于RISC v软核的音频降噪系统、方法及介质

Country Status (1)

Country Link
CN (1) CN113613140B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117198303A (zh) * 2023-08-28 2023-12-08 瑶芯微电子科技(上海)有限公司 一种音频编解码器及音频编解码系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110087135A1 (en) * 2009-10-09 2011-04-14 Ferzli George S Stethoscope, stethoscope attachment and collected data analysis method and system
US20120177213A1 (en) * 2011-01-06 2012-07-12 Laurent Le Faucheur Active noise-cancellation feedback signal transmission
US20160379661A1 (en) * 2015-06-26 2016-12-29 Intel IP Corporation Noise reduction for electronic devices
CN106295404A (zh) * 2015-06-17 2017-01-04 北京虎符科技有限公司 基于安全内核的一体化soc芯片
CN110010116A (zh) * 2018-11-23 2019-07-12 重庆邮电大学 一种基于动量FxLMS算法的主动噪声控制系统
CN209525609U (zh) * 2019-04-12 2019-10-22 无锡瑞芯微电子科技有限公司 一种基于risc-v的微型控制装置
CN111199607A (zh) * 2020-01-09 2020-05-26 深圳矽速科技有限公司 一种支持WiFi通信的高性能人脸识别装置
US10687145B1 (en) * 2019-07-10 2020-06-16 Jeffery R. Campbell Theater noise canceling headphones
CN111627415A (zh) * 2020-04-28 2020-09-04 重庆邮电大学 一种基于自适应MFxLMS算法的主动降噪装置及FPGA实现
CN211981910U (zh) * 2020-06-18 2020-11-20 沃联高科(武汉)智能科技有限公司 基于riscv架构的物联网控制模组及物联网系统
CN112861640A (zh) * 2021-01-15 2021-05-28 复旦大学 一种面向智能终端领域的动态手势识别硬件加速器

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110087135A1 (en) * 2009-10-09 2011-04-14 Ferzli George S Stethoscope, stethoscope attachment and collected data analysis method and system
US20120177213A1 (en) * 2011-01-06 2012-07-12 Laurent Le Faucheur Active noise-cancellation feedback signal transmission
CN106295404A (zh) * 2015-06-17 2017-01-04 北京虎符科技有限公司 基于安全内核的一体化soc芯片
US20160379661A1 (en) * 2015-06-26 2016-12-29 Intel IP Corporation Noise reduction for electronic devices
CN110010116A (zh) * 2018-11-23 2019-07-12 重庆邮电大学 一种基于动量FxLMS算法的主动噪声控制系统
CN209525609U (zh) * 2019-04-12 2019-10-22 无锡瑞芯微电子科技有限公司 一种基于risc-v的微型控制装置
US10687145B1 (en) * 2019-07-10 2020-06-16 Jeffery R. Campbell Theater noise canceling headphones
CN111199607A (zh) * 2020-01-09 2020-05-26 深圳矽速科技有限公司 一种支持WiFi通信的高性能人脸识别装置
CN111627415A (zh) * 2020-04-28 2020-09-04 重庆邮电大学 一种基于自适应MFxLMS算法的主动降噪装置及FPGA实现
CN211981910U (zh) * 2020-06-18 2020-11-20 沃联高科(武汉)智能科技有限公司 基于riscv架构的物联网控制模组及物联网系统
CN112861640A (zh) * 2021-01-15 2021-05-28 复旦大学 一种面向智能终端领域的动态手势识别硬件加速器

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
B. Y. LEI: "Optimization of AVS Audio Decoder Implemented on RISC Core", 《2008 INTERNATIONAL CONFERENCE ON COMPUTER AND ELECTRICAL ENGINEERING》 *
Y. HIRATANI: "A noise-robust echo canceller on V830 multimedia RISC processor integrated into a car navigation system", 《PROCEEDINGS OF THE 1998 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING, ICASSP "98》 *
李其高: "面向IoT终端设备的RISC-V微控制器设计与分析", 《单片机与嵌入式系统应用》 *
袁军: "基于动量LMS算法的变步长次级路径在线建模ANC系统", 《自动化与仪表》 *
邓天传等: "一种超低功耗的RISC-V处理器流水线结构", 《电子技术应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117198303A (zh) * 2023-08-28 2023-12-08 瑶芯微电子科技(上海)有限公司 一种音频编解码器及音频编解码系统

Also Published As

Publication number Publication date
CN113613140B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
US20200134417A1 (en) Configurable processor element arrays for implementing convolutional neural networks
CN113436643B (zh) 语音增强模型的训练及应用方法、装置、设备及存储介质
CN105556860A (zh) 用于非线性数字自干扰消除的系统以及方法
CN113851103A (zh) 基于RISC v自定义指令集拓展的音频降噪加速器系统、方法
Doboli et al. Behavioral modeling for high-level synthesis of analog and mixed-signal systems from VHDL-AMS
CN103262570A (zh) 自适应噪声消除
CN113613140B (zh) 一种基于RISC v软核的音频降噪系统、方法及介质
JP2004500650A (ja) デジタル信号処理の設計、モデル化あるいは実行を行うためのソフトウェア
CN109885657A (zh) 一种文本相似度的计算方法、装置及存储介质
CN113223545A (zh) 一种语音降噪方法、装置、终端及存储介质
Diouri et al. Comparison study of hardware architectures performance between FPGA and DSP processors for implementing digital signal processing algorithms: Application of FIR digital filter
CN109379652B (zh) 一种耳机有源噪声控制的次级通道离线辨识方法
WO2017000772A1 (zh) 一种前端音频处理系统
CN206224997U (zh) 一种语音识别Soc芯片架构
CN112669819A (zh) 基于不重叠分帧和串行fft的极低功耗语音特征提取电路
Zubkov et al. Features of the Digital Filters Implementation on STM32 Microcontrollers
Vitolo et al. A new NN-based approach to in-sensor PDM-to-PCM conversion for ultra TinyML KWS
CN109558226A (zh) 一种基于核间中断的dsp多核并行计算调度方法
Vitolo et al. Quantized ID-CNN for a low-power PDM-to-PCM conversion in TinyML KWS applications
CN112669805B (zh) 一种基于方程误差算法的燃气站内压缩机有源噪声控制系统
Al-Dulaimi et al. Design and Implementation of Communication Digital FIR Filter for Audio Signals on the FPGA Platform.
CN101641732B (zh) 乐器数字接口硬件指令集
CN112491391A (zh) 一种音频dac的插值滤波器实现结构
CN115116471B (zh) 音频信号处理方法和装置、训练方法、设备及介质
CN114428761A (zh) 一种基于fpga的神经网络编曲方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant