CN101425152A - 一种基于变学习率神经网络的fir滤波器的设计方法 - Google Patents

Abstract

本发明公开了一种基于变学习率神经网络的FIR滤波器的设计方法，该方法在三角基函数神经网络训练过程中引入变学习率算法自调整学习率的取值，提高神经网络的学习效率和收敛速度。根据三角基函数神经网络与线性相位4型FIR滤波器幅频特性之间的关系，构建了相应的神经网络模型。通过训练神经网络的权值，使FIR线性相位滤波器幅频响应与理想幅频响应在整个通带和阻带内的误差平方和最小。利用该方法对FIR高通滤波器和带通滤波器进行了优化设计，结果表明了该方法设计FIR滤波器的有效性和优越性。所设计出的FIR滤波器，具有收敛速度快、幅频响应通带无过冲和波动的特点，而且它的幅频过渡带窄和阻带衰耗大。

Description

一种基于变学习率神经网络的FIR滤波器的设计方法

技术领域

本发明属于电子科学与通讯技术领域，涉及一种有限冲击响应(FIR)滤波器设计方法，特别涉及一种基于变学习率神经网络的FIR滤波器的设计方法。

背景技术

有限冲击响应(FIR)滤波器具有严格的线性相位特性，而无限冲击响应(IIR)滤波器的相位是非线性的，所以设计线性相位IIR滤波器时需要全通网络进行相位校正，因此，在对信号相位要求严格的图形处理以及数据传输等领域，FIR滤波器比IIR滤波器有更广泛的工程实际应用，其设计和实现方法也受到学术界的广泛关注。FIR滤波器设计的常用方法是窗函数加权法和频率采样法，但这两种方法均存在对通带和阻带边界频率与波动不易控制的缺陷，在实际应用中受到很大的限制，为此国内外学者提出了一些优化设计算法，如线性规划算法、加权最小二乘(WLS)法和递推二乘(RLS)算法等，但这些算法中存在复杂的求逆运算或收敛速度慢和阻带衰耗小等缺点。公开报道的神经网络优化算法，利用神经网络很强的函数逼近能力，实现线性相位滤波器幅频响应与理想幅频响应在整个通带和阻带内的误差平方和最小，由该方法设计的滤波器具有良好的通带和阻带特性，易于实现对各种滤波器的优化设计，但在保证神经网络收敛的学习率取值范围内，其学习率的取值是固定不变的，且通常是凭经验或试算法来确定的，然而学习率的大小将直接影响神经网络权值的修正和收敛速度，因而通常的定学习率的神经网络优化FIR滤波器设计方法存在收敛速度慢、难以达到设计快速、结构最优等目的。

发明内容

本发明所要解决的技术问题是提供一种基于变学习率神经网络的FIR滤波器的设计方法，以克服现有的固定学习率神经网络的FIR滤波器所具有的收敛速度慢的缺点。

本发明的技术解决方案如下：

一种基于变学习率神经网络的FIR滤波器的设计方法，其特征在于，构造三角基函数神经网络，该三角基函数神经网络的输入为ω，输出为H(ω)，输入层和输出层各有一个神经元，隐含层有l个神经元，隐层神经元的激励函数φ₁(ω)，φ₂(ω)，…，φ_l(ω)分别为：

${\mathrm{\φ}}_1\left(\mathrm{\ω}\right)=\sin \left(\frac{\mathrm{\ω}}{2}\right),$ ${\mathrm{\φ}}_2\left(\mathrm{\ω}\right)=\sin \left(\frac{3\mathrm{\ω}}{2}\right),\·\·\·,$ ${\mathrm{\φ}}_l\left(\mathrm{\ω}\right)=\sin \left[(l-\frac{1}{2})\mathrm{\ω}\right],l=\mathrm{1,2},\·\·\·,\frac{N}{2},$ ω∈[0，π]；

输入层神经元与隐层神经元之间的网络权值为1，隐含层神经元与输出层神经元之间的网络权值为w_n，其中n＝1，2，…，l，l＝N/2，N为待设计滤波器的长度；通过训练三角基函数神经网络的权值w_n，使FIR滤波器幅频响应与理想幅频响应在整个通带和阻带内的误差平方和最小；三角基函数神经网络训练过程中自调整学习率的取值，以提高神经网络的学习效率和收敛速度。

所述的三角基函数神经网络训练过程中的权值调整为：

$\mathrm{\ΔW}=-\mathrm{\α}\frac{\∂J}{\∂W}\·\frac{\∂e\left(t\right)}{\∂H\left({\mathrm{\ω}}_t\right)}\·\frac{\∂H\left({\mathrm{\ω}}_t\right)}{\∂W}=\mathrm{\αe}\left(t\right)\mathrm{\Φ}\left(\mathrm{\ω}\right);$

W(t+1)＝W(t)+ΔW＝W(t)+αe(t)Φ(ω_t)；

式中ΔW为权值变化量，α为学习率， $0<\mathrm{\&alpha;}<\frac{2}{l};$ J为目标函数，W即W(t)为神经网络权值，W＝[w₁，w₂，…，w_l]^T；e(t)为误差，激励函数向量Φ(ω)＝[φ₁(ω)，φ₂(ω)，…，φ_l(ω)]^T，W(t+1)为t+1时刻的神经网络权值；

所述的三角基函数神经网络训练过程中引入学习率α来调整神经网络权值，即目标函数J为α的函数，J(α)＝J[W(t+1)+αΔW]，将J(α)对α求导可得：

$J\&prime;\left(\mathrm{\&alpha;}\right)=\frac{\mathrm{dJ}}{d[W\left(t\right)+\mathrm{\&alpha;\&Delta;W}]}\&CenterDot;\frac{d[W\left(t\right)+\mathrm{\&alpha;\&Delta;W}]}{\mathrm{d\&alpha;}}=\frac{\mathrm{dJ}}{d[W\left(t\right)+\mathrm{\&alpha;\&Delta;W}]}\&CenterDot;\mathrm{\&Delta;W},;$

所述的自调整学习率的方法如下：

1)初始化α＝0，k＝1，给定任意小的正实数ε；

2)计算δ＝α+0.001k；

3)计算J′(δ)，若J′(δ)＝0，则α_k＝δ，算法终止；若J′(δ)<0，则k＝2k，α＝δ，返回2)；若J′(δ)>0，则执行4)；

4)计算

若 $J\&prime;\left(\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2}\right)=0,$ 则 ${\mathrm{\&alpha;}}_k=\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2},$ 算法终止；若 $J^{,}\left(\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2}\right)<0,$ 则 $\mathrm{\&alpha;}=\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2},$ 返回2)；若 $J\&prime;\left(\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2}\right)>0,$ 则 $\mathrm{\&delta;}=\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2},$ 执行5)；

5)若|α-δ|<ε，则 ${\mathrm{\&alpha;}}_k=\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2},$ 算法结束；否则，返回4)执行。

所述的FIR滤波器为4型FIR滤波器。

有益效果：

本发明利用该方法对FIR高通滤波器和带通滤波器进行了优化设计，主要特征是在三角基函数神经网络训练过程中引入变学习率算法自调整学习率的取值，提高神经网络的学习效率和收敛速度。仿真结果(见附图以及实施例中的表格)表明了该方法设计FIR滤波器的有效性和优越性。所设计出的FIR滤波器，具有收敛速度快、幅频响应通带无过冲和波动的特点，而且它的幅频过渡带窄和阻带衰耗大。本发明为FIR线性相位滤波器的设计提供了一种有效的方法。

附图说明

图1三角基函数神经网络结构示意图；

图2FIR高通滤波器脉冲响应、幅频响应和衰耗特性；(a为脉冲响应；b为最优学习率时的幅频响应；c为非最优学习率(α＝0.001)时的幅频响应；d为最优学习率时的衰耗特性；e为非最优学习率(α＝0.001)时的衰耗特性)

图3FIR带通滤波器脉冲响应、幅频响应和衰耗特性。(a为脉冲响应；b为最优学习率时的幅频响应；c为非最优学习率(α＝0.004)时的幅频响应；d为最优学习率时的衰耗特性；e为非最优学习率(α＝0.004)时的衰耗特性)

具体实施方式

下面实例是对本发明的进一步说明，而不是限制发明的范围：

1.三角基函数神经网络

本发明所采用的三角基函数神经网络模型如图1所示，其中三角基函数取正弦基函数，隐层神经元的激励函数φ₁(ω)，φ₂(ω)，…，φ_l(ω)分别为：

${\mathrm{\&phi;}}_1\left(\mathrm{\&omega;}\right)=\sin \left(\frac{\mathrm{\&omega;}}{2}\right),{\mathrm{\&phi;}}_2\left(\mathrm{\&omega;}\right)=\sin \left(\frac{3\mathrm{\&omega;}}{2}\right),\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&phi;}}_1\left(\mathrm{\&omega;}\right)=\sin \left[(l-\frac{1}{2})\mathrm{\&omega;}\right],l=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,\frac{N}{2},\mathrm{\&omega;}\&Element;[0,\mathrm{\&pi;}]---\left(1\right)$

输入层神经元与隐层神经元之间的网络权值为1，隐层神经元与输出层神经元之间的网络权值为w_n，其中n＝1，2，…，l，l＝N/2，N为待设计滤波器的长度，l为隐含层神经元个数。

神经网络输出函数为：

$H\left(\mathrm{\&omega;}\right)=\underset{n=1}{\overset{l}{\mathrm{\&Sigma;}}}{w}_n\sin \left[(n-\frac{1}{2})\mathrm{\&omega;}\right]---\left(2\right)$

令W＝[w₁，w₂，…，w_l]^T，Φ(ω)＝[φ₁(ω)，φ₂(ω)，…，φ_l(ω)]^T，则式(2)的矩阵形式为：

$H\left(\mathrm{\&omega;}\right)=\underset{n=1}{\overset{l}{\mathrm{\&Sigma;}}}{w}_n{\mathrm{\&phi;}}_n\left(\mathrm{\&omega;}\right)=W^T\&CenterDot;\mathrm{\&Phi;}\left(\mathrm{\&omega;}\right)---\left(3\right)$

误差函数为：e(t)＝H_o(ω_t)-H(ω_t)        (4)

式中t＝0，1，2，…m-1，m为训练样本数，H_o(ω_t)为理想输出值，即给定的待设计滤波器的幅频响应特性，，H(ω_t)为神经网络实际输出值，目标函数定义为：

$J=\frac{1}{2}\underset{t=0}{\overset{m-1}{\mathrm{\&Sigma;}}}{[H_o\left({\mathrm{\&omega;}}_t\right)-H\left({\mathrm{\&omega;}}_t\right)]}^2=\frac{1}{2}\underset{t=0}{\overset{m-1}{\mathrm{\&Sigma;}}}{\left[e\left(t\right)\right]}^2---\left(5\right)$

神经网络训练过程中的权值调整为：

$\mathrm{\&Delta;W}=-\mathrm{\&alpha;}\frac{\&PartialD;J}{\&PartialD;W}\&CenterDot;\frac{\&PartialD;e\left(t\right)}{\&PartialD;H\left({\mathrm{\&omega;}}_t\right)}\&CenterDot;\frac{\&PartialD;H\left({\mathrm{\&omega;}}_t\right)}{\&PartialD;W}=\mathrm{\&alpha;e}\left(t\right)\mathrm{\&Phi;}\left(\mathrm{\&omega;}\right)---\left(6\right)$

W(t+1)＝W(t)+ΔW＝W(t)+αe(t)Φ(ω_t)      (7)

上式中α为学习率，α∈(0，1)，本发明中α的大小随神经网络的训练进程自调整。

2、神经网络收敛性

定理1  三角基函数神经网络中的学习率α取 $0<\mathrm{\&alpha;}<\frac{2}{l}$ 时，上述神经网络算法是收敛的，其中l为隐层神经元个数。

证明：取Lyapunov函数 $V\left(t\right)=\frac{1}{2}{e}^2\left(t\right),$ 则有：

$\mathrm{\&Delta;V}\left(t\right)=\frac{1}{2}{e}^2(t+1)-\frac{1}{2}{e}^2\left(t\right)---\left(8\right)$

又因为 $e(t+1)=e\left(t\right)+\mathrm{\&Delta;e}\left(t\right)=e\left(t\right)+{\left[\frac{\&PartialD;e\left(t\right)}{\&PartialD;W}\right]}^T\&CenterDot;\mathrm{\&Delta;W},$ 而 $\mathrm{\&Delta;W}=-\mathrm{\&alpha;e}\left(t\right)\&CenterDot;\frac{\&PartialD;e\left(t\right)}{\&PartialD;W},$ 则有：

$\mathrm{\&Delta;e}\left(t\right)=-\mathrm{\&alpha;e}\left(t\right){\left[\frac{\&PartialD;e\left(t\right)}{\&PartialD;W}\right]}^T\&CenterDot;\frac{\&PartialD;e\left(t\right)}{\&PartialD;W}=-\mathrm{\&alpha;e}\left(t\right)\&CenterDot;{\left|\right|\frac{\&PartialD;e\left(t\right)}{\&PartialD;W}\left|\right|}_2^2---\left(9\right)$

其中 ${\left|\right|\&CenterDot;\left|\right|}_2^2=\mathrm{\&Sigma;}{|\&CenterDot;|}^2$ 为Euclid范数的平方，所以式(8)可写成：

$\mathrm{\&Delta;V}\left(t\right)=\frac{1}{2}{[e\left(t\right)+\mathrm{\&Delta;e}\left(t\right)]}^2-\frac{1}{2}{e}^2\left(t\right)=\mathrm{\&Delta;e}\left(t\right)[e\left(t\right)+\frac{1}{2}\mathrm{\&Delta;e}\left(t\right)]$

    $=-\mathrm{\&alpha;e}\left(t\right)\&CenterDot;{\left|\right|\frac{\&PartialD;e\left(t\right)}{\&PartialD;W}\left|\right|}_2^2\&CenterDot;[e\left(t\right)-\frac{1}{2}\mathrm{\&alpha;e}\left(t\right)\&CenterDot;{\left|\right|\frac{\&PartialD;e\left(t\right)}{\&PartialD;W}\left|\right|}_2^2]={\left|\right|\frac{\&PartialD;e\left(t\right)}{\&PartialD;W}\left|\right|}_2^2\&CenterDot;e^2\left(t\right)\&CenterDot;[-\mathrm{\&alpha;}+\frac{1}{2}{\mathrm{\&alpha;}}^2{\left|\right|\frac{\&PartialD;e\left(t\right)}{\&PartialD;W}\left|\right|}_2^2]$      (10)

由式(10)可知神经网络收敛的条件是： $\frac{1}{2}{\mathrm{\&alpha;}}^2{\left|\right|\frac{\&PartialD;e\left(t\right)}{\&PartialD;W}\left|\right|}_2^2-\mathrm{\&alpha;}<0,$ 因为α>0，所以有：

${0<\mathrm{\&alpha;}<2/\left|\right|\frac{\&PartialD;e\left(t\right)}{\&PartialD;W}\left|\right|}_2^2---\left(11\right)$

由式(3)和式(4)可得：

$\frac{\&PartialD;e\left(t\right)}{\&PartialD;W}=\frac{\&PartialD;e\left(t\right)}{\&PartialD;H\left({\mathrm{\&omega;}}_t\right)}\&CenterDot;\frac{\&PartialD;H\left({\mathrm{\&omega;}}_t\right)}{\&PartialD;W}=-\mathrm{\&Phi;}\left({\mathrm{\&omega;}}_t\right)$

则 ${\left|\right|\frac{\&PartialD;e\left(t\right)}{\&PartialD;W}\left|\right|}_2^2={\left|\right|-\mathrm{\&Phi;}\left({\mathrm{\&omega;}}_t\right)\left|\right|}_2^2=\underset{n=1}{\overset{l}{\mathrm{\&Sigma;}}}{\left|{\mathrm{\&phi;}}_n\left({\mathrm{\&omega;}}_t\right)\right|}^2,$ 由式(1)可知： $0\&le;\underset{n=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&phi;}}_n\left({\mathrm{\&omega;}}_t\right)\&le;l,$ 要使神经网络绝对收敛，取 $\underset{n=1}{\overset{l}{\mathrm{\&Sigma;}}}{\mathrm{\&phi;}}_n\left({\mathrm{\&omega;}}_t\right)=l,$ 结合式(11)可得： $0<\mathrm{\&alpha;}<\frac{2}{l},$ 即当学习率 $\mathrm{\&alpha;}\&Element;(0,\frac{2}{l})$ 时，有ΔV(t)<0，因此，神经网络在讨论的学习范围内是收敛的。

3、学习率自调整算法

学习率α的选取对神经网络的权值修正有很大的影响。α选得太大，虽然能够提高学习率，但易使网络的学习过程产生振荡；α选得太小，收敛速度变慢。公开报道的神经网络的学习率在取值范围内通常凭经验和试算法来确定，在算法的整个过程中不变，将影响神经网络的学习效率和收敛速度。本发明引入变学习率α来调整神经网络权值，即误差函数J为α的函数，则J(α)＝J[W(t+1)+αΔW]，将J(α)对α求导可得：

$J\&prime;\left(\mathrm{\&alpha;}\right)=\frac{\mathrm{dJ}}{d[W\left(t\right)+\mathrm{\&alpha;\&Delta;W}]}\&CenterDot;\frac{d[W\left(t\right)+\mathrm{\&alpha;\&Delta;W}]}{\mathrm{d\&alpha;}}=\frac{\mathrm{dJ}}{d[W\left(t\right)+\mathrm{\&alpha;\&Delta;W}]}\&CenterDot;\mathrm{\&Delta;W}---\left(12\right)$

当α＝0时，则

$J\&prime;\left(\mathrm{\&alpha;}\right)==\frac{\mathrm{dJ}}{\mathrm{dW}\left(t\right)}\&CenterDot;\mathrm{\&Delta;W}=-{\left(\mathrm{\&Delta;W}\right)}^2---\left(13\right)$

显然式(13)小于等于0。在神经网络训练过程增大α值，寻求使J′(α)大于等于0的α值。设α＝α_k时，式(12)中J′(α)≥0，则α_k为α的最优值或接近最优值，算法不断调整α，直至找到最优值α_k。算法调整α值的具体步骤如下：

(1)初始化α＝0，k＝1，给定任意小的正实数ε；

(2)计算δ＝α+0.001k；

(3)计算J′(δ)，若J′(δ)＝0，则α_k＝δ，算法终止；若J′(δ)<0，则k＝2k，α＝δ，返回(2)；若J′(δ)>0，则执行(4)；

(4)计算若 $J\&prime;\left(\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2}\right)=0,$ 则 ${\mathrm{\&alpha;}}_k=\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2},$ 算法终止；若 $J\&prime;\left(\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2}\right)<0,$ 则 $\mathrm{\&alpha;}=\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2},$ 返回(2)；若 $J\&prime;\left(\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2}\right)>0,$ 则 $\mathrm{\&delta;}=\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2},$ 执行(5)；

(5)若|α-δ|<ε，则 ${\mathrm{\&alpha;}}_k=\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2},$ 算法结束；否则，返回(4)执行。

4、FIR线性相位滤波器幅频特性

对于N-1阶FIR滤波器，其系统函数为：

$H\left(z\right)=\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}h\left(n\right)z^{-n}---\left(14\right)$

式中h(n)为FIR滤波器单位冲激响应，N为冲激响应长度，N-1为滤波器阶数。

定理2 FIR滤波器为线性相位滤波器的充分必要条件是单位冲激相应h(n)应满足下列条件：

h(n)＝±h(N-1-n)            (15)

式中取“+”号时，h(n)满足偶对称，取“-”号时，h(n)满足奇对称。

若h(n)＝-h(N-1-n)，(0≤n≤N-1)，且N为偶数，则4型FIR线性相位滤波器的频率特性可表示为：

$H\left(e^{\mathrm{j\&omega;}}\right)=[\underset{n=1}{\overset{N/2}{\mathrm{\&Sigma;}}}d\left(n\right)\&CenterDot;\sin (n-\frac{1}{2})\mathrm{\&omega;}]\&CenterDot;e^{j(-\frac{N-1}{2}\mathrm{\&omega;}+\frac{\mathrm{\&pi;}}{2})}---\left(16\right)$

那么，滤波器幅频响应为：

$H_r\left(\mathrm{\&omega;}\right)=\underset{n=1}{\overset{N/2}{\mathrm{\&Sigma;}}}d\left(n\right)\&CenterDot;\sin (n-\frac{1}{2})\mathrm{\&omega;}---\left(17\right)$

其中

$d\left(n\right)=2h(\frac{N}{2}-n),n=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,\frac{N}{2}---\left(18\right)$

h(n)＝-h(N-1-n)，(0≤n≤N-1)   (19)

由式(17)可知，幅频响应中d(n)为待定的级数系数，只要利用神经网络逼近理想FIR线性相位滤波器获得网络的权值w(n)，即可得到d(n)，结合式(18)和式(19)可获得FIR滤波器的脉冲响应序列h(n)，(n＝1，2，…，l-1)。

应用示例：

为了验证本发明变学习率三角基函数神经网络设计4型FIR线性相位滤波器方法的可行性，采用该神经网络方法对4型FIR线性相位高通滤波器和带通滤波器进行设计。

实施例1 设某一理想高通滤波器的幅频特性为：

设计一个220阶的高通滤波器的方法为：对ω在[0，π]内均匀取111个样本值，即 $\mathrm{\&omega;}=\frac{\mathrm{\&pi;}}{110}n,$ n＝0，1，2，…，110。为了使滤波器的通带和阻带内无过冲和波动，在每个过渡带内分别取两个样本点0.2和0.8。因此，实际的幅频取样序列为：H_o(n)＝[zeros(1，55)，0.2，0.8，ones(1，54)]。取神经网络的网络结构为1×111×1，通带和阻带范围内全局误差性能指标为J＝4.62×10^-6，α学习率初始值为0.001，将取样序列输入神经网络进行训练，经训练后得到的4型FIR线性相位高通滤波器脉冲响应、幅频响应和衰耗特性如附图2所示，不同α值对应神经网络训练次数和运行时间如表1所示。

表1 不同α值的神经网络训练次数与运行时间比较

从表1可见，采用本发明学习率自调整神经网络算法使得神经网络训练次数大大减少，收敛速度大大加快，其中α_k为最优学习率。

实施例2 设某一理想带通滤波器的幅频特性为：

设计一个180阶的带通滤波器的方法为：对ω在[0，π]内均匀取91个样本值，即 $\mathrm{\&omega;}=\frac{\mathrm{\&pi;}}{90}n,$ n＝0，1，2，…，90。为了使滤波器的通带和阻带内无过冲和波动，在每个过渡带内分别取两个样本点0.2和0.8。因此，实际的幅频取样序列为：H_o(n)＝[zeros(1，28)，0.2，0.8，ones(1，31)，0.8，0.2，zeros(1，28)]。取神经网络的网络结构为1×91×1，通带和阻带范围内全局误差性能指标为J＝5.64×10^-7，α学习率初始值为0.001，将取样序列输入神经网络进行训练，经训练后得到的4型FIR线性相位高通滤波器脉冲响应、幅频响应和衰耗特性如附图3所示，不同α值对应神经网络训练次数和运行时间如表2。

表2 不同α值的神经网络训练次数与运行时间比较

从表2可见，采用变学习率神经网络算法能够使神经网络训练次数减少，收敛速度加快。

如图2和图3，在示例结果图中，图2(a)和图3(a)为4型FIR线性相位滤波器脉冲响应，变学习率三角基函数神经网络模型很好的计算出了滤波器的脉冲响应h(n)。图2(b)和图3(b)为神经网络在最优学习率时的滤波器幅频特性，由图可见，滤波器幅频特性通带内无过冲和波动现象，且滤波器的过渡带窄，而图2(c)和图3(c)中非最优学习率时的滤波器幅频特性通带内有波动，波动见图2(c)和图3(c)中的A处；图2(d)和图3(d)为神经网络在最优学习率时的滤波器衰耗特性，其阻带衰耗大，衰减值在100dB以上，而图2(e)和图3(e)中非最优学习率时的滤波器衰耗特性不如前者，衰减值小于100dB。同时，由表1和表2可知，当神经网络取得最优学习率时，可以减少网络迭代次数和运行时间，提高网络学习效率和速度，其原因是学习率三角基函数神经网络模型在学习过程中自调整学习率到最优值，使神经网络快速收敛至目标值，实现线性相位滤波器幅频响应与理想幅频响应在整个通带和阻带内的误差平方和最小，有效地解决神经网络训练时学习率的大小固定不变，且通常依靠个人的经验或试算法来确定的缺点。

Claims (3)

1、一种基于变学习率神经网络的FIR滤波器的设计方法，其特征在于，构造三角基函数神经网络，该三角基函数神经网络的输入为ω，输出为H(ω)，输入层和输出层各有一个神经元，隐含层有l个神经元，隐层神经元的激励函数φ₁(ω)，φ₂(ω)，…，φ₁(ω)分别为：

${\mathrm{\&phi;}}_1\left(\mathrm{\&omega;}\right)=\sin \left(\frac{\mathrm{\&omega;}}{2}\right),{\mathrm{\&phi;}}_2\left(\mathrm{\&omega;}\right)=\sin \left(\frac{3\mathrm{\&omega;}}{2}\right),\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&phi;}}_l\left(\mathrm{\&omega;}\right)=\sin \left[(l-\frac{1}{2})\mathrm{\&omega;}\right],l=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,\frac{N}{2},\mathrm{\&omega;}\&Element;[0,\mathrm{\&pi;}];$

输入层神经元与隐层神经元之间的网络权值为1，隐含层神经元与输出层神经元之间的网络权值为w_n，其中n＝1，2，…，l，l＝N/2，N为待设计滤波器的长度；通过训练三角基函数神经网络的权值w_n，使FIR滤波器幅频响应与理想幅频响应在整个通带和阻带内的误差平方和最小；三角基函数神经网络训练过程中自调整学习率的取值，以提高神经网络的学习效率和收敛速度。

2、根据权利要求1所述的基于变学习率神经网络的FIR滤波器的设计方法，其特征在于，所述的三角基函数神经网络训练过程中的权值调整为：

$\mathrm{\&Delta;W}=-\mathrm{\&alpha;}\frac{\&PartialD;J}{\&PartialD;W}\&CenterDot;\frac{\&PartialD;e\left(t\right)}{\&PartialD;H\left({\mathrm{\&omega;}}_t\right)}\&CenterDot;\frac{\&PartialD;H\left({\mathrm{\&omega;}}_i\right)}{\&PartialD;W}=\mathrm{\&alpha;e}\left(t\right)\mathrm{\&Phi;}\left(\mathrm{\&omega;}\right);$

W(t+1)＝W(t)+ΔW＝W(t)+αe(t)Φ(ω_t)；

式中ΔW为权值变化量，α为学习率， $0<\mathrm{\&alpha;}<\frac{2}{l};$ J为目标函数，W即W(t)为神经网络权值，W＝[w₁，w₂，…，w₁]^T；e(t)为误差，激励函数向量Φ(ω)＝[φ₁(ω)，φ₂(ω)，…，φ₁(ω)]^T，W(t+1)为t+1时刻的神经网络权值；

所述的三角基函数神经网络训练过程中引入学习率α来调整神经网络权值，即目标函数J为α的函数，J(α)＝J[W(t+1)+αΔW]，将J(α)对α求导可得：

$J\&prime;\left(\mathrm{\&alpha;}\right)=\frac{\mathrm{dJ}}{d[W\left(t\right)+\mathrm{\&alpha;\&Delta;W}]}\&CenterDot;\frac{d[W\left(t\right)+\mathrm{\&alpha;\&Delta;W}]}{\mathrm{d\&alpha;}}=\frac{\mathrm{dJ}}{d[W\left(t\right)+\mathrm{\&alpha;\&Delta;W}]}\&CenterDot;\mathrm{\&Delta;W};$

所述的自调整学习率的方法如下：

1)初始化α＝0，k＝1，给定任意小正实数ε；

2)计算δ＝α+0.001k；

3)计算J′(δ)，若J′(δ)＝0，则α_k＝δ，算法终止；若J′(δ)<0，则k＝2k，α＝δ，返回2)；若J′(δ)>0，则执行4)；

4)计算若 $J\&prime;\left(\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2}\right)=0,$ 则 ${\mathrm{\&alpha;}}_k=\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2},$ 算法终止；若 $J\&prime;\left(\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2}\right)<0,$ 则 $\mathrm{\&alpha;}=\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2},$ 返回2)；若 $J\&prime;\left(\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2}\right)>0,$ 则 $\mathrm{\&delta;}=\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2},$ 执行5)；

5)若|α-δ|<ε，则 ${\mathrm{\&alpha;}}_k=\frac{\mathrm{\&alpha;}+\mathrm{\&delta;}}{2},$ 算法结束；否则，返回4)执行。

3、根据权利要求1或2所述的基于变学习率神经网络的FIR滤波器的设计方法，其特征在于，所述的FIR滤波器为4型FIR滤波器。

Images