CN108650201B - 基于神经网络的信道均衡方法、译码方法及对应设备 - Google Patents

Abstract

本发明公开了一种基于神经网络的信道均衡方法和译码方法以及对应的设备，其中译码方法包括：S1：基于卷积神经网络，构建适用于存在码间干扰的线性信道均衡器以及非线性信道均衡器，利用反向传播算法对其进行训练得到最优解；S2：在卷积神经网络信道均衡器后面级联一个全连接的神经网络译码器，对经过信道均衡器后的恢复信号进行信道译码。本发明能够有效提升误码率性能，并且具有较强的自适应性。

Description

基于神经网络的信道均衡方法、译码方法及对应设备

技术领域

本发明涉及通信技术领域，尤其涉及一种基于神经网络的信道均衡方法、译码方法及对应设备。

背景技术

人工神经网络(Artificial Neural Network，ANN)是机器学习(MachineLearning，DL)中一种重要的数学模型，其具有强大的提取高维数据隐藏特征的能力，近几年在：目标识别、图像分类、药物发现、自然语言处理以及围棋等诸多领域，都取得了重大突破并且大大改善了原有的系统性能。因而人工神经网络被全世界学者广泛研究并且在商业应用中广泛部署。

信道均衡技术(Channel Equalization)是为了提高衰落信道中系统的传输性能而采取的一种抗衰落措施。它主要是为了消除或是减弱无线通信时的多径时延带来的码间串扰(Inter-symbol Interference，ISI)。大体上分为：线性与非线性均衡。对于带通信道的均衡较为困难，一般都是待接收端解调后在基带进行均衡，因此基带均衡技术有广泛应用。在实际中一般是加入自适应滤波器来实现信道均衡。近几年机器学习领域的一些非线性方法被用于一些复杂信道的均衡器实现，比如：支持向量机(Support Vector Machine，SVM)、高斯过程分类(Gaussian Process Classification，GPC)。

下面对信道均衡进行简单介绍。

通信网络信道模型如图1所示，其中，发送端的信号m经过信道编码器编码和调制后形成信号s，经由信道传输，接收端接收到的信号为r，均衡器的任务是将r尽可能大的概率恢复到原始传输信号s，实际恢复估计的信号为

译码器的任务是将

尽可能大的概率恢复到原始发送信号m，最后实际译码得到的信号为

其中，多径衰落信道的码间干扰可以用以下有限长度的FIR滤波器与传输信号的线性卷积来表示：v＝s*h，其中s表示经过信道编码器编码和调制后的信道输入，h为等效的滤波器系数向量，*表示线性卷积运算，而v表示带有码间干扰的传输信号。

由于通信系统中具有各种放大器和混合气等非线性器件，因此可能会对信号造成非线性失真效应，通常非线性失真用以下的函数来表示：r_i＝g[v_i]+n_i，其中g[·]表示等效的非线性失真函数，而n_i表示所传输信号第i位v_i上收到的高斯白噪声，r_i表示接收到的第i位信号。存在非线性失真、码间干扰和噪声的信道简称为非线性信道，而不存在非线性失真，只存在码间干扰和噪声的信道简称为线性信道。

信道均衡器的任务是将接收到的信号矢量r＝[r₁,r₂,...]尽可能以大的概率恢复到原始传输信号s。最大似然估计方法中是首先传输一段训练序列s⁰和r⁰，之后利用以下的最大似然估计估计出信道参数的最优估计

经过训练之后，利用估计的信道参数

可以按照以下概率恢复出接收信号：

i＝1,2,...,N，虽然最大似然估计取得的性能较优，但是需要每次传输之前先传输训练序列对信道进行估计，并且需要较为准确地知道信道条件，无法实现盲均衡。

发明内容

发明目的：本发明针对现有技术存在的问题，提供一种基于神经网络的信道均衡方法、译码方法及对应设备，本发明具有高性能和强自适应性，还可以实现盲均衡。

技术方案：本发明所述的基于神经网络的信道均衡方法包括：

(1-1)构建包含L个卷积层的卷积神经网络模型，其中：

第一个卷积卷积层到第L-1卷积层中每层实现以下操作：

式中，

是第n层卷积层的系数矩阵W⁽ⁿ⁾中所包含的第i个滤波器的第c行第k个元素，为未知的待训练参数，每个滤波器尺寸都为1×K，

是第n层卷积层的输出特征图第i行第j列的元素，且I⁽⁰⁾＝r，r是接收端接收到的信号矢量，

为第n层卷积层的第i个偏置系数，为未知的待训练参数，C_n为第n层卷积层的输入特征图的行数，此外第n-1层的输出特征图即为第n层的输入特征图，σ(·)表示ReLU非线性单元，并且σ(·)＝max(0,·)；

第L层卷积层实现以下操作：

(1-2)对构建的卷积神经网络模型进行训练，得到待训练参数的最优值，进而得到训练好的卷积神经网络；

(1-3)采用训练好的卷积神经网络对接收端接收到的信号矢量r进行处理，得到均衡后的估计信号

进一步的，步骤(1-2)中训练所采用的方法为深度学习中后向传播和Mini-batch随机梯度下降算法。

本发明所述的基于神经网络的译码方法包括：

(2-1)构建包含L个卷积层的卷积神经网络模型，其中：

第一个卷积卷积层到第L-1卷积层中每层实现以下操作：

式中，

是第n层卷积层的系数矩阵W⁽ⁿ⁾中所包含的第i个滤波器的第c行第k个元素，为未知的待训练参数，每个滤波器尺寸都为1×K，

是第n层卷积层的输出特征图第i行第j列的元素，且I⁽⁰⁾＝r，r是接收端接收到的信号矢量，

为第n层卷积层的第i个偏置系数，为未知的待训练参数，C_n为第n层卷积层的输入特征图的行数，此外第n-1层的输出特征图即为第n层的输入特征图，σ(·)表示ReLU非线性单元，并且σ(·)＝max(0,·)；

第L层卷积层实现以下操作：

其中，

表示从r均衡后恢复的信号；

(2-2)构建包含D层隐藏层的全连接神经网络译码模型，每层实现以下操作：

X^(d)＝σ(V^(d)X^(d-1)+a^(d)),d＝1,...,D

式中，V^(d)是第d层的二维系数矩阵W^(d)，为未知的待训练参数，X^(d)是第d层的输出向量，X^(d-1)是第d层的输入向量，且

为译码得到的信号，a^(d)为第d层的偏置系数向量，为未知的待训练参数；

(2-3)对构建的卷积神经网络模型和全连接神经网络译码模型进行单独训练或联合训练，得到待训练参数的最优值，进而得到训练好的卷积神经网络和全连接神经网络译码模型；

(2-4)采用训练好的卷积神经网络模型进行均衡，采用全连接神经网络译码模型对均衡后得到信号进行译码。

进一步的，步骤(2-3)中训练所采用的方法为深度学习中后向传播和Mini-batch随机梯度下降算法。

本发明所述的基于神经网络的信道均衡设备具体为包含L个卷积层的卷积神经网络，其中：

第一个卷积卷积层到第L-1卷积层中每层实现以下操作：

式中，

是第n层卷积层的系数矩阵W⁽ⁿ⁾中所包含的第i个滤波器的第c行第k个元素，每个滤波器尺寸都为1×K，

是第n层卷积层的输出特征图第i行第j列的元素，且I⁽⁰⁾＝r，r是接收端接收到的信号矢量，

为第n层卷积层的第i个偏置系数，C_n为第n层卷积层的输入特征图的行数，此外第n-1层的输出特征图即为第n层的输入特征图，σ(·)表示ReLU非线性单元，并且σ(·)＝max(0,·)；

第L层卷积层实现以下操作：

其中，最后均衡后的估计信号

进一步的，所述卷积神经网络中的参数

和

通过采用深度学习中后向传播和Mini-batch随机梯度下降算法训练后得到。

本发明所述的基于神经网络的译码设备，包括上述的信道均衡设备和一译码器，所述译码器具体为包含D层隐藏层的全连接神经网络，每层实现以下操作：

X^(d)＝σ(V^(d)X^(d-1)+a^(d)),d＝1,...,D

式中，V^(d)是第d层的二维系数矩阵W^(d)，为未知的待训练参数，X^(d)是第d层的输出向量，X^(d-1)是第d层的输入向量，且

a^(d)为第d层的偏置系数向量，为未知的待训练参数，最终译码后的信号为

进一步的，所述全连接神经网络中的参数V^(d)和a^(d)通过采用深度学习中后向传播和Mini-batch随机梯度下降算法训练后得到。

有益效果：本发明与现有技术相比，其显著优点是：

1)对于卷积神经网络均衡器：在线性信道下，比贝叶斯和最大似然估计算法有0.2至0.5dB的误码率性能增益，在非线性信道下，比支持向量机方法和高斯过程分类算法有0.5dB左右的误码率性能增益；

2)所提出的卷积神经网络信道均衡器适用于任意码长的应用场景，并且算术复杂度与码长成线性增长关系；

3)所提出的联合信道均衡器和译码器相比于目前基于神经网络的算法，参数量大约减少了68％。

附图说明

图1为本发明具体实施方式中的信道模型示意图；

图2为本发明具体实施方式中所构建的均衡设备和译码设备以及训练方法的参数总结；

图3为本发明具体实施方式中不同结构的卷积神经网络均衡设备的性能对比图；

图4为本发明具体实施方式中在线性信道下同传统方法(贝叶斯和最大似然估计)误码率性能的对比图；

图5为本发明具体实施方式中在非线性信道下同传统方法(支持向量机以及高斯过程分类)误码率性能的对比图；

图6为采用了本发明具体实施方式与高斯过程分类和连续消除译码算法(GPC+SC)以及深度学习算法(DL)的误码率性能对比图。

具体实施方式

实施例1

本实施例提供了一种基于神经网络的信道均衡方法，包括以下步骤：

(1-1)构建包含L个卷积层的卷积神经网络模型，其中：

第一个卷积卷积层到第L-1卷积层中每层实现以下操作：

式中，

是第n层卷积层的系数矩阵W⁽ⁿ⁾中所包含的第i个滤波器的第c行第k个元素，为未知的待训练参数，每个滤波器尺寸都为1×K，

是第n层卷积层的输出特征图第i行第j列的元素，且I⁽⁰⁾＝r，r是接收端接收到的信号矢量，

为第n层卷积层的第i个偏置系数，为未知的待训练参数，C_n为第n层卷积层的输入特征图的行数，此外第n-1层的输出特征图即为第n层的输入特征图，σ(·)表示ReLU非线性单元，并且σ(·)＝max(0,·)；

第L层卷积层实现以下操作：

其中，对于一个L层的卷积神经网络，第n层包含M_n个尺寸为1×K的滤波器，所有层的滤波器表示为{M₁,...,M_n,...,M_L}，在这种表示形式下第n层的卷积系数矩阵W⁽ⁿ⁾尺寸为M_n×C_n×K；

(1-2)对构建的卷积神经网络模型采用深度学习中后向传播(Back propagation)和Mini-batch随机梯度下降(Mini-batch stochastic gradient descent)方法(具体方法参考文献[1])进行训练，得到待训练参数的最优值，进而得到训练好的卷积神经网络；

(1-3)采用训练好的卷积神经网络对接收端接收到的信号矢量r进行处理，得到均衡后的估计信号

实施例2

本实施例提供了一种基于神经网络的译码方法，该方法包括：

(2-1)构建包含L个卷积层的卷积神经网络模型，其中：

第一个卷积卷积层到第L-1卷积层中每层实现以下操作：

式中，

是第n层卷积层的系数矩阵W⁽ⁿ⁾中所包含的第i个滤波器的第c行第k个元素，为未知的待训练参数，每个滤波器尺寸都为1×K，

是第n层卷积层的输出特征图第i行第j列的元素，且I⁽⁰⁾＝r，r是接收端接收到的信号矢量，

为第n层卷积层的第i个偏置系数，为未知的待训练参数，C_n为第n层卷积层的输入特征图的行数，此外第n-1层的输出特征图即为第n层的输入特征图，σ(·)表示ReLU非线性单元，并且σ(·)＝max(0,·)；

第L层卷积层实现以下操作：

其中，

表示从r均衡后恢复的信号；

(2-2)构建包含D层隐藏层的全连接神经网络译码模型，每层实现以下操作：

X^(d)＝σ(V^(d)X^(d-1)+a^(d)),d＝1,...,D

式中，V^(d)是第d层的二维系数矩阵W^(d)，为未知的待训练参数，X^(d)是第d层的输出向量，X^(d-1)是第d层的输入向量，且

为译码得到的信号，a^(d)为第d层的偏置系数向量，为未知的待训练参数；

(2-3)对构建的卷积神经网络模型和全连接神经网络译码模型进行单独训练或联合训练，得到待训练参数的最优值，进而得到训练好的卷积神经网络和全连接神经网络译码模型；训练所采用的方法为深度学习中后向传播和Mini-batch随机梯度下降算法。由于信道均衡设备输出数据的概率分布特性与单独的神经网络译码设备输入的概率分布不一致，因此采用联合训练的方式会有更优性能，具体实施步骤如下：1)首先利用接收信号r，训练卷积神经网络信道均衡设备收敛至最优解；2)固定卷积神经网络信道均衡设备的参数不再迭代更新，使接收的信道输出信号r通过卷积神经网络信道均衡设备进行恢复，将恢复后的信号再通过全连接神经网络译码模型，单独训练并更新全连接神经网络译码模型的参数收敛至最优解。

(2-4)采用训练好的卷积神经网络模型进行均衡，采用全连接神经网络译码模型对均衡后得到信号进行译码。

实施例3

本实施例提供一种基于神经网络的信道均衡设备，该设备具体为包含L个卷积层的卷积神经网络，其中：

第一个卷积卷积层到第L-1卷积层中每层实现以下操作：

式中，

是第n层卷积层的系数矩阵W⁽ⁿ⁾中所包含的第i个滤波器的第c行第k个元素，每个滤波器尺寸都为1×K，

是第n层卷积层的输出特征图第i行第j列的元素，且I⁽⁰⁾＝r，r是接收端接收到的信号矢量，

为第n层卷积层的第i个偏置系数，C_n为第n层卷积层的输入特征图的行数，此外第n-1层的输出特征图即为第n层的输入特征图，σ(·)表示ReLU非线性单元，并且σ(·)＝max(0,·)；

第L层卷积层实现以下操作：

最后均衡后的估计信号

其中，所述卷积神经网络中的参数

和

通过采用深度学习中后向传播和Mini-batch随机梯度下降算法训练后得到。

本实施例与实施例1一一对应，未详尽之处请参考实施例1。

实施例4

本实施例提供了一种基于神经网络的译码设备，该设备包括实施例3的信道均衡设备和一译码器，所述译码器具体为包含D层隐藏层的全连接神经网络，每层实现以下操作：

X^(d)＝σ(V^(d)X^(d-1)+a^(d)),d＝1,...,D

式中，V^(d)是第d层的二维系数矩阵W^(d)，为未知的待训练参数，X^(d)是第d层的输出向量，X^(d-1)是第d层的输入向量，且

a^(d)为第d层的偏置系数向量，为未知的待训练参数，最终译码后的信号为

其中，所述全连接神经网络中的参数V^(d)和a^(d)通过采用深度学习中后向传播和Mini-batch随机梯度下降算法训练后得到。

本实施例与实施例2一一对应，未详尽之处请参考实施例1。

下面对本发明的几个实施例进行仿真验证。

损失函数(Loss Function)可以用来衡量训练效果的好坏，对于均衡方法和设备，使用以下的均方误差函数：

其中

表示均衡后的输出信号，s表示原始正确的发送信号。

对于神经网络译码方法和设备，使用如下的交叉熵(Cross entropy)函数来度量译码效果好坏：

其中

表示神经网络译码后输出的结果，m表示正确的原始信息序列。本发明中采用了学习速率为0.001的Adam自适应学习率调节算法，训练数据为信噪比0-11dB经过信道传输的带噪声码字。

为了选择合适的卷积神经网络结构，本发明研究了结构对最终性能的影响，图2为仿真过程中设置的各参数值。图3给出了针对不同配置下卷积神经网络均衡器的性能比较，可以看到6层的网络相比于4层的网络具有更优的误码率性能，而增大网络规模不一定能保证性能更优，因此综合计算复杂度和性能后选择{6,12,24,12,6,1}的网络较为合理，此外神经网络译码器结构为{16,128,64,32,8}。

与其他经典实验配置一致，使用了h＝{0.3472,0.8704,0.3482}作为等效码间干扰的FIR滤波器系数，由系统非线性效应造成的非线性函数等效为|g(v)|＝|v|+0.2|v|²-0.1|v|³+0.5cos(π|v|)，以及加性高斯信道。图4给出了在线性信道下卷积神经网络均衡器与其他经典方法(ML-BCJR，Bayesian)的误码率性能比较，可以看到所提出的CNN方法最多有0.5dB的增益效果。图5给出了在非线性信道下所提出的CNN方法与其他方法(SVM,GPC)的对比，可以看到所提出的算法有0.5dB左右的性能增益。图6给出了所提出的方法与[2]基于深度学习方法的误码率性能效果对比图，可以看出联合训练方法(CNN+NND-Joint)比非联合训练方法(CNN+NND)大约有0.5dB的增益，效果略优于[2]中深度学习方法(DL)。所提出模型的有点在于极大地减少了网络的参数规模，所提出的模型大约需要15000个参数，而深度学习方法需要大约48000个参数，减少了约68％。

以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

参考文献

[1]I.Goodfellow,Y.Bengio,and A.Courville,“Deep Learning.”MIT Press,2016.

[2]H.Ye and G.Y.Li,“Initial results on deep learning for jointchannel equalization and decoding,”in IEEE Vehicular Technology Conference(VTC-Fall),2017,pp.1–5.

Claims (8)

1.一种基于神经网络的信道均衡方法，其特征在于包括：

(1-1)构建包含L个卷积层的卷积神经网络模型，其中：

第一个卷积卷积层到第L-1卷积层中每层实现以下操作：

式中，

是第n层卷积层的系数矩阵W⁽ⁿ⁾中所包含的第i个滤波器的第c行第k个元素，为未知的待训练参数，每个滤波器尺寸都为1×K，

是第n层卷积层的输出特征图第i行第j列的元素，且I⁽⁰⁾＝r，r是接收端接收到的信号矢量，

为第n层卷积层的第i个偏置系数，为未知的待训练参数，C_n为第n层卷积层的输入特征图的行数，此外第n-1层的输出特征图即为第n层的输入特征图，σ(·)表示ReLU非线性单元，并且σ(·)＝max(0,·)；

第L层卷积层实现以下操作：

(1-2)对构建的卷积神经网络模型进行训练，得到待训练参数的最优值，进而得到训练好的卷积神经网络；

(1-3)采用训练好的卷积神经网络对接收端接收到的信号矢量r进行处理，得到均衡后的估计信号

2.根据权利要求1所述的基于神经网络的信道均衡方法，其特征在于：步骤(1-2)中训练所采用的方法为深度学习中后向传播和Mini-batch随机梯度下降算法。

3.一种基于神经网络的译码方法，其特征在于包括：

(2-1)构建包含L个卷积层的卷积神经网络模型，其中：

第一个卷积卷积层到第L-1卷积层中每层实现以下操作：

式中，

是第n层卷积层的系数矩阵W⁽ⁿ⁾中所包含的第i个滤波器的第c行第k个元素，为未知的待训练参数，每个滤波器尺寸都为1×K，

是第n层卷积层的输出特征图第i行第j列的元素，且I⁽⁰⁾＝r，r是接收端接收到的信号矢量，

为第n层卷积层的第i个偏置系数，为未知的待训练参数，C_n为第n层卷积层的输入特征图的行数，此外第n-1层的输出特征图即为第n层的输入特征图，σ(·)表示ReLU非线性单元，并且σ(·)＝max(0,·)；

第L层卷积层实现以下操作：

其中，

表示从r均衡后恢复的信号；

(2-2)构建包含D层隐藏层的全连接神经网络译码模型，每层实现以下操作：

X^(d)＝σ(V^(d)X^(d-1)+a^(d)),d＝1,...,D

式中，V^(d)是第d层的二维系数矩阵W^(d)，为未知的待训练参数，X^(d)是第d层的输出向量，X^(d-1)是第d层的输入向量，且

为译码得到的信号，a^(d)为第d层的偏置系数向量，为未知的待训练参数；

(2-3)对构建的卷积神经网络模型和全连接神经网络译码模型进行单独训练或联合训练，得到待训练参数的最优值，进而得到训练好的卷积神经网络和全连接神经网络译码模型；

(2-4)采用训练好的卷积神经网络模型进行均衡，采用全连接神经网络译码模型对均衡后得到信号进行译码。

4.根据权利要求3所述的基于神经网络的译码方法，其特征在于：步骤(2-3)中训练所采用的方法为深度学习中后向传播和Mini-batch随机梯度下降算法。

5.一种基于神经网络的信道均衡设备，其特征在于：该设备具体为包含L个卷积层的卷积神经网络，其中：

第一个卷积卷积层到第L-1卷积层中每层实现以下操作：

式中，

是第n层卷积层的系数矩阵W⁽ⁿ⁾中所包含的第i个滤波器的第c行第k个元素，每个滤波器尺寸都为1×K，

是第n层卷积层的输出特征图第i行第j列的元素，且I⁽⁰⁾＝r，r是接收端接收到的信号矢量，

为第n层卷积层的第i个偏置系数，C_n为第n层卷积层的输入特征图的行数，此外第n-1层的输出特征图即为第n层的输入特征图，σ(·)表示ReLU非线性单元，并且σ(·)＝max(0,·)；

第L层卷积层实现以下操作：

其中，最后均衡后的估计信号

6.根据权利要求5所述的基于神经网络的信道均衡设备，其特征在于：所述卷积神经网络中的参数

和

通过采用深度学习中后向传播和Mini-batch随机梯度下降算法训练后得到。

7.一种基于神经网络的译码设备，其特征在于：该设备包括权利要求5所述的信道均衡设备和一译码器，所述译码器具体为包含D层隐藏层的全连接神经网络，每层实现以下操作：

X^(d)＝σ(V^(d)X^(d-1)+a^(d)),d＝1,...,D

式中，V^(d)是第d层的二维系数矩阵W^(d)，为未知的待训练参数，X^(d)是第d层的输出向量，X^(d-1)是第d层的输入向量，且

a^(d)为第d层的偏置系数向量，为未知的待训练参数，最终译码后的信号为

8.根据权利要求7所述的基于神经网络的译码设备，其特征在于：所述全连接神经网络中的参数V^(d)和a^(d)通过采用深度学习中后向传播和Mini-batch随机梯度下降算法训练后得到。

Images