CN109361404A - 一种基于半监督深度学习网络的ldpc译码系统及译码方法 - Google Patents

Abstract

本发明提供一种基于半监督深度学习网络的LDPC译码系统，包括用于将LDPC码字构建成适合深度学习网络样本集的输入单元；无监督学习模型；无监督学习模型包括用于对样本集进行降噪的降噪单元，以及用于对降噪后的数据进行提取特征和特征映射的特征提取和特征映射单元；以及用于针对特征映射后的输入进行有监督训练，回归出一批LDPC码字的信息位以完成LDPC批量译码的有监督学习单元；输入单元、降噪单元、特征提取和特征映射单元以及有监督学习单元依次连接。还提供基于半监督深度学习网络的LDPC译码方法。本发明利用训练好的深度学习网络实现无需迭代的高吞吐率译码，用于解决现有的LDPC软判决译码算法译码复杂度高，多次迭代带来的延时以及吞吐量低的问题。

Description

一种基于半监督深度学习网络的LDPC译码系统及译码方法

技术领域

本发明涉及电子通信技术领域，更具体地说，涉及一种基于半监督深度学习网络的LDPC译码系统及译码方法。

背景技术

LDPC码(Low-Density Parity-Check)，即低密度奇偶校验码，是一种已经被证明其误码性能能够逼近香农限的信道编码，其译码复杂度相对较低且性能较好。LDPC码可以满足移动通信技术对高数据处理速度、高数据传输速度、大容量传输以及高质量传输的要求，近几年，在各大通信领域得到广泛应用，逐渐成为未来通信标准和存储领域的主流编码方式之一。

深度学习在语音、图像、自然语言处理等应用场合上已经证明其强大的识别，分类及拟合能力。深度学习网络包括有监督学习网络，无监督学习网络及半监督学习网络。多层神经网络是经典的有监督学习网络之一，多层神经网络几乎应用在各种深度学习网络中。自编码器(Autoencoder)是深度学习网络的无监督学习算法之一，无监督学习可以自动完成特征提取，并从数据中自动学习到初级的特征。

传统的LDPC译码方法是基于后验概率的置信度传播算法的软判决译码算法，虽然具有优良的译码性能，其译码计算复杂度依然很高；译码过程需要多次迭代，每次译码迭代过程中会产生大量中间变量，译码占用的存储空间大；译码过程需要多次迭代限制了译码的速度，降低了译码吞吐率。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种基于半监督深度学习网络的LDPC译码系统及译码方法，该系统及方法利用训练好的深度学习网络实现无需迭代的高吞吐率译码，用于解决现有的LDPC软判决译码算法译码复杂度高，多次迭代带来的延时以及吞吐量低的问题。

为了达到上述目的，本发明通过下述技术方案予以实现：一种基于半监督深度学习网络的LDPC译码系统，其特征在于：

包括用于将LDPC码字构建成适合深度学习网络样本集的输入单元；

无监督学习模型；所述无监督学习模型包括用于对样本集进行降噪的降噪单元，以及用于对降噪后的数据进行提取特征和特征映射的特征提取和特征映射单元；

以及用于针对特征映射后的输入进行有监督训练，回归出一批LDPC码字的信息位以完成LDPC批量译码的有监督学习单元；

所述输入单元、降噪单元、特征提取和特征映射单元以及有监督学习单元依次连接。

在上述方案中，输入数据经过降噪自编码器和稀疏自编码器进行无监督学习后，再经过神经网络进行有监督学习，整个过程称为半监督学习过程。

所述降噪单元为降噪自编码器；所述降噪自编码器包括依次连接的输入层、隐藏层和输出层；所述降噪自编码器的输入层与输出层的维度相同。

所述特征提取和特征映射单元为稀疏自编码器；所述稀疏自编码器包括依次连接的输入层、隐藏层和输出层；隐藏层包括依次连接的特征映射层和重构层；所述输入层的维度与值和输出层的维度与值相等。

稀疏自编码器的稀疏性在于隐藏层的神经元大部分处于未被激活状态。为尽量满足稀疏编码器的稀疏性，每一层特征映射层均比前一层特征映射层的维度大；每一层重构层均比前一层重构层的维度小。

所述稀疏自编码器中每一层特征映射层和重构层使用的激活函数均为：

其中，x为该层神经元的输入。

所述有监督学习单元包括依次连接的输入层、隐藏层和输出层；所述有监督学习单元的输入层为稀疏自编码器的最后一层特征映射层；所述有监督学习单元的输出层回归输出LDPC的译码信息位。本发明先通过重构层将稀疏自编码器训练好，再通过特征映射层对输入进行特征提取和映射，最后将最后一层特征映射层通过神经网络进行训练。

本发明一种基于半监督深度学习网络的LDPC译码方法，其特征在于：包括以下步骤：

第一步，将LDPC码字构建成适合深度学习网络的训练样本集；

第二步，采用无监督学习模型中的降噪自编码器对训练样本集进行降噪，再采用稀疏自编码器对降噪后的数据进行提取特征和特征映射；

第三步，利用神经网络进行有监督学习训练，在输出端回归出LDPC的信息位，完成LDPC译码。

在第一步中，所述将LDPC码字构建成适合深度学习网络的训练样本集是指：

首先，将LDPC码字经过BPSK调制后再加上高斯白噪声，得到模拟高斯信道下接收机接收到的带高斯噪声的LDPC码字；其中，对于任一个LDPC(n，k)码字，均由相应的k位信息比特与该LDPC码生成矩阵G相乘得到，即：

CW_1×n＝msg_1×k×G_k×n；

其次，将作为深度学习网络输入X的带高斯噪声LDPC码字，未加高斯噪声的LDPC码字CW，以及作为深度学习网络标签Y的对应k位信息位来构建适合深度学习网络的训练样本集(X，CW，Y)；

最后，对深度学习网络训练样本集(X，CW，Y)进行批量训练。

在第二步中，所述采用无监督学习模型中的降噪自编码器对训练样本集进行降噪，再采用稀疏自编码器对降噪后的数据进行提取特征和特征映射是指：

首先，采用降噪自编码器对批量训练的训练样本集(X，CW，Y)进行降噪：利用到训练样本集(X，CW，Y)的(X，CW)信息对带高斯噪声的输入X的原始数据CW进行重构，通过训练使得重构误差L最小化，即：

其中g(x)为激活函数：最后输出为

当重构误差L低于10^-5后停止训练，则重构出一批贴近原始不带噪声的LDPC码字作为降噪自编码器输出，训练完的降噪自编码的参数记为{w_dae,B_dae}；

稀疏自编码器神经元的权值ω_dae与偏置B_dae，使得降噪自编码器的输出满足：

其次，将训练后的降噪自编码器的输出作为稀疏自编码器的输入，并进行稀疏自编码器的训练；对于一个n层的稀疏自编码器，设定w^(l,1),w^(l,2),B^(l,1),B^(l,2)每一个都是第l个稀疏自编码器对应的权值和偏置，对应于稀疏编码器的训练分为两个过程：

(1)输入信息完成特征提取、特征映射的过程：

a^(l)＝f(z^(l-1))

z^(l)＝w^(l,1)·a^(l)+B^(l,1)

(2)特征重构的过程：

A^(l)＝f(z^(l))＝f(w^(l,2)·z^(l)+B^(l,2))

其中a^(l)是第l个稀疏自编码器的输入，A^(l)是第l个稀疏自编码器的输出，经过训练后的a^(l)＝A^(l)，那么z^(l)可以复现出输入a^(l)，即z^(l)可以看作是输入a^(l)的一种不同的表达；在第l个稀疏自编码器训练结束后，把z^(l)作为在第l+1个稀疏自编码器的输入进行训练，特征提取和特征映射单元保存的参数w_ae,B_ae是所用的稀疏自编码器的参数{w^(l,1)，B^{(l ,1)}}组合。

在第三步中，所述利用神经网络进行有监督学习训练，在输出端回归出LDPC的信息位，完成LDPC译码是指：

将训练后稀疏自编码器的最后一层特征映射层z^(l)作为神经网络输入，并通过前馈计算得到神经网络中每一层神经元的值；将输出层的值与训练样本集中的标签Y通过回归误差函数求出训练误差；利用误差进行反向求导优化神经网络参数{w_nn,B_nn}；

当训练误差低于预先设定的阈值或者最大训练迭代次数时，神经网络停止训练，则网络训练完毕，此时确定整个神经网络的参数，并在神经网络的输出层回归出LDPC的信息位，完成LDPC译码。

根据神经网络输出层的激活函数的特性进行阈值判决。若神经网络的输出层的激活函数是sigmoid函数，那么阈值取0.5，sigmoid函数的值域为{0,1}。

若神经网络的输出层激活函数是tanh函数，那么阈值取为0，tanh函数的值域为{-1,1}。

与现有技术相比，本发明具有如下优点与有益效果：本发明基于半监督深度学习网络的LDPC译码系统及译码方法利用训练好的深度学习网络实现无需迭代的高吞吐率译码，用于解决现有的LDPC软判决译码算法译码复杂度高，多次迭代带来的延时以及吞吐量低的问题。

附图说明

图1是本发明的译码方法中深度学习网络结构图；

图2是本发明的神经网络的结构之一的示意图；

图3是本发明的降噪自编码器的结构之一的示意图；

图4是本发明的稀疏自编码器的结构之一的示意图；

图5是本发明的深度学习网络训练流程图；

图6是本发明的测试译码流程图；

图7是本发明的一个实例里的译码性能图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细的描述。

实施例

本发明以(16，8)码率为1/2的LDPC码作为实施例，对本发明提出的基于半监督深度学习网络的LDPC译码系统及译码方法进行详细的说明。

如图1至图7所示，本发明基于半监督深度学习网络的LDPC译码系统，包括用于将LDPC码字构建成适合深度学习网络样本集的输入单元；

无监督学习模型，其中，无监督学习模型包括用于对样本集进行降噪的降噪单元，以及用于对降噪后的数据进行提取特征和特征映射的特征提取和特征映射单元；

以及用于针对特征映射后的输入进行有监督训练，回归出一批LDPC码字的信息位以完成LDPC批量译码的有监督学习单元；

其中，输入单元、降噪单元、特征提取和特征映射单元以及有监督学习单元依次连接。

本发明降噪单元为降噪自编码器，降噪自编码器包括依次连接的输入层、隐藏层和输出层，降噪自编码器的输入层与输出层的维度相同。

特征提取和特征映射单元为稀疏自编码器，而稀疏自编码器包括依次连接的输入层、隐藏层和输出层；隐藏层包括依次连接的特征映射层和重构层；输入层的维度与值和输出层的维度与值相等。而每一层特征映射层均比前一层特征映射层的维度大，每一层重构层均比前一层重构层的维度小。而稀疏自编码器中每一层特征映射层和重构层使用的激活函数均为：

其中，x为该层神经元的输入。

本发明有监督学习单元包括依次连接的输入层、隐藏层和输出层，有监督学习单元的输入层为稀疏自编码器的最后一层特征映射层，有监督学习单元的输出层回归输出LDPC的译码信息位。

本发明一种基于半监督深度学习网络的LDPC译码方法，包括以下步骤：

第一步，将LDPC码字构建成适合深度学习网络的训练样本集；

第二步，采用无监督学习模型中的降噪自编码器对训练样本集进行降噪，再采用稀疏自编码器对降噪后的数据进行提取特征和特征映射；

第三步，利用神经网络进行有监督学习训练，在输出端回归出LDPC的信息位，完成LDPC译码。

具体为：

(1)首先构建训练样本集：将LDPC码字经过BPSK调制后再加上高斯白噪声，得到模拟高斯信道下接收机接收到的带高斯噪声的LDPC码字。该训练样本选取的高斯白噪声范围为1db～6db，批量训练样本尺寸为256，每一次训练时样本集的构成为(X，CW，Y)。每一个LDPC码字的构成方法：随机获取8个信息比特c_m(m＝1,2,...,8)。将这8位信息位与LDPC的生成矩阵G(维度是8×16)相乘得到一个编码码字：CW_1×16＝c_m×G_8×16。CW是维度为(16，256)的矩阵，由256列个向量组成，每个向量对应这一个LDPC码字。X＝CW+NOISE，输入X为带高斯噪声的样本，维度为(16，256)。标签Y的维度为(8，256)，每一列对应着LDPC码字的信息位。对深度学习网络训练样本集(X，CW，Y)进行批量训练。

(2)利用降噪自编码器进行降噪：降噪自编码器只利用了样本集中的(X，CW)，X作为自编码器的输入，CW作为自编码器的标签。隐藏层大小选为128，是输入向量维度8的16倍。

激活函数:

使用的误差函数：L＝(f(wx+b)-CW)²；

经过训练后，误差不断降低，也就是说输出越靠近LDPC的原始码字CW，达到降噪的效果。当误差低于10^-5后停止训练，这个降噪自编码器网络一旦训练完毕后对下一轮的输入也能够达到降低噪声的效果。

(3)利用稀疏自编码器进行提取特征，特征映射。输入为降噪自编码器的输出，稀疏自编码器的标签也是降噪自编码器的输出。输入层维度为16，隐藏层有3层，第一层隐藏层(特征映射层)的维度为64，第二层隐藏层(特征映射层)大小为256，第三层隐藏层(重构层)维度为64，输出层维度为16。特征映射层维度都比上一层维度大，满足稀疏性。稀疏自编码器是把输入作为其标签来进行优化训练，训练时，重构层会重构出相应的值，如第三层隐藏层(重构层)的重构目标是第一层隐藏层，输出层的重构目标是输入层。经过少量的训练网络就会收敛到10^-10以下。训练结束后输出层的输出等于输入，此时每一层特征映射层可以看作是输入的另一种表达方式。这样的结构可以把输入映射到一个维度更高的特征空间(256>64>16)，这样特征的维度更高，也更稀疏。

(4)利用神经网络进行有监督学习。本实施例的稀疏自编码器的隐藏层(特征映射层)是神经网络的输入，神经网络的输入层维度为256，隐藏层有两层，维度分别为(512，64)，输出层维度为8，神经网络每一次的前馈计算后可以得到：网络的输出output(作为译码结果)和网络的误差MSE。神经网络选择了回归预测的方式，回归误差函数使用MSE:

MSE＝(output-y)²

其中y为标签，也就是LDPC码字的原本信息位，output是网络回归预测得到的LDPC信息位。使用的激活函数是sigmoid：

网络权值更新方法使用了反向传播算法，对每一层神经网络参数(w，b)进行更新。每一次训练都必须完成前馈计算与反向更新两个过程，当输出误差低于10^-5停止训练，训练后的神经网络参数各层参数组合为{w_nn,B_nn}。

使用一个训练完毕的发明实例进行测试，测试数据与训练数据产生方法一样，都是随机产生的。测试流程图如图6所示，整个测试流程相等于网络的一次前馈计算过程，测试数据经过降噪自编码器、稀疏自编码器、神经网络后直接得到输出，不需要进行反向更新过程。每一次都是和网络的各层参数w_i，b_i的矩阵相乘。因为使用的sigmoid作为神经网络的激活函数，取阈值为0.5，若神经网络的输出进行大于0.5，译码判决为1；若神经网络的输出小于等于0.5，译码判决为0；得到取值为{0,1}的序列作为系统对输入带噪声LDPC对应的译码结果。译码结果与真实的LDPC码字标签比较计算误码率如图7所示。由图7看出网络能够具有很强的译码能力，译码时调整每一次译码的批量大小不会使网络的译码性能下降，可以看出该方法可以完成大批量译码任务。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于半监督深度学习网络的LDPC译码系统，其特征在于：

包括用于将LDPC码字构建成适合深度学习网络样本集的输入单元；

无监督学习模型；所述无监督学习模型包括用于对样本集进行降噪的降噪单元，以及用于对降噪后的数据进行提取特征和特征映射的特征提取和特征映射单元；

以及用于针对特征映射后的输入进行有监督训练，回归出一批LDPC码字的信息位以完成LDPC批量译码的有监督学习单元；

所述输入单元、降噪单元、特征提取和特征映射单元以及有监督学习单元依次连接。

2.根据权利要求1所述的基于半监督深度学习网络的LDPC译码系统，其特征在于：所述降噪单元为降噪自编码器；所述降噪自编码器包括依次连接的输入层、隐藏层和输出层；所述降噪自编码器的输入层与输出层的维度相同。

3.根据权利要求1所述的基于半监督深度学习网络的LDPC译码系统，其特征在于：所述特征提取和特征映射单元为稀疏自编码器；所述稀疏自编码器包括依次连接的输入层、隐藏层和输出层；隐藏层包括依次连接的特征映射层和重构层；所述输入层的维度与值和输出层的维度与值相等。

4.根据权利要求3所述的基于半监督深度学习网络的LDPC译码系统，其特征在于：每一层特征映射层均比前一层特征映射层的维度大；每一层重构层均比前一层重构层的维度小。

5.根据权利要求3所述的基于半监督深度学习网络的LDPC译码系统，其特征在于：所述稀疏自编码器中每一层特征映射层和重构层使用的激活函数均为：

其中，x为该层神经元的输入。

6.根据权利要求3所述的基于半监督深度学习网络的LDPC译码系统，其特征在于：所述有监督学习单元包括依次连接的输入层、隐藏层和输出层；所述有监督学习单元的输入层为稀疏自编码器的最后一层特征映射层；所述有监督学习单元的输出层回归输出LDPC的译码信息位。

7.一种基于半监督深度学习网络的LDPC译码方法，其特征在于：包括以下步骤：

第一步，将LDPC码字构建成适合深度学习网络的训练样本集；

第二步，采用无监督学习模型中的降噪自编码器对训练样本集进行降噪，再采用稀疏自编码器对降噪后的数据进行提取特征和特征映射；

第三步，利用神经网络进行有监督学习训练，在输出端回归出LDPC的信息位，完成LDPC译码。

8.根据权利要求7所述的基于半监督深度学习网络的LDPC译码方法，其特征在于：在第一步中，所述将LDPC码字构建成适合深度学习网络的训练样本集是指：

首先，将LDPC码字经过BPSK调制后再加上高斯白噪声，得到模拟高斯信道下接收机接收到的带高斯噪声的LDPC码字；其中，对于任一个LDPC(n，k)码字，均由相应的k位信息比特与该LDPC码生成矩阵G相乘得到，即：

CW_1×n＝msg_1×k×G_k×n；

其次，将作为深度学习网络输入X的带高斯噪声LDPC码字，未加高斯噪声的LDPC码字CW，以及作为深度学习网络标签Y的对应k位信息位来构建适合深度学习网络的训练样本集(X，CW，Y)；

最后，对深度学习网络训练样本集(X，CW，Y)进行批量训练。

9.根据权利要求8所述的基于半监督深度学习网络的LDPC译码方法，其特征在于：在第二步中，所述采用无监督学习模型中的降噪自编码器对训练样本集进行降噪，再采用稀疏自编码器对降噪后的数据进行提取特征和特征映射是指：

首先，采用降噪自编码器对批量训练的训练样本集(X，CW，Y)进行降噪：利用到训练样本集(X，CW，Y)的(X，CW)信息对带高斯噪声的输入X的原始数据CW进行重构，通过训练使得重构误差L最小化，即：

其中g(x)为激活函数：最后输出为

当重构误差L低于10^-5后停止训练，则重构出一批贴近原始不带噪声的LDPC码字作为降噪自编码器输出，训练完的降噪自编码的参数记为{w_dae,B_dae}；

稀疏自编码器神经元的权值ω_dae与偏置B_dae，使得降噪自编码器的输出满足：

其次，将训练后的降噪自编码器的输出作为稀疏自编码器的输入，并进行稀疏自编码器的训练；对于一个n层的稀疏自编码器，设定w^(l,1),w^(l,2),B^(l,1),B^(l,2)每一个都是第l个稀疏自编码器对应的权值和偏置，对应于稀疏编码器的训练分为两个过程：

(1)输入信息完成特征提取、特征映射的过程：

a^(l)＝f(z^(l-1))

z^(l)＝w^(l,1)·a^(l)+B^(l,1)

(2)特征重构的过程：

A^(l)＝f(z^(l))＝f(w^(l,2)·z^(l)+B^(l,2))

其中a^(l)是第l个稀疏自编码器的输入，A^(l)是第l个稀疏自编码器的输出，经过训练后的a^(l)＝A^(l)，那么z^(l)可以复现出输入a^(l)，即z^(l)可以看作是输入a^(l)的一种不同的表达；在第l个稀疏自编码器训练结束后，把z^(l)作为在第l+1个稀疏自编码器的输入进行训练，特征提取和特征映射单元保存的参数w_ae,B_ae是所用的稀疏自编码器的参数{w^(l,1)，B^(l,1)}组合。

10.根据权利要求9所述的基于半监督深度学习网络的LDPC译码方法，其特征在于：在第三步中，所述利用神经网络进行有监督学习训练，在输出端回归出LDPC的信息位，完成LDPC译码是指：

将训练后稀疏自编码器的最后一层特征映射层z^(l)作为神经网络输入，并通过前馈计算得到神经网络中每一层神经元的值；将输出层的值与训练样本集中的标签Y通过回归误差函数求出训练误差；利用误差进行反向求导优化神经网络参数{w_nn,B_nn}；

当训练误差低于预先设定的阈值或者最大训练迭代次数时，神经网络停止训练，则网络训练完毕，此时确定整个神经网络的参数，并在神经网络的输出层回归出LDPC的信息位，完成LDPC译码。