CN111565051A - 一种用于ldpc码的自学习归一化偏置最小和译码方法 - Google Patents

Abstract

本发明公开了一种用于LDPC码的自学习归一化偏置最小和译码方法，该用于LDPC码的自学习归一化偏置最小和译码方法包括：建立LDPC码译码训练样本集；建立深度学习模型；利用LDPC码译码训练样本集，并采用随机梯度下降的训练方法对所述深度学习模型进行训练，得到训练好的参数；将所述训练好的参数代入到归一化偏置最小和译码算法中进行译码。本发明用于LDPC码的自学习归一化偏置最小和译码方法既具有较低的计算复杂度，又具有良好的译码性能，十分适合实际通信系统中的应用，具有很好的推广应用前景。

Description

一种用于LDPC码的自学习归一化偏置最小和译码方法

技术领域

本发明涉及深度学习和通信技术领域，特别是指一种用于LDPC码的自学习归一化偏置最小和译码方法。

背景技术

低密度奇偶校验码(Low Density Parity Check Code,LDPC)，是一种译码复杂度低且性能优良的线性分组纠错码。基于早期的研究表明，人们发现当LDPC码长足够长的情况下，误码率能够非常接近Shannon限(香农限)，甚至当达到一定码长时，有比Turbo码更逼近香农限的纠错能力。正是由于LDPC码优异的性能能够满足第五代(Fifth-Generation,5G)移动通信系统中新的通信需求，实现移动设备之间低时延、高速率和高可靠性连接，使其成为了5G标准中的数据信道编码方案。

在5GLDPC码译码方案的硬件实现中并没有采用性能优良的SPA算法，而是常用MS算法和MS算法的改进算法，这是因为SPA算法中在从校验节点到变量节点更新时计算复杂度较高，硬件实现复杂、成本高。但是MS算法和MS算法的改进算法在译码性能上都与SPA算法有不小差距。现有技术中5G LDPC码硬件实现时采用的译码算法的译码性能不足。

发明内容

针对现有技术的不足之处，本发明的目的是提出一种用于LDPC码的自学习归一化偏置最小和译码方法，该基于自学习(深度学习)的信道编码部分的5G LDPC码归一化偏置最小和译码方法可提高译码性能。

基于上述目的，本发明提供的一种用于LDPC码的自学习归一化偏置最小和译码方法，包括：

建立LDPC码译码训练样本集；

建立深度学习模型；

利用LDPC码译码训练样本集，并采用随机梯度下降的训练方法对所述深度学习模型进行训练，得到训练好的参数；

将所述训练好的参数代入到归一化偏置最小和译码算法中进行译码。

在本发明的一些实施例中，所述LDPC码具有特殊的QC结构，其奇偶校验矩阵是由基图经过扩展和循环移位得到的。

在本发明的一些实施例中，所述建立LDPC码译码训练样本集的步骤包括：

选择基图，根据码长确定提升值Z，得到奇偶校验矩阵，再得到对应生成矩阵，等概0、1信源比特信息序列Y与对应生成矩阵相乘后得到信息比特序列X；

信息比特序列X经过二进制相移键控加入高斯白噪声，初始化后得到带高斯噪声的信息比特序列，最后转化成相应的对数似然比信息序列X'，以作为LDPC码译码的训练样本集。

在本发明的一些实施例中，所述建立深度学习模型的步骤包括：

通过置信度传播算法中变量节点到校验节点的横向更新和校验节点到变量节点的纵向更新过程，单步展开，根据LDPC码的特性，一个校验节点只与它相关联的变量节点有关，网络的连接方式为非全链接，建立深度学习模型。

在本发明的一些实施例中，所述深度学习模型中，神经网络中每两层对应一次迭代译码，神经网络中间层的数目为最大迭代译码次数的两倍，对神经网络的中间层从1开始编号，每层神经元个数为基图中为“1”的元素个数，奇数层为变量节点更新层，奇数层连接输出层，偶数层为校验节点更新层和输出层。

在本发明的一些实施例中，所述深度学习模型的激活函数由归一化偏置最小和译码算法中节点更新公式决定，其中，奇数层激活函数由变量节点更新公式决定，偶数层由校验节点更新公式决定，输出的对数似然比用sigmoid函数归一化到(0,1)值域上，损失函数为交叉熵函数，优化算法为ADAM算法。

在本发明的一些实施例中，变量节点更新公式为：

其中，

为在第i次迭代译码中从校验节点c到变量节点v的似然信息，是一个矢量，因为每个神经元处理的是一个Z长度序列；

代表与校验节点c相邻的变量节点集合，

代表与校验节点c相邻的包括变量结点v的变量节点集合，

为第i轮迭代译码待训练的权重，初始化为1，

为带训练的偏置，初始化为0；

ReLU(x)＝max(x,0)

校验节点更新公式为：

其中，

为在第i次迭代译码中从校验节点c到变量节点v的似然信息，

代表与变量节点v相邻的校验节点集合，

代表与变量节点v相邻的不包括校验变结点c的校验节点集合，LLR_v为固有的似然信息；

输出似然信息的公式为：

其中，S_v为变量节点输出的似然信息，可以直接作软判决得到译码比特序列，LLR_v为固有的似然信息；

输出层的激活函数为sigmoid函数为：

交叉熵函数为：

其中，X为输出的似然信息序列，S为调制前的信息比特序列，N为序列长度。

在本发明的一些实施例中，所述采用随机梯度下降的训练方法对深度学习模型进行训练，得到训练好的参数的步骤包括：

设定最大训练数和每个batch中的样本数；

逐层训练权重和偏置，进行迭代次数为1的译码，只用深度学习模型的前两层，每个batch输入后对第一个奇数层的权重w和偏置b进行调整，当第一层训练完之后把第一个奇数层的权重w和偏置b固定下来，再进行第二层的训练，以此类推直到达到最大迭代次数；

训练完成后，取出每轮迭代中的权重和偏置，保存下来。

在本发明的一些实施例中，所述逐层训练权重和偏置的步骤包括：

步骤S1，初始化迭代计数器h＝1。

步骤S2，初始化训练batch数目计数器k＝1。

步骤S3，随机选则一种码长并生成所述码长组成的一个batch，输入对应的神经网络；

步骤S4，在神经网络完成2*h层计算后输出，即只进行迭代次数为h的译码；

步骤S5，计算loss并用ADAM优化算法调整第h轮迭代中的权重w^h和偏置b^h，k加1，返回步骤S3，直到k达到最大训练数；

步骤S6，第h轮迭代中的权重w^h和偏置b^h中的训练完成后，设置为常量固定下来，h加1，返回步骤S2。

在本发明的一些实施例中，将训练好的所述参数代入到归一化偏置最小和译码算法中进行译码的步骤包括：

取出保存的每轮迭代中的权重w和偏置b代入归一化偏置最小和译码算法中进行译码。

与现有技术相比，本发明具有以下有益效果：

本发明结合归一化最小和译码算法和偏置最小和算法，简化了校验节点到变量节点计算公式，使得计算复杂度大大降低。另外引入深度学习采用逐层训练的方式训练每一层的权重和偏置，提高了算法的译码性能。综合上述两个特点，本发明提出的一种用于LDPC码的自学习归一化偏置最小和译码方法既具有较低的计算复杂度，又具有良好的译码性能。因此，本发明用于LDPC码的自学习归一化偏置最小和译码方法十分适合实际通信系统中的应用，具有很好的推广应用前景。

附图说明

图1为本发明实施例的用于LDPC码的自学习归一化偏置最小和译码方法的流程图；

图2为本发明实施例的用于LDPC码的自学习归一化偏置最小和译码方法的完整流程图；

图3为本发明实施例的BG1中非零元素的位置，也可以看成对应Tanner图的邻接矩阵，行数为46，列数为68；

图4为本发明实施例的基于BG1建立的神经网络部分模型的示意图，完整的模型只需要对中间层进行复制，对应的层与层之间连接方式均相同；另外需要说明的是示意图中省略了很多神经元，图中很多神经元的连接线没有画出，这是因为另外一端的神经元被省略；

图5为本发明实施例的深度学习模型训练过程的流程图；

图6为对5G-NRLDPC码进行编译码仿真的误块率折线图，选择BG1中码长为66的码，即Z＝3，调制方式为BPSK，信道为高斯白噪声信道，信噪比范围为-2到4.5，步长为0.5，对码字的前6位进行打孔，译码迭代次数为20次，译码方式有MS算法、SPA算法、NMS算法和基于深度学习的NOMS算法；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

如背景技术所记载的，现有技术中5G LDPC码硬件实现时采用的译码算法的译码性能不足。考虑到LDPC码的结构和Tanner图的优势，其基于置信度传播译码算法的信息传递的方式，在校验节点和变量节点来回迭代过程和深度学习中反向传播算法的联系，可以从中找到一种新的途径来进一步优化LDPC码译码算法。本发明将深度学习方法用于归一化偏置最小和译码可以进一步提高其译码性能，在一定情况下其译码性能可能好于SPA算法，而且相比MS算法，计算复杂度仅略微变大。

如图1所示，本实施例提供了一种用于LDPC码的自学习归一化偏置最小和译码方法，包括：

步骤S101，建立LDPC码译码训练样本集；

在步骤S101中，LDPC码译码指的是信道编码部分的5G LDPC码，可选的，建立LDPC码译码训练样本集的步骤包括：

选择基图，根据码长确定提升值Z，得到奇偶校验矩阵，再得到对应生成矩阵，等概0、1信源比特信息序列Y与对应生成矩阵相乘后得到信息比特序列X；

信息比特序列X经过二进制相移键控加入高斯白噪声，初始化后得到带高斯噪声的信息比特序列，最后转化成相应的对数似然比信息序列X'，以作为LDPC码译码的训练样本集。

具体的，建立LDPC码译码训练样本集的步骤包括：

选择基图(基图有BG1和BG2两种)，根据码长确定Z(Lifting Value，提升值)，表示在基图基础上扩展的倍数，得到奇偶校验矩阵(PCM)，再得到对应生成矩阵(GM)，等概0、1信源比特信息序列Y经过编码得到信息比特序列X，具体为：等概0、1信源比特信息序列Y与对应生成矩阵(GM)相乘后得到信息比特序列X；其中，对于任一个LDPC(n,k)码，n为码字的长度，k为信息位长度；

其次，信息比特序列X经过二进制相移键控(BPSK)加入高斯白噪声，初始化后得到带高斯噪声的信息比特序列，最后转化成相应的对数似然比信息序列X'，以作为LDPC码译码的训练样本集。设定总的码长种类和最大译码迭代次数，不同码长和用于训练不同层的样本对应的高斯白噪声是不同的，具体体现为信噪比SNR，取该码长LDPC码在采用SPA译码算法迭代次数为该层数下达到一定误比特率所需要的最小信噪比。

可选的，LDPC码具有特殊的QC结构，其奇偶校验矩阵是由基图经过扩展和循环移位得到的，QC-LDPC码(准循环低密度奇偶校验码)是LDPC码的一个重要子类，它的校验矩阵具有准循环形式，这种结构特征决定了其较低的编解码复杂度。

步骤S102，建立深度学习模型；

在步骤S101确定基图后，就可以通过基图对应Tanner图的连接情况来建立深度学习模型。深度神经网络中每两层对应一次迭代译码，神经网络中间层的数目为最大迭代译码次数的两倍，对神经网络的中间层从1开始编号。每层神经元个数为基图中为“1”的元素个数，即Tanner图中连边的个数。奇数层为变量节点更新层，偶数层为校验节点更新层和输出层。

本实施例通过置信度传播算法中变量节点到校验节点的横向更新和校验节点到变量节点的纵向更新过程，单步展开，根据LDPC码的特性，一个校验节点只与它相关联的变量节点有关，因此网络的连接方式为非全链接，搭建深度学习译码模型。模型中的训练变量是奇数层变量节点更新时的权重和偏置，每个神经元对应一个权重和一个偏置。每个神经元处理的数据为一个Z长度的张量，即对于码字的同一个扩展移位单元的Z长度序列共用一个权重和偏置。

深度学习模型的激活函数由归一化偏置最小和译码算法中节点更新公式决定，其中奇数层激活函数由变量节点更新公式决定，偶数层由校验节点更新公式决定。对于每个偶数层都对应一个输出层，目的是在每一次译码迭代都进行一次输出。对于输出的对数似然比用sigmoid函数归一化到(0,1)值域上，损失函数为交叉熵函数，优化算法为ADAM算法。

步骤S103，利用LDPC码译码训练样本集，并采用随机梯度下降的训练方法对所述深度学习模型进行训练，得到训练好的参数；

如图2所示，采用随机梯度下降的训练方法对深度学习模型进行训练，得到训练好的参数的步骤包括：

设定最大训练数和每个batch中的样本数；

逐层训练权重和偏置，进行迭代次数为1的译码，只用深度学习模型的前两层，每个batch输入后对第一个奇数层的权重w和偏置b进行调整，当第一层训练完之后把第一个奇数层的权重w和偏置b固定下来，再进行第二层的训练，以此类推直到达到最大迭代次数；

训练完成后，取出每轮迭代中的权重和偏置，保存下来。

在本实施例中，可选的，所述逐层训练权重和偏置的步骤包括：

步骤S1，初始化迭代计数器h＝1。

步骤S2，初始化训练batch数目计数器k＝1。

步骤S3，随机选则一种码长并生成所述码长组成的一个batch，输入对应的神经网络；

步骤S4，在神经网络完成2*h层计算后输出，即只进行迭代次数为h的译码；

步骤S5，计算loss并用ADAM优化算法调整第h轮迭代中的权重w^h和偏置b^h，k加1，返回步骤S3，直到k达到最大训练数；

步骤S6，第h轮迭代中的权重w^h和偏置b^h中的训练完成后，设置为常量固定下来，h加1，返回步骤S2。

相比于对归一化最小和译码(Normalized Min-Sum,NMS)算法和偏置最小和(OffsetMin-Sum,OMS)算法中的权重和偏置取经验值的方式，本实施例利用深度学习训练得到各变量节点更新时权重和偏置的最优值，训练时更是采用了逐层训练的方法，提高了训练效率，能够进一步降低误码率，提高译码性能。

本实施例采用了深度学习的方法，通过深度学习译码模型训练，不断调整归一化偏置最小和译码算法中每次迭代时每个变量节点更新时的权重和偏置，最终得到使整体译码性能达到最优的一组权重和偏置。训练时，权重和偏置一方面去拟合SPA算法中校验节点更新公式，另一方面调整似然信息在Tanner图环路中的传递。另外，相比于传统深度学习的训练方式，本发明是逐层进行训练的，即先进行第一层的参数训练，只进行一次迭代译码，固定第一层参数后在进行第二层参数的训练，以此类推。这样的训练方法即降低训练复杂度，又克服了梯度消失的问题。

步骤S104，将所述训练好的参数代入到归一化偏置最小和译码算法中进行译码。

在步骤S104中，可选的，将训练好的所述参数代入到归一化偏置最小和译码算法中进行译码的步骤包括：

取出保存的每轮迭代中的权重w和偏置b代入归一化偏置最小和译码算法中进行译码。

可选的，译码算法为归一化偏置最小和译码方法(NormalizedOffsetMin-Sum,NOMS)译码方法，结合了归一化最小和译码(Normalized Min-Sum,NMS)算法和偏置最小和(OffsetMin-Sum,OMS)算法，相比于和积算法(Sum-Product Algorithm,SPA)大大降低了计算复杂度，硬件成本大大降低，同时相于最小和(Min-Sum,MS)算法大大提高了译码性能。

当训练完成后取出训练好的模型中每个奇数层中的一组权重w和偏置b，代入译码程序中进行本实施例提出的5GLDPC码译码算法性能验证。

本实施例中用于LDPC码的自学习归一化偏置最小和译码方法，该LDPC码译码方法可提高译码性能，并降低译码迭代次数和复杂度，实现从含有噪声和干扰的序列中还原发送端的数据。

下面将举出一个具体的例子对本发明的用于LDPC码的自学习归一化偏置最小和译码方法作详细的说明。

步骤S101，建立5G-NRLDPC码译码训练样本集；

基图选择BG1为例(如图3所示)，确定一个(68,22)的基本码，对应于BG1的Tanner图中有68个变量节点VNs和22个校验节点CNs，LDPC码的码率为22/68。样本码长种类有三种，44、132和220，分别对应Z＝2,6,10。确定Z后可在校验矩阵索引图中找到对应的未扩展的校验矩阵，包括基图中每条边的循环移位值。对基图进行倍数为Z的扩展得到一个(68×Z,22×Z)的大图，基图中为“0”的元素扩展为Z×Z的零矩阵，为“1”的元素扩展为Z×Z的单位矩阵。然后按照基图每条边对应的循环移位值对扩展后的图中的Z×Z的矩阵进行循环移位，得到该码长下的奇偶校验矩阵(PCM)，再得到对应生成矩阵(GM)。

训练集每个batch中的每个样本的码长等概率地从以上三种码长中选取。等概0、1信源比特信息序列Y与对应生成矩阵(GM)相乘后得到信息比特序列X。其中，对于任一个LDPC(n,k)码，n为码字的长度，n＝68×Z，k为信息位长度，k＝22×Z；其次，信息比特序列X进行BPSK再经过高斯白噪声信道(AWGN)，转化为对数似然值后得到带高斯噪声的信息比特序列X'，以作为LDPC译码的训练样本集。设定最大译码迭代次数MAX＝20，不同码长和用于训练不同层的样本对应的高斯白噪声是不同的，具体体现为信噪比SNR，取该码长LDPC码在采用SPA译码算法迭代次数为该层数下达误比特率低于0.01所需要的最小信噪比，可以得到一个(3,20)的信噪比表格SNR_TABLE，如下表1所示。

表1

I表为译码迭代轮数，记录了在训练第I轮迭代译码的权重和偏置时不同码长样本所对应的信噪比。

步骤S102，建立深度学习模型；

深度学习译码模型的建立依据是BG1结构和NOMS译码算法中基于置信度传播的信息传递方式。神经网络主体一共有40层，每两层对应译码算法的一次迭代，i＝1,2,3,…,20。BG1如图3所示，有68个变量节点VNs和22个校验节点CNs，变量节点与校验节点之间的连边数目为316，神经网络每层的神经元个数为316，每个神经元对应基图中一条连边。

神经网络的奇数层为变量节点更新层，变量节点更新公式为：

其中，

为在第i次迭代译码中从校验节点c到变量节点v的似然信息，是一个矢量，因为每个神经元处理的是一个Z长度序列。

代表与校验节点c相邻的变量节点集合，

代表与校验节点c相邻的包括变量结点v的变量节点集合，

为第i轮迭代译码待训练的权重，初始化为1，

为带训练的偏置，初始化为0。

ReLU(x)＝max(x,0)

神经网络偶数层为校验节点更新层，校验节点更新公式为：

其中，

为在第i次迭代译码中从校验节点c到变量节点v的似然信息，

代表与变量节点v相邻的校验节点集合，

代表与变量节点v相邻的不包括校验变结点c的校验节点集合，LLR_v为固有的似然信息。

训练时是逐层训练的，每一次迭代译码都会输出相应似然信息，因此奇数层还要连接输出层，输出似然信息的公式为：

其中S_v为变量节点输出的似然信息，可以直接作软判决得到译码比特序列，LLR_v为固有的似然信息。

本方法通过置信度传播算法中变量节点到校验节点的横向更新和校验节点到变量节点的纵向更新过程，单步展开，根据LDPC码的特性，一个校验节点只与它相关联的变量节点有关，因此网络的连接方式为非全链接，搭建深度学习译码模型。具体示例如下：

取BG1中第6行第4列的连边为例，在奇数层中该连边作为一个神经元处理从校验节点c₆到变量节点v₄的信息传递，由更新公式易知，与该神经元相连的上一层神经元均在基图的第6行，列数有1,2,13,17,22,23,28；在偶数层中该连边作为一个神经元处理从变量节点v₄到校验节点c₆的信息传递，与该神经元相连的上一层神经元均在基图的第4列，行数有1,2,4,9,14,17,21,25,40,42。偶数层中该连边对应的神经元还连接对应于v4的固有似然信息LLR₄的输入。按照这种方式就可以建立一个非全连接的神经网络，如图4所示。

奇数层和偶数层的激活函数由以上对应的节点更新公式易得。输出层的激活函数为sigmoid函数为：

目的是归一化到(0,1)值域上，进行损失值loss的计算，损失函数为交叉熵函数，优化算法为ADAM算法。交叉熵函数为：

其中，X为输出的似然信息序列，S为调制前的信息比特序列，N为序列长度。

该模型中每个神经元处理的是一组矢量，是一个长度为Z的似然信息序列，在该神经网络中还会对(68,Z)的似然信息矢量在第二维度上进行循环移位，网络结构由校验矩阵决定。由于样本中有三种不同的码长，所以训练模型中由三个规模不同的神经网络，主要区别在于三者能处理的输入信息序列大小分别为(68,2),(68,6),(68,10)，分别对应于码长44，132，220的LDPC码。

步骤S103，利用LDPC码译码训练样本集，并采用随机梯度下降的训练方法对所述深度学习模型进行训练，得到训练好的参数；

如图5所示，步骤S103具体包括以下步骤：

步骤S301，设定最大训练数为50000，每batch中的样本数为60，学习速率为0.001。

步骤S302，逐层训练权重和偏置，先进行迭代次数为1的译码模型训练，固定第一次迭代w¹的权重和偏置b¹，训练下轮迭代的权重和偏置。每轮迭代参数的训练的batch数目均为50000个batch；步骤S302具体包括以下步骤：

步骤S3021，初始化迭代计数器h＝1。

步骤S3022，初始化训练batch数目计数器k＝1。

步骤S3023，随机选则一种码长并生成60个该码长的组成一个batch输入对应的神经网络。

步骤S3024，在神经网络完成2*h层计算后输出，即只进行迭代次数为h的译码。

步骤S3025，计算loss并用ADAM优化算法调整第h轮迭代中的权重w^h和偏置b^h，k加1，返回步骤3023，直到k达到最大训练数。

步骤S3026，第h轮迭代中的权重w^h和偏置b^h中的训练完成后设置为常量固定下来，h加1，返回步骤3022。第h轮迭代中的权重w^h和偏置b^h中的训练完成后设置为常量固定下来，h加1，返回步骤3022。

步骤S303，整个模型训练完成，取出每轮迭代中的权重和偏置，保存下来。

步骤S104，将所述训练好的参数代入到归一化偏置最小和译码算法中进行译码。

取出保存的每轮迭代中的权重w和偏置b代入NOMS算法中(w和b规模均为20*316)进行译码性能测试。

本实施例已经进行了多次模型训练以及训练参数的调整，下面就仿真实施的译码性能测试结果进行介绍：

参见图6所示，对5G LDPC码进行编译码仿真，选择BG1中码长为66的码，即Z＝3，调制方式为BPSK，信道为高斯白噪声信道，信噪比范围为-2到4.5，步长为0.5，对码字的前6位进行打孔，译码迭代次数为20次。由结果可以看出，本发明提出的基于自学习的5G LDPC码NOMS译码算法的误块率要低于NMS算法，远低于MS算法，在信噪比较低时略高于SPA算法，在信噪比较高时误块率甚至低于SPA算法，这说明本实施例提出的译码算法在控制计算复杂度较低的情况下大大优化了译码性能。

与现有技术相比，本实施例的用于LDPC码的自学习归一化偏置最小和译码方法具有以下有益效果：

本实施例结合NMS算法和OMS算法，简化了校验节点到变量节点计算公式，使得计算复杂度大大降低。另外引入深度学习采用逐层训练的方式训练每一层的权重和偏置，提高了算法的译码性能。综合上述两个特点，本实施例提出的基于深度学习的5G LDPC码NOMS译码方法既具有较低的计算复杂度，又具有良好的译码性能。因此，本实施例的用于LDPC码的自学习归一化偏置最小和译码方法十分适合实际通信系统中的应用，具有很好的推广应用前景。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于LDPC码的自学习归一化偏置最小和译码方法，其特征在于，包括：

建立LDPC码译码训练样本集；

建立深度学习模型；

利用LDPC码译码训练样本集，并采用随机梯度下降的训练方法对所述深度学习模型进行训练，得到训练好的参数；

将所述训练好的参数代入到归一化偏置最小和译码算法中进行译码。

2.根据权利要求1所述的用于LDPC码的自学习归一化偏置最小和译码方法，其特征在于，所述LDPC码具有特殊的QC结构，其奇偶校验矩阵是由基图经过扩展和循环移位得到的。

3.根据权利要求1所述的用于LDPC码的自学习归一化偏置最小和译码方法，所述建立LDPC码译码训练样本集的步骤包括：

选择基图，根据码长确定提升值Z，得到奇偶校验矩阵，再得到对应生成矩阵，等概0、1信源比特信息序列Y与对应生成矩阵相乘后得到信息比特序列X；

信息比特序列X经过二进制相移键控加入高斯白噪声，初始化后得到带高斯噪声的信息比特序列，最后转化成相应的对数似然比信息序列X'，以作为LDPC码译码的训练样本集。

4.根据权利要求1所述的用于LDPC码的自学习归一化偏置最小和译码方法，其特征在于，所述建立深度学习模型的步骤包括：

通过置信度传播算法中变量节点到校验节点的横向更新和校验节点到变量节点的纵向更新过程，单步展开，根据LDPC码的特性，一个校验节点只与它相关联的变量节点有关，网络的连接方式为非全链接，建立深度学习模型。

5.根据权利要求4所述的用于LDPC码的自学习归一化偏置最小和译码方法，其特征在于，所述深度学习模型中，神经网络中每两层对应一次迭代译码，神经网络中间层的数目为最大迭代译码次数的两倍，对神经网络的中间层从1开始编号，每层神经元个数为基图中为“1”的元素个数，奇数层为变量节点更新层，奇数层连接输出层，偶数层为校验节点更新层和输出层。

6.根据权利要求5所述的用于LDPC码的自学习归一化偏置最小和译码方法，其特征在于，所述深度学习模型的激活函数由归一化偏置最小和译码算法中节点更新公式决定，其中，奇数层激活函数由变量节点更新公式决定，偶数层由校验节点更新公式决定，输出的对数似然比用sigmoid函数归一化到(0,1)值域上，损失函数为交叉熵函数，优化算法为ADAM算法。

7.根据权利要求6所述的用于LDPC码的自学习归一化偏置最小和译码方法，其特征在于，变量节点更新公式为：

其中，

为在第i次迭代译码中从校验节点c到变量节点v的似然信息，是一个矢量，因为每个神经元处理的是一个Z长度序列；

代表与校验节点c相邻的变量节点集合，

代表与校验节点c相邻的包括变量结点v的变量节点集合，

为第i轮迭代译码待训练的权重，初始化为1，

为带训练的偏置，初始化为0；

ReLU(x)＝max(x,0)

校验节点更新公式为：

其中，

为在第i次迭代译码中从校验节点c到变量节点v的似然信息，

代表与变量节点v相邻的校验节点集合，

代表与变量节点v相邻的不包括校验变结点c的校验节点集合，LLR_v为固有的似然信息；

输出似然信息的公式为：

其中，S_v为变量节点输出的似然信息，可以直接作软判决得到译码比特序列，LLR_v为固有的似然信息；

输出层的激活函数为sigmoid函数为：

交叉熵函数为：

其中，X为输出的似然信息序列，S为调制前的信息比特序列，N为序列长度。

8.根据权利要求1所述的用于LDPC码的自学习归一化偏置最小和译码方法，其特征在于，所述采用随机梯度下降的训练方法对深度学习模型进行训练，得到训练好的参数的步骤包括：

设定最大训练数和每个batch中的样本数；

逐层训练权重和偏置，进行迭代次数为1的译码，只用深度学习模型的前两层，每个batch输入后对第一个奇数层的权重w和偏置b进行调整，当第一层训练完之后把第一个奇数层的权重w和偏置b固定下来，再进行第二层的训练，以此类推直到达到最大迭代次数；

训练完成后，取出每轮迭代中的权重和偏置，保存下来。

9.根据权利要求8所述的用于LDPC码的自学习归一化偏置最小和译码方法，其特征在于，所述逐层训练权重和偏置的步骤包括：

步骤S1，初始化迭代计数器h＝1；

步骤S2，初始化训练batch数目计数器k＝1；

步骤S3，随机选则一种码长并生成所述码长组成的一个batch，输入对应的神经网络；

步骤S4，在神经网络完成2*h层计算后输出，即只进行迭代次数为h的译码；

步骤S5，计算loss并用ADAM优化算法调整第h轮迭代中的权重w^h和偏置b^h，k加1，返回步骤S3，直到k达到最大训练数；

步骤S6，第h轮迭代中的权重w^h和偏置b^h中的训练完成后，设置为常量固定下来，h加1，返回步骤S2。

10.根据权利要求1所述的用于LDPC码的自学习归一化偏置最小和译码方法，其特征在于，将训练好的所述参数代入到归一化偏置最小和译码算法中进行译码的步骤包括：

取出保存的每轮迭代中的权重w和偏置b代入归一化偏置最小和译码算法中进行译码。

Images