CN110995277B - 一种多层神经网络辅助的罚对偶分解信道译码方法 - Google Patents

Abstract

本发明提供了一种多层神经网络辅助的罚对偶分解信道译码方法，主要面向二进制线性码。该方法包括如下步骤：(1)基于信道译码构建最大似然优化问题；(2)通过将基本多面体的概念引入约束，将信道译码最大似然优化问题转化为基于奇偶校验多面体的译码优化问题；(3)引入解罚对偶分解法求解该译码优化问题，得到罚对偶分解信道译码器；(4)设计基于多层神经网络的校验多面体映射，通过训练获得学习参数，将基于多层神经网络的校验多面体映射引入罚对偶分解信道译码器，得到多层神经网络辅助的罚对偶分解信道译码器。本发明借助机器学习的力量进一步提升译码性能并且降低了译码延迟。

Description

一种多层神经网络辅助的罚对偶分解信道译码方法

技术领域

本发明属于无线通信信道编译码领域，涉及一种多层神经网络辅助的罚对偶分解信道译码方法。

背景技术

信道译码是将接收到的符号消息如何进行判决的问题。在一般的信息传输系统中，信宿收到的消息不一定与信源发出的消息相同，而信宿需要知道此时信源发出的是哪一个信源消息，故需要把信宿收到的消息根据某种规则判决为对应于信源符号消息集合中的某一个。线性规划(LP)译码器是基于原始最大似然译码问题的线性松弛，是二进制线性码的一种流行的译码技术。由于线性规划译码器在理论上对译码性能有很强的保证，因此受到了学术界和工业界的广泛关注，特别是对低密度奇偶校验(LDPC)码的译码。然而，与经典的置信传播(BP)译码器相比，LP译码器在低信噪比(SNR)区域具有较高的计算复杂度和较低的纠错性能。

另外，由于深度学习方法已经成功应用于其他很多领域，比如说图像处理，自然语言处理等，它作为一种有潜力的技术也开始应用于无线通信领域中，比如信号检测，信道估计，信道编码等。

发明内容

本发明的目的是信道译码过程中，为了提高译码性能，提出了一种多层神经网络辅助的罚对偶分解信道译码方法。本发明首先提出运用罚对偶分解方法求解最大似然信道译码问题，进一步提升译码性能。同时在该方法中的迭代多面体映射中引入神经网络减少迭代次数以减少译码延迟。

为达到上述目的，本发明采用了如下的技术方案：

一种多层神经网络辅助的罚对偶分解信道译码方法，包括：

1.基于信道译码构建最大似然译码问题，包括目标函数和奇偶校验约束条件；

2.将基本多面体引入步骤1中的奇偶校验约束条件，将最大似然译码问题转化为基于奇偶校验多面体的译码优化问题；

3.引入辅助变量，采用罚对偶分解法将步骤1所述的基于奇偶校验多面体的译码优化问题转化为其等价形式；在罚对偶分解法的内循环引入块连续上界最小化算法BSUM，得到罚对偶分解信道译码器，所述罚对偶分解信道译码器中带有校验多面体映射；

4.建立多层神经网络，与步骤3所述的校验多面体映射相结合，通过步骤3得到的解罚对偶分解信道译码器获取训练数据，经过训练得到基于多层神经网络的校验多面体映射；将基于多层神经网络的校验多面体映射引入步骤3得到的罚对偶分解信道译码器，得到多层神经网络辅助的罚对偶分解信道译码器；

5.采用步骤4得到的多层神经网络辅助的罚对偶分解信道译码器进行在线实时信道译码。

进一步的，步骤3得到的罚对偶分解信道译码器中带有校验多面体映射，校验多面体映射运算

是最耗费时间的部分，迭代校验多面体映射由于包含迭代所以引起译码延迟。本发明所提出的基于多层神经网络的多面体映射通过减少迭代次数减少译码延迟。

所述多层神经网络由三层组成：输入层、输出层和隐层；所述输入层包含d_j个神经元，隐层包含

个神经元，输出层包含1个神经元，隐层和输出层后都跟着一个激活函数，其定义为：

定义y^h表示隐藏层的输出，

为网络输出的差异系数的估计，则多层神经网络的结构表示为：

y^h＝SinAct(W_av+b_a)

其中，

为网络中的权重以及偏置，是需要学习的网络参数；因此多层神经网络所实现的输入输出之间的映射表示为：

通过交叉验证确定训练信噪比，通过解罚对偶分解信道译码器获得训练数据

其中

是特征，

为标签，为s_p的近似。由于迭代次数为1的情况占据着绝大多数，迭代次数为1的情况不需要通过神经网络减少迭代次数，因此在训练数据中排除迭代次数为1的情况。

使用训练数据

对多层神经网络进行训练，获得多层神经网络中所包含的参数Θ，其损失函数为：

其中，

表示发射信号，κ表示平衡系数，

表示向量的L2范数；为了进一步减少多层神经网络的计算复杂度，将{W_a，w_b}量化为

为自然数集；乘法运算可以取消或者转化为复杂度较低的移位运算。经过训练，得到训练好的多层神经网络。

多层神经网络辅助的罚对偶分解信道译码器的运算方法具体如下：

4.1)确定一个与v对应的辅助超平面θ＝{θ_i}：

θ_i＝sgn(v_i-0.5)，i＝1，…，d

其中，sgn(·)是阶跃函数，如果|{i：θ_i＝1}|中为1的元素数目是偶数，则将|v-0.5|最小值对应的θ中的第i个元素取反，即

i^*＝arg min_i|v_i-0.5|，

4.2)计算单步递进的差异系数η：

p＝|{i：θ_i＝1}|-1，

η＝(θ^Tu-p)/d

其中，ε为错误阈值，如果η＜ε，则r＝u即为输出；如果η＞＝ε，建立多层神经网络CPP-net并训练，将v输入到训练好的多层神经网络中，获得差异系数的估计值

其中，

表示神经网络的运算；

4.3)将估计值

赋值到单步递进差异系数的初始值

令k＝0，以η⁰为起点进行迭代，直到η^k＜ε，最终r＝u即为输出；所述迭代的步骤如下：

v＝v-η^kθ，

k＝k+1，η^k＝(θ^Tu-p)/d。

本发明具备的有益效果：

本发明充分利用了罚函数分解方法求解最大似然信道译码优化问题，提高了译码性能。同时运用机器学习方法进一步优化基于罚函数分解的信道译码方法中的迭代多面体映射方法，引入一个神经网络减少迭代次数以降低译码延迟。同时，由于网络所需学习参数有限，相比起其他深度学习网络，该网络非常易于训练，训练过程对于训练时间和硬件平台的要求较低。

附图说明

图1是基于[96，48]MacKey 96.33.964码CPP-net结构图；

图2是BP译码器、基于交替方向乘子法的译码器(ADMM L2)、罚对偶分解信道译码方法(PDD)、多层神经网络辅助的罚对偶分解信道译码方法(PDD with neural CPP)在瑞利信道环境下的码组误码率BLER曲线图。

具体实施方式

为了使本发明的技术方案和优点变得更加清晰，接下来将结合附图对技术方案的具体实施方式作更加详细地说明。

实施例1

考虑在加性高斯信道上面进行传输信号，所考虑的码型为[96，48]MacKay96.33.964 LDPC码

和[575，288]IEEE802.16e LDPC码

针对该系统所提出的一种多层神经网络辅助的罚对偶分解信道译码方法包括如下步骤：

该方法具体包括以下步骤：

步骤一、针对一个长度为N的二进制线性码

每个码字由M×N奇偶校验矩阵H指定，

表示发送码字，y表示接收信号；基于信道译码构建最大似然译码问题，表示为下式(1)所述的形式：

其中

代表码字集，

为对数似然比，v的每一个元素的定义为：

其中，Pr(·)表示条件概率，

代表二进制线性码

的变量节点。

步骤二、在奇偶校验约束条件中引入基本多面体，将最大似然译码问题(1)松弛为下述线性约束问题：

其中，

表示该码字的凸包，

被称为基本多面体；

定义二进制线性码

的第j个校验节点的度数为d_j，将问题(3)进一步被转化为基于奇偶校验多面体的译码优化问题：

其中，P_j代表一个d_j×N选择矩阵，用于挑选出参与第j个校验等式的向量x中的元素，

表示度数为d_j的奇偶校验多面体，表达式为：

其中even表示偶数。

步骤三、采用罚对偶分解法，引入一组辅助变量

将(4)中约束条件转化为以下等价形式：

将二进制变量{x_i}松弛到区间[0，1]，并引入辅助变量

满足

将问题(4)转化为：

此为由罚对偶分解法转化而来的等价形式；

问题(6)的增广拉格朗日问题表示为：

其中，

{y_j}，{w_i}和{η_i}分别是P_jx＝z_j，

和

对应的对偶变量；μ_m代表第m次外循环的惩罚参数；

针对问题(6)，采用块连续上界最小化算法BSUM处理内循环，在外循环值更新对偶变量以及惩罚参数μ_m；

BSUM算法处理步骤如下：

a)根据给定的{x^k，z^k}，更新x^k+1：

将问题(6)的增广拉格朗日问题转换为一个带简单约束的二次优化问题：

将问题(7)分解成N个子问题：

其中

α_i为向量

的第i个元素；

通过一阶优化条件，问题(8)的解表示为：

其中，∏_[0，1]表示[0，1]区间上的欧几里得映射，最终得到

b)根据给定的{x^k，x^k+1}，更新z^k+1：

z_j的优化问题表示为：

与步骤a)同理，得到

其中，

表示校验多面体映射运算；最终得到

c)根据给定的{x^k+1，z^k+1}，更新x^k+1：

求解x^k+1可以写成下列非约束二次优化问题：

最终得到

对偶变量由以下公式更新得到：

本步骤的译码方法被称为罚对偶分解信道译码器，所述罚对偶分解信道译码器中带有校验多面体映射

步骤四、设计基于多层神经网络的校验多面体映射计算

具体分为以下步骤：

4.1)确定一个与v对应的辅助超平面θ＝{θ_i}：

θ_i＝sgn(v_i-0.5)，i＝1，…，d

其中，sgn(·)是阶跃函数，如果|{i：θ_i＝1}|中为1的元素数目是偶数，则将|v-0.5|最小值对应的θ中的第i个元素取反，即

i^*＝arg min_i|v_i-0.5|，

4.2)计算单步递进的差异系数η：

p＝|{_i：θ_i＝1}|-1，

η＝(θ^Tu-p)/d

其中，ε为错误阈值，如果η＜ε，则r＝u即为输出；如果η＞＝ε，建立多层神经网络CPP-net并训练，将v输入到训练好的多层神经网络中，获得差异系数的估计值

其中，

表示神经网络的运算；

如图1所示，所述CPP-net由三层组成：输入层、输出层和隐层；所述输入层包含d_j个神经元，隐层包含

个神经元，输出层包含1个神经元，隐层和输出层后都跟着一个激活函数，其定义为：

定义y^h表示隐藏层的输出，

为网络输出的差异系数的估计，则CPP-net的结构表示为：

y^h＝SinAct(W_av+b_a)

其中，

为网络中的权重以及偏置，是需要学习的网络参数；因此CPP-net所实现的输入输出之间的映射表示为：

通过交叉验证确定训练信噪比，通过解罚对偶分解信道译码器获得训练数据

其中

是特征，

为标签；使用训练数据

对CPP-net进行训练，获得CPP-net中所包含的参数Θ，其损失函数为：

其中，

表示发射信号，κ表示平衡系数，

表示向量的L2范数；将{W_a，w_b}量化为

为自然数集；经过训练，得到训练好的多层神经网络CPP-net；

4.3)将估计值

赋值到单步递进差异系数的初始值

令k＝0，以η⁰为起点进行迭代，直到η^k＜ε，最终r＝u即为输出；所述迭代的步骤如下：

v＝v-η^kθ，

k＝k+1，η^k＝(θ^Tu-p)/d。

本步骤所述的计算方法被称为基于多层神经网络的校验多面体映射，其实现代码为：

将其引入罚对偶分解信道译码器中，得到多层神经网络辅助的罚对偶分解信道译码器。

步骤五、采用多层神经网络辅助的罚对偶分解信道译码器进行在线实时信道译码。

图2表示了在瑞利信道环境下，BP译码器、基于交替方向乘子法的译码器(ADMML2)、罚对偶分解信道译码方法(PDD)、多层神经网络辅助的罚对偶分解信道译码方法(PDDwith neural CPP)的码组误码率BLER。由图中可见，对于两种码型而言，罚对偶分解信道译码方法(PDD)、多层神经网络辅助的罚对偶分解信道译码方法(PDD with neural CPP)都获得了最好的译码性能。

表1：迭代多面体映射算法和基于神经网络的多面体映射算法的平均迭代次数(iterM)对比

表1是迭代多面体映射算法和基于神经网络的多面体映射算法的平均迭代次数(iterM)对比。由此可见本发明中所包含的基于神经网络的多面体映射算法可以有效减少迭代次数。

本发明是为了提高译码线性二进制性码的译码性能，所提出的一种多层神经网络辅助的罚对偶分解信道译码方法。以上所述仅为特定应用场合的具体实施方式，但本发明的真实精神和范围不局限于此，任何熟悉本领域的技术人员可以修改、等同替换、改进等，实现不同应用场合的信道译码方法。这些修改、等同替换和改进也落入本发明权利要求的保护范围内。

Claims (4)

1.一种多层神经网络辅助的罚对偶分解信道译码方法，其特征在于包括以下步骤：

1)基于信道译码构建最大似然译码问题，包括目标函数和奇偶校验约束条件；

2)将基本多面体引入步骤1)中的奇偶校验约束条件，将最大似然译码问题转化为基于奇偶校验多面体的译码优化问题；

3)引入辅助变量，采用罚对偶分解法将步骤1)所述的基于奇偶校验多面体的译码优化问题转化为其等价形式；在罚对偶分解法的内循环引入块连续上界最小化算法BSUM，得到罚对偶分解信道译码器，所述罚对偶分解信道译码器中带有校验多面体映射；

4)建立多层神经网络，与步骤3)所述的校验多面体映射相结合，通过步骤3)得到的解罚对偶分解信道译码器获取训练数据，经过训练得到基于多层神经网络的校验多面体映射；将基于多层神经网络的校验多面体映射引入步骤3)得到的罚对偶分解信道译码器，得到多层神经网络辅助的罚对偶分解信道译码器；

所述的步骤4)具体为：

设计基于多层神经网络的校验多面体映射计算

具体分为以下步骤：

4.1)确定一个与v对应的辅助超平面θ＝{θ_i}：

θ_i＝sgn(v_i-0.5),i＝1,…,d

其中，sgn(·)是阶跃函数，如果|{i:θ_i＝1}|中为1的元素数目是偶数，则将|v-0.5|最小值对应的θ中的第i个元素取反，即

4.2)计算单步递进的差异系数η：

其中，∈为错误阈值，如果η＜∈，则r＝u即为输出；如果η＞＝∈，建立多层神经网络CPP-net并训练，将v输入到训练好的多层神经网络中，获得差异系数的估计值

其中，

表示神经网络的运算；

所述CPP-net由三层组成：输入层、输出层和隐层；所述输入层包含d_j个神经元，隐层包含

个神经元，输出层包含1个神经元，隐层和输出层后都跟着一个激活函数，其定义为：

定义y^h表示隐藏层的输出，

为网络输出的差异系数的估计，则CPP-net的结构表示为：

y^h＝SinAct(W_av+b_a)

其中，

为网络中的权重以及偏置，是需要学习的网络参数；因此CPP-net所实现的输入输出之间的映射表示为：

通过交叉验证确定训练信噪比，通过步骤3)中的解罚对偶分解信道译码器获得训练数据

其中

是特征，

为标签；使用训练数据

对CPP-net进行训练，获得CPP-net中所包含的参数Θ，其损失函数为：

其中，

表示发射信号，κ表示平衡系数，

表示向量的L2范数；将{W_a,w_b}量化为

为自然数集；经过训练，得到训练好的多层神经网络CPP-net；

4.3)将估计值

赋值到单步递进差异系数的初始值

令k＝0，以η⁰为起点进行迭代，直到η^k＜∈，最终r＝u即为输出；所述迭代的步骤如下：

v＝v-η^kθ，

k＝k+1，η^k＝(θ^Tu-p)/d

所述步骤4.1)-4.3)被称为基于多层神经网络的校验多面体映射，引入步骤3)用于计算罚对偶分解信道译码器中带有的校验多面体映射，得到多层神经网络辅助的罚对偶分解信道译码器；

5)采用步骤4)得到的多层神经网络辅助的罚对偶分解信道译码器进行在线实时信道译码。

2.根据权利要求1所述的多层神经网络辅助的罚对偶分解信道译码方法，其特征在于，所述的步骤1)具体为：

针对一个长度为N的二进制线性码

每个码字由M×N奇偶校验矩阵H指定，

表示发送码字，y表示接收信号；基于信道译码构建最大似然译码问题，表示为下式(1)所述的形式：

其中

代表码字集，

为对数似然比，v的每一个元素的定义为：

其中，Pr(·)表示条件概率，

代表二进制线性码

的变量节点。

3.根据权利要求1所述的多层神经网络辅助的罚对偶分解信道译码方法，其特征在于，所述的步骤2)具体为：

在奇偶校验约束条件中引入基本多面体，将步骤1)中所述的最大似然译码问题(1)松弛为下述线性约束问题：

其中，

表示该码字的凸包，

被称为基本多面体；

定义二进制线性码

的第j个校验节点的度数为d_j，将问题(3)进一步被转化为基于奇偶校验多面体的译码优化问题：

其中，P_j代表一个d_j×N选择矩阵，用于挑选出参与第j个校验等式的向量x中的元素，

表示度数为d_j的奇偶校验多面体，表达式为：

其中even表示偶数。

4.根据权利要求3所述的多层神经网络辅助的罚对偶分解信道译码方法，其特征在于，所述的步骤3)具体为：

3.1)采用罚对偶分解法，引入一组辅助变量

将(4)中约束条件转化为以下等价形式：

将二进制变量{x_i}松弛到区间[0,1]，并引入辅助变量

满足

将问题(4)转化为：

此为由罚对偶分解法转化而来的等价形式；

问题(6)的增广拉格朗日问题表示为：

其中，

{y_j}，{w_i}和{η_i}分别是P_jx＝z_j，

和

对应的对偶变量；μ_m代表第m次外循环的惩罚参数；

3.2)针对问题(6)，采用块连续上界最小化算法BSUM处理内循环，在外循环值更新对偶变量以及惩罚参数μ_m；使用上角标k表示内循环索引，所述BSUM算法处理步骤包括：

a)根据给定的

更新x^k+1：

将问题(6)的增广拉格朗日问题转换为一个带简单约束的二次优化问题：

将问题(7)分解成N个子问题：

其中

α_i为向量

的第i个元素；

通过一阶优化条件，问题(8)的解表示为：

其中，Π_[0,1]表示[0,1]区间上的欧几里得映射，最终得到

b)根据给定的

更新z^k+1：

z_j的优化问题表示为：

与步骤a)同理，得到

其中，

表示校验多面体映射运算；最终得到

c)根据给定的{x^k+1,z^k+1}，更新

求解

可以写成下列非约束二次优化问题：

最终得到

对偶变量由以下公式更新得到：

步骤3.1)-步骤3.2)的译码方法被称为罚对偶分解信道译码器，所述罚对偶分解信道译码器中带有校验多面体映射

Images