CN110299921A - 一种模型驱动的Turbo码深度学习译码方法 - Google Patents

Abstract

本发明公开了一种模型驱动的Turbo码深度学习译码方法，首先将Turbo码迭代译码结构展开为一个“平铺”式的结构，并且将每一次迭代用一个DNN译码单元替代，构成用于Turbo码译码的网络TurboNet；然后构建传统Max‑Log‑MAP算法的图形结构并将其参数化，得到一个基于Max‑Log‑MAP算法的深度神经网络，将其作为TurboNet译码单元中的子网络，从而替代传统译码结构中的SISO译码器及由SISO译码器的输出获得外信息的计算；对由M个DNN单元组成的TurboNet进行训练，获得模型参数；最后对TurboNet的输出值用sigmoid函数归一化，并对归一化的结果进行硬判决，得到对真实信息序列u的估计值实现对Turbo码的译码。本发明可以提高Max‑Log‑MAP算法的误码率性能，且和纯数据驱动的模型相比，参数个数减少了2个数量级，极大地降低了时延。

Description

一种模型驱动的Turbo码深度学习译码方法

技术领域

本发明涉及一种模型驱动的Turbo码深度学习译码方法，属于无线通信技术领域。

背景技术

Turbo码作为一种重要的信道编码技术凭借其接近Shannon极限的优异性能在第三代、第四代移动通信系统中得到了广泛的应用。在深空通信中，Turbo码也作为标准码被写入CCSDS建议。但是Turbo码传统的迭代译码算法只能串行处理，需要多次迭代，难以符合第五代移动通信系统提出的时延极低特征。

近年来，深度学习技术在图像、语音等领域取得了很大的成功，使得无人驾驶、智能家居等应用成为可能。深度学习是机器学习领域的一个重要分支，是一种监督学习方法，通过最小化神经网络的输出值和真实值之间的损失函数，得到一组最优的神经网络参数，从而使深度神经网络能够进行准确的分类和预测。

深度学习在信道译码领域已经有了一些探索性的研究，主要有两种方法。一种是用一个“黑箱”神经网络替代通信系统的信道译码模块，利用大量的样本使神经网络自身学会译码。这种方法并没有将编码结构和现有的信道译码知识应用到神经网络的设计上，使得神经网络的训练只能依赖大量数据驱动，故而神经网络的参数量非常大，训练难度也随之剧增。另一种是结合Tanner图将L次迭代的BP(Belief propagation)算法展开为包含2L个隐藏层的深度神经网络结构，通过训练使在Tanner图中传递的信息有一个合适的权重，从而提高BP算法的性能。但是这种基于BP算法的模型驱动译码方法能否被应用到序列码(例如Turbo码)来提高译码的性能仍是未知。

发明内容

现有基于深度学习的Turbo码译码器因为没有结合通信知识而完全借助数据驱动，故而需要大量的参数，致使计算量过大而且网络难以训练。本发明旨在解决上述模型驱动的Turbo码深度学习译码器的不足，提供一种模型驱动的Turbo码深度学习译码方法。

本发明提供一种模型驱动的Turbo码深度学习译码方法，包括以下步骤：

(1)将Turbo码迭代译码结构展开为一个“平铺”式的结构：将Turbo码迭代译码结构中的每一次迭代视作一个独立的单元，这样原先M次迭代的Turbo码译码结构可以展开为M个独立的单元，其中第m个单元的输出对应原先Turbo迭代译码结构中第m次迭代计算的信息比特的先验信息，m＝1,2,...,M-1，而第M个单元的输出对应原先Turbo迭代译码结构中第M次迭代计算的信息比特的后验概率对数似然比，将这M个独立的单元串行连接形成一个“平铺”式的结构；

(2)将步骤(1)中的每一个迭代单元用一个DNN译码单元替代，构成用于Turbo码译码的网络TurboNet，其中每个所述的DNN译码单元由结构相同的第一和第二子网络、结构相同的第一和第二交织器以及1个解交织器构成，第一子网络输出的外信息在经过第一交织器后与第二校验信息、经过第二交织器后的系统信息一同构成第二子网络的输入，第二子网络输出的外信息在经过解交织器后得到上述DNN译码单元的输出，该输出与系统信息、第一校验信息一起构成下一个DNN译码单元第一子网络的输入；

(3)构建Max-Log-MAP算法的图形结构并将该图形结构参数化，得到一个基于Max-Log-MAP算法的深度神经网络，将该深度神经网络作为DNN译码单元中的子网络，从而替代步骤(1)所述Turbo码迭代译码结构中的SISO译码器及由SISO译码器的输出获得外信息的计算；

(4)对TurboNet进行训练，在完成给定次数的训练后，获得TurboNet的参数；

(5)对训练完成后的TurboNet输出的信息比特后验概率对数似然比估计值用sigmoid函数归一化，并对归一化的结果进行硬判决，得到真实信息比特序列u的估计值从而实现对Turbo码的译码。

作为本发明的进一步技术方案，第m个DNN译码单元中的第一子网络的结构及Max-Log-MAP算法的参数化过程，具体为：

(2.1)Turbo编码器由结构相同的第一和第二分量编码器以及1个交织器构成，第一分量编码器在编码时所有可能的状态构成集合S_R，Turbo编码器的输入为信息比特序列u＝{u_k|k＝1,2,...,L}，其中L为信息比特序列实际的长度，Turbo编码器的输出由3部分构成：系统比特序列第一校验比特序列以及第二校验比特序列接收端对应的检测结果分别为系统信息第一校验信息以及第二校验信息

将系统信息、第一校验信息以及第m-1个DNN译码单元输出的信息比特先验信息{L^m-1(u_k)|k＝1,2,...,L}组成的序列构成第一子网络的输入层，则输入层的长度为3L，并且输入层中所有神经元的输出构成集合N^In＝{I_k|k＝1,2,...,L}，其中第1个DNN译码单元的输入信息比特先验信息{L⁰(u_k)|k＝1,2,...,L}初始化为0；

(2.2)第一子网络中，第1层隐藏层中所有神经元的输出构成集合其中s'表示第一分量编码器k-1时刻的状态，s表示第一分量编码器k时刻的状态；S＝S⁰∪S¹，S⁰＝{(s′,s)|u_k＝0}表示k时刻输入Turbo编码器的信息比特u_k为0时第一分量编码器所有可能发生的状态转移分支，S¹＝{(s′,s)|u_k＝1}表示k时刻输入Turbo编码器的信息比特u_k为1时第一分量编码器所有可能发生的状态转移分支；表示k时刻第一分量编码器的对数域状态转移概率，其中记y＝{y_k|k＝1,2,...,L}。由于第1层隐藏层中神经元的输出与集合N¹中的元素对应，所以当(s′,s)取集合S中的某一个确定元素(s₀′,s₀)，k取集合{1,2,...,L}中的某一个确定元素k₀时，可以得到集合N¹中的某一个确定元素该确定元素对应第一层隐藏层中某个神经元的输出；上述输出对应的神经元与输入层中输出对应k₀时刻以及的3个神经元相连接，并且相连的边上被赋予权重参数该神经元由输入计算输出的具体公式为：

(2.3)第一子网络中，第z层隐藏层中所有神经元的输出构成集合其中是第z层隐藏层中所有奇数位置神经元的输出构成的集合，其中表示k时刻对数域的前向递推概率；是第z层隐藏层中所有偶数位置神经元的输出构成的集合，其中表示k-1时刻对数域的后向递推概率，z＝2,3,...,L；这L-1层隐藏层中每一层的神经元个数都为2×|S_R|，对于某一个z₀∈{2,3,...,L}，当取定z₀后，则可以计算对应的k₀＝z₀-1，得到第z₀层隐藏层中所有奇数位置神经元输出构成的集合再取定某个s₀∈S_R后，就可以得到集合中某个确定元素该确定元素对应第z₀层隐藏层中某一个奇数位置神经元的输出，上述输出对应的神经元和第z₀-1层中所有输出与集合中元素对应的神经元相连，此外还和第一层隐藏层中所有输出与集合中元素对应的神经元相连；同样地，当取定某个z₀后，则可以计算对应的k₁＝L-z₀+2，得到第z₀层隐藏层中所有偶数位置神经元输出构成的集合再取定某个s′₀∈S_R后，就可以得到集合中某个确定元素该确定元素对应第z₀层隐藏层中某一个偶数位置神经元的输出，上述输出对应的神经元和第z₀-1层中所有输出与集合中元素对应的神经元相连，此外还和第一层隐藏层中所有输出与集合中元素对应的神经元相连；上述第z₀层隐藏层中输出对应的神经元或输出对应的神经元都先将各自的输入分组求和，然后求得各组中和的最大值后输出，具体公式为：

(2.4)第一子网络中，第L+1层隐藏层中所有神经元的输出构成集合其中表示第一分量译码器第m次迭代计算的信息比特u_k的后验概率对数似然比；第L+1层隐藏层共L个神经元，当取定某个k₀∈{1,2,...,L}后，就可以得到集合N^L+1中某一个确定元素该元素对应第L+1层隐藏层中某个神经元的输出，上述输出对应的神经元与前L层隐藏层中所有输出与集合 中元素对应的神经元相连，与上述输出对应的神经元相连的神经元之间的边上分别被赋予权重参数 以及上述输出对应的神经元首先将输入分成两类，然后对每一类分组加权求和，最后求得每一类中各组和的最大值后作差，具体公式为：

(2.5)第一子网络中，输出层所有神经元的输出构成集合其中表示第一分量译码器第m次迭代计算的信息比特u_k的外信息。输出层共L个神经元，当取定某个k₀∈{1,2,...,L}后，就可以得到集合N^Out中某一个确定元素该元素对应输出层中某个神经元的输出，上述输出对应的神经元与输入层中对应k₀时刻 及第L+1层隐藏层中对应的3个神经元相连。与上述输出对应的神经元相连的边上被赋予权重参数该输出对应的神经元对输入加权求和后输出，具体公式为：

上述输出层得到的前K个信息比特的外信息在交织以后与剩余信息比特的外信息一同作为第二子网络的先验信息输入，其中K＝L-3，此外系统信息在交织以后与第二校验信息共同作为第二子网络的输入；第二子网络输出的前K个信息比特的外信息在解交织以后与剩余L-K个信息比特的外信息拼接，得到第m个译码单元输出的信息比特先验信息{L^m(u_k)|k＝1,2,...,L}，第M个译码单元M将第二子网络计算得到的前K个信息比特的后验概率对数似然比估计值解交织以后输出。

作为本发明的进一步技术方案，所述步骤(4)中采用Adam优化算法完成给定次数的训练，用于计算TurboNet输出的信息比特后验概率对数似然比估计值和标签值之间差异的损失函数为：

其中，L^M(u_k|y)为TurboNet第M个DNN译码单元输出的信息比特u_k的后验概率对数似然比估计值，为Log-MAP算法N次迭代计算得到的信息比特u_k的后验概率对数似然比。

作为本发明的进一步技术方案，所述步骤(5)中先利用sigmoid函数对信息比特u_k的后验概率对数似然比估计值L^M(u_k|y)进行归一化，并对归一化的结果o_k＝σ(L^M(u_k|y))按照下式进行硬判决，从而得到最终的译码结果。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明利用单一信噪比的样本对TurboNet训练后，TurboNet的误比特率性能可以在很大的信噪比范围内都优于同等迭代次数的Max-Log-MAP算法，并且和数据驱动的方法相比，TurboNet将参数个数减少了2个数量级，极大地降低了时延。

附图说明

图1为本发明的TurboNet网络架构图；

图2为本发明的DNN译码单元结构图；

图3为本发明的DNN译码单元中子网络的结构图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明所述的一种模型驱动的Turbo码深度学习译码方法，包括以下步骤：

(1)将Turbo码迭代译码结构展开为一个“平铺”式的结构：将Turbo码迭代译码结构中的每一次迭代视作一个独立的单元，这样原先3次迭代的Turbo码译码结构可以展开为3个独立的单元，其中第m个单元的输出对应原先Turbo迭代译码结构中第m次迭代计算的信息比特的先验信息，m＝1,2，而第3个单元的输出对应原先Turbo迭代译码结构中第3次迭代计算的信息比特的后验概率对数似然比，将这3个独立的单元串行连接形成一个“平铺”式的结构；

(2)将步骤(1)中的每一个迭代单元用一个DNN译码单元替代，构成用于Turbo码译码的网络TurboNet，其中每个所述的DNN译码单元由结构相同的第一和第二子网络、结构相同的第一和第二交织器以及1个解交织器构成，第一子网络输出的外信息在经过第一交织器后与第二校验信息、经过第二交织器后的系统信息一同构成第二子网络的输入，第二子网络输出的外信息在经过解交织器后得到上述DNN译码单元的输出，该输出与系统信息、第一校验信息一起构成下一个DNN译码单元第一子网络的输入。图1给出了一个包含M个DNN译码单元的TurboNet结构，图2给出了其中第m个DNN译码单元的结构；

(3)构建Max-Log-MAP算法的图形结构并将该图形结构参数化，得到一个基于Max-Log-MAP算法的深度神经网络，将该深度神经网络作为DNN译码单元中的子网络，从而替代步骤(1)所述Turbo码迭代译码结构中的SISO译码器及由SISO译码器的输出获得外信息的计算。接下来以LTE标准中码率为1/3的Turbo码为例，对第m个DNN译码单元中第一子网络的结构及Max-Log-MAP算法的参数化过程做具体阐述：

表1状态转移路径

s'	0	1	2	3	4	5	6	7
									s：u<sub>k</sub>＝0	0	4	5	1	2	6	7	3
s：u<sub>k</sub>＝1	4	0	1	5	6	2	3	7

(2.1)3GPP LTE标准中Turbo编码器由结构相同的第一和第二分量编码器以及1个交织器构成，第一分量编码器的传输函数为G(D)＝[1,g₁(D)/g₀(D)]，其中g₀(D)＝1+D²+D³，g₁(D)＝1+D+D³，故而第一分量编码器共8种可能的状态，记为s＝0,1,...,7，所以第一分量编码器在编码时所有可能的状态构成的集合S_R＝{0,1,...,7}。表1总结了Turbo码在编码的过程中由k-1时刻状态s'转移到k时刻状态s所有可能的情况，可见共16种状态转移路径。假设Turbo编码器的输入为长度为43的信息比特序列u＝{u_k|k＝1,...,43}，Turbo编码器的输出由3部分构成：系统比特序列第一校验比特序列以及第二校验比特序列这些比特序列在调制之后通过无线信道传输，假设信道为无记忆加性高斯白噪声信道，利用一个软输出的检测器可以计算得到发送比特序列对应的对数似然比分别为系统信息第一校验信息以及第二校验信息将系统信息、第一校验信息以及第m-1个DNN译码单元输出的信息比特先验信息{L^m-1(u_k)k＝1,2,...,43}组成的序列构成第一子网络的输入层，则输入层的长度为3×43＝129，并且输入层中所有神经元的输出构成集合N^In＝{I_k|k＝1,2,...,43}，其中第1个DNN译码单元的输入信息比特先验信息{L⁰(u_k)|k＝1,2,...,43}初始化为0；

(2.2)第一子网络中，第1层隐藏层中所有神经元的输出构成集合其中S＝S⁰∪S¹，S⁰＝{(s′,s)|u_k＝0}表示k时刻输入Turbo编码器的信息比特u_k为0时第一分量编码器所有可能发生的状态转移分支，S¹＝{(s′,s)|u_k＝1}表示k时刻输入Turbo编码器的信息比特u_k为1时第一分量编码器所有可能发生的状态转移分支；表示k时刻第一分量编码器的对数域状态转移概率，其中记y＝{y_k|k＝1,2,...,43}。由表1知当u_k＝0时，一共有8种可能的状态转移分支，所以集合S⁰中共有8个元素；同样地，当u_k＝1时，一共有8种可能的状态转移分支，所以集合S¹中共有8个元素，且与集合S⁰中的元素各不相同，因此集合S＝S⁰∪S¹共包含16个元素。由于第1层隐藏层中神经元的输出与集合N¹中的元素对应，所以当(s′,s)取集合S中的某一个确定元素(s₀′,s₀)，k取集合{1,2,...,43}中的某一个确定元素k₀时，可以得到集合N¹中的某一个确定元素该确定元素对应第一层隐藏层中某个神经元的输出；上述输出对应的神经元与输入层中输出对应k₀时刻以及的3个神经元相连接，并且相连的边上被赋予权重参数该神经元由输入计算输出的具体公式为：

(2.3)第一子网络中，第z层隐藏层中所有神经元的输出构成集合其中是第z层隐藏层中所有奇数位置神经元的输出构成的集合；是第z层隐藏层中所有偶数位置神经元的输出构成的集合，而z＝2,3,...,43；这42层隐藏层中每一层的神经元个数都为2×|S_R|＝16，对于某一个z₀∈{2,3,...,43}，当取定z₀后，则可以计算对应的k₀＝z₀-1，得到第z₀层隐藏层中所有奇数位置神经元输出构成的集合再取定某个s₀∈S_R后，就可以得到集合中某个确定元素该确定元素对应第z₀层隐藏层中某一个奇数位置神经元的输出，上述输出对应的神经元和第z₀-1层中所有输出与集合中元素对应的神经元相连，此外还和第一层隐藏层中所有输出与集合中元素对应的神经元相连；同样地，当取定某个z₀后，则可以计算对应的k₁＝43-z₀+2，得到第z₀层隐藏层中所有偶数位置神经元输出构成的集合再取定某个s′₀∈S_R后，就可以得到集合中某个确定元素该确定元素对应第z₀层隐藏层中某一个偶数位置神经元的输出，上述输出对应的神经元和第z₀-1层中所有输出与集合中元素对应的神经元相连，此外还和第一层隐藏层中所有输出与集合中元素对应的神经元相连；上述第z₀层隐藏层中输出对应的神经元或输出对应的神经元都先将各自的输入分组求和，然后求得各组中和的最大值后输出，具体公式为：

(2.4)第一子网络中，第44层隐藏层中所有神经元的输出构成集合其中表示第一分量译码器第m次迭代计算的信息比特u_k的后验概率对数似然比；第44层隐藏层共有43个神经元，当取定某个k₀∈{1,2,...,43}后，就可以得到集合N⁴⁴中某一个确定元素该元素对应第44层隐藏层中某个神经元的输出，上述输出对应的神经元与前43层隐藏层中所有输出与集合 中元素对应的神经元相连，与上述输出对应的神经元相连的神经元之间的边上分别被赋予权重参数 以及上述输出对应的神经元首先将输入分成两类，然后对每一类分组加权求和，最后求得每一类中各组和的最大值后作差，具体公式为：

(2.5)第一子网络中，输出层所有神经元的输出构成集合其中表示第一分量译码器第m次迭代计算的信息比特u_k的外信息。输出层共43个神经元，当取定某个k₀∈{1,2,...,43}后，就可以得到集合N^Out中某一个确定元素该元素对应输出层中某个神经元的输出，上述输出对应的神经元与输入层中对应k₀时刻及第44层隐藏层中对应的3个神经元相连。与上述输出对应的神经元相连的边上被赋予权重参数该输出对应的神经元对输入加权求和后输出，具体公式为：

上述输出层得到的前40个信息比特的外信息在交织后与剩余3个信息比特的外信息一同作为第二子网络的先验信息输入，此外系统信息在交织后与第二校验信息共同作为第二子网络的输入；第二子网络输出的前40个信息比特的外信息在解交织以后与剩余3个信息比特的外信息拼接，得到第m个译码单元输出的信息比特先验信息{L^m(u_k)|k＝1,2,...,43}，第3个DNN译码单元将自身第二子网络计算得到的前40个信息比特的后验概率对数似然比估计值解交织以后输出。

(4)利用步骤(3)中所述的Turbo编码器结构和信道模型在信噪比为0dB时产生60000个训练样本，采用Adam优化算法对这60000个样本分批训练，每一批的大小为500，一共训练50轮，其中Adam算法的学习率设置为1×10^-5。用于计算TurboNet输出的信息比特后验概率对数似然比估计值和标签值之间差异的损失函数为：

其中，L³(u_k|y)为TurboNet第3个DNN译码单元输出的信息比特u_k的后验概率对数似然比估计值，为Log-MAP算法6次迭代计算得到的信息比特u_k的后验概率对数似然比。

(5)在完成训练后，先利用sigmoid函数对信息比特u_k的后验概率对数似然比估计值L³(u_k|y)进行归一化，并对归一化的结果o_k＝σ(L³(u_k|y))按照下式进行硬判决，即可得到最终的译码比特。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种模型驱动的Turbo码深度学习译码方法，其特征在于，包括以下步骤：

(1)将Turbo码迭代译码结构展开为一个“平铺”式的结构：将Turbo码迭代译码结构中的每一次迭代视作一个独立的单元，这样原先M次迭代的Turbo码译码结构可以展开为M个独立的单元，其中第m个单元的输出对应原先Turbo迭代译码结构中第m次迭代计算的信息比特的先验信息，m＝1,2,...,M-1，而第M个单元的输出对应原先Turbo迭代译码结构中第M次迭代计算的信息比特的后验概率对数似然比，将这M个独立的单元串行连接形成一个“平铺”式的结构；

(2)将步骤(1)中的每一个迭代单元用一个DNN译码单元替代，构成用于Turbo码译码的网络TurboNet，其中每个所述的DNN译码单元由结构相同的第一和第二子网络、结构相同的第一和第二交织器以及1个解交织器构成，第一子网络输出的外信息在经过第一交织器后与第二校验信息、经过第二交织器后的系统信息一同构成第二子网络的输入，第二子网络输出的外信息在经过解交织器后得到上述DNN译码单元的输出，该输出与系统信息、第一校验信息一起构成下一个DNN译码单元第一子网络的输入；

(3)构建Max-Log-MAP算法的图形结构并将该图形结构参数化，得到一个基于Max-Log-MAP算法的深度神经网络，将该深度神经网络作为DNN译码单元中的子网络，从而替代步骤(1)所述Turbo码迭代译码结构中的SISO译码器及由SISO译码器的输出获得外信息的计算；

(4)对TurboNet进行训练，在完成给定次数的训练后，获得TurboNet的参数；

(5)对训练完成后的TurboNet输出的信息比特后验概率对数似然比估计值用sigmoid函数归一化，并对归一化的结果进行硬判决，得到真实信息比特序列u的估计值从而实现对Turbo码的译码。

2.根据权利要求1所述的模型驱动的Turbo码深度学习译码方法，其特征在于，第m个DNN译码单元中的第一子网络的结构及Max-Log-MAP算法的参数化过程，具体为：

(2.1)Turbo编码器由结构相同的第一和第二分量编码器以及1个交织器构成，第一分量编码器在编码时所有可能的状态构成集合S_R，Turbo编码器的输入为信息比特序列u＝{u_k|k＝1,2,...,L}，其中L为信息比特序列实际的长度，Turbo编码器的输出由3部分构成：系统比特序列第一校验比特序列以及第二校验比特序列接收端对应的检测结果分别为系统信息第一校验信息以及第二校验信息

将系统信息、第一校验信息以及第m-1个DNN译码单元输出的信息比特先验信息{L^m-1(u_k)|k＝1,2,...,L}组成的序列构成第一子网络的输入层，则输入层的长度为3L，并且输入层中所有神经元的输出构成集合N^In＝{I_k|k＝1,2,...,L}，其中第1个DNN译码单元的输入信息比特先验信息{L⁰(u_k)|k＝1,2,...,L}初始化为0；

(2.2)第一子网络中，第1层隐藏层中所有神经元的输出构成集合其中s'表示第一分量编码器k-1时刻的状态，s表示第一分量编码器k时刻的状态；S＝S⁰∪S¹，S⁰＝{(s′,s)|u_k＝0}表示k时刻输入Turbo编码器的信息比特u_k为0时第一分量编码器所有可能发生的状态转移分支，S¹＝{(s′,s)|u_k＝1}表示k时刻输入Turbo编码器的信息比特u_k为1时第一分量编码器所有可能发生的状态转移分支；表示k时刻第一分量编码器的对数域状态转移概率，其中记y＝{y_k|k＝1,2,...,L}；第1层隐藏层中某一个输出对应的神经元与输入层中输出对应k₀时刻以及的3个神经元相连接，其中(s′₀,s₀)∈S，k₀∈{1,2,...,L}是各自所属集合中的某一个元素，上述输出对应的神经元与输入层中相连的神经元之间的边上被赋予权重参数并且该神经元由输入计算输出的具体公式为：

(2.3)第一子网络中，第z层隐藏层中所有神经元的输出构成集合其中是第z层隐藏层中所有奇数位置神经元的输出构成的集合，其中表示k时刻对数域的前向递推概率；是第z层隐藏层中所有偶数位置神经元的输出构成的集合，其中表示k-1时刻对数域的后向递推概率，z＝2,3,...,L；这L-1层隐藏层中每一层的神经元个数都为2×|S_R|，对于某一个z₀∈{2,3,...,L}，第z₀层隐藏层中某一个输出对应的神经元和第z₀-1层中所有输出与集合中元素对应的神经元相连，此外还和第一层隐藏层中所有输出与集合中元素对应的神经元相连，其中k₀＝z₀-1，s₀∈S_R是集合S_R中的某一个确定元素；第z₀层隐藏层中某一个输出对应的神经元和第z₀-1层中所有输出与集合中元素对应的神经元相连，此外还和第一层隐藏层中所有输出与集合中元素对应的神经元相连，其中k₁＝L-z₀+2，s′₀∈S_R是集合S_R中的某一个确定元素；上述第z₀层隐藏层中输出对应的神经元或输出对应的神经元都先将各自的输入分组求和，然后求得各组中和的最大值后输出，具体公式为：

(2.4)第一子网络中，第L+1层隐藏层中所有神经元的输出构成集合其中表示第一分量译码器第m次迭代计算的信息比特u_k的后验概率对数似然比；第L+1层隐藏层共L个神经元，其中某一个输出对应的神经元与前L层隐藏层中所有输出与集合 中元素对应的神经元相连，其中k₀∈{1,2,...,L}是所属集合中的某一个确定元素，与上述输出对应的神经元相连的神经元之间的边上分别被赋予权重参数以及上述输出对应的神经元首先将输入分成两类，然后对每一类分组加权求和，最后求得每一类中各组和的最大值后作差，具体公式为：

(2.5)第一子网络中，输出层所有神经元的输出构成集合其中表示第一分量译码器第m次迭代计算的信息比特u_k的外信息；输出层共L个神经元，其中某一个输出对应的神经元与输入层中对应k₀时刻及第L+1层隐藏层中对应的神经元相连，其中k₀∈{1,2,...,L}是所属集合中的某一个确定元素。与上述输出对应的神经元相连的边上被赋予权重参数该输出对应的神经元对输入加权求和后输出，具体公式为：

上述输出层得到的前K个信息比特的外信息在交织以后与剩余信息比特的外信息一同作为第二子网络的先验信息输入，其中K＝L-3，此外系统信息在交织以后与第二校验信息共同作为第二子网络的输入；第二子网络输出的前K个信息比特的外信息在解交织以后与剩余L-K个信息比特的外信息拼接，得到第m个译码单元输出的信息比特先验信息{L^m(u_k)|k＝1,2,...,L}，第M个DNN译码单元将第二子网络计算得到的前K个信息比特的后验概率对数似然比估计值解交织以后输出。

3.根据权利要求1所述的模型驱动的Turbo码深度学习译码方法，其特征在于，所述步骤(4)中采用Adam优化算法完成给定次数的训练，用于计算TurboNet输出的信息比特后验概率对数似然比估计值和标签值之间差异的损失函数为：

其中，L^M(u_k|y)为TurboNet第M个DNN译码单元输出的信息比特u_k的后验概率对数似然比估计值，为Log-MAP算法N次迭代计算得到的信息比特u_k的后验概率对数似然比。

4.根据权利要求1所述的模型驱动的Turbo码深度学习译码方法，其特征在于，所述步骤(5)中先利用sigmoid函数对信息比特u_k的后验概率对数似然比估计值L^M(u_k|y)进行归一化，并对归一化的结果o_k＝σ(L^M(u_k|y))按照下式进行硬判决，从而得到最终的译码结果。