CN111711455B - 一种基于神经网络的极化码bp译码方法 - Google Patents
一种基于神经网络的极化码bp译码方法 Download PDFInfo
- Publication number
- CN111711455B CN111711455B CN202010460627.0A CN202010460627A CN111711455B CN 111711455 B CN111711455 B CN 111711455B CN 202010460627 A CN202010460627 A CN 202010460627A CN 111711455 B CN111711455 B CN 111711455B
- Authority
- CN
- China
- Prior art keywords
- decoding
- noise
- vector
- llr
- iteration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
- H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
- H03M13/13—Linear codes
Landscapes
- Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Error Detection And Correction (AREA)
Abstract
本发明公开了一种基于神经网络的极化码BP译码方法,属于无线通信技术领域。在非理想的信道环境下,将深度学习技术引入现有的极化码BP译码中进行优化设计,充分利用Transformer模型的并行计算和全局特征提取能力,对BP译码得到的粗估计噪声执行进一步的准确估计,然后将更新的LLR值反馈给连接的BP译码继续迭代,从而减少了噪声相关性对BP译码性能的影响,达到了提升BP译码可靠性的目的;同时,本发明所提方法可以在实现类似译码性能的同时,降低译码的复杂度。
Description
技术领域
本发明属于无线通信技术领域,涉及一种基于神经网络的极化码BP译码方法。
背景技术
随着无线流量的爆炸式增长,5G正面临着日益多样化的需求驱动,超可靠低时延通信(URLLC)作为5G三大应用场景之一,对时延和可靠性有着严格的要求。极化码是URLLC信道编码方案的合适选择,其误码率性能在很大程度上取决于所使用的译码算法,因此极化码译码方法在URLLC场景中受到关注。
BP译码算法是一种常用的极化码译码算法,现有的研究主要在理想的AWGN信道下进行性能评估。但是,在实际的通信系统中,这种理想假设并不总是准确的,信道会出现噪声相关性,使得其处于一种非理想的信道环境当中,影响接收到的信号。因此,在非理想的信道条件下,BP译码在处理信道噪声中的相关性时会遇到困难,当迭代次数相近时,算法的译码性能下降,即可靠性降低,并且随着噪声相关性的增强,性能下降幅度增大,不利于URLLC的高可靠性实现。因此,如何采取优化方法抑制噪声相关性的影响,提升非理想信道环境下BP译码的可靠性成为重要的问题。
本发明针对上述问题,考虑URLLC场景中时延与可靠性的权衡,将传统的极化译码结构与深度学习技术相结合,在BP译码算法的基础上,使用深度学习作为细化技术,将神经网络引入现有的BP译码算法中进行优化设计,利用Transformer模型的并行计算和全局特征提取能力,有效降低了噪声相关性对BP译码性能的影响,实现了非理想信道环境下BP译码的性能提升,特别是在强相关条件下,性能增益更为显著。
发明内容
本发明提供了一种基于神经网络的极化码BP译码方法,目的是降低非理想信道环境中噪声相关性的影响,在总迭代次数相近的情况下,实现BP译码的性能提升。
为了达到上述技术效果,本发明实施了一种基于神经网络化码BP译码方法,具体步骤如下:
步骤一:设计Transformer噪声估计模型及相关噪声模型,建立基于神经网络的极化码BP译码系统模型;
步骤二:设计数据生成步骤,生成各个Transformer模型的训练数据和验证数据;获得噪声样本数据后,设计损失函数,对每个Transformer模型进行训练,训练其输出尽可能接近真实信道噪声的噪声估计;
步骤三:对接收到的向量进行初始BP译码
步骤四:使用训练好的Transformer模型执行相关噪声估计
步骤五:更新LLR值,继续执行BP译码
步骤六:判断是否达到设置的循环终止条件,若达到迭代次数,方法结束,若未达到迭代次数,则返回步骤四,并重复执行步骤四到步骤六,直到达到迭代次数,然后将最后一次迭代的BP译码输出作为最终的译码结果,方法结束。
本发明的优点:
1、本发明设计了更加简洁、有针对性的Transformer噪声估计模型,去掉了scale和mask层,也将多层残差结构摒弃,更加适合URLLC场景。
2、本发明利用Transformer模型提取噪声的全局特征,执行更准确的信道噪声估计,减少BP译码的估计误差,有效解决了噪声相关性对BP译码算法性能的影响,提升了非理想信道环境下的BP译码性能,特别是在强相关模型中,性能增益更为显著。
3、本发明利用Transformer模型的并行计算和全局特征提取能力,在非理想的信道环境下,能够以更少的迭代次数实现类似的BP译码性能。
附图说明
图1是本发明中设计的Transformer噪声估计模型;
图2是本发明中基于神经网络的极化码BP译码方法系统模型;
图3是具有不同相关系数ρ的BP译码性能;
图4是强相关噪声下本发明所提方法(BP20-Transformer-BP20)与BP译码(BP40)的BLER性能对比;
图5是中度相关噪声下本发明所提方法(BP20-Transformer-BP20)与BP译码(BP40)的BLER性能对比;
图6是中度相关噪声下本发明所提方法(BP10-Transformer-BP10)与BP译码(BP40)的BLER性能对比;
具体实施方式
本发明提出了一种基于神经网络的极化码BP译码方法,下面将结合附图对本发明作进一步的详细说明。
步骤一:本发明的Transformer噪声估计模型如图1所示。假设输入数据为维度大小为N×1。在本发明中,Transformer模型的使用方法与自然语言处理里序列建模的方法类似,但稍有不同的是,本发明网络中噪声向量的维度是1-D,与词嵌入技术中使用的高维向量并不一致,考虑到Transformer模型中并不存在任何的递归或者卷积结构,序列之间的位置信息需要通过位置编码额外加入,位置编码(PE)的维度大小与输入数据一致,均为N×1,所以将两者直接相加。对于位置编码的选择,由于该正弦函数可以简单易用地表示相对位置的信息,因此本发明选用正弦函数来表征位置信息,表示如下:
PEpos=sin pos+1·2π/N (1)
其中pos是位置的索引数值,整个位置编码振幅大小在-1到1之间。
如图1最左侧所示,输入数据与位置编码PE进行相加融合,得到融合后的向量V,接着按照图中所示,将V向量复制成相同的三份,另外两份分别为Q向量和K向量。Q向量和K向量的转置经过矩阵乘操作之后,通过softmax函数进行归一化,得到输入序列每个位置的归一化重要性分数α,公式如下:
α=softmax(QKT) (2)
其中
上述公式是自注意力机制的标准操作,可以通过自对齐的方式找到全局相关的序列索引的重要性分数,再通过对应位相乘的方式,获得对齐后的融合向量m,对齐向量中每个元素的获取方法如下:
其中,权重矩阵w的维度大小是N×N,偏差矩阵b的大小为N×1,w和b都是模型待学习的矩阵。
总结来说,相比自然语言任务中的Transformer模型,本发明设计的Transformer模型去掉了scale和mask层,也将多层残差结构摒弃。这么设计的原因一方面是出于任务的特殊性采取的定制操作,浅层特征对于噪声估计任务更加重要,1-D维度也与高维文本表示有较大区别,不需要scale操作加快神经网络收敛速度;另一方面是考虑到URLLC用例的时延需求,出于速度和计算资源的考虑,多层结构对于推断来说增加了更多的计算时间,并且在实际信道要求下,多层结构也会增加更多的资源消耗。此外,本发明Transformer模型采用了点积式自注意力机制,由于该机制操作对象在理论上是拥有相似复杂度的,可以利用高度优化的矩阵相乘操作,所以Transformer比其他序列建模的方法要更加迅速,并且节省空间,适用于URLLC场景。
接着采用一个简单的相关模型,单边噪声相关模型,来构造相关噪声模型,从数学上分析噪声相关效应。相关噪声建模为:
n=Θ1/2nw (6)
其中nw是一个独立同分布向量,为标准高斯随机变量,表示白噪声;Θ是一个N×N的厄密矩阵,它的项对应于分数采样分支上噪声样本间的相关性,Θ1/2表示Θ的平方根。使用指数协方差模型定义信道相关性矩阵Θ的分量,该模型表示如下,其中θij是Θ的第(i,j)个元素,是|ρ|≤1的相关系数,表示复平面,(·)*表示复共轭。
最后建立了如图2所示的基于神经网络的极化码BP译码方法系统模型。在发送端,构建二进制源块uN,再通过线性信道编码器编码成长度为N的二进制码字xN,然后通过BPSK调制将码字xN映射到符号向量sN,并添加相关噪声。在接收端,接收到的向量yN可以写为
yN=sN+nN (8)
将设计的Transformer模型和BP译码连接在一起,就形成了Transformer-BP单元,根据需要可以将多个Transformer-BP单元连接在初始BP译码之后。
步骤二:设计数据生成步骤,噪声样本数据的生成工作共分为total_batches批次,每批次在给定的信噪比集合上,对其中每个信噪比执行相同的步骤,生成nTB(nTB≥1)个Transformer模型的训练数据和验证数据,其中nTB表示初始BP译码后连接的Transformer-BP单元数量。给定各个BP译码的迭代次数,生成数据的步骤描述如下:
(1)随机生成大小为K均匀分布的batch_size二进制信息向量,依次执行信道编码、BPSK映射和模拟信道干扰,并将真实的相关噪声n保存至real_noise文件,作为数据的标签。
(3)本步骤共进行nTB轮迭代:
每轮迭代过程中,首先根据式(10)对输入的码字向量进行处理,得到粗估计的相关噪声然后将其保存至对应网络模型的est_noise文件中,作为数据的特征。若迭代次数小于nTB,估计服从高斯分布的残留噪声的功率,利用式(11)来更新LLR值并输入本单元的BP译码,然后将译码输出的码字向量作为下一轮迭代的输入向量。若迭代次数等于nTB,即译码过程已经进行到最后一个Transformer-BP单元,就结束迭代过程。
通过上述数据生成步骤,生成各个Transformer模型的训练数据和验证数据。
获得噪声样本数据后,设计损失函数对每个Transformer模型进行训练;在本发明建立的系统模型中,Transformer用于估计信道噪声,其输出将影响本次迭代中BP译码的性能。为了方便后续的BP译码,本发明训练网络时采用抑制残留噪声功率,同时形成其分布的策略,将正态性检验引入到损失函数中,这样就可以测量残留噪声样本服从高斯分布的可能性,损失函数定义为:
其中第一项用来测量残留噪声的功率,第二项使用更适合小样本检验的改进Jarque-Bera正态性检验,对样本偏度S和样本峰度K进行适当标准化,以确定一个数据集中由高斯分布建模的数量。偏度是的估计量,峰度是的估计量,λ2,λ3和λ4分别是理论第二、第三和第四中心距,估计如下式所示,其中ri表示残留噪声向量中的第i个元素,表示样本均值。
同时
式(12)中的系数μ是一个重要的比例因子,用于平衡残留噪声功率及其分布之间的权衡。
步骤三:对接收到的向量yN进行初始BP译码。首先由式(9)计算传输符号的初始LLR值。然后根据预先设置的迭代次数进行迭代BP译码,迭代完成后输出估计的码字向量然后对进行BPSK调制获得估计的发射信号再从接收的符号yN中减去它,就得到粗估计的相关噪声向量处理过程如式(10)所示.
步骤五:更新LLR值,考虑到信道编码主要针对AWGN信道进行了优化,并且残留噪声不一定遵循高斯分布,于是采取降低残留噪声功率,同时使残余噪声尽可能地遵循高斯分布的策略。通过该策略,假设残留噪声遵循高斯分布,则LLR可以由式(11)进行计算,其中表示的第i个元素,是残留噪声的功率。然后将更新的LLR值反馈给BP译码,继续执行BP译码。
步骤六:判断是否达到设置的循环终止条件i=nTB,若达到迭代次数nTB,方法结束,若未达到迭代次数nTB,则返回步骤四,并重复执行步骤四到步骤六,直到达到迭代次数,然后将最后一次迭代的BP译码输出作为最终的译码结果,方法结束。
图3表示了具有不同相关系数ρ的标准BP译码的性能,已知噪声相关性随着ρ值的增大而增大,当ρ=0时,实验在没有任何相关性存在的AWGN信道下进行。由图可知,随着相关系数ρ逐渐增大,BP译码性能下降,特别是在相对较强的相关模型下(ρ等于0.6和0.8)表现得更为明显。
图4表示了强相关噪声下(ρ=0.8)本发明的方法与标准BP译码的BLER性能对比,可以看出本发明所提方法能够有效降低噪声相关性对BP译码性能的影响,与标准BP译码算法相比,提出的方法的译码性能获得了明显提升。
图5表示了中度相关噪声下(ρ=0.4)本发明的方法与标准BP译码的BLER性能对比,由图可知,本发明所提方法的译码性能也获得了提升,但是由于相关性减弱,Transformer模型发挥的作用变小,相较于强相关条件性能增益降低。
图6表示了在具有适度相关噪声(ρ=0.4)的非理想信道环境下,本发明所提出的方法能够以更少的总迭代次数实现与标准BP译码类似的译码性能。
综上所述,通过实施本发明所提出的一种基于神经网络的极化码BP译码方法,能够在迭代次数相近的情况下,能够有效地提高译码性能,特别是在强相关模型中,性能增益更为显著。同时,在保证类似译码性能的条件下,降低了算法的复杂度。
Claims (1)
1.一种基于神经网络的极化码BP译码方法,具体步骤如下:
步骤一:对接收到的向量进行初始BP译码
在发送端,构建二进制源块uN,再通过线性信道编码器编码成长度为N的二进制码字xN,然后通过BPSK调制将码字xN映射到符号向量sN,并添加相关噪声;在接收端,接收到的向量yN可以写为
yN=sN+nN (1)
在信道噪声服从功率为σ2/2的高斯分布的情况下,由以下公式计算传输符号的初始对数似然比(LLR),其中si、yi和LLRi分别表示第i个BPSK符号及其对应的接收符号和LLR值
步骤二:使用训练好的Transformer模型执行相关噪声估计
步骤三:更新LLR值,继续执行BP译码
考虑到信道编码主要针对AWGN信道进行了优化,并且残留噪声不一定遵循高斯分布,于是采取降低残留噪声功率,同时使残余噪声尽可能地遵循高斯分布的策略;通过该策略,假设残留噪声遵循高斯分布,则LLR可以由下式进行计算,其中和LLRi表示的第i个元素及其对应的对数似然比值,是残留噪声的功率;
然后将更新的LLR值反馈给BP译码,继续执行BP译码;
步骤四:判断是否达到设置的循环终止条件,若达到迭代次数,方法结束,若未达到迭代次数,则返回步骤四,并重复执行步骤二到步骤四,直到达到迭代次数,然后将最后一次迭代的BP译码输出作为最终的译码结果,方法结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010460627.0A CN111711455B (zh) | 2020-05-26 | 2020-05-26 | 一种基于神经网络的极化码bp译码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010460627.0A CN111711455B (zh) | 2020-05-26 | 2020-05-26 | 一种基于神经网络的极化码bp译码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111711455A CN111711455A (zh) | 2020-09-25 |
CN111711455B true CN111711455B (zh) | 2022-04-12 |
Family
ID=72538651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010460627.0A Active CN111711455B (zh) | 2020-05-26 | 2020-05-26 | 一种基于神经网络的极化码bp译码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111711455B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112332863B (zh) * | 2020-10-27 | 2023-09-05 | 东方红卫星移动通信有限公司 | 低轨卫星低信噪比场景下的极化码译码算法、接收端和系统 |
CN113114421A (zh) * | 2021-04-09 | 2021-07-13 | 中山大学 | 一种面向色噪声环境的深度学习迭代接收方法及系统 |
CN114222291B (zh) * | 2021-12-01 | 2024-01-30 | 重庆邮电大学 | 无线体域网数据加密方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109586730A (zh) * | 2018-12-06 | 2019-04-05 | 电子科技大学 | 一种基于智能后处理的极化码bp译码算法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10461779B2 (en) * | 2015-08-12 | 2019-10-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Rate-compatible polar codes |
KR101699749B1 (ko) * | 2015-10-06 | 2017-01-25 | 조선대학교산학협력단 | 짧은 길이의 극 부호를 위한 향상된 bp 복호 방법 및 그 장치 |
CN105634507B (zh) * | 2015-12-30 | 2019-05-17 | 东南大学 | 极化码置信传播译码器的流水线系统 |
US10090860B2 (en) * | 2016-01-22 | 2018-10-02 | Toshiba Memory Corporation | Memory system using integrated parallel interleaved concatenation |
CN109257148B (zh) * | 2018-11-26 | 2020-05-22 | 北京理工大学 | 一种基于高斯近似阈值判断的极化码bp译码方法 |
CN109885673A (zh) * | 2019-02-13 | 2019-06-14 | 北京航空航天大学 | 一种基于预训练语言模型的自动文本摘要方法 |
CN110635809B (zh) * | 2019-09-19 | 2022-12-13 | 东南大学 | 一种基于公式语言的并行极化码bp译码器的设计方法 |
CN111106839A (zh) * | 2019-12-19 | 2020-05-05 | 北京邮电大学 | 一种基于神经网络的极化码译码方法及装置 |
-
2020
- 2020-05-26 CN CN202010460627.0A patent/CN111711455B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109586730A (zh) * | 2018-12-06 | 2019-04-05 | 电子科技大学 | 一种基于智能后处理的极化码bp译码算法 |
Also Published As
Publication number | Publication date |
---|---|
CN111711455A (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111711455B (zh) | 一种基于神经网络的极化码bp译码方法 | |
CN110474716B (zh) | 基于降噪自编码器的scma编解码器模型的建立方法 | |
KR100795562B1 (ko) | 분할 검출 방식을 적용한 송신신호 검출 방법 및 그 장치 | |
CN113381828B (zh) | 基于条件生成对抗网络的稀疏码多址接入随机信道建模方法 | |
CN109728824B (zh) | 一种基于深度学习的ldpc码迭代译码方法 | |
CN112115821B (zh) | 一种基于小波近似系数熵的多信号智能调制模式识别方法 | |
CN114338301B (zh) | 一种基于压缩感知的ris辅助毫米波系统的信道估计方法 | |
CN113205140B (zh) | 基于生成式对抗网络的半监督式特定辐射源个体识别方法 | |
CN111711584B (zh) | 基于成比例归一化最小均方误差的稀疏水声信道估计方法 | |
CN113162665B (zh) | 一种基于深度学习信道预测的预编码方法 | |
CN115309869A (zh) | 一种一对多的多用户语义通信模型及通信方法 | |
CN110995277A (zh) | 一种多层神经网络辅助的罚对偶分解信道译码方法 | |
CN114499601A (zh) | 一种基于深度学习的大规模mimo信号检测方法 | |
CN107222246B (zh) | 一种近似mmse性能的高效大规模mimo检测方法及系统 | |
CN111555994B (zh) | 一种基于最大箕舌线准则算法的簇稀疏信道估计方法 | |
CN113852434B (zh) | 一种LSTM与ResNets辅助的深度学习端到端智能通信方法与系统 | |
CN112115637B (zh) | Noma系统模型构建、优化方法、电子设备、存储介质 | |
CN113037409B (zh) | 基于深度学习的大规模mimo系统信号检测方法 | |
CN107888537B (zh) | 一种在大规模天线系统中改善系统复杂度的信号检测方法 | |
CN111769975A (zh) | Mimo系统信号检测方法及系统 | |
CN105553899A (zh) | 基于线性方程组求近似解的信号检测方法及装置 | |
CN114157544B (zh) | 基于卷积神经网络的帧同步方法、设备及介质 | |
Li et al. | Notice of Violation of IEEE Publication Principles: Channel Decoding Based on Complex-valued Convolutional Neural Networks | |
CN111193534B (zh) | 一种大规模mimo系统中的低复杂度信号检测方法 | |
Xia et al. | Performance Analysis of Normality Test Loss for Intelligent RSCNN Denoiser Design With Application to Channel Decoding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |