CN117335815B - 基于改进原模图神经译码器的训练方法及装置 - Google Patents
基于改进原模图神经译码器的训练方法及装置 Download PDFInfo
- Publication number
- CN117335815B CN117335815B CN202311608109.9A CN202311608109A CN117335815B CN 117335815 B CN117335815 B CN 117335815B CN 202311608109 A CN202311608109 A CN 202311608109A CN 117335815 B CN117335815 B CN 117335815B
- Authority
- CN
- China
- Prior art keywords
- sub
- network layer
- network
- preset
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001537 neural effect Effects 0.000 title claims abstract description 79
- 238000012549 training Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012795 verification Methods 0.000 claims abstract description 39
- 238000005457 optimization Methods 0.000 claims abstract description 36
- 238000010586 diagram Methods 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 49
- 238000004088 simulation Methods 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 26
- 210000002569 neuron Anatomy 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 19
- 239000000654 additive Substances 0.000 claims description 9
- 230000000996 additive effect Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 45
- 239000011159 matrix material Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
- H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
- H03M13/11—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits using multiple parity bits
- H03M13/1102—Codes on graphs and decoding on graphs, e.g. low-density parity check [LDPC] codes
- H03M13/1105—Decoding
- H03M13/1111—Soft-decision decoding, e.g. by means of message passing or belief propagation algorithms
- H03M13/1125—Soft-decision decoding, e.g. by means of message passing or belief propagation algorithms using different domains for check node and bit node processing, wherein the different domains include probabilities, likelihood ratios, likelihood differences, log-likelihood ratios or log-likelihood difference pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0056—Systems characterized by the type of code used
- H04L1/0057—Block codes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Error Detection And Correction (AREA)
Abstract
本申请公开了基于改进原模图神经译码器的训练方法及装置，方法包括：根据初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层构建待训练译码网络；基于预设均方误差损失函数和预置译码器目标函数，通过计算LLR的方式对初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层进行更新训练，得到目标原模图神经译码器；预设均方误差损失函数用于计算校验子网络层和混洗信度传播子网络层的输出信息之间的损失值；目标原模图神经译码器包括优化变量子网络层、优化校验子网络层和优化混洗信度传播子网络层。本申请能够解决现有技术采用低效率单流结构导致整体复杂度较高，且训练过程难以收敛导致训练效率较低的技术问题。
Description
技术领域
本申请涉及信道编码技术领域，尤其涉及基于改进原模图神经译码器的训练方法及装置。
背景技术
原模图低密度奇偶校验（Low-Density Parity-Check, LDPC）码作为信道编码方案之一，已被广泛应用在各种通信场景中，如物联网、数据存储系统和5G新无线电系统。通过迭代译码算法，原模图LDPC码可以获得接近香农容量极限的性能。在现有的迭代译码器中，信度传播（belief-propagation, BP）译码器可以达到最佳性能，但它具有较高的计算复杂度。相比之下，归一化最小和（normalized min-sum, NMS）译码器和偏移项最小和（offset min-sum, OMS）译码器凭借其低复杂度的特点，被更广泛地应用于实际的系统中。但是，传统的NMS译码器和OMS译码器会牺牲相当一部分的性能。因此，神经译码器作为一种能够在不提高复杂度的情况下最大限度提高NMS译码器和OMS译码器性能的关键技术已经吸引到了学术界和工业界的广泛关注。
但是，现有的LDPC码大部分是属于非规则码，且通过单流结构实现译码，通常需要更多的隐藏层实现，具有较高的复杂度，在硬件上实现较为困难。此外，现有的LDPC码在码字构造过程中，度为1的变量点（VN）的存在会导致迭代译码无法成功收敛，或者无法快速优化网络参数，导致网络训练效率较差。
发明内容
本申请提供了基于改进原模图神经译码器的训练方法及装置，用于解决现有技术采用低效率单流结构导致整体复杂度较高，且训练过程难以收敛导致训练效率较低的技术问题。
有鉴于此，本申请第一方面提供了基于改进原模图神经译码器的训练方法，包括：
根据初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层构建待训练译码网络，所述待训练译码网络包括多个隐藏层和输入卷积层；
基于预设均方误差损失函数和预置译码器目标函数，通过计算LLR的方式对所述初始变量子网络层、所述初始校验子网络层和所述预设混洗信度传播子网络层进行更新训练，得到目标原模图神经译码器；
所述预设均方误差损失函数用于计算校验子网络层和混洗信度传播子网络层的输出信息之间的损失值；
所述目标原模图神经译码器包括优化变量子网络层、优化校验子网络层和优化混洗信度传播子网络层。
优选地，所述根据初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层构建待训练译码网络，所述待训练译码网络包括多个隐藏层和输入卷积层，包括：
将单个初始变量子网络层、单个初始校验子网络层和单个预设混洗信度传播子网络层依次连接，得到一个隐藏网络小组；
多个所述隐藏网络小组依次连接形成一个隐藏层后，将多个隐藏层依次连接在输入卷积层之后，得到待训练译码网络。
优选地，所述基于预设均方误差损失函数和预置译码器目标函数，通过计算LLR的方式对所述初始变量子网络层、所述初始校验子网络层和所述预设混洗信度传播子网络层进行更新训练，得到目标原模图神经译码器，包括：
根据Tanner图将预置信道初始信息映射至所述待训练译码网络的输入卷积层进行卷积计算，得到输入卷积信息；
将所述输入卷积信息通过所述初始变量子网络层进行更新计算分析，得到变量输出信息和变量LLR值，并发送至所述初始校验子网络层和所述预设混洗信度传播子网络层；
所述初始校验子网络层和所述预设混洗信度传播子网络层分别根据所述变量输出信息和所述变量LLR值进行更新计算分析，得到校验LLR值、校验输出信息和混洗输出信息，所述校验LLR值用于下一个所述初始变量子网络层的参数更新计算；
基于预设均方误差损失函数和预置译码器目标函数，根据所述校验输出信息和混洗输出信息优化网络训练，得到目标原模图神经译码器。
优选地，所述根据Tanner图将预置信道初始信息映射至所述待训练译码网络的输入卷积层进行卷积计算，得到输入卷积信息，之前还包括：
将原始信息比特序列通过原模图编码器进行编码，得到编码比特序列；
通过二进制相位键控调制器对所述编码比特序列进行信号调制，得到调制符号序列；
依据加性高斯白噪声分析所述调制符号序列的信道传输特性，得到信道传输信息；
对所述信道传输信息进行概率分析计算，得到预置信道初始信息。
优选地，所述基于预设均方误差损失函数和预置译码器目标函数，通过计算LLR的方式对所述初始变量子网络层、所述初始校验子网络层和所述预设混洗信度传播子网络层进行更新训练，得到目标原模图神经译码器，之后还包括：
将目标原模图神经译码器中所有的所述优化混洗信度传播子网络层剔除，并在每个所述隐藏层的末端配置一个输出卷积层，得到仿真原模图神经译码器，所述输出卷积层包括多个神经元；
采用所述仿真原模图神经译码器进行信号译码仿真，通过所述输出卷积层依据最后一个所述优化校验子网络层的输出信息计算后验变量LLR，得到仿真预测结果。
本申请第二方面提供了基于改进原模图神经译码器的训练装置，包括：
网络构建单元，用于根据初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层构建待训练译码网络，所述待训练译码网络包括多个隐藏层和输入卷积层；
网络训练单元，用于基于预设均方误差损失函数和预置译码器目标函数，通过计算LLR的方式对所述初始变量子网络层、所述初始校验子网络层和所述预设混洗信度传播子网络层进行更新训练，得到目标原模图神经译码器；
所述预设均方误差损失函数用于计算校验子网络层和混洗信度传播子网络层的输出信息之间的损失值；
所述目标原模图神经译码器包括优化变量子网络层、优化校验子网络层和优化混洗信度传播子网络层。
优选地，所述网络构建单元，具体用于：
将单个初始变量子网络层、单个初始校验子网络层和单个预设混洗信度传播子网络层依次连接，得到一个隐藏网络小组；
多个所述隐藏网络小组依次连接形成一个隐藏层后，将多个隐藏层依次连接在输入卷积层之后，得到待训练译码网络。
优选地，所述网络训练单元，包括：
输入计算子单元，用于根据Tanner图将预置信道初始信息映射至所述待训练译码网络的输入卷积层进行卷积计算，得到输入卷积信息；
变量更新子单元，用于将所述输入卷积信息通过所述初始变量子网络层进行更新计算分析，得到变量输出信息和变量LLR值，并发送至所述初始校验子网络层和所述预设混洗信度传播子网络层；
综合更新子单元，用于所述初始校验子网络层和所述预设混洗信度传播子网络层分别根据所述变量输出信息和所述变量LLR值进行更新计算分析，得到校验LLR值、校验输出信息和混洗输出信息，所述校验LLR值用于下一个所述初始变量子网络层的参数更新计算；
优化训练子单元，用于基于预设均方误差损失函数和预置译码器目标函数，根据所述校验输出信息和混洗输出信息优化网络训练，得到目标原模图神经译码器。
优选地，还包括：
比特编码单元，用于将原始信息比特序列通过原模图编码器进行编码，得到编码比特序列；
信号调制单元，用于通过二进制相位键控调制器对所述编码比特序列进行信号调制，得到调制符号序列；
信道传输单元，用于依据加性高斯白噪声分析所述调制符号序列的信道传输特性，得到信道传输信息；
计算分析单元，用于对所述信道传输信息进行概率分析计算，得到预置信道初始信息。
优选地，还包括：
网络调整单元，用于将目标原模图神经译码器中所有的所述优化混洗信度传播子网络层剔除，并在每个所述隐藏层的末端配置一个输出卷积层，得到仿真原模图神经译码器，所述输出卷积层包括多个神经元；
仿真预测单元，用于采用所述仿真原模图神经译码器进行信号译码仿真，通过所述输出卷积层依据最后一个所述优化校验子网络层的输出信息计算后验变量LLR，得到仿真预测结果。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请中，提供了基于改进原模图神经译码器的训练方法，包括：根据初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层构建待训练译码网络，待训练译码网络包括多个隐藏层和输入卷积层；基于预设均方误差损失函数和预置译码器目标函数，通过计算LLR的方式对初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层进行更新训练，得到目标原模图神经译码器；预设均方误差损失函数用于计算校验子网络层和混洗信度传播子网络层的输出信息之间的损失值；目标原模图神经译码器包括优化变量子网络层、优化校验子网络层和优化混洗信度传播子网络层。
本申请提供的基于改进原模图神经译码器的训练方法，基于预设混洗信度传播子网络层对原模图LDPC神经译码器进行网络结构改进，预设混洗信度传播子网络层通过增加网络分流可以确保网络训练效率的同时降低训练复杂度；而且，采用预设均方误差损失函数代替现有技术的损失函数优化网络训练过程，能够在一定程度上加快网络训练的收敛速度，提高训练效率。因此，本申请能够解决现有技术采用低效率单流结构导致整体复杂度较高，且训练过程难以收敛导致训练效率较低的技术问题。
附图说明
图1为本申请实施例提供的基于改进原模图神经译码器的训练方法的流程示意图；
图2为本申请实施例提供的基于改进原模图神经译码器的训练装置的结构示意图；
图3为本申请实施例提供的待训练译码网络结构示例图；
图4为本申请实施例提供的原模图LDPC神经译码系统示意图；
图5为本申请实施例提供的训练得到的目标原模图神经译码器仿真阶段结构示例图；
图6为本申请应用例提供的NFMS译码器、NLMS译码器以及NSOMS译码器的误码率性能仿真曲线图一；
图7为本申请应用例提供的NFMS译码器、NLMS译码器以及NSOMS译码器的误码率性能仿真曲线图二。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的基于改进原模图神经译码器的训练方法的实施例，包括：
步骤101、根据初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层构建待训练译码网络，待训练译码网络包括多个隐藏层和输入卷积层。
进一步地，步骤101，包括：
将单个初始变量子网络层、单个初始校验子网络层和单个预设混洗信度传播子网络层依次连接，得到一个隐藏网络小组；
多个隐藏网络小组依次连接形成一个隐藏层后，将多个隐藏层依次连接在输入卷积层之后，得到待训练译码网络。
请参阅图3，假设每个隐藏层可以分为g个隐藏网络小组，每个隐藏网络小组由一个初始变量子网络层、一个初始校验子网络层/>和一个预设混洗信度传播子网络层依次连接组成，其中g为预设值，可以根据实际情况设置，在此不作限定；而为隐藏层的层索引号，/>则为隐藏层的最大层数；/>表示每个隐藏网络小组/>的索引，组中的每个子网络层均包含E个神经元。可以理解的是，图3仅以两个隐藏层为例，本事实例中的隐藏层数量可以根据实际需要配置，在此不作限定。此外为了方便描述，本实施例将变量子网络层表达为VN子层，校验子网络层表达为CN子层，混洗信度传播子网络层表达为SBP子层。
此外，不同于现有神经译码器，本实施例中的待训练译码网络的第T层隐藏层的最后一个初始校验子网络层和预设混洗信度传播子网络层共同设为输出层，即这两个子网络层的输出信息均需要用于网络的后续计算和更新过程中。
需要说明的是，本实施例的待训练译码网络除了包括多个隐藏层之外，还包括一个输入卷积层，该输入卷积层包括E个神经元。神经元数量E是基于Tanner图中的边数量确定，例如直接取值Tanner图中的边数量作为神经元数量E。
步骤102、基于预设均方误差损失函数和预置译码器目标函数，通过计算LLR的方式对初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层进行更新训练，得到目标原模图神经译码器。
预设均方误差损失函数用于计算校验子网络层和混洗信度传播子网络层的输出信息之间的损失值；目标原模图神经译码器包括优化变量子网络层、优化校验子网络层和优化混洗信度传播子网络层。
进一步地，步骤102，包括：
根据Tanner图将预置信道初始信息映射至待训练译码网络的输入卷积层进行卷积计算，得到输入卷积信息；
将输入卷积信息通过初始变量子网络层进行更新计算分析，得到变量输出信息和变量LLR值，并发送至初始校验子网络层和预设混洗信度传播子网络层；
初始校验子网络层和预设混洗信度传播子网络层分别根据变量输出信息和变量LLR值进行更新计算分析，得到校验LLR值、校验输出信息和混洗输出信息，校验LLR值用于下一个初始变量子网络层的参数更新计算；
基于预设均方误差损失函数和预置译码器目标函数，根据校验输出信息和混洗输出信息优化网络训练，得到目标原模图神经译码器。
进一步地，根据Tanner图将预置信道初始信息映射至待训练译码网络的输入卷积层进行卷积计算，得到输入卷积信息，之前还包括：
将原始信息比特序列通过原模图编码器进行编码，得到编码比特序列；
通过二进制相位键控调制器对编码比特序列进行信号调制，得到调制符号序列；
依据加性高斯白噪声分析调制符号序列的信道传输特性，得到信道传输信息；
对信道传输信息进行概率分析计算，得到预置信道初始信息。
需要说明的是，本实施例的待训练译码网络用于信号译码，输入该网络中的信号是基于编码、调制和信道传输得到的预置信道初始信息，信息比特的整体处理流程请参阅图4，长度为的原始信息比特序列/>经过原模图编码器进行编码可以得到长度为/>编码比特序列/>；二进制相位键控BPSK调制器则可以将编码比特序列调制成适合信道传输的符号序列，即调制符号序列；由于信道传输过程中存在不同因素的影响，会给信号带来一些噪声影响，所以本实施例通过增添加性高斯白噪声/>得到信道传输信息/>，具体表达为：
；
其中，为调制符号序列/>中的一个信号元素，且有，/>。本实施例的加性高斯白噪声/>是均值为0，方差为/>，即/>的加性高斯白噪声，/>为噪声功率谱密度。
此外，若原模图表达为，其中包括/>个变量点集合/>，/>个校验点集合/>，以及连接变量点和校验点的边集合/>，原模图对应的矩阵称作基础矩阵/>，对于给定的/>的基础矩阵/>，其中/>为连接变量点/>和校验点/>的边的数量，将边数量记作/>。对应的误码率表达为/>。原模图LDPC码的生成过程可以理解为复制和交织的操作过程，若是复制次数记作/>，那么新的原模图的边数可以计算为/>；由于神经元数量与边数量一一对应，所以本实施例中的神经元和边数量均可以采用E表达，后续不再解释。
对于接收到的长度为N的信道传输信息还需要进行如下计算：
；
其中，表示概率计算函数，/>表示第/>个编码比特到第/>个接收信号值的转移概率；/>即为预置信道初始信息。
需要说明的是，Tanner图是原模图对应的基础矩阵经过复制和交织操作后生成的较大的校验矩阵对应的因子图，可以基于现有技术获取到，在此不再赘述。根据Tanner图可以将预置信道初始信息映射至待训练译码网络的输入卷积层进行卷积计算，得到输入卷积信息。
在子网络层参数训练计算阶段，输入卷积信息将被输入到第一个VN子层进行处理；将第/>个VN子层和第/>个CN子层分别称为VN/>和CN/>。例如，如果VN1与CN1、CN3、CN4、CN6和CN7连接，则VN1的LLR值将同时存在于神经元/>、/>、、/>和/>中。
初始变量子网络层和初始校验子网络层，即VN子层和CN子层是相互进行信息交换实现参数更新和计算的，与现有技术不同的是，本实施例增设了预设混洗信度传播子网络层，即SBP子层；那么具体的更新计算分析方式为：以第一个隐藏层为例，其第一个隐藏网络小组中的第一个VN子层基于输入卷积信息进行更新和卷积计算，并将计算得到的变量输出信息和VN子层更新的变量LLR值分别发送到该组的第一个CN子层/>和第一个SBP子层/>；第一个CN子层和第一个SBP子层均可以依据变量输出信息和变量LLR值进行卷积计算和参数更新；CN子层和SBP子层都可以得到对应的LLR值和输出值，本实施例主要分析CN子层得到的校验LLR值和校验输出信息，以及SBP子层得到的混洗输出信息。而第一个CN子层输出的校验LLR值可以输入到下一组隐藏网络小组中的第一个VN子层/>中参与参数的更新训练；校验输出信息和混洗输出信息则用在基于预设均方误差损失函数的损失值计算中，结合预置译码器目标函数实现网络的优化训练。每个隐藏网络小组中的子网络层都可以采用上述方法进行参数训练和计算，每个隐藏层的多个隐藏网络小组，以及所有的隐藏层均是基于上述方法训练更新，直至完成所有网络层的训练，得到目标原模图神经译码器。
对于每个隐藏层t中的隐藏网络小组，/>的第/>个神经元/>中计算VN子层的参数更新过程为：
；
其中，表示除了神经元/>之外，/>中所有其他神经元。
以第一个隐藏层为例，参数更新开始之前，对于所有的都有/>，当隐藏网络小组中的部分CN子层完成更新后，对于已经参与更新的神经元，有/>；而还未参与更新的神经元，有/>。随着隐藏网络小组索引值/>的增加，具有零值的神经元将逐渐减少，直至所有神经元没有零值；在最后一个CN子层完成更新后，所有的/>均有/>。同样，/>的第/>个神经元/>中的CN子层的参数更新过程可以表达为：
；
其中，
；
；
其中，，/>表示除了/>之外的所有其他神经元，/>表示符号函数计算，/>为激活函数，具体可以表达为：
；
其中，为偏移项因子，表示隐藏层t中神经元集合/>中的共享偏置参数，每个集合中的神经元对应的边则是复制与基础矩阵/>的同一条边，集合索引表达为，其中，/>，F为复制次数。
同时，在SBP子层的第/>个神经元/>中的SBP子层的参数更新过程可以表达为：
；
基于以上VN子层、CN子层和SBP子层的参数更新公式可以分别实现各个子网络层的参数更新。
需要说明的是，对于基于预设均方误差损失函数根据校验输出信息和混洗输出信息计算损失值，实质是计算偏移项最小和（OMS）算法和信度传播（BP）算法之间CN消息的差异。并非基于交叉熵函数计算这个差异，所以可以避免采用交叉熵函数计算损失值造成的网络收敛速度较慢的问题。
具体的，由于CN子层和SBP子层/>连接着相同的VN子层/>，所以CN子层/>和SBP子层/>接收到VN子层/>的信息是相同的。因此，对于/>和的第/>个神经元，CN更新的差值表达为：
；
其中，、/>分别基于上述CN子层和SBP子层的参数更新公式计算得到，具体的不再赘述。
基于上述方式计算出所有神经元的差值后，结合均方误差（MSE）函数计算这些差值的平均值，即本实施例基于MSE函数定义的预设均方误差损失函数表达为：
；
其中，，
。
基于预设均方误差损失函数可知，在神经译码网络中的二进制分类问题可以被简化为缩小CN更新差异的回归问题。假设在隐藏层t中的偏移项因子集合，那么本实施例待训练译码网络的预置译码器目标函数可以表达为：
；
在本实施例中，可以采用ADAM优化算法更新偏移项因子，不断优化待训练译码网络，最后除了输出目标原模图神经译码器，还可以得到优化更新的偏移项因子/>。
进一步地，步骤102，之后还包括：
将目标原模图神经译码器中所有的优化混洗信度传播子网络层剔除，并在每个隐藏层的末端配置一个输出卷积层，得到仿真原模图神经译码器，输出卷积层包括多个神经元；
采用仿真原模图神经译码器进行信号译码仿真，通过输出卷积层依据最后一个优化校验子网络层的输出信息计算后验变量LLR，得到仿真预测结果。
作为一个新的实施方式，本申请可以对训练完成的目标原模图神经译码器作进一步地结构改进；请参阅图5，在神经译码器的训练阶段，通过增加网络分流和计算额外的SBP更新的方式减少仿真阶段所需要的网络深度，在仿真阶段则直接剔除SBP子层，即优化混洗信度传播子网络层，如此可以降低每个隐藏层中每个隐藏网络小组的网络复杂度，提升仿真效率。
此外，本实施例还在每个隐藏层的末端配置一个输出卷积层，该输出卷积层包含N个神经元，将每条边记作/>，其中，/>表示这条边连接第/>个VN子层和第/>个CN子层。而且，每条边对应的神经元记作/>。
在仿真阶段，VN子层和CN子层中的LLR值更新和计算过程与训练阶段相同，不同之处在于，隐藏层t的最后一个CN子层会将更新的校验LLR值发送至输出卷积层/>。即CN子层/>的E个神经元的校验LLR值需要根据Tanner图计算，并映射至输出卷积层/>的N个神经元，在输出卷积层/>中的计算过程为：
；
其中，表示/>中所有的神经元，可以理解的是，若此时的隐藏层t不是最后一个隐藏层，那么输出卷积层/>会将来自CN子层/>的校验LLR值传递给下一个隐藏层的第一个VN子层/>；若是最后一个隐藏层，那么基于输出卷积层/>的计算公式可以得到隐藏层t的VN后验参数值，即后验变量LLR，以此作为仿真预测结果。
为了便于理解，本申请还提供了多种不同译码器之间的译码效果对比仿真应用例，参与对比的译码器包括NFMS译码器、NLMS译码器以及NSOMS译码器，其中，NSOMS译码器为神经混洗偏移项最小和（Neural Shuffled Offset Min-Sum, NSOMS）译码器，是本申请提出的基于预设混洗信度传播子网络层构建的原模图神经译码器，即将现有两种译码器与本申请提供的NSOMS译码器进行比较分析。请参阅图6和图7，本应用例在5GLDPC的BG2在原模图LDPC神经译码系统的AWGN信道下进行了误码率性能仿真，其中，BG2的码率为R=1/5，复制次数分别为和/>，神经译码器的最大步骤数/>均为1600，最大隐藏层的层数为/>。且图6为复制次数F=3的译码效果对比，图7为F=16的译码效果对比。
分析图6和7可知，本申请提出的NSOMS译码器方案比其他方案的误比特性能更好；说明本申请提出的NSOMS译码器方案能够改善原模图LDPC神经译码系统的性能。
本申请实施例提供的基于改进原模图神经译码器的训练方法，基于预设混洗信度传播子网络层对原模图LDPC神经译码器进行网络结构改进，预设混洗信度传播子网络层通过增加网络分流可以确保网络训练效率的同时降低训练复杂度；而且，采用预设均方误差损失函数代替现有技术的损失函数优化网络训练过程，能够在一定程度上加快网络训练的收敛速度，提高训练效率。因此，本申请实施例能够解决现有技术采用低效率单流结构导致整体复杂度较高，且训练过程难以收敛导致训练效率较低的技术问题。
为了便于理解，请参阅图2，本申请提供了基于改进原模图神经译码器的训练装置的实施例，包括：
网络构建单元201，用于根据初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层构建待训练译码网络，待训练译码网络包括多个隐藏层和输入卷积层；
网络训练单元202，用于基于预设均方误差损失函数和预置译码器目标函数，通过计算LLR的方式对初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层进行更新训练，得到目标原模图神经译码器；
预设均方误差损失函数用于计算校验子网络层和混洗信度传播子网络层的输出信息之间的损失值；
目标原模图神经译码器包括优化变量子网络层、优化校验子网络层和优化混洗信度传播子网络层。
进一步地，网络构建单元201，具体用于：
将单个初始变量子网络层、单个初始校验子网络层和单个预设混洗信度传播子网络层依次连接，得到一个隐藏网络小组；
多个隐藏网络小组依次连接形成一个隐藏层后，将多个隐藏层依次连接在输入卷积层之后，得到待训练译码网络。
进一步地，网络训练单元202，包括：
输入计算子单元2021，用于根据Tanner图将预置信道初始信息映射至待训练译码网络的输入卷积层进行卷积计算，得到输入卷积信息；
变量更新子单元2022，用于将输入卷积信息通过初始变量子网络层进行更新计算分析，得到变量输出信息和变量LLR值，并发送至初始校验子网络层和预设混洗信度传播子网络层；
综合更新子单元2023，用于初始校验子网络层和预设混洗信度传播子网络层分别根据变量输出信息和变量LLR值进行更新计算分析，得到校验LLR值、校验输出信息和混洗输出信息，校验LLR值用于下一个初始变量子网络层的参数更新计算；
优化训练子单元2024，用于基于预设均方误差损失函数和预置译码器目标函数，根据校验输出信息和混洗输出信息优化网络训练，得到目标原模图神经译码器。
进一步地，还包括：
比特编码单元203，用于将原始信息比特序列通过原模图编码器进行编码，得到编码比特序列；
信号调制单元204，用于通过二进制相位键控调制器对编码比特序列进行信号调制，得到调制符号序列；
信道传输单元205，用于依据加性高斯白噪声分析调制符号序列的信道传输特性，得到信道传输信息；
计算分析单元206，用于对信道传输信息进行概率分析计算，得到预置信道初始信息。
进一步地，还包括：
网络调整单元207，用于将目标原模图神经译码器中所有的优化混洗信度传播子网络层剔除，并在每个隐藏层的末端配置一个输出卷积层，得到仿真原模图神经译码器，输出卷积层包括多个神经元；
仿真预测单元208，用于采用仿真原模图神经译码器进行信号译码仿真，通过输出卷积层依据最后一个优化校验子网络层的输出信息计算后验变量LLR，得到仿真预测结果。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (8)
1.基于改进原模图神经译码器的训练方法，其特征在于，包括：
根据初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层构建待训练译码网络，所述待训练译码网络包括多个隐藏层和输入卷积层，具体构建过程为：
将单个初始变量子网络层、单个初始校验子网络层和单个预设混洗信度传播子网络层依次连接，得到一个隐藏网络小组；
多个所述隐藏网络小组依次连接形成一个隐藏层后，将多个隐藏层依次连接在输入卷积层之后，得到待训练译码网络；
基于预设均方误差损失函数和预置译码器目标函数，通过计算LLR的方式对所述初始变量子网络层、所述初始校验子网络层和所述预设混洗信度传播子网络层进行更新训练，得到目标原模图神经译码器；
所述预设均方误差损失函数用于计算校验子网络层和混洗信度传播子网络层的输出信息之间的损失值；
所述目标原模图神经译码器包括优化变量子网络层、优化校验子网络层和优化混洗信度传播子网络层。
2.根据权利要求1所述的基于改进原模图神经译码器的训练方法，其特征在于，所述基于预设均方误差损失函数和预置译码器目标函数，通过计算LLR的方式对所述初始变量子网络层、所述初始校验子网络层和所述预设混洗信度传播子网络层进行更新训练，得到目标原模图神经译码器，包括：
根据Tanner图将预置信道初始信息映射至所述待训练译码网络的输入卷积层进行卷积计算，得到输入卷积信息；
将所述输入卷积信息通过所述初始变量子网络层进行更新计算分析，得到变量输出信息和变量LLR值，并发送至所述初始校验子网络层和所述预设混洗信度传播子网络层；
所述初始校验子网络层和所述预设混洗信度传播子网络层分别根据所述变量输出信息和所述变量LLR值进行更新计算分析，得到校验LLR值、校验输出信息和混洗输出信息，所述校验LLR值用于下一个所述初始变量子网络层的参数更新计算；
基于预设均方误差损失函数和预置译码器目标函数，根据所述校验输出信息和混洗输出信息优化网络训练，得到目标原模图神经译码器。
3.根据权利要求2所述的基于改进原模图神经译码器的训练方法，其特征在于，所述根据Tanner图将预置信道初始信息映射至所述待训练译码网络的输入卷积层进行卷积计算，得到输入卷积信息，之前还包括：
将原始信息比特序列通过原模图编码器进行编码，得到编码比特序列；
通过二进制相位键控调制器对所述编码比特序列进行信号调制，得到调制符号序列；
依据加性高斯白噪声分析所述调制符号序列的信道传输特性，得到信道传输信息；
对所述信道传输信息进行概率分析计算，得到预置信道初始信息。
4.根据权利要求1所述的基于改进原模图神经译码器的训练方法，其特征在于，所述基于预设均方误差损失函数和预置译码器目标函数，通过计算LLR的方式对所述初始变量子网络层、所述初始校验子网络层和所述预设混洗信度传播子网络层进行更新训练，得到目标原模图神经译码器，之后还包括：
将目标原模图神经译码器中所有的所述优化混洗信度传播子网络层剔除，并在每个所述隐藏层的末端配置一个输出卷积层，得到仿真原模图神经译码器，所述输出卷积层包括多个神经元；
采用所述仿真原模图神经译码器进行信号译码仿真，通过所述输出卷积层依据最后一个所述优化校验子网络层的输出信息计算后验变量LLR，得到仿真预测结果。
5.基于改进原模图神经译码器的训练装置，其特征在于，包括：
网络构建单元，用于根据初始变量子网络层、初始校验子网络层和预设混洗信度传播子网络层构建待训练译码网络，所述待训练译码网络包括多个隐藏层和输入卷积层，所述网络构建单元，具体用于：
将单个初始变量子网络层、单个初始校验子网络层和单个预设混洗信度传播子网络层依次连接，得到一个隐藏网络小组；
多个所述隐藏网络小组依次连接形成一个隐藏层后，将多个隐藏层依次连接在输入卷积层之后，得到待训练译码网络；
网络训练单元，用于基于预设均方误差损失函数和预置译码器目标函数，通过计算LLR的方式对所述初始变量子网络层、所述初始校验子网络层和所述预设混洗信度传播子网络层进行更新训练，得到目标原模图神经译码器；
所述预设均方误差损失函数用于计算校验子网络层和混洗信度传播子网络层的输出信息之间的损失值；
所述目标原模图神经译码器包括优化变量子网络层、优化校验子网络层和优化混洗信度传播子网络层。
6.根据权利要求5所述的基于改进原模图神经译码器的训练装置，其特征在于，所述网络训练单元，包括：
输入计算子单元，用于根据Tanner图将预置信道初始信息映射至所述待训练译码网络的输入卷积层进行卷积计算，得到输入卷积信息；
变量更新子单元，用于将所述输入卷积信息通过所述初始变量子网络层进行更新计算分析，得到变量输出信息和变量LLR值，并发送至所述初始校验子网络层和所述预设混洗信度传播子网络层；
综合更新子单元，用于所述初始校验子网络层和所述预设混洗信度传播子网络层分别根据所述变量输出信息和所述变量LLR值进行更新计算分析，得到校验LLR值、校验输出信息和混洗输出信息，所述校验LLR值用于下一个所述初始变量子网络层的参数更新计算；
优化训练子单元，用于基于预设均方误差损失函数和预置译码器目标函数，根据所述校验输出信息和混洗输出信息优化网络训练，得到目标原模图神经译码器。
7.根据权利要求6所述的基于改进原模图神经译码器的训练装置，其特征在于，还包括：
比特编码单元，用于将原始信息比特序列通过原模图编码器进行编码，得到编码比特序列；
信号调制单元，用于通过二进制相位键控调制器对所述编码比特序列进行信号调制，得到调制符号序列；
信道传输单元，用于依据加性高斯白噪声分析所述调制符号序列的信道传输特性，得到信道传输信息；
计算分析单元，用于对所述信道传输信息进行概率分析计算，得到预置信道初始信息。
8.根据权利要求5所述的基于改进原模图神经译码器的训练装置，其特征在于，还包括：
网络调整单元，用于将目标原模图神经译码器中所有的所述优化混洗信度传播子网络层剔除，并在每个所述隐藏层的末端配置一个输出卷积层，得到仿真原模图神经译码器，所述输出卷积层包括多个神经元；
仿真预测单元，用于采用所述仿真原模图神经译码器进行信号译码仿真，通过所述输出卷积层依据最后一个所述优化校验子网络层的输出信息计算后验变量LLR，得到仿真预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311608109.9A CN117335815B (zh) | 2023-11-29 | 2023-11-29 | 基于改进原模图神经译码器的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311608109.9A CN117335815B (zh) | 2023-11-29 | 2023-11-29 | 基于改进原模图神经译码器的训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117335815A CN117335815A (zh) | 2024-01-02 |
| CN117335815B true CN117335815B (zh) | 2024-03-15 |
Family
ID=89293773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311608109.9A Active CN117335815B (zh) | 2023-11-29 | 2023-11-29 | 基于改进原模图神经译码器的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117335815B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103053116A (zh) * | 2011-06-28 | 2013-04-17 | 华为技术有限公司 | 低密度奇偶校验码的编码方法和装置 |
| CN109462457A (zh) * | 2019-01-05 | 2019-03-12 | 苏州怡林城信息科技有限公司 | 一种Polar码译码方法、译码装置和译码器 |
| WO2019134553A1 (zh) * | 2018-01-02 | 2019-07-11 | 华为技术有限公司 | 译码方法及设备 |
| CN110730008A (zh) * | 2019-09-12 | 2020-01-24 | 天津大学 | 一种基于深度学习的rs码置信传播译码方法 |
| CN110995277A (zh) * | 2019-12-06 | 2020-04-10 | 浙江大学 | 一种多层神经网络辅助的罚对偶分解信道译码方法 |
| WO2021204163A1 (zh) * | 2020-04-10 | 2021-10-14 | 北京邮电大学 | 原模图低密度奇偶校验码的自学习译码方法及其相关设备 |
| CN113872610A (zh) * | 2021-10-08 | 2021-12-31 | 华侨大学 | 一种ldpc码神经网络训练、译码方法及其系统 |
| CN114359631A (zh) * | 2021-12-24 | 2022-04-15 | 黑龙江省微甄光电科技有限责任公司 | 基于编码-译码弱监督网络模型的目标分类与定位方法 |
| CN115483936A (zh) * | 2022-08-23 | 2022-12-16 | 北京大学 | 一种光纤通信系统中基于神经网络的ldpc码译码方法 |
-
2023
- 2023-11-29 CN CN202311608109.9A patent/CN117335815B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103053116A (zh) * | 2011-06-28 | 2013-04-17 | 华为技术有限公司 | 低密度奇偶校验码的编码方法和装置 |
| WO2019134553A1 (zh) * | 2018-01-02 | 2019-07-11 | 华为技术有限公司 | 译码方法及设备 |
| CN109462457A (zh) * | 2019-01-05 | 2019-03-12 | 苏州怡林城信息科技有限公司 | 一种Polar码译码方法、译码装置和译码器 |
| CN110730008A (zh) * | 2019-09-12 | 2020-01-24 | 天津大学 | 一种基于深度学习的rs码置信传播译码方法 |
| CN110995277A (zh) * | 2019-12-06 | 2020-04-10 | 浙江大学 | 一种多层神经网络辅助的罚对偶分解信道译码方法 |
| WO2021204163A1 (zh) * | 2020-04-10 | 2021-10-14 | 北京邮电大学 | 原模图低密度奇偶校验码的自学习译码方法及其相关设备 |
| CN113872610A (zh) * | 2021-10-08 | 2021-12-31 | 华侨大学 | 一种ldpc码神经网络训练、译码方法及其系统 |
| CN114359631A (zh) * | 2021-12-24 | 2022-04-15 | 黑龙江省微甄光电科技有限责任公司 | 基于编码-译码弱监督网络模型的目标分类与定位方法 |
| CN115483936A (zh) * | 2022-08-23 | 2022-12-16 | 北京大学 | 一种光纤通信系统中基于神经网络的ldpc码译码方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117335815A (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Turbo autoencoder: Deep learning based channel codes for point-to-point communication channels | |
| CN106888026B (zh) | 基于lsc-crc译码的分段极化码编译码方法及系统 | |
| CN110830050B (zh) | 一种ldpc译码方法、系统、电子设备及存储介质 | |
| CN110830049A (zh) | 一种基于密度进化改进偏移最小和的ldpc译码方法 | |
| WO2018179246A1 (en) | Check bit concatenated polar codes | |
| CN114157309A (zh) | 极化码译码方法、装置及系统 | |
| JP2008199623A (ja) | メッセージパッシングおよび強制収斂復号法 | |
| CN115473537A (zh) | 极化码中一种改进的es-scl译码方法 | |
| CN108092671A (zh) | 一种高性能低复杂度的nb－ldpc码译码方法 | |
| CN117335815B (zh) | 基于改进原模图神经译码器的训练方法及装置 | |
| Liao et al. | Doubly residual neural decoder: Towards low-complexity high-performance channel decoding | |
| CN113114269A (zh) | 一种置信传播-信息修正译码方法 | |
| CN107615666A (zh) | Ldpc截短码的译码方法和译码设备 | |
| KR20090012189A (ko) | Ｌｄｐｃ 부호의 성능 개선을 위한 스케일링 기반의 개선된ｍｉｎ-ｓｕｍ 반복복호알고리즘을 이용한 복호 장치 및그 방법 | |
| Habib et al. | Learned scheduling of LDPC decoders based on multi-armed bandits | |
| Khoueiry et al. | Joint channel estimation and raptor decoding over fading channel | |
| Gao et al. | Learning to decode polar codes with quantized LLRs passing | |
| Wen et al. | A BP-NN decoding algorithm for polar codes | |
| Dhok et al. | ATRNN: Using seq2seq approach for decoding polar codes | |
| CN113437979A (zh) | 一种基于非均匀信源的原模图ldpc码的结构优化方法及装置 | |
| Ivanov et al. | Method of critical set construction for successive cancellation list decoder of polar codes based on deep learning of neural networks | |
| Chen et al. | A novel labeling scheme for neural belief propagation in polar codes | |
| CN117220689A (zh) | 一种基于模型驱动深度学习的非二进制ldpc译码方法 | |
| CN114401016B (zh) | 速率兼容缩短极化码的两阶段构造方法 | |
| Yang et al. | A latency‐reduced SC flip decoding algorithm for polar codes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |