CN109245776A - 一种基于深度神经网络的极化码译码参数确定方法 - Google Patents

一种基于深度神经网络的极化码译码参数确定方法 Download PDF

Info

Publication number
CN109245776A
CN109245776A CN201810687120.1A CN201810687120A CN109245776A CN 109245776 A CN109245776 A CN 109245776A CN 201810687120 A CN201810687120 A CN 201810687120A CN 109245776 A CN109245776 A CN 109245776A
Authority
CN
China
Prior art keywords
neural network
deep neural
polarization code
decoding
determination method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810687120.1A
Other languages
English (en)
Inventor
李世宝
卢丽金
潘荔霞
刘建航
黄庭培
陈海华
邓云强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201810687120.1A priority Critical patent/CN109245776A/zh
Publication of CN109245776A publication Critical patent/CN109245776A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/13—Linear codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Error Detection And Correction (AREA)

Abstract

本发明提供了一种基于深度神经网络的极化码译码参数确定方法，所述方法首先从收集、整理样本数据开始；然后以样本数据的特征、标签及大小作为依据进行建模，并采用反向传播算法来训练网络；然后再将由接收信号计算得到的似然比输入到已完成训练的深度神经网络中，输出Q；最后将L初始化为Q，执行串行抵消列表译码算法。该方法通过将深度神经网络技术与极化码译码技术进行结合，避免了不必要的计算操作，从而极大降低了极化码的译码复杂度。

Description

一种基于深度神经网络的极化码译码参数确定方法
技术领域
本发明属于通信技术领域，特别涉及一种用深度神经网络来确定串行抵消列表译码算法的极化码译码参数的方法。
背景技术
极化码是2008年由E.Arikan提出的一种新型信道编码。极化码是第一种能够通过严格的数学方法证明达到信道容量的构造性编码方案。在极化码被提出之初，串行抵消(SC)译码也随之被提出。SC译码能够被看作是在二叉树上的路径搜索过程。SC译码算法从码树根节点开始，逐层依次向叶子节点层进行搜索，每一层扩展后，从两条后继中选择较好的一条进行扩展。SC译码的特点主要有两方面，一方面是其复杂度低、译码结构简单；另一方面是其在理论上被证明在码长足够大时能够达到香农极限。但SC译码算法在码长为有限长的配置下，纠错性能不理想。为了提高性能，提出串行抵消列表(SCL)译码。SCL译码是SC译码的一种改进版本。与SC不同的是，SCL译码算法不再是从两条后继中选择较好的一条进行扩展，而是尽可能地保留不大于L条的后继路径，在下一层扩展时，所有这不多于L条的候选路径都会分别被扩展。当结束叶子节点层的扩展时，有至多L条候选路径被保留在列表中。由于SCL译码只有在较高的信噪比下，才能够实现最大似然译码性能，故循环冗余校验(CRC)被引入来提升极化码的译码性能，通过使用CRC来对这L条候选路径进行校验，最终输出一条能通过CRC的且最有可能的候选路径。CRC辅助的SCL有着比Turbo码与LDPC码更好的译码性能，但是随着L增大，译码复杂度也会增大。为了解决这一问题，自适应串行抵消列表(AD-SCL)译码算法通过自适应地控制L，避免对不必要的路径进行计算，大大的减少了译码复杂度。
但是，在较低的信噪比下，AD-SCL会频繁出现高译码复杂度情况。AD-SCL算法总是把L的初始值配置为1。若基于L＝1的AD-SCL译码失败，该译码会将L更新为2L并继续进行译码，直至L＝Lmax，Lmax是根据实际情况设定的最大列表大小。在低信噪比与L＝1的配置下，AD-SCL算法失败的概率高，因此需要频繁更新L值，增加了复杂度。如果在译码开始时，将L初始化为一个合适的值，尽可能地执行一次译码就能成功，那么，将能够显著地降低译码复杂度。
为了降低译码复杂度，在保证极化码译码性能的前提下通过寻找一个合适的L值来减少计算量，本发明专利提出了一种基于深度神经网络的极化码译码参数确定方法，通过构建并训练深度神经网络来确定一个合适的L值，以实现减少运算量的目标，最终降低译码复杂度。
发明内容
本发明提出了一种基于SCL译码算法的深度神经网络辅助的参数确定方法，在保证译码性能不变的情况下，通过确定一个合适的L值来降低译码复杂度，并把这一个合适的L值记为Q。
在样本数据准备阶段，基于不同信噪比，执行100000次自适应串行抵消列表译码算法，将每一次译码成功时由接收信号计算得到的似然比和译码成功时对应的L记录下来，一次成功译码所记录的似然比与对应的L构成一组样本数据。随机选取50000组样本数据，从这50000组数据中随机选取75％组数据作为训练样本，并将余下的25％组数据作为测试样本。
前馈全连接深度神经网络(DNN)是一个包含多个隐藏层的多层感知机且可用作分类器，其特征是层级结构和训练规则可以根据实际情况来设定。搭建DNN时，层级结构包括1个输入层、6个隐藏层及1个输出层，我们将输入层的节点数目设置为1，隐藏层的层数设置为6，每一个隐藏层的节点数均设置为30，输出层的节点数目设置为6，采用全连接方式来搭建DNN，并将sigmoid函数设定为激活函数，似然比为一个特征，标签L包括6种不同的大小，即L∈{1,2,4,8,16,32}，分为6类。训练DNN时，基于监督学习，利用误差反向传播算法来训练网络，通过求出输出层和6个隐藏层的误差项来调整权值和神经元偏置，直至完成DNN的训练。
在极化码译码端，将由接收信号计算得到的似然比输入到DNN模型中，得到Q，并将L初始化为Q，执行串行抵消列表译码算法。
在参数确定过程中，适用以下步骤：
步骤1，准备样本数据，并对样本数据进行预处理；
步骤2，搭建深度神经网络，并训练深度神经网络；
步骤3，在极化码译码阶段，将似然比输入到深度神经网络模型中，得到一个值Q，并将L初始化为Q，执行串行抵消列表译码算法；
其中，步骤1中准备样本数据指的是，执行100000次自适应串行抵消列表译码算法，将每一次译码成功时由接收信号计算得到的似然比和译码成功时对应的L记录下来，一次成功译码所记录的似然比与对应的L构成一组样本数据，随机选取50000组样本数据，从这50000组数据中随机选取75％组数据作为训练样本，并将余下的25％组数据作为测试样本；步骤2中搭建深度神经网络指的是，将输入层的节点数目设置为1，隐藏层的层数设置为6，每一个隐藏层的节点数均设置为30，输出层的节点数目设置为6，采用全连接方式来搭建。
有益效果
本发明对比已有技术具有以下创新点：
用深度神经网络来确定参数L。在极化码译码端，将似然比输入到已完成训练的深度神经网络中，则可输出Q，实现似然比的快速分类。在此基础上，在保证极化码性能的前提下，译码算法能够以一个合适的L值来降低译码复杂度。
将深度神经网络技术与极化码译码技术进行结合。在样本数据准备阶段，样本数据来源于多次执行自适应串行抵消列表译码算法；在搭建和训练深度神经网络阶段，输入层的输入是似然比，输出层的输出为L；在译码端，基于SCL译码算法，将L初始化为Q。此时，SCL译码成功的概率较高，不需要频繁更新L值，避免不必要的运算操作，减少译码器的运算量，从而大幅降低计算复杂度。
附图说明
图1是确定深度神经网络结构时搭建的深度神经网络示意图；
图2是确定参数L的方法流程图。
具体实施方式
下面将结合附图和实施例对本发明做进一步的描述。
本发明提供一种基于深度神经网络的极化码译码参数确定方法，主要包括准备样本数据、搭建并训练深度神经网络及译码三部分。在样本数据准备阶段，首先在不同信噪比下执行100000次自适应串行抵消列表译码算法，并将每一次译码成功时由接收信号计算得到的似然比和译码成功时对应的L记录下来，然后随机选取50000组样本数据，最后从这50000组数据中随机选取75％组数据作为训练样本，并将余下的25％组数据作为测试样本；在搭建与训练深度神经网络阶段，首先根据训练样本的特征、标签及大小来确定网络的层级结构及参数，搭建深度神经网络，然后求出输出层和6个隐藏层的误差项来调整权值和神经元偏置；在极化码译码端，首先将由接收信号计算得到的似然比输入到DNN模型中，然后得到Q，最后将L初始化为Q，执行串行抵消列表译码算法。
在样本数据准备阶段，在不同信噪比，执行100000次自适应串行抵消列表译码算法，并将每一次译码成功时由接收信号计算得到的似然比和译码成功时对应的L记录下来，一次成功译码所记录的似然比与对应的L构成一组样本数据；然后随机选取50000组样本数据；最后从这50000组数据中随机选取75％组数据作为训练样本，并将余下的25％组数据作为测试样本，采用归一化处理将样本数据转换为数值数据。本实施例将自适应串行抵消列表译码算法的码长设置为1024，码率设置为0.5，Lmax＝32，CRC长度为16，将训练样本数和测试样本数分别设置为37500与12500。
在搭建与训练深度神经网络阶段，搭建的深度神经网络如图1所示，包含1个输入层、6个隐藏层及1个输出层，因只有似然比一个特征，所以网络输入层只有1个节点；将6个隐藏层的节点数目均设置为30；L为标签，每一个样本对应着一种标签，本实施例的标签有6种不同的大小，即L＝1，L＝2，L＝4，L＝8，L＝16，L＝32，可以将其分为6类，故将网络输出层的节点数确定为6，并采用全连接的方式来连接输入层、隐藏层与输出层。本实施例将激活函数设置为sigmoid函数，计算各个隐藏层与输出层中每一个节点的输出。基于监督学习，利用反向传播算法来训练网络，本实施例将网络所有输出层节点的误差平方和作为目标函数；在此基础上，运用随机梯度下降优化方法对目标函数进行优化；经过优化之后，分别得到输出层的误差项、各个隐藏层的误差项、权重的更新方法以及偏置项的更新方式。根据得到的训练规则，不断修正网络的权值与偏置项，直至完成所有样本训练。
在极化码译码端，借助深度神经网络来确定参数L，参数L的确定方法流程图如图2所示。首先将由接收信号计算得到的似然比输入到已完成训练的深度神经网络中，输出Q；再将L初始化为Q，执行串行抵消列表译码算法；然后对L条译码候选路径进行CRC校验，如果有一条或多于一条的候选路径通过CRC校验，则输出一条最有可能的路径并退出译码，否则，将L更新为2L；完成更新后，判断L是否大于Lmax，若不大于Lmax，则继续进行串行抵消列表译码，否则，退出译码。本实施例将串行抵消列表译码的码长设置为1024，码率设置为0.5，Lmax＝32，CRC长度为16。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明提出的技术范围内，可轻易想到的变化或者替换，都应该涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于深度神经网络的极化码译码参数确定方法，其特征在于，所述方法用深度神经网络来确定串行抵消列表译码的列表大小L，所述参数确定方法包括以下步骤：
步骤1，准备样本数据，并对样本数据进行预处理；
步骤2，搭建深度神经网络，并训练深度神经网络；
步骤3，在极化码译码阶段，将似然比输入到深度神经网络模型中，得到一个值Q，并将L初始化为Q，执行串行抵消列表译码算法。
2.根据权利要求1所述的一种基于深度神经网络的极化码译码参数确定方法，其特征在于，步骤1中准备样本数据指的是，执行100000次自适应串行抵消列表译码算法，将每一次译码成功时由接收信号计算得到的似然比和译码成功时对应的L记录下来，一次成功译码所记录的似然比与对应的L构成一组样本数据，随机选取50000组样本数据，从这50000组数据中随机选取75％组数据作为训练样本，并将余下的25％组数据作为测试样本。
3.根据权利要求1所述的一种基于深度神经网络的极化码译码参数确定方法，其特征在于，步骤2中搭建深度神经网络指的是，将输入层的节点数目设置为1，隐藏层的层数设置为6，每一个隐藏层的节点数均设置为30，输出层的节点数目设置为6，采用全连接方式来搭建。
CN201810687120.1A 2018-06-28 2018-06-28 一种基于深度神经网络的极化码译码参数确定方法 Pending CN109245776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810687120.1A CN109245776A (zh) 2018-06-28 2018-06-28 一种基于深度神经网络的极化码译码参数确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810687120.1A CN109245776A (zh) 2018-06-28 2018-06-28 一种基于深度神经网络的极化码译码参数确定方法

Publications (1)

Publication Number Publication Date
CN109245776A true CN109245776A (zh) 2019-01-18

Family

ID=65072186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810687120.1A Pending CN109245776A (zh) 2018-06-28 2018-06-28 一种基于深度神经网络的极化码译码参数确定方法

Country Status (1)

Country Link
CN (1) CN109245776A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111106839A (zh) * 2019-12-19 2020-05-05 北京邮电大学 一种基于神经网络的极化码译码方法及装置
CN111736148A (zh) * 2020-06-28 2020-10-02 国家海洋环境预报中心 卫星雷达高度计海浪有效波高的订正方法及相关装置
CN115378443A (zh) * 2022-08-11 2022-11-22 西安工业大学 一种低精度的深度神经网络极化码sc译码算法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111106839A (zh) * 2019-12-19 2020-05-05 北京邮电大学 一种基于神经网络的极化码译码方法及装置
CN111736148A (zh) * 2020-06-28 2020-10-02 国家海洋环境预报中心 卫星雷达高度计海浪有效波高的订正方法及相关装置
CN111736148B (zh) * 2020-06-28 2021-06-08 国家海洋环境预报中心 卫星雷达高度计海浪有效波高的订正方法及相关装置
CN115378443A (zh) * 2022-08-11 2022-11-22 西安工业大学 一种低精度的深度神经网络极化码sc译码算法

Similar Documents

Publication Publication Date Title
CN108777584A (zh) 一种极化码译码参数的快速优化方法
CN108880568A (zh) 一种基于卷积神经网络的串行抵消列表译码参数优化方法
CN109245776A (zh) 一种基于深度神经网络的极化码译码参数确定方法
Ding et al. Evolutionary artificial neural networks: a review
Ozturk et al. Hybrid artificial bee colony algorithm for neural network training
Chen et al. Automatic design of hierarchical Takagi–Sugeno type fuzzy systems using evolutionary algorithms
CN103929210B (zh) 一种基于遗传算法与神经网络的硬判决译码方法
CN103971162A (zh) 一种基于遗传算法改进bp神经网络的方法
CN108197736A (zh) 一种基于变分自编码器和极限学习机的空气质量预测方法
CN109075803A (zh) 具有打孔、缩短和扩展的极化码编码
WO2023116111A1 (zh) 一种磁盘故障预测方法及装置
Soltanian et al. Artificial neural networks generation using grammatical evolution
CN107292381A (zh) 一种用于单目标优化的混合生物共生搜索的方法
Zhang et al. A novel multi-objective genetic algorithm based error correcting output codes
CN108964672A (zh) 一种基于深度神经网络的极化码译码方法
Zhao et al. Genetic optimization of radial basis probabilistic neural networks
CN118132674A (zh) 一种基于大语言模型和高效参数微调的文本信息抽取方法
CN113807079A (zh) 一种基于序列到序列的端到端实体和关系联合抽取方法
CN112713903B (zh) Scl译码器下的基于普遍偏序和遗传算法的极化码构造方法
CN106452675A (zh) 一种极化码的球形译码方法
CN107220333A (zh) 一种基于Sunday算法的字符搜索方法
US20130318017A1 (en) Devices for Learning and/or Decoding Messages, Implementing a Neural Network, Methods of Learning and Decoding and Corresponding Computer Programs
CN106877883A (zh) 一种基于受限玻尔兹曼机的ldpc译码方法和装置
US20240320337A1 (en) Neural network configuration parameter training and deployment method and apparatus for coping with device mismatch
CN114596913B (zh) 基于深度中心点模型的蛋白质折叠识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190118

WD01 Invention patent application deemed withdrawn after publication