CN111901000A - 基于Inception结构的信道译码方法 - Google Patents

基于Inception结构的信道译码方法 Download PDF

Info

Publication number
CN111901000A
CN111901000A CN202010769360.3A CN202010769360A CN111901000A CN 111901000 A CN111901000 A CN 111901000A CN 202010769360 A CN202010769360 A CN 202010769360A CN 111901000 A CN111901000 A CN 111901000A
Authority
CN
China
Prior art keywords
channel decoding
training
layer
convolution
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010769360.3A
Other languages
English (en)
Inventor
李建清
李鹏威
彭冠兰
王宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010769360.3A priority Critical patent/CN111901000A/zh
Publication of CN111901000A publication Critical patent/CN111901000A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/37Decoding methods or techniques, not specific to the particular type of coding provided for in groups H03M13/03 - H03M13/35
    • H03M13/3707Adaptive decoding and hybrid decoding, e.g. decoding methods or techniques providing more than one decoding algorithm for one code

Landscapes

  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Error Detection And Correction (AREA)

Abstract

本发明公开了一种基于Inception结构的信道译码方法,包括以下步骤:生成不同信噪比的编码数据样本,并将生成的编码数据样本划分为训练集和测试集;构造一维Inception结构;构建基于Inception结构的信道译码网络;设置基于Inception结构的信道译码网络的训练超参数;训练基于Inception结构的信道译码网络;将测试集输入到训练完成的译码网络中,得到测试集的信道译码结果。本发明通过更改Inception结构设计了一种新的一维卷积神经网络,并将该网络应用到一维数据的信道译码中,通过接收已经编码的数据可以进行译码,对基于深度学习的通信信号译码工作有重要的工程价值。

Description

基于Inception结构的信道译码方法
技术领域
本发明属于深度学习应用与通信技术领域,涉及一种基于Inception结构的信道译码方法。
背景技术
自20世纪60年代,随着信道编码理论研究的进步,将代数方程引入到纠错码中进行研究,使得纠错码的研究达到了高峰,得到了可以找到多个错误并能对错误位进行纠错的码,并提出了可以进行实现的译码方法。极化码是由Arikan在2008年首次提出的新型信道编码方法,是目前已知的唯一的一种能够通过严格的数学方法证明能够迗到信道容量的编码方法。
极化码一经提出,立刻受到了众多学者的关注,成为信息领域的研究热点。在近些年的研究中,极化码的译码算法主要有SC译码算法、最大似然(Maximum Likelihood,ML)译码算法、线性规划(Linear Programming,LP)译码算法及置信传播(Belief Propagation,BP)译码算法。
近些年来,深度学习在计算机视觉、机器翻译等方面已经取得了显著的成果,但在译码领域的研究仍然处于起步阶段,尤其是应用于极化码的研究更是十分有限。基于深度学习的译码算法有两个天然的优势,非常低的译码时延和接近最大后验概率译码(Maximuma Posteriori,MAP)算法的性能。
T.Gruber等人在其论文《On Deep Learning-Based Channel Decoding》中使用一个具有三个隐藏层的MLP分别对极化码和随机码进行译码,文中指出虽然现在有非常强大的深度学习库,如Theano、TensorFlow等,且计算能力在不断提升,但呈指数级增长的训练复杂度仍然是神经网络译码器发展的阻碍。文中采用部分码字作为训练集,使用训练集之外的剩余码字作为验证数据,经过验证该模型对极化码的验证码字译码的误码率小于1,且训练集占全部码字的比例越大,验证集误码率越低,而随机码的误码率一直为1。结果表明,神经网络译码具有一定的扩展性,神经网络模型经过训练后可以对训练集中没有的数据进行译码,这意味着神经网络是可以学习到译码算法的。
Christian Szegedy等人在其论文《Going Deeper with Convolutions》中首次提出Inception结构,主要用于二维图像处理,这给出了深度学习中对神经网络结构一个新的设计思路,即网络不仅可以一层层的堆叠,还可以在同一层之间横向的排列,但Inception结构在一维的译码问题等相关领域,并未得到有效的应用。
发明内容
本发明要解决的技术问题在于提供一种基于Inception结构的信道译码方法,该方法设计一维卷积神经网络,并将该神经网络应用到信道译码中,利用样本进行训练提取编码特征进行译码,克服了现有技术的不足。
为了解决上述技术问题,本发明通过以下方式来实现:
基于Inception结构的信道译码方法,包括以下步骤:
S1、使用Python分别生成不同信噪比的编码数据训练集和测试集;
S2、构造改进的Inception结构;
S3、构建基于Inception结构的信道译码网络;
S4、设置基于Inception结构的信道译码网络超参数;
S5、将训练集输入构建好的基于Inception结构的信道译码网络,训练得到网络模型;
S6、将测试集输入训练好的基于Inception结构的信道译码网络模型中,得到测试集中编码数据的译码结果。
进一步地,所述步骤S1包括以下子步骤:
S11、使用Python生成用于训练的编码数据样本,编码类型为极化码,码长为64,码率为1/2,信噪比从-2dB到20dB每隔2dB,共12种不同信噪比的数据,总共生成1000000个训练集样本;
S12、使用Python生成用于测试的编码数据样本,编码类型为极化码,码长为64,码率为1/2,信噪比从0dB到10dB每隔0.5dB,共21种不同信噪比的数据,总共生成100000个测试集样本。
进一步地,所述步骤S2包括以下子步骤:
S21、设计三个并行的子卷积层,其中并行的第一子卷积层由3个1×3的卷积叠加组成,并行的第二子卷积层由1个1×3的卷积和1个1×5的卷积叠加组成,并行的第三子卷积层由1个1×7的卷积组成;
S22、将三个并行的子卷积层组合到一起,组成Inception结构。
进一步地,所述步骤S3基于Inception的信道译码网络的具体结构为:
第一层采用1个1×11的卷积,步长为1,ReLU作为激活函数,使输入长度减10;
第二层采用与第一层相同的结构;
第三层采用Inception结构,ReLU作为激活函数,使输入长度减6;
第四层采用与第三层相同的结构;
第五层采用全连接层,输入神经元6144,输出神经元128,ReLU作为激活函数;
第六层采用全连接层,输入神经元128,输出神经元64,ReLU作为激活函数;
第七层是输出层,输入神经元64,输出神经元32,ReLU作为激活函数。
进一步地,所述步骤S4设置的信道译码网络超参数具体为:信道译码网络训练采用Adam优化算法,将训练时的初始学习率设置为0.001,训练时每次输入网络的序列样本数量batch_size为10000,训练周期epoch为200。
进一步地,所述步骤S5包括以下子步骤:
S51、打乱训练集样本,将样本按batch_size大小(10000)分批次地输入到网络中;
S52、训练神经网络,当达到设置的最大训练周期时停止训练,得到训练好的网络模型。
进一步地,所述步骤S6包括以下子步骤:
S61、将测试集样本输入到训练好的网络模型中,进行测试,得到测试结果;
S62、根据测试结果画图,分析结果。
与现有技术相比,本发明具有的有益效果:
本发明提出一种基于Inception结构的信道译码方法,通过改进Inception结构设计了一种新的一维卷积神经网络,并将该神经网络应用到了一维编码数据的译码,通过接收编码的数据可以较为准确的进行译码,对基于深度学习的通信信号译码工作有重要的工程价值。
附图说明
图1为本发明的基于Inception结构的信道译码方法流程示意图;
图2为改进Inception结构示意图;
图3为基于改进Inception结构的神经网络示意图;
图4为训练时在训练集上训练周期与误码率关系图;
图5为训练时在测试集上训练周期与误码率关系图;
图6为测试时信噪比与误码率关系图。
具体实施方式
下面结合附图和具体实施例对本发明的具体实施方式作进一步详细的说明。
本发明采用Inception结构构建卷积神经网络实现对编码数据的有效译码,利用神经网络提取编码数据的特征,具体工作流程如图1所示。基于Inception结构的信道译码方法,包括以下步骤:
S1、使用Python分别生成不同信噪比的编码数据训练集和测试集,包括以下子步骤:
S11、使用Python生成用于训练的编码数据样本,编码类型为极化码,码长为64,码率为1/2,信噪比从-2dB到20dB每隔2dB,共12种不同信噪比的数据,总共生成1000000个训练集样本;
S12、使用Python生成用于测试的编码数据样本,编码类型为极化码,码长为64,码率为1/2,信噪比从0dB到10dB每隔0.5dB,共21种不同信噪比的数据,总共生成100000个测试集样本。
S2、构造改进Inception结构,如图2所示,具体包括以下子步骤:
S21、设计三个并行的子卷积层,其中并行的第一子卷积层由3个1×3的卷积叠加组成,并行的第二个卷积层由1个1×3的卷积和1个1×5的卷积叠加组成,并行的第三个卷积层由1个1×7的卷积组成;
S22、将三个并行的子卷积层组合到一起,组成Inception结构。
S3、构建基于改进Inception结构的信道译码网络,如图3所示;
第一层采用1个1×11的卷积,步长为1,采用ReLU作为激活函数,使输入长度减10;
第二层采用与第一层相同的结构;
第三层采用改进Inception结构,采用ReLU作为激活函数,使输入长度减6;
第四层采用与第三层相同的结构;
第五层采用全连接层,输入神经元6144,输出神经元128,采用ReLU作为激活函数;
第六层采用全连接层,输入神经元128,输出神经元64,采用ReLU作为激活函数;
第七层是输出层,输入神经元64,输出神经元32,采用ReLU作为激活函数。
S4、设置训练基于改进Inception结构的信道译码网络超参数;具体设置的参数为:训练的优化方法采用Adam优化算法,训练时的初始学习率设置为0.001,训练时每次输入网络的序列样本数量batch_size为10000,训练周期epoch为200。
S5、将训练集输入基于Inception结构的信道译码网络,训练得到模型参数,包括以下子步骤:
S51、打乱训练样本,将样本按batch_size大小,每批次10000个样本,分批次地输入到网络中;
S52、训练神经网络,当达到设置的最大训练周期时停止训练,得到训练完成的网络模型。
S6、将测试集输入训练好的基于改进Inception结构的信道译码网络模型中,得到测试集中编码数据的译码结果,包括以下子步骤:
S61、将测试样本输入到训练好的网络模型中,进行测试,得到测试结果;
S62、根据测试结果画图,分析结果。
下面结合实际训练测试示例进一步描述本发明的效果。
实验平台:
本发明的实验平台环境具体为CPU Inter I7-7800X,GPU NvidiaGTX1080Ti,内存32GDDR4 2400,操作系统Ubuntu16.04LTS,深度学习框架为PyTorch。
训练阶段实验分析:
本发明采用的神经网络在训练阶段,在训练集上的训练周期与误码率的关系如图4所示,在测试集上的训练周期与误码率的关系如图5所示,横轴为训练周期(epoch)数,纵轴为误码率。对于译码任务而言,误码率越接近0表示译码效果越好,从图4和图5中可以看出,本发明训练过程中训练集和测试集的译码误码率随着训练周期数增加而下降,且最终没有出现过拟合现象。训练完成后保存神经网络模型用以测试。
测试阶段实验分析:
按步骤S6描述,将测试集中的数据输入到步骤S5得到的神经网络模型以测试,测试结果中信噪比与误码率的关系如图6所示,横轴为信噪比,纵轴为误码率,随着信噪比的增大,噪声的影响越来越小,误码率也随之越来越小。
综上所述,本发明通过构建基于Inception结构的神经网络对编码数据进行译码,可以有效的从复杂的编码数据中学习到编码的规律,从而进行反向的译码,做到了对于一种编码,学习一次,保存模型,随时译码的效果,避免了传统的译码工作的计算复杂性,有效的提高了译码的效率。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.基于Inception结构的信道译码方法,其特征在于,包括以下步骤:
S1、使用Python分别生成不同信噪比的编码数据训练集和测试集;
S2、构造Inception结构;
S3、构建基于Inception结构的信道译码网络;
S4、设置基于Inception结构的信道译码网络超参数;
S5、将训练集输入构建好的基于Inception结构的信道译码网络,训练得到网络模型;
S6、将测试集输入训练好的基于Inception结构的信道译码网络模型中,得到测试集中编码数据的译码结果。
2.根据权利要求1所述的基于Inception结构的信道译码方法,其特征在于,所述步骤S1包括以下子步骤:
S11、使用Python生成用于训练的编码数据样本,编码类型为极化码,码长为64,码率为1/2,信噪比从-2dB到20dB每隔2dB,共12种不同信噪比的数据,总共生成1000000个训练集样本;
S12、使用Python生成用于测试的编码数据样本,编码类型为极化码,码长为64,码率为1/2,信噪比从0dB到10dB每隔0.5dB,共21种不同信噪比的数据,总共生成100000个测试集样本。
3.根据权利要求1所述的基于Inception结构的信道译码方法,其特征在于,所述步骤S2包括以下子步骤:
S21、设计三个并行的子卷积层,其中并行的第一子卷积层由3个1×3的卷积叠加组成,并行的第二子卷积层由1个1×3的卷积和1个1×5的卷积叠加组成,并行的第三子卷积层由1个1×7的卷积组成;
S22、将三个并行的子卷积层组合到一起,组成Inception结构。
4.根据权利要求1所述的基于Inception结构的信道译码方法,其特征在于,步骤S3所述基于Inception的信道译码网络的具体结构为:
第一层采用1个1×11的卷积,步长为1,ReLU作为激活函数,使输入长度减10;
第二层采用与第一层相同的结构;
第三层采用Inception结构,ReLU作为激活函数,使输入长度减6;
第四层采用与第三层相同的结构;
第五层采用全连接层,输入神经元6144,输出神经元128,ReLU作为激活函数;
第六层采用全连接层,输入神经元128,输出神经元64,ReLU作为激活函数;
第七层是输出层,输入神经元64,输出神经元32,ReLU作为激活函数。
5.根据权利要求1所述的基于Inception结构的信道译码方法,其特征在于,所述步骤S4设置的信道译码网络超参数具体为:采用Adam优化算法,将训练时的初始学习率设置为0.001,训练时每次输入网络的序列样本数量batch_size为10000,训练周期epoch为200。
6.根据权利要求1所述的基于Inception结构的信道译码方法,其特征在于,所述步骤S5包括以下子步骤:
S51、打乱训练样本,将样本按batch_size大小分批次地输入到网络中;
S52、训练神经网络,当达到设置的最大训练周期时停止训练,得到训练好的网络模型。
7.根据权利要求1所述的基于Inception结构的信道译码方法,其特征在于,所述步骤S6包括以下子步骤:
S61、将测试集样本按信噪比输入到训练好的网络模型中,进行测试,得到测试结果;
S62、根据测试结果画图,分析结果。
CN202010769360.3A 2020-08-03 2020-08-03 基于Inception结构的信道译码方法 Pending CN111901000A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010769360.3A CN111901000A (zh) 2020-08-03 2020-08-03 基于Inception结构的信道译码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010769360.3A CN111901000A (zh) 2020-08-03 2020-08-03 基于Inception结构的信道译码方法

Publications (1)

Publication Number Publication Date
CN111901000A true CN111901000A (zh) 2020-11-06

Family

ID=73183242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010769360.3A Pending CN111901000A (zh) 2020-08-03 2020-08-03 基于Inception结构的信道译码方法

Country Status (1)

Country Link
CN (1) CN111901000A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023272739A1 (zh) * 2021-07-02 2023-01-05 北京小米移动软件有限公司 信道译码方法及装置、用于信道译码的神经网络模型的训练方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN107981858A (zh) * 2017-11-27 2018-05-04 乐普(北京)医疗器械股份有限公司 基于人工智能的心电图心搏自动识别分类方法
US20180211155A1 (en) * 2017-01-23 2018-07-26 Fotonation Limited Method for synthesizing a neural network
CN109495214A (zh) * 2018-11-26 2019-03-19 电子科技大学 基于一维Inception结构的信道编码类型识别方法
CN110567888A (zh) * 2019-09-12 2019-12-13 中国计量大学 一种基于可见/近红外光谱和深度学习的蚕茧干壳量无损检测方法
US20200202160A1 (en) * 2018-12-20 2020-06-25 Penta Security Systems Inc. Method and apparatus for detecting abnormal traffic based on convolutional autoencoder

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
US20180211155A1 (en) * 2017-01-23 2018-07-26 Fotonation Limited Method for synthesizing a neural network
CN107981858A (zh) * 2017-11-27 2018-05-04 乐普(北京)医疗器械股份有限公司 基于人工智能的心电图心搏自动识别分类方法
CN109495214A (zh) * 2018-11-26 2019-03-19 电子科技大学 基于一维Inception结构的信道编码类型识别方法
US20200202160A1 (en) * 2018-12-20 2020-06-25 Penta Security Systems Inc. Method and apparatus for detecting abnormal traffic based on convolutional autoencoder
CN110567888A (zh) * 2019-09-12 2019-12-13 中国计量大学 一种基于可见/近红外光谱和深度学习的蚕茧干壳量无损检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
C. SZEGEDY ET AL.: "《Going deeper with convolutions》", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
ENJOY_ENDLESS: "《从inception 到Xception(含网络模型pytorch代码解析)》", 《CSDN BLOG》 *
F. CHOLLET: "《Xception: Deep Learning with Depthwise Separable Convolutions》", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
T. GRUBER, S. CAMMERER, J. HOYDIS AND S. T. BRINK: "《On deep learning-based channel decoding》", 《017 51ST ANNUAL CONFERENCE ON INFORMATION SCIENCES 》 *
张乐豪,张立,武中臣,张承进,凌宗成,韩凉,曹学强: "《基于Inception网络的好奇号火星车地面标样LIBS光谱定量建模》", 《光子学报》 *
羊肉串串魅力无穷: "《Xception》", 《XCEPTION》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023272739A1 (zh) * 2021-07-02 2023-01-05 北京小米移动软件有限公司 信道译码方法及装置、用于信道译码的神经网络模型的训练方法及装置

Similar Documents

Publication Publication Date Title
Lyu et al. Performance evaluation of channel decoding with deep neural networks
Be’Ery et al. Active deep decoding of linear codes
CN109361404B (zh) 一种基于半监督深度学习网络的ldpc译码系统及译码方法
CN111490853A (zh) 一种基于深度卷积神经网络的信道编码参数识别方法
EP4198848A1 (en) Method and system for multi-step prediction of future wind speed based on automatic reservoir neural network
McMahan et al. Minimax optimal algorithms for unconstrained linear optimization
CN108847848A (zh) 一种基于信息后处理的极化码的bp译码算法
CN111327332B (zh) Ldpc码的噪声梯度下降多比特翻转译码早停方法
CN110233628B (zh) 极化码的自适应置信传播列表译码方法
CN111901000A (zh) 基于Inception结构的信道译码方法
CN117312777B (zh) 基于扩散模型的工业设备时间序列生成方法及装置
CN111507046A (zh) 一种电动闸阀剩余使用寿命预测方法及系统
CN117390151B (zh) 结构健康诊断视觉-语言基础模型和多模态交互系统的建立方法
Teng et al. Convolutional neural network-aided tree-based bit-flipping framework for polar decoder using imitation learning
Yang et al. Nonlinear programming approaches to decoding low-density parity-check codes
CN111988045A (zh) 一种基于遗传算法的改进的极化码scf译码器
Teng et al. Convolutional neural network-aided bit-flipping for belief propagation decoding of polar codes
Zhang et al. A RNN decoder for channel decoding under correlated noise
CN116155453A (zh) 一种面向动态信噪比的译码方法及相关设备
CN117313531A (zh) 光子能带预测透射谱模型的训练、预测方法、介质及设备
CN114925658B (zh) 开放性文本生成方法以及存储介质
CN113556134B (zh) 适用于简化串行抵消译码的极化码删余编码器及编码方法
Chen et al. Belief propagation decoding of polar codes using intelligent post-processing
CN112953565B (zh) 一种基于卷积神经网络的归零卷积码译码方法和系统
Judson et al. Efficient construction of successive cancellation decoding of polar codes using logistic regression algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201106