CN113438049A - 一种基于dnn模型分析的汉明码译码方法及系统 - Google Patents

一种基于dnn模型分析的汉明码译码方法及系统 Download PDF

Info

Publication number
CN113438049A
CN113438049A CN202110600719.9A CN202110600719A CN113438049A CN 113438049 A CN113438049 A CN 113438049A CN 202110600719 A CN202110600719 A CN 202110600719A CN 113438049 A CN113438049 A CN 113438049A
Authority
CN
China
Prior art keywords
layer
dnn
neurons
hamming code
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110600719.9A
Other languages
English (en)
Inventor
何美霖
王浩宇
滕旭阳
胡志蕊
宋慧娜
王海泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110600719.9A priority Critical patent/CN113438049A/zh
Publication of CN113438049A publication Critical patent/CN113438049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0061—Error detection codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Error Detection And Correction (AREA)

Abstract

本发明公开了一种基于DNN模型分析的汉明码译码方法及系统，本发明方法按如下步骤进行：步骤1，进行汉明码编码；步骤2，分析DNN模型；步骤3，对DNN进行译码；步骤4，通过仿真验证正确性。本发明利用DNN模型对汉明码译码，选择合适的激活函数，损失函数和优化函数，迭代更新权重和偏置，降低DNN译码的误码率，恢复出信息序列。

Description

一种基于DNN模型分析的汉明码译码方法及系统
技术领域
本发明属于无线通信编码技术领域，涉及一种在通信编译码中提高译码性能的简易技术方案，具体是点对点通信中基于DNN模型分析的汉明码译码方法及系统。
背景技术
通信编码中，通常在信息序列中增加一些具有线性关系的冗余序列，抵抗噪声，提高通信的可靠性。在计算机系统中，汉明码主要应用于内存(RAM)的校验和纠错。汉明码的传统译码方法为硬判决，但是误码率相对较高。神经网络译码不仅能降低误码率，而且算法简单。因神经网络具有运行速度快、信息处理能力强等优点。但是，在神经网络中，传统的浅层学习模型处理大规模数据的能力较弱，因此，有必要对现有技术进行改进和创新。
发明内容
针对现有技术存在的上述问题，本发明利用DNN模型对汉明码译码，选择合适的激活函数，损失函数和优化函数，迭代更新权重和偏置，降低DNN译码的误码率，恢复出信息序列。
本发明应用场景：
通信系统中，信源随机产生长度为k的信息序列T＝{t1,…,tk}，乘以汉明码的生成矩阵Gk×n，
C＝TG (1)
得到编码后的码字C＝{c1,…,cn}，其中，n为码长。经过BPSK调制，得到已调信号X＝{x1,…,xn}。随后，把X传输到高斯信道，接收端接收信号Y＝{y1,…,yn}
yi＝μ·xi+zi,i＝1,…,n (2)
其中zi～N(0,σ2)，代表服从均值为0，方差为σ2的高斯噪声。
分析DNN模型，对接收信号Y进行深度神经网络译码。首先，建立输入层、输出层和隐藏层。其次，根据汉明码，调整输入和输出层神经元个数以及初始隐藏层参数。然后，令非线性的sigmod函数为隐藏层间的激活函数，其输出范围在(0,1)区间。令均方最小误差函数为损失函数，用来度量预测信息序列
Figure BDA0003092600650000011
和原信息序列T之间的误差。接着，设损失值为10-5，运用GD优化算法对隐藏层的权重和偏置进行迭代更新，使得深度神经网络译码成功，恢复出信息序列。最后，通过仿真验证该方法的正确性。
本发明采取如下技术方案：
一种基于DNN模型分析的汉明码译码方法，其按如下步骤进行：
步骤1，进行汉明码编码；
步骤2，分析DNN模型；
步骤3，对DNN进行译码；
步骤4，通过仿真验证正确性。
优选的，步骤1，汉明码编码：
信源随机生成长度为k的信息序列T＝{t1,…,tk}，其中ti∈{0,1},i＝1,…,k。然后，将序列T乘以汉明码的生成矩阵G4×7，
Figure BDA0003092600650000021
得到编码后的码字C＝{c1,…,cn}。经过BPSK调制，得到已调序列X＝{x1,…,xn}，其中码字和已调序列满足如下关系，
Figure BDA0003092600650000022
然后，把X传输到高斯信道，得到接收信号Y＝{y1,…,yn}，
yi＝μ·xi+zi,i＝1,…,n (5)
其中，zi～N(0,σ2)。
优选的，步骤2，分析DNN模型：
DNN是一种全连接的前馈神经网络，由若干隐藏层和输入、输出层之间的神经元组成。DNN与传统神经网络的区别在于它的深度，即隐含层的数目和神经元的数目。隐含层和神经元数目越多，从神经网络的数据中提取的特征和模式越有意义。
在DNN模型下，令第l层第i个神经元的输入为
Figure BDA0003092600650000023
输出为
Figure BDA0003092600650000024
其偏置为
Figure BDA0003092600650000025
连接着第l+1层第j个神经元的权重为
Figure BDA0003092600650000026
第l层所具有的神经元个数为nl。在第l层和第l+1层的神经元之间，满足如下线性关系：
Figure BDA0003092600650000027
为了增强神经网络输出的非线性表达能力，在第l+1层的神经元上，进行非线性操作，输出
Figure BDA0003092600650000031
为
Figure BDA0003092600650000032
其中，非线性函数h就是激活函数。在神经网络的数学理论中，假设选择合适的激活函数，那么含有有限个神经元的神经网络输出的预测值会逼近理论值。
为了优化神经网络，DNN使用损失函数计算误差得到损失值，把梯度下降值反馈给神经网络，根据合适的优化函数，迭代更新偏置和权重，使得预测值和理论值之间的误差最小化。在处理大量数据时，优化函数可以降低学习时间，提高学习效率。在优化函数中，通过设置参数学习速率η，控制梯度下降值。在迭代次数有限的条件下，如果学习速率过小，损失值能控制在误差范围，但其变化太慢，导致收敛时间太长。如果学习速率过大，收敛时间降低，但无法最小化损失值。
所以，选择合适的激活函数、损失函数、优化函数对神经网络至关重要。
优选的，步骤3，DNN译码原理：
与传统的硬判决译码相比，本发明利用DNN模型对汉明码进行译码。
根据(7,4)汉明码，设置输入和输出层神经元个数以及初始隐藏层参数。将接收信号Y＝{y1,…,yn}划分为多组序列进行DNN译码，每组接收序列的长度为7。将每组长度为7的接收序列作为DNN模型输入层，因此输入层的神经元有7个。从每组长度为7的接收序列中译出4个信息序列，所以DNN模型输出层的神经元有4个。设置三层的隐藏层，提取每组接收序列的特征信息，进行译码。
译码步骤：
3.1对长度为7的接收序列
Figure BDA0003092600650000033
进行线性操作，得到第一层隐藏层的输入
Figure BDA0003092600650000034
Figure BDA0003092600650000035
3.2在隐藏层的神经元上，对输入信息
Figure BDA0003092600650000036
进行非线性操作，选择非线性函数sigmod作为激活函数，即
Figure BDA0003092600650000037
因为sigmod激活函数分布在(0,1)范围内，且具有对称性，从而得到隐藏层神经元的输出信息
Figure BDA0003092600650000038
3.3在隐藏层中，经过神经元上的非线性操作和神经元间的线性操作后，得到DNN的输出信息。
Figure BDA0003092600650000041
其中，
Figure BDA0003092600650000042
是输出层神经元的输入信息，
Figure BDA0003092600650000043
就是DNN输出的预测序列
Figure BDA0003092600650000044
3.4计算预测序列
Figure BDA0003092600650000045
与信息序列ti的误差，因为汉明码译码一般是比较汉明距离，因此选择均方误差(MSE)作为损失函数，度量预测序列和信息序列之间的误差，
Figure BDA0003092600650000046
其中，E为损失值。
3.5为了最小化LMSE,选择梯度下降(GD)算法作为优化函数，迭代更新权重
Figure BDA0003092600650000047
和偏置
Figure BDA0003092600650000048
Figure BDA0003092600650000049
其中学习速率η＝0.08。
3.6重复上述步骤3.1-3.5，使得误差E最小化，从而恢复信息序列。
本发明还公开了一种基于DNN模型分析的汉明码译码系统，包括如下模块：
汉明码编码模块，进行汉明码编码；
DNN模块分析模块，分析DNN模型；
DNN译码模块，对DNN进行译码；
仿真模块，通过仿真验证正确性。
优选的，汉明码编码模块具体如下：信源随机生成长度为k的信息序列T＝{t1,…,tk}，其中ti∈{0,1},i＝1,…,k；将序列T乘以汉明码的生成矩阵G4×7，
Figure BDA00030926006500000410
得到编码后的码字C＝{c1,…,cn}；经过BPSK调制，得到已调序列X＝{x1,…,xn}，其中码字和已调序列满足如下关系，
Figure BDA00030926006500000411
把X传输到高斯信道，得到接收信号Y＝{y1,…,yn}，
yi＝μ·xi+zi, i＝1,…,n (5)
其中，zi～N(0,σ2)。
优选的，DNN模型分析模块具体如下：在DNN模型下，令第l层第i个神经元的输入为
Figure BDA0003092600650000051
输出为
Figure BDA0003092600650000052
偏置为
Figure BDA0003092600650000053
连接着第l+1层第j个神经元的权重为
Figure BDA0003092600650000054
第l层所具有的神经元个数为n l；在第l层和第l+1层的神经元之间，满足如下线性关系：
Figure BDA0003092600650000055
在第l+1层的神经元上，进行非线性操作，输出
Figure BDA0003092600650000056
为
Figure BDA0003092600650000057
其中，非线性函数h是激活函数。
优选的，DNN译码模块具体如下：根据(7,4)汉明码，设置输入和输出层神经元个数以及初始隐藏层参数；将接收信号Y＝{y1,…,yn}划分为多组序列进行DNN译码，每组接收序列的长度为7；将每组长度为7的接收序列作为DNN模型输入层，因此输入层的神经元有7个；从每组长度为7的接收序列中译出4个信息序列，所以DNN模型输出层的神经元有4个；设置三层的隐藏层，提取每组接收序列的特征信息，进行译码；
译码步骤如下：
3.1对长度为7的接收序列
Figure BDA0003092600650000058
进行线性操作，得到第一层隐藏层的输入
Figure BDA0003092600650000059
Figure BDA00030926006500000510
3.2在隐藏层的神经元上，对输入信息
Figure BDA00030926006500000511
进行非线性操作，选择非线性函数sigmod作为激活函数，即
Figure BDA00030926006500000512
因为sigmod激活函数分布在(0,1)范围内，且具有对称性，从而得到隐藏层神经元的输出信息
Figure BDA00030926006500000513
3.3在隐藏层中，经过神经元上的非线性操作和神经元间的线性操作后，得到DNN的输出信息；
Figure BDA00030926006500000514
其中，
Figure BDA0003092600650000061
是输出层神经元的输入信息，
Figure BDA0003092600650000062
就是DNN输出的预测序列
Figure BDA0003092600650000063
3.4计算预测序列
Figure BDA0003092600650000064
与信息序列ti的误差，因为汉明码译码一般是比较汉明距离，因此选择均方误差作为损失函数，度量预测序列和信息序列之间的误差，
Figure BDA0003092600650000065
其中，E为损失值；
3.5为了最小化LMSE,选择梯度下降算法作为优化函数，迭代更新权重
Figure BDA0003092600650000066
和偏置
Figure BDA0003092600650000067
Figure BDA0003092600650000068
其中学习速率η＝0.08；
3.6重复上述步骤3.1-3.5，使得误差E最小化，从而恢复信息序列。
本发明基于DNN模型的分析，选择合适的激活函数，损失函数和优化函数，迭代更新权重和偏置，对汉明码编码后的接收序列进行DNN译码，降低误码率，恢复信息序列。
附图说明
图1为(7,4)汉明码的DNN译码模型图。输入层和输出层的神经元个数分别为7和4，隐藏层层数为3，每层隐藏层的神经元数为140个。激活函数为sigmod函数，优化函数为随机梯度下降法，损失函数为最小均方误差函数，学习速率η为0.08，学习次数在2000000次左右。
图2为不同学习速率下(7,4)汉明码DNN译码的误码率。
图3为(7,4)汉明码的DNN译码与传统的硬判决译码的对比图。仿真表明，DNN译码的性能优于传统硬判决译码。
图4是本发明基于DNN模型分析的汉明码译码方法流程图。
图5是本发明基于DNN模型分析的汉明码译码系统框图。
具体实施方式
下面结合附图对本发明优选实施例作详细说明。
如图4所示，本实施例一种基于DNN模型分析的汉明码译码方法，其按如下步骤进行：
步骤1，汉明码编码：
信源随机生成长度为k的信息序列T＝{t1,…,tk}，其中ti∈{0,1},i＝1,…,k。然后，将序列T乘以汉明码的生成矩阵G4×7，
Figure BDA0003092600650000071
得到编码后的码字C＝{c1,…,cn}。经过BPSK调制，得到已调序列X＝{x1,…,xn}，其中码字和已调序列满足如下关系，
Figure BDA0003092600650000072
然后，把X传输到高斯信道，得到接收信号Y＝{y1,…,yn}，
yi＝μ·xi+zi,i＝1,…,n (5)
其中，zi～N(0,σ2)。
步骤2，分析DNN模型：
DNN是一种全连接的前馈神经网络，由若干隐藏层和输入、输出层之间的神经元组成。DNN与传统神经网络的区别在于它的深度，即隐含层的数目和神经元的数目。隐含层和神经元数目越多，从神经网络的数据中提取的特征和模式越有意义。
在DNN模型下，令第l层第i个神经元的输入为
Figure BDA0003092600650000073
输出为
Figure BDA0003092600650000074
其偏置为
Figure BDA0003092600650000075
连接着第l+1层第j个神经元的权重为
Figure BDA0003092600650000076
第l层所具有的神经元个数为nl。在第l层和第l+1层的神经元之间，满足如下线性关系：
Figure BDA0003092600650000077
为了增强神经网络输出的非线性表达能力，在第l+1层的神经元上，进行非线性操作，输出
Figure BDA0003092600650000078
为
Figure BDA0003092600650000079
其中，非线性函数h就是激活函数。在神经网络的数学理论中，假设选择合适的激活函数，那么含有有限个神经元的神经网络输出的预测值会逼近理论值。
为了优化神经网络，DNN使用损失函数计算误差得到损失值，把梯度下降值反馈给神经网络，根据合适的优化函数，迭代更新偏置和权重，使得预测值和理论值之间的误差最小化。在处理大量数据时，优化函数可以降低学习时间，提高学习效率。在优化函数中，通过设置参数学习速率η，控制梯度下降值。在迭代次数有限的条件下，如果学习速率过小，损失值能控制在误差范围，但其变化太慢，导致收敛时间太长。如果学习速率过大，收敛时间降低，但无法最小化损失值。
所以，选择合适的激活函数、损失函数、优化函数对神经网络至关重要。
步骤3，DNN译码原理：
与传统的硬判决译码相比，本发明利用DNN模型对汉明码进行译码。
根据(7,4)汉明码，设置输入和输出层神经元个数以及初始隐藏层参数。将接收信号Y＝{y1,…,yn}划分为多组序列进行DNN译码，每组接收序列的长度为7。将每组长度为7的接收序列作为DNN模型输入层，因此输入层的神经元有7个。从每组长度为7的接收序列中译出4个信息序列，所以DNN模型输出层的神经元有4个。设置三层的隐藏层，提取每组接收序列的特征信息，进行译码。
译码步骤：
3.1对长度为7的接收序列
Figure BDA0003092600650000081
进行线性操作，得到第一层隐藏层的输入
Figure BDA0003092600650000082
Figure BDA0003092600650000083
3.2在隐藏层的神经元上，对输入信息
Figure BDA0003092600650000084
进行非线性操作，选择非线性函数sigmod作为激活函数，即
Figure BDA0003092600650000085
因为sigmod激活函数分布在(0,1)范围内，且具有对称性，从而得到隐藏层神经元的输出信息
Figure BDA0003092600650000086
3.3在隐藏层中，经过神经元上的非线性操作和神经元间的线性操作后，得到DNN的输出信息。
Figure BDA0003092600650000087
其中，
Figure BDA0003092600650000088
是输出层神经元的输入信息，
Figure BDA0003092600650000089
就是DNN输出的预测序列
Figure BDA00030926006500000810
3.4计算预测序列
Figure BDA00030926006500000811
与信息序列ti的误差，因为汉明码译码一般是比较汉明距离，因此选择均方误差(MSE)作为损失函数，度量预测序列和信息序列之间的误差，
Figure BDA00030926006500000812
其中，E为损失值。
3.5为了最小化LMSE,选择梯度下降(GD)算法作为优化函数，迭代更新权重
Figure BDA0003092600650000091
和偏置
Figure BDA0003092600650000092
Figure BDA0003092600650000093
其中学习速率η＝0.08。
3.6重复上述步骤3.1-3.5，使得误差E最小化，从而恢复信息序列。
步骤4，通过仿真验证正确性。
如图5所示，本实施例一种基于DNN模型分析的汉明码译码系统，包括如下模块：
汉明码编码模块、DNN模块分析模块、DNN译码模块、仿真模块。
汉明码编码模块具体如下：信源随机生成长度为k的信息序列T＝{t1,…,tk}，其中ti∈{0,1},i＝1,…,k；将序列T乘以汉明码的生成矩阵G4×7，
Figure BDA0003092600650000094
得到编码后的码字C＝{c1,…,cn}；经过BPSK调制，得到已调序列X＝{x1,…,xn}，其中码字和已调序列满足如下关系，
Figure BDA0003092600650000095
把X传输到高斯信道，得到接收信号Y＝{y1,…,yn}，
yi＝μ·xi+zi,i＝1,…,n (5)
其中，zi～N(0,σ2)。
DNN模型分析模块具体如下：在DNN模型下，令第l层第i个神经元的输入为
Figure BDA0003092600650000096
输出为
Figure BDA0003092600650000097
偏置为
Figure BDA0003092600650000098
连接着第l+1层第j个神经元的权重为
Figure BDA0003092600650000099
第l层所具有的神经元个数为nl；在第l层和第l+1层的神经元之间，满足如下线性关系：
Figure BDA00030926006500000910
在第l+1层的神经元上，进行非线性操作，输出
Figure BDA00030926006500000911
为
Figure BDA00030926006500000912
其中，非线性函数h是激活函数。
DNN译码模块具体如下：根据(7,4)汉明码，设置输入和输出层神经元个数以及初始隐藏层参数；将接收信号Y＝{y1,…,yn}划分为多组序列进行DNN译码，每组接收序列的长度为7；将每组长度为7的接收序列作为DNN模型输入层，因此输入层的神经元有7个；从每组长度为7的接收序列中译出4个信息序列，所以DNN模型输出层的神经元有4个；设置三层的隐藏层，提取每组接收序列的特征信息，进行译码；
译码步骤如下：
3.1对长度为7的接收序列
Figure BDA0003092600650000101
进行线性操作，得到第一层隐藏层的输入
Figure BDA0003092600650000102
Figure BDA0003092600650000103
3.2在隐藏层的神经元上，对输入信息
Figure BDA0003092600650000104
进行非线性操作，选择非线性函数sigmod作为激活函数，即
Figure BDA0003092600650000105
因为sigmod激活函数分布在(0,1)范围内，且具有对称性，从而得到隐藏层神经元的输出信息
Figure BDA0003092600650000106
3.3在隐藏层中，经过神经元上的非线性操作和神经元间的线性操作后，得到DNN的输出信息；
Figure BDA0003092600650000107
其中，
Figure BDA0003092600650000108
是输出层神经元的输入信息，
Figure BDA0003092600650000109
就是DNN输出的预测序列
Figure BDA00030926006500001010
3.4计算预测序列
Figure BDA00030926006500001011
与信息序列ti的误差，因为汉明码译码一般是比较汉明距离，因此选择均方误差作为损失函数，度量预测序列和信息序列之间的误差，
Figure BDA00030926006500001012
其中，E为损失值；
3.5为了最小化LMSE,选择梯度下降算法作为优化函数，迭代更新权重
Figure BDA00030926006500001013
和偏置
Figure BDA00030926006500001014
Figure BDA0003092600650000111
其中学习速率η＝0.08；
3.6重复上述步骤3.1-3.5，使得误差E最小化，从而恢复信息序列。
仿真模块，通过仿真验证正确性。
本发明并不局限于上述特定的(7,4)汉明码，本领域技术人员可以在权利要求的范围内调整编码参数或更换信道码，这不影响本发明的实质内容。
由于DNN模型能用更多的神经元处理海量的数据，本发明利用DNN模型对汉明码译码，选择合适的激活函数，损失函数和优化函数，迭代更新权重和偏执，最小化误码率，并通过仿真该方法的正确性。
本领域的技术人员应该理解，本发明的具体实施方式仅用于解释本发明的原理，而不限制本发明。凡是根据本发明中的设计精神所做出的等效变化或修饰，均落入本发明的保护范围。

Claims (8)

1.一种基于DNN模型分析的汉明码译码方法，其特征是按如下步骤进行：
步骤1，进行汉明码编码；
步骤2，分析DNN模型；
步骤3，对DNN进行译码；
步骤4，通过仿真验证正确性。
2.如权利要求1所述一种基于DNN模型分析的汉明码译码方法，其特征是：
步骤1具体如下：信源随机生成长度为k的信息序列T＝{t1，...，tk}，其中ti∈{0，1}，i＝1，...，k；将序列T乘以汉明码的生成矩阵G4×7，
Figure FDA0003092600640000011
得到编码后的码字C＝{c1，...，cn}；经过BPSK调制，得到已调序列X＝{x1，...，xn}，其中码字和已调序列满足如下关系，
Figure FDA0003092600640000012
把X传输到高斯信道，得到接收信号Y＝{y1，...，yn}，
yi＝μ·xi+zi，i＝1，...，n (5)
其中，zi～N(0，σ2)。
3.如权利要求2所述一种基于DNN模型分析的汉明码译码方法，其特征是：
步骤2具体如下：在DNN模型下，令第l层第i个神经元的输入为
Figure FDA0003092600640000013
输出为
Figure FDA0003092600640000014
偏置为
Figure FDA0003092600640000015
连接着第l+1层第j个神经元的权重为
Figure FDA0003092600640000016
第l层所具有的神经元个数为nl；在第l层和第l+1层的神经元之间，满足如下线性关系：
Figure FDA0003092600640000017
在第l+1层的神经元上，进行非线性操作，输出
Figure FDA0003092600640000018
为
Figure FDA0003092600640000019
其中，非线性函数h是激活函数。
4.如权利要求3所述一种基于DNN模型分析的汉明码译码方法，其特征是：
步骤3具体如下：根据(7，4)汉明码，设置输入和输出层神经元个数以及初始隐藏层参数；将接收信号Y＝{y1，...，yn}划分为多组序列进行DNN译码，每组接收序列的长度为7；将每组长度为7的接收序列作为DNN模型输入层，因此输入层的神经元有7个；从每组长度为7的接收序列中译出4个信息序列，所以DNN模型输出层的神经元有4个；设置三层的隐藏层，提取每组接收序列的特征信息，进行译码；
译码步骤如下：
3.1对长度为7的接收序列
Figure FDA0003092600640000021
进行线性操作，得到第一层隐藏层的输入
Figure FDA0003092600640000022
Figure FDA0003092600640000023
3.2在隐藏层的神经元上，对输入信息
Figure FDA0003092600640000024
进行非线性操作，选择非线性函数sigmod作为激活函数，即
Figure FDA0003092600640000025
因为sigmod激活函数分布在(0，1)范围内，且具有对称性，从而得到隐藏层神经元的输出信息
Figure FDA0003092600640000026
3.3在隐藏层中，经过神经元上的非线性操作和神经元间的线性操作后，得到DNN的输出信息；
Figure FDA0003092600640000027
其中，
Figure FDA0003092600640000028
是输出层神经元的输入信息，
Figure FDA0003092600640000029
就是DNN输出的预测序列
Figure FDA00030926006400000214
3.4计算预测序列
Figure FDA00030926006400000215
与信息序列ti的误差，因为汉明码译码一般是比较汉明距离，因此选择均方误差作为损失函数，度量预测序列和信息序列之间的误差，
Figure FDA00030926006400000210
其中，E为损失值；
3.5为了最小化LMSE，选择梯度下降算法作为优化函数，迭代更新权重
Figure FDA00030926006400000211
和偏置
Figure FDA00030926006400000212
Figure FDA00030926006400000213
其中学习速率η＝0.08；
3.6重复上述步骤3.1-3.5，使得误差E最小化，从而恢复信息序列。
5.一种基于DNN模型分析的汉明码译码系统，其特征是包括如下模块：
汉明码编码模块，进行汉明码编码；
DNN模块分析模块，分析DNN模型；
DNN译码模块，对DNN进行译码；
仿真模块，通过仿真验证正确性。
6.如权利要求5所述一种基于DNN模型分析的汉明码译码系统，其特征是：
汉明码编码模块具体如下：信源随机生成长度为k的信息序列T＝{t1，...，tk}，其中ti∈{0，1}，i＝1，...，k；将序列T乘以汉明码的生成矩阵G4×7，
Figure FDA0003092600640000031
得到编码后的码字C＝{c1，...，cn}；经过BPSK调制，得到已调序列X＝{x1，...，xn}，其中码字和已调序列满足如下关系，
Figure FDA0003092600640000032
把X传输到高斯信道，得到接收信号Y＝{y1，...，yn}，
yi＝μ·xi+zi，i＝1，...，n (5)
其中，zi～N(0，σ2)。
7.如权利要求6所述一种基于DNN模型分析的汉明码译码系统，其特征是：
DNN模型分析模块具体如下：在DNN模型下，令第l层第i个神经元的输入为
Figure FDA0003092600640000033
输出为
Figure FDA0003092600640000034
偏置为
Figure FDA0003092600640000035
连接着第l+1层第j个神经元的权重为
Figure FDA0003092600640000036
第i层所具有的神经元个数为nl；在第l层和第l+1层的神经元之间，满足如下线性关系：
Figure FDA0003092600640000037
在第l+1层的神经元上，进行非线性操作，输出
Figure FDA0003092600640000038
为
Figure FDA0003092600640000039
其中，非线性函数h是激活函数。
8.如权利要求7所述一种基于DNN模型分析的汉明码译码系统，其特征是：
DNN译码模块具体如下：根据(7，4)汉明码，设置输入和输出层神经元个数以及初始隐藏层参数；将接收信号Y＝{y1，...，yn}划分为多组序列进行DNN译码，每组接收序列的长度为7；将每组长度为7的接收序列作为DNN模型输入层，因此输入层的神经元有7个；从每组长度为7的接收序列中译出4个信息序列，所以DNN模型输出层的神经元有4个；设置三层的隐藏层，提取每组接收序列的特征信息，进行译码；
译码步骤如下：
3.1对长度为7的接收序列
Figure FDA0003092600640000041
进行线性操作，得到第一层隐藏层的输入
Figure FDA0003092600640000042
Figure FDA0003092600640000043
3.2在隐藏层的神经元上，对输入信息
Figure FDA0003092600640000044
进行非线性操作，选择非线性函数sigmod作为激活函数，即
Figure FDA0003092600640000045
因为sigmod激活函数分布在(0，1)范围内，且具有对称性，从而得到隐藏层神经元的输出信息
Figure FDA0003092600640000046
3.3在隐藏层中，经过神经元上的非线性操作和神经元间的线性操作后，得到DNN的输出信息；
Figure FDA0003092600640000047
其中，
Figure FDA0003092600640000048
是输出层神经元的输入信息，
Figure FDA0003092600640000049
就是DNN输出的预测序列
Figure FDA00030926006400000410
3.4计算预测序列
Figure FDA00030926006400000411
与信息序列ti的误差，因为汉明码译码一般是比较汉明距离，因此选择均方误差作为损失函数，度量预测序列和信息序列之间的误差，
Figure FDA00030926006400000412
其中，E为损失值；
3.5为了最小化LMSE，选择梯度下降算法作为优化函数，迭代更新权重
Figure FDA00030926006400000413
和偏置
Figure FDA00030926006400000414
Figure FDA00030926006400000415
其中学习速率η＝0.08；
3.6重复上述步骤3.1-3.5，使得误差E最小化，从而恢复信息序列。
CN202110600719.9A 2021-05-31 2021-05-31 一种基于dnn模型分析的汉明码译码方法及系统 Pending CN113438049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110600719.9A CN113438049A (zh) 2021-05-31 2021-05-31 一种基于dnn模型分析的汉明码译码方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110600719.9A CN113438049A (zh) 2021-05-31 2021-05-31 一种基于dnn模型分析的汉明码译码方法及系统

Publications (1)

Publication Number Publication Date
CN113438049A true CN113438049A (zh) 2021-09-24

Family

ID=77803235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110600719.9A Pending CN113438049A (zh) 2021-05-31 2021-05-31 一种基于dnn模型分析的汉明码译码方法及系统

Country Status (1)

Country Link
CN (1) CN113438049A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1558557A (zh) * 2004-01-30 2004-12-29 琳 王 基于和积算法的汉明码迭代译码方法
CN103929210A (zh) * 2014-04-25 2014-07-16 重庆邮电大学 一种基于遗传算法与神经网络的硬判决译码方法
WO2017036370A1 (en) * 2015-09-03 2017-03-09 Mediatek Inc. Method and apparatus of neural network based processing in video coding
CN108964672A (zh) * 2018-07-06 2018-12-07 中国石油大学(华东) 一种基于深度神经网络的极化码译码方法
CN109525254A (zh) * 2018-10-25 2019-03-26 华南理工大学 基于深度学习的卷积码软判决译码方法
CN110739977A (zh) * 2019-10-30 2020-01-31 华南理工大学 一种基于深度学习的bch码译码方法
CN111224677A (zh) * 2018-11-27 2020-06-02 华为技术有限公司 编码方法、译码方法及装置
CN111835364A (zh) * 2020-08-03 2020-10-27 辽宁工程技术大学 一种极化码的低复杂度神经bp译码方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1558557A (zh) * 2004-01-30 2004-12-29 琳 王 基于和积算法的汉明码迭代译码方法
CN103929210A (zh) * 2014-04-25 2014-07-16 重庆邮电大学 一种基于遗传算法与神经网络的硬判决译码方法
WO2017036370A1 (en) * 2015-09-03 2017-03-09 Mediatek Inc. Method and apparatus of neural network based processing in video coding
CN108964672A (zh) * 2018-07-06 2018-12-07 中国石油大学(华东) 一种基于深度神经网络的极化码译码方法
CN109525254A (zh) * 2018-10-25 2019-03-26 华南理工大学 基于深度学习的卷积码软判决译码方法
CN111224677A (zh) * 2018-11-27 2020-06-02 华为技术有限公司 编码方法、译码方法及装置
CN110739977A (zh) * 2019-10-30 2020-01-31 华南理工大学 一种基于深度学习的bch码译码方法
CN111835364A (zh) * 2020-08-03 2020-10-27 辽宁工程技术大学 一种极化码的低复杂度神经bp译码方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张开文等: "一种多层前向神经网络译码器的实现", 《信息工程学院学报》 *
徐想: "基于深度学习的极化码译码算法研究", 《中国优秀硕士学位论文电子期刊》 *
汤澈: "基于深度神经网络的极化码译码算法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 *
郑先侠等: "大规模天线系统中低复杂度的解码方法研究", 《计算机工程》 *

Similar Documents

Publication Publication Date Title
CN110474716B (zh) 基于降噪自编码器的scma编解码器模型的建立方法
CN111490853A (zh) 一种基于深度卷积神经网络的信道编码参数识别方法
CN110932734B (zh) 一种基于交替方向乘子法的深度学习信道译码方法
CN112968853B (zh) 一种mmtc系统多用户接入检测和信道估计的方法
CN111711455B (zh) 一种基于神经网络的极化码bp译码方法
CN103929210A (zh) 一种基于遗传算法与神经网络的硬判决译码方法
CN110688501B (zh) 一种基于深度学习的全卷积网络的哈希检索方法
CN110704664B (zh) 一种哈希检索方法
CN110739977B (zh) 一种基于深度学习的bch码译码方法
CN113438049A (zh) 一种基于dnn模型分析的汉明码译码方法及系统
CN116306780B (zh) 一种动态图链接生成方法
Fang et al. Neural successive cancellation polar decoder with Tanh-based modified LLR over FSO turbulence channel
CN106877883A (zh) 一种基于受限玻尔兹曼机的ldpc译码方法和装置
CN116611313A (zh) 一种面向超算平台基于Transformer的风力发电功率预测方法
CN112735604B (zh) 一种基于深度学习算法的新型冠状病毒分类方法
Kavvousanos et al. Hardware implementation aspects of a syndrome-based neural network decoder for bch codes
CN114448570A (zh) 一种分布式联合信源信道编码系统的深度学习译码方法
CN111988136B (zh) 一种用于连续变量量子密钥分发的多精度译码装置与方法
Gao et al. A ldpc decoding algorithm based on convolutional neural network
CN111049531A (zh) 一种基于分段线性惩罚函数的交替方向乘子法的深度学习信道译码方法
CN117914656B (zh) 一种基于神经网络的端到端通信系统设计方法
Kavvousanos et al. An iterative approach to syndrome-based deep learning decoding
Xu et al. A Neural Network Empowered Belief Propagation Algorithm Optimized for Short-Cycles in Tanner Graph
Liu et al. Blind recognition of channel codes based on a multiscale dilated convolution neural network
CN118101133A (zh) 基于sc-ldpc码的jscc系统高阶调制系统的概率成型方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210924