CN112994840B - 一种基于神经网络的译码器 - Google Patents

一种基于神经网络的译码器 Download PDF

Info

Publication number
CN112994840B
CN112994840B CN202110149881.3A CN202110149881A CN112994840B CN 112994840 B CN112994840 B CN 112994840B CN 202110149881 A CN202110149881 A CN 202110149881A CN 112994840 B CN112994840 B CN 112994840B
Authority
CN
China
Prior art keywords
neural network
sub
network module
decoder
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110149881.3A
Other languages
English (en)
Other versions
CN112994840A (zh
Inventor
卜智勇
曹文翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
White Box Shanghai Microelectronics Technology Co ltd
Original Assignee
White Box Shanghai Microelectronics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by White Box Shanghai Microelectronics Technology Co ltd filed Critical White Box Shanghai Microelectronics Technology Co ltd
Priority to CN202110149881.3A priority Critical patent/CN112994840B/zh
Publication of CN112994840A publication Critical patent/CN112994840A/zh
Application granted granted Critical
Publication of CN112994840B publication Critical patent/CN112994840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0052—Realisations of complexity reduction techniques, e.g. pipelining or use of look-up tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Error Detection And Correction (AREA)

Abstract

本发明涉及一种基于神经网络的译码器，包括第一子神经网络模块、第二子神经网络模块和第三子神经网络模块；所述第一子神经网络模块和第二子神经网络模块均用于消除上一时刻所述译码器输出的序列中的无效信息，得到上一时刻所述译码器输出的序列中的有效信息；所述第三子神经网络模块用于决定上一时刻所述译码器输出的序列中的有效信息的保留部分。本发明可以改善译码的繁琐过程，能够有效提高信息传输效率。

Description

一种基于神经网络的译码器
技术领域
本发明涉及通信工程技术领域，特别是涉及一种基于神经网络的译码器。
背景技术
人工神经网络(Artificial Neural Networks，简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。递归神经网络(RNN)是一类神经网络，其中节点之间的连接沿时间序列形成有向图。这使其具有时间动态行为。RNN源自前馈神经网络，可以使用其内部状态(内存)来处理可变长度的输入序列。这使它们适用于诸如未分段的，已连接的手写识别或语音识别之类的任务。“递归神经网络”被不加区分地用于指代具有相似一般结构的两大类网络，其中一类是有限冲量，另一类是无限冲量。这两类网络都表现出时间动态行为。有限脉冲递归网络是有向无环图，可以展开并用严格的前馈神经网络代替，而无限脉冲递归网络是不能展开的有向环图。有限脉冲和无限脉冲递归网络都可以具有其他存储状态，并且该存储可以在神经网络的直接控制下。如果包含时间延迟或具有反馈回路，则存储也可以由另一个网络或图形代替。这种受控状态称为门控状态或门控存储器，并且是长短期存储网络(LSTM)和门控循环单元(GRU)的一部分。
长短期记忆(LSTM)是在深度学习领域中使用的人工循环神经网络(RNN)架构。与标准前馈神经网络不同，LSTM具有反馈连接。它不仅可以处理单个数据点(例如图像)，而且可以处理整个数据序列(例如语音或视频)。例如，LSTM适用于诸如网络通信或IDS(入侵检测系统)中的未分段，连接的手写识别，语音识别和异常检测之类的任务。常见的LSTM单元由单元，输入门，输出门和忘记门组成。单元会记住任意时间间隔内的值，并且三个门控制着进出单元的信息流。LSTM网络非常适合基于时间序列数据进行分类，处理和做出预测，因为时间序列中重要事件之间可能存在未知持续时间的滞后。开发LSTM是为了解决训练传统RNN时可能遇到的梯度消失问题。对间隙长度的相对不敏感是LSTM优于RNN，隐马尔可夫模型和其他序列学习方法的众多应用的优势。与普通循环单元相比，LSTM单元的优势在于其单元存储单元。单元向量具有封装忘记其先前存储的存储器的一部分的概念以及添加部分新信息的能力。为了说明这一点，必须检查单元的方程式及其在引擎盖下处理序列的方式。门控递归单元(GRU)是递归神经网络的门控机制，由Kyunghyun Cho等人在2014年提出。GRU就像带有遗忘门的长短期记忆(LSTM)，但由于缺少输出门，因此参数比LSTM少。因此，采用GRU有较高的效率。
在计算机，电信，信息理论和编码理论中，纠错码(ECC，error correction/correcting code)是信息传输中错误检测与纠正的工具。它通常用在不可靠或嘈杂的信道中。Turbo码是一类高性能前向纠错(FEC)码，于1990-91年左右开发，但于1993年首次发布。它们是最早接近最大信道的实用代码。容量或香农极限，即在特定噪声水平下仍可进行可靠通信的编码率的理论最大值。Turbo码用于3G/4G移动通信(例如UMTS和LTE中)和(深空)卫星通信中，以及其他应用中，设计人员寻求在带宽或等待时间受限的通信链路中实现可靠的信息传输。存在数据损坏的噪声。Turbo码与LDPC码(“低密度奇偶校验”)竞争，后者提供类似的性能。常用的Turbo码本身具有效率较低的缺点。
发明内容
本发明所要解决的技术问题是提供一种基于神经网络的译码器，可以改善译码的繁琐过程，能够有效提高信息传输效率。
本发明解决其技术问题所采用的技术方案是：提供一种基于神经网络的译码器，包括第一子神经网络模块、第二子神经网络模块和第三子神经网络模块；所述第一子神经网络模块和第二子神经网络模块均用于消除上一时刻所述译码器输出的序列中的无效信息，得到上一时刻所述译码器输出的序列中的有效信息；所述第三子神经网络模块用于决定上一时刻所述译码器输出的序列中的有效信息的保留部分。
所述第一子神经网络模块的输入端接收上一时刻所述译码器输出的序列和输入层接收到的待译码序列，输出端通过一个乘法器与上一时刻所述译码器输出的序列相乘后输入至所述第三神经网络模块。
所述第一子神经网络模块为采用Sigmoid激活函数的全连接层。
所述第二子神经网络模块的输入端接收上一时刻所述译码器输出的序列和输入层接收到的待译码序列，输出端分为两路，第一路通过一个减法器后再通过一个乘法器与上一时刻所述译码器输出的序列相乘，第二路与所述第三子神经网络模块的输出相乘。
所述第二子神经网络模块为采用Sigmoid激活函数的全连接层。
所述第三子神经网络模块的输入端接收所述第一子神经网络模块输出与上一时刻所述译码器输出的序列相乘后的结果和输入层接收到的待译码序列，输出端与所述第二子神经网络模块的输出相乘后，再与所述第二子神经网络模块的输出端的经过第一路后得到的结果相加。
所述第三子神经网络模块为采用tanh激活函数的全连接层。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明能够降低译码器计算的复杂度，降低通信系统功耗，提高译码正确率，为移动终端和基站等通信设备的编译码过程提供了新的解决方案。
附图说明
图1是通信系统的数学模型图；
图2是本发明实施方式中的循环神经网络的示意图；
图3是本发明实施方式的译码器结构示意图；
图4是本发明实施方式的译码器的训练示意图；
图5是应用本发明实施方式的译码系统的结构示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于神经网络的译码器，该译码器能够使用在5G、4GLTE、WCDMA、CDMA20001x、WiFi、WiMax、蓝牙、ZigBee等通信技术中。
对于一个通信系统而言，假设长度为n发送端消息M为：
Figure BDA0002932359540000031
首先通过编码器生成长度为l位的编码序列Xt，然后通过信道发送至接收端。接收端接收到的对应序列为Yt，由译码器恢复为消息M′(见图1)。
本发明实施方式采用神经网络与传统通信系统相结合，采用基于神经网络的译码器，包括第一子神经网络模块、第二子神经网络模块和第三子神经网络模块；所述第一子神经网络模块和第二子神经网络模块均用于消除上一时刻所述译码器输出的序列中的无效信息，得到上一时刻所述译码器输出的序列中的有效信息；所述第三子神经网络模块用于决定上一时刻所述译码器输出的序列中的有效信息的保留部分。
本发明实施方式中以循环神经网络为例，然而在实际的使用过程中，具体使用的神经网络可以包括但不限于以下几种神经网络的任何一种人工神经网络：卷积神经网络、循环神经网络、深度神经网络、图神经网络。
循环神经网络，除去传统神经网络的输入层、输出层和隐藏层，各隐藏层节点之间的连接沿时间序列形成有向图。这使其具有时间动态行为，如图2所示。RNN源自前馈神经网络，可以使用其内部状态(内存)来处理可变长度的输入序列。这使它们适用于诸如未分段的，已连接的手写识别或语音识别之类的任务。因此，循环神经网络尤其适合处理消息信息。
本实施方式以门控循环单元(GRU)为例实现传统通信系统中的译码功能，如图3所示。其中，所述第一子神经网络模块A的输入端接收上一时刻所述译码器输出的序列和输入层接收到的待译码序列，输出端通过一个乘法器与上一时刻所述译码器输出的序列相乘后输入至所述第三神经网络模块C。所述第二子神经网络模块B的输入端接收上一时刻所述译码器输出的序列和输入层接收到的待译码序列，输出端分为两路，第一路通过一个减法器后再通过一个乘法器与上一时刻所述译码器输出的序列相乘，第二路与所述第三子神经网络模块C的输出相乘。所述第三子神经网络模块C的输入端接收所述第一子神经网络模块A输出与上一时刻所述译码器输出的序列相乘后的结果和输入层接收到的待译码序列，输出端与所述第二子神经网络模块B的输出相乘后，再与所述第二子神经网络模块B的输出端的经过第一路后得到的结果相加。
如图3所示，将来自于上一个时刻t-1的译码器的输出ht-1作为输入，进入到下一个时刻。首先，该输入ht-1与译码器接收到的带译码序列的输入xt，共同构成了第一子神经网络模块A的输入。第一子神经网络模块A是一个采用Sigmoid激活函数的全连接层，因此其输出被控制在0到1之间。第一子神经网络模块A的输出与该输入ht-1相乘后，再被送入第三子神经网络模块C。由此可见，第一子神经网络模块A的作用是参与确定了译码器输出所需的从其输入中去除的无效信息，从而在译码过程中，有选择性的对有效的接受序列进行运算，提高译码效率。
相似的，第二子神经网络B同样以输入ht-1与译码器收到的待译码序列的输入xt，共同作为第二子神经网络模块B的输入。第二子神经网络模块B同样是一个采用Sigmoid激活函数的全连接层，因此其输出被Sigmoid函数限制在0和1之间，第二子神经网络模块B的输出分为两路，一路直接与第三子神经网络模块C的输出相乘，另一路通过减法器实现用1减去该输出后再与输入ht-1相乘，由此决定从上一时刻获得的数据中相应需要去除的部分。由此可见，第一子神经网络模块A和第二子神经网络模块B共同将无效的信息进行剔除。
然后，第三子神经网络模块C以译码器收到的待译码序列的输入xt作为输入，第三子神经网络模块C为采用tanh激活函数的全连接层，通过tanh激活函数的全连接网络，将其输出数值范围限制在-1到1之间，再与第二子神经网络模块B的输出直接相乘。由此决定译码器从上一时刻的输入中所保留的部分。其与第二子神经网络模块B的输出相乘后，再与第二子神经网络模块B通过减法器实现用1减去该输出后再与输入ht-1相乘的结果相加，得到最终译码器的输出ht，该输出ht作为下一个时刻的输入。
由上可知，该译码器的输入变量(即接收到的待译码序列)为xt，输出变量为yt，权重为W。对于初始值，有输出向量y0，且h0＝0。则第一子神经网络模块A的输出为rt＝σ(Wr[yt-1,xt])，第二子神经网络模块B的输出为zt＝σ(Wz[yt-1,xt])，第三子神经网络模块C的输出为
Figure BDA0002932359540000051
该译码器最终输出为
Figure BDA0002932359540000052
该译码器构成了图2中的循环卷积网络，用于对传统译码方法的机器学习。梯度下降是用于找到函数最小值的一阶迭代优化算法。在神经网络中，如果非线性激活函数是可微分的，则可以通过按误差相对于该权重的导数成比例地更改每个权重，来最小化误差项。通过使用神经网络配合传统的通信系统，能够降低计算复杂度，并能够有效改善通信的质量和效率，同时降低对通信系统的硬件配置要求。
如图4所示，该译码器可以通过将传统通信系统中的接收序列Yn作为其输入。同时，将未经修改过的消息M作为其输出层。通过训练，该译码器能够学习经由特定信道的消息所形成的接受序列，将未经修改过的消息M作为学习目标，从而实现基于神经网络的译码器结构。
如图5所示，基于神经网络的译码系统可以通过用户后续比较分析传统译码器和本实施方式的神经网络译码器的区别，而选择性输出理想的结果。在实际使用过程中，传统译码器和本实施方式的神经网络译码器同时进行译码。

Claims (6)

1.一种基于神经网络的译码器，其特征在于，包括第一子神经网络模块、第二子神经网络模块和第三子神经网络模块；所述第一子神经网络模块和第二子神经网络模块均用于消除上一时刻所述译码器输出的序列中的无效信息，得到上一时刻所述译码器输出的序列中的有效信息；所述第三子神经网络模块用于决定上一时刻所述译码器输出的序列中的有效信息的保留部分；所述第一子神经网络模块的输入端接收上一时刻所述译码器输出的序列和输入层接收到的待译码序列，输出端通过一个乘法器与上一时刻所述译码器输出的序列相乘后输入至所述第三子神经网络模块。
2.根据权利要求1所述的基于神经网络的译码器，其特征在于，所述第一子神经网络模块为采用Sigmoid激活函数的全连接层。
3.根据权利要求1所述的基于神经网络的译码器，其特征在于，所述第二子神经网络模块的输入端接收上一时刻所述译码器输出的序列和输入层接收到的待译码序列，输出端分为两路，第一路通过一个减法器后再通过一个乘法器与上一时刻所述译码器输出的序列相乘，第二路与所述第三子神经网络模块的输出相乘。
4.根据权利要求1所述的基于神经网络的译码器，其特征在于，所述第二子神经网络模块为采用Sigmoid激活函数的全连接层。
5.根据权利要求3所述的基于神经网络的译码器，其特征在于，所述第三子神经网络模块的输入端接收所述第一子神经网络模块输出与上一时刻所述译码器输出的序列相乘后的结果和输入层接收到的待译码序列，输出端与所述第二子神经网络模块的输出相乘后，再与所述第二子神经网络模块的输出端的经过第一路后得到的结果相加。
6.根据权利要求1所述的基于神经网络的译码器，其特征在于，所述第三子神经网络模块为采用tanh激活函数的全连接层。
CN202110149881.3A 2021-02-03 2021-02-03 一种基于神经网络的译码器 Active CN112994840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110149881.3A CN112994840B (zh) 2021-02-03 2021-02-03 一种基于神经网络的译码器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110149881.3A CN112994840B (zh) 2021-02-03 2021-02-03 一种基于神经网络的译码器

Publications (2)

Publication Number Publication Date
CN112994840A CN112994840A (zh) 2021-06-18
CN112994840B true CN112994840B (zh) 2021-11-02

Family

ID=76346444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110149881.3A Active CN112994840B (zh) 2021-02-03 2021-02-03 一种基于神经网络的译码器

Country Status (1)

Country Link
CN (1) CN112994840B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512723A (zh) * 2016-01-20 2016-04-20 南京艾溪信息科技有限公司 一种用于稀疏连接的人工神经网络计算装置和方法
CN107396322A (zh) * 2017-08-28 2017-11-24 电子科技大学 基于路径匹配与编码译码循环神经网络的室内定位方法
CN109472818A (zh) * 2018-10-17 2019-03-15 天津大学 一种基于深度神经网络的图像去雾方法
CN109921803A (zh) * 2019-03-06 2019-06-21 西安电子科技大学 基于神经网络的高密度线性分组码译码方法
CN110138390A (zh) * 2019-06-12 2019-08-16 中国计量大学 一种基于深度学习的极化码sscl算法译码器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734567B2 (en) * 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
US10255910B2 (en) * 2016-09-16 2019-04-09 Apptek, Inc. Centered, left- and right-shifted deep neural networks and their combinations

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512723A (zh) * 2016-01-20 2016-04-20 南京艾溪信息科技有限公司 一种用于稀疏连接的人工神经网络计算装置和方法
CN107396322A (zh) * 2017-08-28 2017-11-24 电子科技大学 基于路径匹配与编码译码循环神经网络的室内定位方法
CN109472818A (zh) * 2018-10-17 2019-03-15 天津大学 一种基于深度神经网络的图像去雾方法
CN109921803A (zh) * 2019-03-06 2019-06-21 西安电子科技大学 基于神经网络的高密度线性分组码译码方法
CN110138390A (zh) * 2019-06-12 2019-08-16 中国计量大学 一种基于深度学习的极化码sscl算法译码器

Also Published As

Publication number Publication date
CN112994840A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
Xu et al. Improved polar decoder based on deep learning
Lyu et al. Performance evaluation of channel decoding with deep neural networks
CN109361404B (zh) 一种基于半监督深度学习网络的ldpc译码系统及译码方法
CN109586730B (zh) 一种基于智能后处理的极化码bp译码算法
WO2021164064A1 (zh) 一种信道编码和纠错译码方法、设备以及存储介质
Xu et al. Polar decoding on sparse graphs with deep learning
CN110233810B (zh) 一种混合噪声下基于深度学习的msk信号解调方法
CN110730008B (zh) 一种基于深度学习的rs码置信传播译码方法
Liu et al. Exploiting error-correction-CRC for polar SCL decoding: A deep learning-based approach
US20220294471A1 (en) Smart decoder
CN109450459B (zh) 一种基于深度学习的极化码fnsc译码器
CN111835364B (zh) 一种极化码的低复杂度神经bp译码方法
CN112332864A (zh) 一种自适应有序移动剪枝列表的极化码译码方法及系统
Teng et al. Convolutional neural network-aided bit-flipping for belief propagation decoding of polar codes
CN112994840B (zh) 一种基于神经网络的译码器
Cao et al. Learning to denoise and decode: A novel residual neural network decoder for polar codes
Tian et al. A scalable graph neural network decoder for short block codes
Meenalakshmi et al. Deep learning-enabled polar code decoders for 5G networks and beyond
CN107707333B (zh) 一种基于码字估计值的极化码早期迭代停止方法及装置
CN113872610B (zh) 一种ldpc码神经网络训练、译码方法及其系统
Nguyen et al. Adversarial neural networks for error correcting codes
Li et al. A rate-compatible punctured Polar code decoding scheme based on deep learning
Berber et al. Convolutional decoders based on artificial neural networks
Gao et al. Learning to decode polar codes with quantized LLRs passing
Tang et al. Normalized Neural Network for Belief Propagation LDPC Decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant