CN115314158A - 基于长短期记忆神经网络的编码特征识别方法 - Google Patents

基于长短期记忆神经网络的编码特征识别方法 Download PDF

Info

Publication number
CN115314158A
CN115314158A CN202210913765.9A CN202210913765A CN115314158A CN 115314158 A CN115314158 A CN 115314158A CN 202210913765 A CN202210913765 A CN 202210913765A CN 115314158 A CN115314158 A CN 115314158A
Authority
CN
China
Prior art keywords
neural network
training
layer
network
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210913765.9A
Other languages
English (en)
Inventor
王俊
林瑞全
鲍家旺
马驰
刘明轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202210913765.9A priority Critical patent/CN115314158A/zh
Publication of CN115314158A publication Critical patent/CN115314158A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/0061Error detection codes
    • H04L1/0063Single parity check
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045Arrangements at the receiver end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00Baseband systems
    • H04L25/02Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/0202Channel estimation
    • H04L25/024Channel estimation channel estimation algorithms
    • H04L25/0254Channel estimation channel estimation algorithms using neural network algorithms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Power Engineering (AREA)
  • Error Detection And Correction (AREA)

Abstract

本发明公开了一种基于长短期记忆神经网络的编码特征识别方法,主要是解决如何使用LSTM网络对不同代码速率的卷积码特征进行识别的问题,而提供的一种编码特征识别方法。本发明针对接受到的LDPC码信号,仿真生成高斯白噪声信道下的信号数据集,并将其按一定比例分割作为网络结构的训练,验证和测试使用,利用训练数据进行网络结构参数的训练,以建立输入数据与编码特征的映射关系,训练完毕后可让LSTM神经网络能够识别出LDPC码的特征,并提高识别率。

Description

基于长短期记忆神经网络的编码特征识别方法
技术领域
本发明涉及无线数字传输、电磁频谱信号编码特征识别技术领域,具体涉及一种基于长短期记忆神经网络的编码特征识别方法。
背景技术
信号编码识别是指接收方根据接收到的消息序列,对其进行分析和计算后得出相应的编码参数,能为之后恢复消息序列提供了保障,因而广泛应用于移动通信中。当需要知道传送信息而又不知道编码参数时——如信息截获、智能通信等,便需要信道编码识别。LDPC码作为常用的信道编码,被广泛用于军事和民用通信。特别是在非协作的军事认知通信网络方面,提高卷积码特征的识别能力可实现对敌方信息数据的掌握,对通信来源的判断,获得其危险等级等。LDPC码的识别技术主要使用似然比函数来计算码字校验关系成立的可能性,其公式涉及到双曲正切函数的计算,因其计算复杂度十分高,所以采用近似公式来做简化,但这就会导致信道信息不能充分利用,从而降低了识别性能。本发明针对性地提出了一种基于长短期记忆神经网络的电磁频谱信号编码特征识别技术,能有效提高识别性能。
低密度奇偶校验(LDPC)码是一种具有稀疏校验矩阵的分组纠错码。几乎适用于所有的信道,因此成为编码界近年来的研究热点。它的性能逼近香农极限,且描述和实现简单,易于进行理论分析和研究,译码简单且可实行并行操作,适合硬件实现。LDPC码可降低信号在光纤信道传输过程中产生的误码,可应用于对信号传输的准确性和实时性都具有特殊需求的军事认知通信网络中。
LDPC码是一种常见的线性分组码,常常通过图来表示,而说明书附图1的所表示的是LDPC码的校验矩阵。Tanner图包含两类顶点:n个码字比特顶点(称为比特节点),分别与校验矩阵的各列相对应和m个校验方程顶点(称为校验节点),分别与校验矩阵的各行对应。校验矩阵的每行代表一个校验方程,每列代表一个码字比特。所以,如果一个码字比特包含在相应的校验方程中,那么就用一条连线将所涉及的比特节点和校验节点连起来,所以Tanner图中的连线数与校验矩阵中的1的个数相同。图2是矩阵的Tanner图,其中比特节点用圆形节点表示,校验节点用方形节点表示,加黑线显示的是一个6循环。说明书附图2中的循环是由图中的一群相互连接在一起的顶点所组成的,循环以这群顶点中的一个同时作为起点和终点,且只经过每个顶点一次。循环的长度定义为它所包含的连线的数量,而图形的围长,也可叫做图形的尺寸,定义为图中最小的循环长度。
长短期记忆网络(LSTM,Long Short-Term Memory)是一种时间循环神经网络,是为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专门设计出来的,所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中,这个重复的结构模块只有一个非常简单的结构,例如一个tanh层。
LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。
发明内容
针对传统识别技术的不足,本发明提供了一种基于卷积神经网络对不同代码速率的卷积码特征进行识别的方法。其原理是利用LSTM神经网络结构学习LDPC码信号的特征,并对其进行识别。
本发明主要是解决如何使用LSTM网络对不同代码速率的卷积码特征进行识别的问题,而提供的一种编码特征识别方法。本发明针对接受到的LDPC码信号,仿真生成高斯白噪声信道下的信号数据集,并将其按一定比例分割作为网络结构的训练,验证和测试使用,利用训练数据进行网络结构参数的训练,以建立输入数据与编码特征的映射关系,训练完毕后可让LSTM神经网络能够识别出LDPC码的特征,并提高识别率。
在本发明中,电磁频谱入侵信号是一种具有时空特性的信号,因此,针对性地设计了一种网络结构来进行运动想象分类,此模型经过经验和多次实验最终确定,由1个LSTM层,2个全连接层,1个Dropout层组成。特征提取部分需要考虑时间和空间特性,分类部分则利用全连接层和Softmax分类器输出分类结果。
为实现上述目的,本发明采取如下技术方案:
一种基于长短期记忆神经网络的编码特征识别方法,其特征在于:针对接受到的LDPC码信号,仿真生成高斯白噪声信道下的信号数据集,并将其按一定比例分割作为网络结构的训练,验证和测试使用,利用训练数据进行网络结构参数的训练,以建立输入数据与编码特征的映射关系,通过训练完毕后的LSTM神经网络对LDPC码的特征进行识别。
进一步地,所述生成高斯白噪声信道下的信号数据集具体为:在MATLAB中用LDPC编码器对随机信号进行编码,其次对其进行QPSK调制,添加高斯白噪声后进行QPSK解调,解调后构成数据集。
在一个优选方案中,当信噪比为-10dB到20dB,每增加1dB信噪比,每个LDPC码产生500个样本,其中400个作为训练样本,其余为验证样本。
进一步地,所述LSTM神经网络的第一层为全连接层,激活函数采用线性整流函数,第二层为LSTM层,第三层为Dropout层用于防止模型过拟合,Dropout层的丢失率为0.5。
第四层为全连接层,激活函数采用逻辑回归函数。
具体的网络结构如下:
Layer(type) Filter size Output Shape
Dense 128 128×128
LSTM 128 128
Dropout 0.5 128
Dense 17 17
进一步地,在训练过程中,按给定的不同代码速率的LDPC码对电磁频谱入侵信号进行编码、加噪,随后带入LSTM网络进行训练,让网络能够识别出LDPC码的编码方式;所述码速率指定为1/4,1/3,2/5,1/2,3/5,2/3,3/4,4/5,5/6,8/9,或9/10时,网络可提取特征的编码信号共11种样式。
本发明及其优选方案克服了现有技术的缺陷和不足,且在测试中取得了良好的识别率。
附图说明
图1为LDPC码校验矩阵图;
图2为Tanner图;
图3为本发明实施例方法中LSTM的单元结构;
图4为本发明实施例方法在仿真过程得出的程序训练结果图。
具体实施方式
为让本专利的特征和优点能更明显易懂,下文特举实施例,作详细说明如下:
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本说明书使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明实施例提供的基于LSTM网络的编码特征识别方法,具体包括以下的实现步骤:
1、生成LDPC码。使用dvbs2ldpc()函数按照顺序依次初始化码率为1/4,1/3,2/5,1/2,3/5,2/3,3/4,4/5,5/6,8/9,9/10,其中H=dvbs2ldpc(r)表示生成来自数字视频广播标准DVB-S.2的码率为r的LDPC码的奇偶校验矩阵H,代码的块长度为64,800。再用LDPC编码器comm.LDPCEncoder()进行编码。校验矩阵H直接编码方案,首先推导出根据校验矩阵直接编码的等式。将尺寸为(m,n)校验矩阵写成如下形式:H=[H1H2]式中H1的大小为m*k,H2的大小为m*m。设编码后的码字行向量为c,它的长度为n,把它写成如下形式:c=[sp]式中s是信息码的行向量,长度为k,p为检验行向量,长度为m,根据校验公式:H*cT=0式展开得:
Figure BDA0003774785290000041
展开该矩阵方程,并考虑到运算是在GF(2)中进行的,得到:
Figure BDA0003774785290000042
校验矩阵H是非奇异的,满秩,所以有:
Figure BDA0003774785290000043
计算出码字的校验位。然后对数据使用正交相移键控(QPSK)调制,QPSK信号的正弦载波有4个可能的离散相位状态,每个载波相位携带2个二进制符号,其信号表示式为:Si=A cos(ωct+θi),在0到Ts之间,i=1,2,3,4中取值。其中Ts为四进制符号间隔,θi为正弦载波相位。然后对数据添加加性高斯白噪声(AWGN),最后再进行QPSK解调,解调完成后打上标签写入数据集。
2、构建LSTM网络。通过基于python的深度学习库Keras首先创建一个全连接层keras.layers.Dense(128,activation=’relu’,input_shape=(128,96)),它通过维度变换,把高维变到低维,同时把有用的信息保留下来。再创建一个LSTM层keras.layers.LSTM(128),接着是Dropout层keras.layers.Dropout(0.5)用来防止模型过拟合,最后再利用全连接层和Softmax分类器输出分类结果keras.layers.Dense(17,activation=‘softmax’)。Softmax函数:
Figure BDA0003774785290000044
exp(x)表示ex的指数函数,ak是输出层中第k个输入信号,exp(ak)表示ak的指数函数。分母表示输出层共有n个输出信号(神经元),并计算所有输出层中的输入信号的指数和。yk是第k个神经元的输出。最后把神经网络的各个层按照模型设置好的顺序连接起来。
为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法,可用来依据错误修改每次的权重。梯度下降法在循环神经网络(RNN)就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒循环类神经是一个有效训练LSTM区块记住长时间数值的方法。
本实施例中采用的LSTM的基本单位如图3所示,从图中可以看出,LSTM有三个门,包括遗忘门、输入门和输出门。LSTM可以通过基于当前输入x、先前状态ct-1和先前输出ht-1的参数ft有效地确定保留和遗忘哪些信息,其中t表示当前时间,t-1是先前时间。
ft的计算公式如下:ft=σ(Wf[xtht-1]+bf)式中,Wf和bf分别是权矩阵和偏置向量,σ(·)是sigmoid函数。
在LSTM遗忘之前的一些状态之后,还需要从当前输入中添加新的内存,这个过程由输入门完成。在输入门中决定哪些存储器需要更新,如式所示。创建新的向量ct的计算公式如式:it=σ(Wt[xtht-1]+bi),Ct=tanh(Wc[xtht-1]+bc)式中,tanh(·)是双曲正切函数。基于来自输入门的信息,获得时刻t的更新状态的公式如式所示。
Figure BDA0003774785290000051
式中,
Figure BDA0003774785290000052
表示Hadamard乘积,输出状态ht的计算公式如式所示。Ot=σ(Wo[xtht-1]+bo),
Figure BDA0003774785290000053
多个LSTM单元串联形成多层LSTM神经网络。
3、训练并测验证据集。把生成的LDPC码数据集导入构建好的LSTM网络模型中,分为训练集和验证集,训练集用来学习LSTM网络内部的参数,验证集用来检验模型的泛化效果,最后输出识别率的图像。
通过以下仿真以进一步说明本发明方法的可行性和有效性。
生成卷积码后打上标签写入数据集,把数据集分为训练集和验证集导入进行训练,训练集XTrain大小为4080×12288,YTrain大小为4080×1,测试集XTest大小为1020×12288,YTest大小为1020×1。图4为在50个迭代周期中神经网络的训练集成功率acc、训练集损失率loss、验证集成功率val_acc、验证集损失率val_loss,可得在10个epoch之后,训练集的损失率loss逐渐降低到0,成功率acc接近百分之百,而且验证集的成功率val_acc、损失率val_loss达到了同样的效果,说明使用LSTM神经网络对LDPC编码的特征识别满足需求,证明了本发明方法的可行性和有效性。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
本专利不局限于上述最佳实施方式,任何人在本专利的启示下都可以得出其它各种形式的基于长短期记忆神经网络的编码特征识别方法,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本专利的涵盖范围。

Claims (4)

1.一种基于长短期记忆神经网络的编码特征识别方法,其特征在于:针对接受到的LDPC码信号,仿真生成高斯白噪声信道下的信号数据集,并将其按一定比例分割作为网络结构的训练,验证和测试使用,利用训练数据进行网络结构参数的训练,以建立输入数据与编码特征的映射关系,通过训练完毕后的LSTM神经网络对LDPC码的特征进行识别。
2.根据权利要求1所述的基于长短期记忆神经网络的编码特征识别方法,其特征在于:所述生成高斯白噪声信道下的信号数据集具体为:在MATLAB中用LDPC编码器对随机信号进行编码,其次对其进行QPSK调制,添加高斯白噪声后进行QPSK解调,解调后构成数据集。
3.根据权利要求1所述的基于长短期记忆神经网络的编码特征识别方法,其特征在于:所述LSTM神经网络的第一层为全连接层,激活函数采用线性整流函数,第二层为LSTM层,第三层为Dropout层用于防止模型过拟合,Dropout层的丢失率为0.5;
第四层为全连接层,激活函数采用逻辑回归函数。
4.根据权利要求1所述的基于长短期记忆神经网络的编码特征识别方法,其特征在于:在训练过程中,按给定的不同代码速率的LDPC码对电磁频谱入侵信号进行编码、加噪,随后带入LSTM网络进行训练,让网络能够识别出LDPC码的编码方式;所述码速率指定为1/4, 1/3, 2/5, 1/2, 3/5, 2/3, 3/4, 4/5, 5/6, 8/9,或9/10时,网络可提取特征的编码信号共11种样式。
CN202210913765.9A 2022-08-01 2022-08-01 基于长短期记忆神经网络的编码特征识别方法 Pending CN115314158A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210913765.9A CN115314158A (zh) 2022-08-01 2022-08-01 基于长短期记忆神经网络的编码特征识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210913765.9A CN115314158A (zh) 2022-08-01 2022-08-01 基于长短期记忆神经网络的编码特征识别方法

Publications (1)

Publication Number Publication Date
CN115314158A true CN115314158A (zh) 2022-11-08

Family

ID=83859178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210913765.9A Pending CN115314158A (zh) 2022-08-01 2022-08-01 基于长短期记忆神经网络的编码特征识别方法

Country Status (1)

Country Link
CN (1) CN115314158A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180343017A1 (en) * 2017-05-26 2018-11-29 SK Hynix Inc. Deep learning for low-density parity-check (ldpc) decoding
CN109495214A (zh) * 2018-11-26 2019-03-19 电子科技大学 基于一维Inception结构的信道编码类型识别方法
CN111490853A (zh) * 2020-04-15 2020-08-04 成都海擎科技有限公司 一种基于深度卷积神经网络的信道编码参数识别方法
WO2021204163A1 (zh) * 2020-04-10 2021-10-14 北京邮电大学 原模图低密度奇偶校验码的自学习译码方法及其相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180343017A1 (en) * 2017-05-26 2018-11-29 SK Hynix Inc. Deep learning for low-density parity-check (ldpc) decoding
CN109495214A (zh) * 2018-11-26 2019-03-19 电子科技大学 基于一维Inception结构的信道编码类型识别方法
WO2021204163A1 (zh) * 2020-04-10 2021-10-14 北京邮电大学 原模图低密度奇偶校验码的自学习译码方法及其相关设备
CN111490853A (zh) * 2020-04-15 2020-08-04 成都海擎科技有限公司 一种基于深度卷积神经网络的信道编码参数识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张继红: "基于机器学习的信道编码类型识别和参数估计", 《中国优秀硕士学位论文电子期刊》, pages 11 - 95 *
林瑞全: "一种基于能量检测的鲁棒频谱感知方法", 《系统科学与数学》 *

Similar Documents

Publication Publication Date Title
Zhang et al. Overfitting and underfitting analysis for deep learning based end-to-end communication systems
CN110474716B (zh) 基于降噪自编码器的scma编解码器模型的建立方法
Wu et al. Blind recognition of LDPC codes over candidate set
CN109361404A (zh) 一种基于半监督深度学习网络的ldpc译码系统及译码方法
CN110932734B (zh) 一种基于交替方向乘子法的深度学习信道译码方法
CN110233810B (zh) 一种混合噪声下基于深度学习的msk信号解调方法
CN110430013A (zh) 一种基于深度学习的rcm方法
CN113194493B (zh) 基于图神经网络的无线网络数据缺失属性恢复方法及装置
CN110299921A (zh) 一种模型驱动的Turbo码深度学习译码方法
CN102832950A (zh) 一种低密度奇偶校验码的误帧率估计方法
Wang et al. Blind identification of convolutional codes based on deep learning
CN110739977B (zh) 一种基于深度学习的bch码译码方法
CN115314158A (zh) 基于长短期记忆神经网络的编码特征识别方法
CN110730008B (zh) 一种基于深度学习的rs码置信传播译码方法
CN116405158A (zh) 一种非高斯噪声下基于深度学习的端到端通信系统
Kalade et al. Using sequence to sequence learning for digital bpsk and qpsk demodulation
Ganesh et al. Performance improvement in Rayleigh faded channel using deep learning
CN115396064A (zh) 检测译码方法、装置、计算机设备及可读存储介质
Huang et al. Recognition of channel codes based on BiLSTM-CNN
Li et al. A deep learning based method for blind recognition of LDPC codes
Setzler et al. Deep Learning for Spectral Filling in Radio Frequency Applications
Andersson Utilizing Neural Networks To Adaptively Demodulate AndDecode Signals In An Impulsive Environment
CN115270880A (zh) 基于卷积神经网络的电磁频谱信号编码特征识别方法
Lu et al. Attention-Empowered Residual Autoencoder for End-to-End Communication Systems
Sharma et al. A Comparative Study of Artificial Intelligence-Based Algorithms for Bitwise Decoding of Error Correction Codes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination