CN109525369A - 一种基于循环神经网络的信道编码类型盲识别方法 - Google Patents

Abstract

本发明公开了一种基于循环神经网络的信道编码类型盲识别方法，属于无线通信领域。本发明通过充分利用循环神经网络来提取接收到的相关序列的特征，在复杂的通信环境下对序列的识别实现了较高的准确率，对不同的信道编码方式同样有很好的识别率；在识别处理时，通过将一长串的序列进行分割，分段进行识别，最后采用少数服从多数的原则对序列做最后的判决，从而可较大幅度地提高识别的准确率，特别是接收序列越长，识别的准确率也会相应得越高。由于本发明采用自动提取相关序列特征的网络模型，避免了现有技术中需要人工提取特征这一繁琐过程，大大节省人力成本，简化了特征提取的步骤，提高了对编码序列识别的准确率。

Description

一种基于循环神经网络的信道编码类型盲识别方法

技术领域

本发明属于无线通信领域，具体涉及基于循环神经网络的信道编码类型识别。

背景技术

无线通信的最大特点是传输信道的开放性，信道干扰无处不在，这就需要发送的序列有一定的纠错能力。1948年，香农首次建立了信道编码理论，其指出当采用小于信道容量的传输速率时，能够实现以任意小的错误概率进行传输。

信道编码识别分析首要应用的场景是在非合作的侦察通信中。在这种情况下，接收方很难预先获得关于信道编码的相关信息，所以通常需要对接收到的编码序列进行一定的分析来获取到这些信息。在通信对抗领域中，想要获得截获的序列中的信息，就需要先对信道编码种类进行识别，否则就无法继续对编码参数分析进而得到其中的信息比特。所以，能够正确识别信道编码种类对于实施通信干扰和网络攻击也是非常有意义的。

目前国内外公开发表的进行编码识别的专著极少，在仅有的一些资料中，都是假定已知编码方式进而识别编码参数，对编码方式的识别仅集中于对一些常见的线性分组码，卷积码等，对于现代通信系统中常用的Turbo码、LDPC码以及最新设计出的Polar码却鲜有提及。文献《Giard P,Alexios,Burg A.Blind detection of polar codes.IEEEInt.Workshop on Signal Process(SiPS),2017》提出了一种识别方法用于区分Polar码和随机噪声序列，但是需要预先获得冻结比特的位置。所以并不能实现对Polar码的全盲识别。

因此，找到一种高准确率并且简单高效的对信道编码进行盲识别的方法显得十分重要。基于循环神经网络通过结合相关序列中各个时刻的状态信息来提取特征，目前已经在自然语言处理领域里取得了广泛的应用，但在对通信信号的处理里面并没有得到有效的应用。

发明内容

本发明的发明目的在于：针对通信系统中一维序列的识别技术的不足，提出一种基于循环神经网络的信道编码类型识别方法，实现了在复杂通信环境下对接收序列的编码方式的识别。

本发明的基于循环神经网络的信道编码类型盲识别方法，包括下列步骤：

步骤1：构建识别信道编码类型的循环神经网络模型：

步骤101：构建循环神经网络的训练样本，包括生成待识别的信道编码序列作为训练网络的正样本，生成非待识别序列作为网络训练的负样本；

其中非待识别序列为不同于待识别的信道编码序列的其他信道编码序列、不进行编码的序列和不含有信息的纯噪声序列；

所述信道编码序列为：采用不同的码长、码率生成首尾相接的码字，再进行数字调制处理后，得到对应的信道编码序列；其中码字的信息序列可以是：独立等概率的生成的0和1构成。

对每段信道编码序列，在[1,N]的范围里等概率地选取一个整数作为一段接收序列的起点，基于起点，向后截取长度为l的序列，得到对应当前信道编码序列的接收序列，同时给定的信噪比范围内，在得到的每段接收序列中加入高斯噪声后作为当前信道编码序列所提取得到的一个样本(正或负样本)，其中N为码长，l选取需要保证截取的接收序列中至少含有一个完整的码字；

步骤102：将步骤101构建的训练样本随机分为两部分，一部分用于训练循环神经网络，调整网络参数(网络层间权重)；一部分用于在训练过程中调整网络超参数(包括学习率、批次大小、迭代次数和各权重矩阵的维度)；

步骤103：构建及训练循环神经网络模型：

所述循环神经网络模型包括输入层、包括注意力机制的激活层、全连接层和输出层；

其中，输入层的输入向量为将每个训练样本分割为长度为b的子序列段，用t表示当前时刻，则对于单个训练样本，当前时刻的输入向量记为x^t，即x^t的维度为b×1；

包括注意力机制的激活层的基本单元为门控循环单元，对于每个输入向量x^t，其在每个时刻的输出状态h^t为：其中中间变量z^t＝σ(W_zx^t+U_zh^t-1)、r^t＝σ(W_rx^t+U_rh^t-1)、激活函数W_z、W_r、W、U_z、U_r和U表示内部的权重矩阵，用s×1表示输出状态h^t的维度，则权重矩阵W_z,W_r,W的维度为s×b，权重矩阵U_z,U_r,U的维度为s×s，符号表示哈达玛积；

基于不同时刻的输出状态所提取的特征向量h为：其中权重系数权重系数u_w的维度为s×1，权重系数u_t＝tanh(W_ah^t)，其中W_a表示维度为s×s的注意力机制部分的权重矩阵，符号()^T表示矩阵转置；

全连接层采用的激活函数为双曲正切函数；

输出层为Softmax层，输出结果为对待识别类型的二分分类结果；

基于预设的损失函数(优选的为交叉熵函数)、以及抑制过拟合的方式(例如Dropout技术)对所述循环神经网络模型进行训练，当满足预设的迭代收敛条件(达到设置的迭代次数或者满足早期停止机制的条件时，)时，结束训练过程，得到训练好的循环神经网络模型；

步骤2：对待识别信道编码类型的一段待识别接收序列，按长度l分割为多段待识别子序列，分别将每段待识别子序列输入训练好的循环神经网络模型中，得到每段待识别子序列的识别结果，最后采用上述俯冲多数的原则得到当前待识别接收序列的信道编码类型结果。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

(1)本发明采用自动提取相关序列特征的网络模型，避免了现有技术中需要人工提取特征这一繁琐过程，大大节省人力成本，简化了特征提取的步骤，提高了对编码序列识别的准确率。

(2)由于本发明使用了循环神经网络模型来对编码序列识别，不仅解决了传统方法难以进行全盲识别的Polar、LDPC、Turbo等编码，为了考虑一般性，不要求输入序列的起始点为一个码字的起始点，所以对通信侦察领域有一定的贡献。

(3)本发明通过将一长串的序列进行分割，分段进行识别，最后采用少数服从多数的原则对序列做最后的判决，从而可较大幅度地提高识别的准确率，特别是接收序列越长，识别的准确率也会相应得越高。

附图说明

图1是具体实施方式中，截取的样本示意图；

图2是具体实施方式中，正样本构造过程示意图；

图3是具体实施方式中，基于Attention的单层循环神经网络结构示意图。

图4是实施例中，训练性能表征图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明针对通信系统中一维序列的识别技术的不足，提出一种基于循环神经网络的信道编码类型识别方法，实现了在复杂通信环境下对接收序列的编码方式的识别。本发明通过充分利用循环神经网络来提取接收到的相关序列的特征，在复杂的通信环境下对序列的识别实现了较高的准确率，对不同的信道编码方式同样有很好的识别率。

本发明的基于循环神经网络的信道编码类型盲识别方法，具体步骤如下：

步骤S1：生成待识别的信道编码序列作为训练网络的正样本，生成非待识别序列作为网络训练的负样本：

步骤S101：参照图1和图2，对于不同的码长、码率生成首尾相接的码字，其中码字的信息序列可以是：独立等概率的生成的0和1构成。

步骤S102：经过星座图映射后(即信号数字调制处理后)，在[1,N]的范围里等概率地选取一个整数作为接收序列的起点，其中N为码长。

步骤S103：基于对应的的起点，向后截取长度为l的序列，得到每段信道编码序列的接收序列，其中l选取需要保证截取的序列中至少含有一个完整的码字。

步骤S104：在给定的信噪比范围内，对同一个接收序列(同一段接收序列)加入高斯噪声，作为对应该段接收序列的一个训练样本(正样本或负样本)，对于负样本，则是不同于待识别的信道编码序列所对应的接收序列所对应的一个负样本。

步骤S105：非待识别序列为不同于待识别的信道编码序列的其他编码序列、不进行编码的序列和不含有信息的纯噪声序列。

步骤S2：从生成的序列中随机抽取90％作为训练集，剩下的部分随机抽取5％作为验证集，剩下的5％作为测试集。其中验证集用于训练过程中调整网络超参数(包括学习率、批次大小、迭代次数和各权重矩阵的维度)，测试集用于测试训练好的网络模型。

步骤S3：构建循环神经网络模型。

步骤S301：搭建一个自动提取接收序列特征的循环神经网络结构，例如图3所示的网络结构。

步骤S302：设置网络的基本单元为门控循环单元(GRU)，对于单个样本，其每一时刻的输出状态h^t维度为s，可由公式(1)计算得到：

其中t表示当前时刻，当前时刻的输入x^t为b维向量，即x^t∈R^b；z^t、r^t和为中间变量，激活函数W_z、W_r、W、U_z、U_r和U表示内部的权重矩阵(W_z,W_r,W∈R^s×b，U_z,U_r,U∈R^s×s)，各权重矩阵采用正交初始化，符号表示哈达玛积。

步骤S303：令注意力机制部分的权重矩阵W_a的维度为s×s，即W_a∈R^s×s，权重系数u_w的维度为s×1，采用截断高斯分布初始化，均值为0，方差为σ²，权重系数w^t及最后提取的特征向量h可按如下公式计算：

u_t＝tanh(W_ah^t) (2)

步骤S304：设置网络的全连接层的输出维度，记为o，激活函数采用双曲正切函数tanh(·)，权重矩阵的初始化方法为Xavier。

步骤S305：网络的Softmax层输出维度设置为2。

步骤S306：设置网络的损失函数为交叉熵函数其中y_i表示单个样本真实标签，表示对应的网络输出，log表示自然对数，优化网络的算法为基于自适应矩估计的梯度下降算法。

步骤S4：训练循环神经网络模型。

步骤S401：在训练样本中，随机抽取m个样本(即批次大小batch_size)输入到模型中，每一时刻输入b个比特，对于单个样本，每一时刻输入向量x^t的维度为b。

步骤S402：训练网络模型，采用Dropout技术来抑制网络的过拟合，当满足预设的迭代收敛条件(达到设置的迭代次数或者满足早期停止机制的条件时，)完成神经网络的训练过程，得到训练好的网络模型。

为了获知所训练好的网络的性能，采用下述方法对训练好的网络模型的性能进行评估。

首先，将测试集中数据输入到训练好的循环网络模型中，本具体实施方式中，将每个长度为L的样本，平均分成长度为l的序列，共d段分别输入到训练好的网络中，根据网络给出的结果，采用少数服从多数的原则对这个样本进行判决，最后得到识别结果，即最后对这个样本这样判决：观察每段序列识别结果，选择占多数的识别结果作为对这个样本的判决。

然后，将识别结果与测试集的真正样本标签进行对比，得到识别的准确率A＝识别结果与样本标签相等的数量/样本总量。

实施例

以对Polar码的识别为例，描述本发明的具体识别处理过程。Polar码的构造方法为基于巴氏参数的算法，本具体实施方式中，设置Polar码的信噪比为0dB，信道部分采用的信噪比8.5dB。对于Polar码的码率r选取了1/2,1/4,1/8,1/16这四种情况，而码长N选取了256,512,1024,2048,4096四种情况。

对于循环网络中参数的选择为：h^t的维度s＝256，x^t的维度b＝128，全连接层的输出维度o＝128，方差σ²＝0.01，学习率初始值n_r＝0.001，衰减比率η＝0.96，训练的批次大小m＝256，过拟合处理时的保留度k_p＝0.89，并采用3层的网络结构。

训练集有1280000个训练样本，其中有640000个样本为Polar码序列，作为训练的正样本标签为1，而负样本标签为0，包含了Turbo码序列，LDPC码序列，全零序列，未编码序列即随机序列，序列长度分别为，265≤N_T≤4018576≤N_L≤2304，N_z＝8192，N_r＝8192，截取的序列长度l＝8192保证了在序列中至少有一个完整的码字存在。验证集的大小为64000，信噪比为8.5dB和测试集的大小为64000，信噪比为5～12dB。

本实施例的识别结果如图4所示，横轴代表训练次数，纵轴代表信道编码识别错误率错误率越小代表效果越好，由图4可见，随着训练次数的增加，错误率逐渐减小最终趋于稳定，这说明优化算法收敛，并且达到了较好的性能。

将每个测试样本分为d＝5段输入到训练好的网络模型，按照上述方法进行最后判决，得到识别结果，并将其与样本真实标签进行对比，可得到识别的准确率为87.49％。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (4)

1.一种基于循环神经网络的信道编码类型盲识别方法，其特征在于，包括下列步骤：

步骤1：构建识别信道编码类型的循环神经网络模型：

步骤101：构建循环神经网络的训练样本，包括生成待识别的信道编码序列作为训练网络的正样本，生成非待识别序列作为网络训练的负样本；

其中非待识别序列为不同于待识别的信道编码序列的其他信道编码序列、不进行编码的序列和不含有信息的纯噪声序列；

所述信道编码序列为：采用不同的码长、码率生成首尾相接的码字，再进行数字调制处理后，得到对应的信道编码序列；

对每段信道编码序列，在[1,N]的范围里等概率地选取一个整数作为一段接收序列的起点，基于起点，向后截取长度为l的序列，得到对应当前信道编码序列的接收序列，并在给定的信噪比范围内，在得到的每段接收序列中加入高斯噪声，作为一个训练样本，其中N为码长，l选取需要保证截取的接收序列中至少含有一个完整的码字；

步骤102：将步骤101构建的训练样本随机分为两部分，一部分用于训练循环神经网络，调整网络参数；一部分用于在训练过程中调整网络超参数；

步骤103：构建及训练循环神经网络模型：

所述循环神经网络模型包括输入层、包括注意力机制的激活层、全连接层和输出层；

其中，输入层的输入向量为将每个训练样本分割为长度为b的子序列段，用t表示当前时刻，则对于单个训练样本，当前时刻的输入向量记为x^t，即x^t的维度为b×1；

包括注意力机制的激活层的基本单元为门控循环单元，对于每个输入向量x^t，其在每个时刻的输出状态h^t为：其中中间变量z^t＝σ(W_zx^t+U_zh^t-1)、r^t＝σ(W_rx^t+U_rh^t-1)、激活函数W_z、W_r、W、U_z、U_r和U表示内部的权重矩阵，用s×1表示输出状态h^t的维度，则权重矩阵W_z,W_r,W的维度为s×b，权重矩阵U_z,U_r,U的维度为s×s；

基于不同时刻的输出状态所提取的特征向量h为：其中权重系数权重系数u_w的维度为s×1，权重系数u_t＝tanh(W_ah^t)，其中W_a表示维度为s×s的注意力机制部分的权重矩阵，符号()^T表示矩阵转置；

全连接层采用的激活函数为双曲正切函数；

输出层为Softmax层，输出结果为对待识别类型的二分分类结果；

基于预设的损失函数、以及抑制过拟合的方式对所述循环神经网络模型进行训练，当满足预设的迭代收敛条件时，结束训练过程，得到训练好的循环神经网络模型；

步骤2：对待识别信道编码类型的一段待识别接收序列，按长度b分割为多段待识别子序列，分别将每段待识别子序列输入训练好的循环神经网络模型中，得到每段待识别子序列的识别结果，最后采用少数服从多数的原则得到当前待识别接收序列的信道编码类型结果。

2.如权利要求1所述的方法，其特征在于，码字的信息序列设置为：独立等概率的生成的0和1构成的序列。

3.如权利要求1所述的方法，其特征在于，权重矩阵W_z、W_r、W、U_z、U_r和U的优选初始方式为：正交初始化。

4.如权利要求1所述的方法，其特征在于，权重矩阵W_a和权重系数u_w的优化初始化方式为：采用截断高斯分布初始化，均值为0，方差为σ²。