CN109033952A - 基于稀疏自编码器的m序列识别方法 - Google Patents

Abstract

本发明公开了一种基于稀疏自编码器的m序列识别方法。首先介绍了m序列的三阶相关函数的峰值特性，验证了利用完整周期m序列或者m序列片段估计的TCF均保持良好的峰值特性。其次，根据m序列TCF特性，提出一种基于三阶相关特征向量的输入样本构造方法。最后，利用稀疏自编码器构建特征学习网络，使用softmax回归对学习到的特征进行分类识别，建立一个稀疏自编码网络分类模型，并将预先构造好的样本输入模型，训练得到一个具有最优识别性能的模型。本发明能有效识别m序列，且在低信噪比条件下识别性能良好。

Description

基于稀疏自编码器的m序列识别方法

技术领域

本发明属于通信中二进制伪随机序列的估计和识别领域，特别涉及一种利用稀疏自编码网络的m序列的识别方法。

背景技术

二进制伪随机序列因具有良好的伪随机特性被广泛应用在扩频通信领域中。m序列是最具代表性的一种伪随机序列，它的估计和识别是扩频系统中信息解密的基础，因此研究m序列的识别算法具有重要的理论意义和价值。

现有的国内外对m序列识别研究的文献中，Massey算法、欧几里得算法都能达到识别序列生成多项式的目的，但受误码影响大。基于高阶统计分析的三阶相关函数(TripleCorrelation Function，TCF)法因为过程简单、易被理解应用而受到广泛关注。在已公开的研究成果中，学者们根据TCF峰值出现的位置利用矩阵斜消法确定m序列的本原多项式，利用拟合优度检验提高峰值点检测的正确率，但在低信噪比峰值点检测的正确率还有待进一步提高。

近年来，深度学习由于对复杂特征优秀的抽象和建模能力强，已引起了各领域学者们的广泛研究。自编码器作为深度学习的模型之一，可以捕捉到输入数据中的重要特征，已被应用于数据的分类识别中。为此利用m 序列的三阶相关函数特性，本发明提出了一种基于稀疏自编码器(Sparse Autoencoder,SAE)和Softmax回归的m序列的识别算法，简记为TCF-SAE 算法。

发明内容

本发明针对m序列的识别问题，提出一种基于稀疏自编码器的m序列识别方法。

本发明中基于稀疏自编码器的m序列识别方法的步骤是：

步骤1、产生N不同周期T、不同信噪比下的完整m序列；

步骤2、估计每个序列在[T/2,T/2]范围内的三阶相关函数，得到包含 m序列特征信息的三阶相关矩阵；

步骤3、提出取模映射方法降低三阶相关矩阵的维度，得到新的特征信息矩阵并向量化，得N个向量作为训练集样本；

步骤4、建立稀疏自编码器网络用于样本特征的提取，引入softmax 回归模型，将自编码器网络提取到的特征作为输入，用于分类识别；

步骤5、利用代价函数最小化对稀疏自编码网络和softmax分类器逐层训练，然后整体微调优化模型；

步骤6、参照步骤1-步骤3构建测试集样本，输入训练好的模型，完成m序列的识别。

本发明提出一种基于稀疏自编码器的m序列识别方法，引入稀疏自编码器和softmax回归模型，通过大量样本的训练，得到一个最优的适用于 m序列识别的SAE网络分类模型。

本发明提出一种基于m序列三阶相关特性的网络输入样本构造方法。由于m序列具有三阶相关函数具有峰值特征，且验证发现完整的m序列或者m序列片段的三阶相关函数均保持良好的TCF峰值特性。因此可利用该性质构造序列的三阶相关特征向量，作为输入样本训练网络。

本发明针对随着m序列周期变长导致三阶相关特征向量维度太大的问题，提出一种取模映射的数据处理方法，先将三阶相关函数构成的三阶相关矩阵映射到一个维度更小的矩阵中，再将矩阵向量化，降低样本的维度，从而大大降低了网络的训练难度，节约训练时间。

本发明的有益效果是：

1、建立SAE网络分类模型，通过稀疏自编码网络自主学习输入样本的特征，且能更好地捕捉到样本的深层特征，用于m序列识别时能取得更好的识别效果。

2、本发明提出的取模映射方法降低样本的维度，将维度较大的三阶相关矩阵映射到一个维度较小的矩阵中，m序列的特征信息仍包含在新的矩阵中，由此降低网络的训练复杂度，同时大大节约了网络的训练时间。

3、本发明提出的利用m序列三阶相关特性的样本构造方法不仅适用于完整m序列的识别，同时也适用于m序列片段的识别。

4、一旦m序列的SAE网络分类模型训练完成，只要将待识别的完整m 序列或者m序列片段按照提出的方法进行样本构造，再输入训练好的网络即可完成识别，相对于传统的m序列识别方式，更加高效。

附图说明

图1是周期不同的完整m序列及m序列片段的峰值图案；

图2是SAE网络分类模型的示意图；

具体实施方式

下面进一步详细说明本发明的实施步骤。

如图1和2所示，基于稀疏自编码器的m序列识别方法，具体包括如下步骤：

步骤1、产生N不同周期T、不同信噪比下的完整m序列，具体如下：

为验证方法的有效性，选用5至8阶的m序列构造输入集样本训练SAE网络分类模型，对应的本原多项式分别有6、6、18、16个，总计46 个。对于4种不同周期的m序列，在-4～4dB之间随机取一个值作为信噪比取值，共产生得到N个含噪的完整m序列。

步骤2、估计每个序列在[T/2,T/2]范围内的三阶相关函数，得到包含 m序列特征信息的三阶相关矩阵，具体如下：

2-1.对于周期为T的m序列，当采集到的数据包含一个完整m序列周期时，截取一个长度L＝T的序列，三阶相关函数可按式(1)估计：

其中，1≤p,q≤L。

2-2.当采集的数据不足一个m序列周期，即L＜T时，三阶相关函数按式(2)估计：

2-3.仿真实验证明，只要采集的数据足够多，在p,q∈[L/2,L/2]时， m序列片段的三阶相关函数图案与该完整周期m序列的三阶相关函数峰值图案基本相同，仿真结果见附图1。由此说明，对于完整周期m序列或者 m序列片段，在[L/2,L/2]范围内均保持了m序列TCF原有的特性。因此可以用此区域内的TCF特性识别m序列。

2-4.构造网络训练集样本时，以完整周期m序列(L＝T)的[L/2,L/2] 范围为TCF的计算范围，即根据式(1)计算[T/2,T/2]范围内的TCF矩阵Θ：

m序列的特征信息均包含在在这个三阶相关矩阵中。

步骤3、提出取模映射方法降低三阶相关矩阵的维度，得到新的特征信息矩阵并向量化，得N个向量作为训练集样本，具体如下：

3-1.假定判定C(p,q)是否为峰值的门限为γ，当C(p,q)＞γ时，判定为峰值；否则为非峰值，且令C(p,q)＝0，更新三阶相关矩阵Θ。

3-2.当m序列的周期较长时，若将矩阵Θ向量化后得到的(T/2)²×1的向量直接作为SAE网络的输入样本，维度太大导致SAE网络训练的计算量和训练难度增大。为此，提出了取模映射的方法，先将矩阵Θ映射为一个 L′×L′的矩阵Θ′，即令：

C(p′,q′)＝C(p,q) (4)

其中，p′＝pmodL′，q′＝qmodL′，L′＜＜T/2。矩阵Θ′由C(p′,q′)组成，所有的特征信息仍包含在矩阵Θ′中，将Θ′向量化后得到SAE网络的一个输入样本，一共产生N个网络测试集样本。

步骤4、建立稀疏自编码器网络用于样本特征的提取，引入softmax 回归模型，将自编码器网络提取到的特征作为输入，用于分类识别，具体如下：

4-1.对于一个给定的无标签数据集{x⁽¹⁾,x⁽²⁾,x⁽³⁾,…}，其中x⁽ⁱ⁾∈Rm，自编码网络尝试学习出一个映射，使输出y⁽ⁱ⁾尽可能逼近输入x(ⁱ)。于是， N个训练数据的代价函数为：

其中W为自编码器的权重矩阵，b为偏置向量，λ为权重衰减系数。第二项为惩罚项，防止模型过拟合。为使模型具有更优的学习数据特征的能力，在自编码器的基础上添加稀疏性约束条件，得到稀疏自编码器，此时代价函数为：

式中，β为稀疏惩罚项系数，ρ为稀疏性参数，一般取接近于0的正数，为隐藏层节点j的平均激活度，

其中表示隐藏层节点的激活度。利用分批的数据和梯度下降法更新参数W和b直至算法收敛，由此得到稀疏自编码的最优W和b参数。

4-2.Softmax回归模型主要用于解决多分类的问题。对于训练集 {(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…(x^(N),y^(N))}，有y⁽ⁱ⁾∈{1,2,…,K}，总共K个不同的类别标签。对于给定的输入样本x⁽ⁱ⁾，使用假设函数对每一类别k估计出概率值p(y⁽ⁱ⁾＝k|x⁽ⁱ⁾；θ)，假设函数h_θ(x⁽ⁱ⁾)的形式为：

式中，θ₁,θ₂,…θ_K是概率模型的参数，等式右边对模型的概率分布进行归一化，使概率之和为1。对于样本x⁽ⁱ⁾，选择最大概率取值对应的k作为当前样本的分类结果，并与样本的真实分类作比较，如果一致则分类正确，否则分类错误。定义Softmax分类器的代价函数为：

式中1{·}表示一个示性函数，即1{true}＝1，1{false}＝0。利用梯度下降法求解函数中的θ，通过最小化J(θ)得到可用的softmax分类器。

4-3.稀疏自编码器网络用于样本特征的提取，softmax回归模型用于完成序列识别。故将softmax分类器直接连接到SAE的隐藏层，得到SAE 网络的分类模型，示意图如附图2所示。

步骤5、利用代价函数最小化对稀疏自编码网络和softmax分类器逐层训练，然后整体微调优化模型，具体为首先利用梯度下降法和L-BFGS 算法分别最小化稀疏自编码器和softmax分类器的代价函数，然后通过BP算法整体微调优化模型。

步骤6、参照步骤1-步骤3，将待识别的m序列构建成SAE网络分类模型的测试集样本，输入训练好的模型，完成识别。

至此，整个基于稀疏自编码器的m序列识别方法结束。

Claims (4)

1.基于稀疏自编码器的m序列识别方法，其特征在于该方法包括以下步骤：

步骤1、产生N不同周期T、不同信噪比下的完整m序列；

步骤2、估计每个序列在[T/2,T/2]范围内的三阶相关函数，得到包含m序列特征信息的三阶相关矩阵；

步骤3、提出取模映射方法降低三阶相关矩阵的维度，得到新的特征信息矩阵并向量化，得N个向量作为训练集样本；

步骤4、建立稀疏自编码器网络用于样本特征的提取，引入softmax回归模型，将自编码器网络提取到的特征作为输入，用于分类识别；

步骤5、利用代价函数最小化对稀疏自编码网络和softmax分类器逐层训练，然后整体微调优化模型；具体为首先利用梯度下降法和L-BFGS算法分别最小化稀疏自编码器和softmax分类器的代价函数，然后通过BP算法整体微调优化模型；

步骤6、参照步骤1-步骤3，将待识别的m序列构建成SAE网络分类模型的测试集样本，输入训练好的模型，完成识别。

2.根据权利要求1所述的基于稀疏自编码器的m序列识别方法，其特征在于步骤2中，验证对于完整m序列或者数据足够长的m序列片段，在[T/2,T/2]范围内的三阶相关函数保持了良好的峰值特性，具体如下：

2-1.对于周期为T的m序列，当采集到的数据包含一个完整m序列周期时，截取一个长度L＝T的序列，三阶相关函数可按式(1)估计：

其中，1≤p,q≤L；

2-2.当采集的数据不足一个m序列周期，即L＜T时，三阶相关函数按式(2)估计：

2-3.对于完整周期m序列或者m序列片段，在[L/2,L/2]范围内均保持了m序列TCF原有的特性；因此可以用此区域内的TCF特性识别m序列；

2-4.构造网络训练集样本时，以完整周期m序列(L＝T)的[L/2,L/2]范围为TCF的计算范围，即根据式(1)计算[T/2,T/2]范围内的TCF矩阵Θ：

m序列的特征信息均包含在在这个三阶相关矩阵中。

3.根据权利要求2所述的基于稀疏自编码器的m序列识别方法，其特征在于步骤3中，为降低网络的训练复杂度，提出取模映射方法，将维度较大的三阶相关矩阵映射到一个维度较小的矩阵中，m序列的特征仍包含在新的矩阵中，从而降低特征信息向量即网络输入样本的维度，具体如下：

3-1.假定判定C(p,q)是否为峰值的门限为γ，当C(p,q)＞γ时，判定为峰值；否则为非峰值，且令C(p,q)＝0，更新三阶相关矩阵Θ；

3-2.当m序列的周期较长时，若将矩阵Θ向量化后得到的(T/2)²×1的向量直接作为SAE网络的输入样本，维度太大导致SAE网络训练的计算量和训练难度增大；为此，提出了取模映射的方法，先将矩阵Θ映射为一个L′×L′的矩阵Θ′，即令：

C(p′,q′)＝C(p,q) (4)

其中，p′＝pmodL′，q′＝qmodL′，L′＜＜T/2；矩阵Θ′由C(p′,q′)组成，所有的特征信息仍包含在矩阵Θ′中，将Θ′向量化后得到SAE网络的一个输入样本，一共产生N个网络测试集样本。

4.根据权利要求3所述的基于稀疏自编码器的m序列识别方法，其特征在于步骤4中，通过引入稀疏自编码器和softmax回归建立SAE网络分类模型，用于m序列的识别，具体如下：

4-1.对于一个给定的无标签数据集{x⁽¹⁾,x⁽²⁾,x⁽³⁾,…}，其中x⁽ⁱ⁾∈R^m，自编码网络尝试学习出一个映射，使输出y⁽ⁱ⁾尽可能逼近输入x⁽ⁱ⁾；于是，N个训练数据的代价函数为：

其中W为自编码器的权重矩阵，b为偏置向量，λ为权重衰减系数；第二项为惩罚项，防止模型过拟合；为使模型具有更优的学习数据特征的能力，在自编码器的基础上添加稀疏性约束条件，得到稀疏自编码器，此时代价函数为：

式中，β为稀疏惩罚项系数，ρ为稀疏性参数，一般取接近于0的正数，为隐藏层节点j的平均激活度，

其中表示隐藏层节点的激活度；利用分批的数据和梯度下降法更新参数W和b直至算法收敛，由此得到稀疏自编码的最优W和b参数；

4-2.Softmax回归模型主要用于解决多分类的问题；对于训练集{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…(x^(N),y^(N))}，有y⁽ⁱ⁾∈{1,2,…,K}，总共K个不同的类别标签；对于给定的输入样本x⁽ⁱ⁾，使用假设函数对每一类别k估计出概率值p(y⁽ⁱ⁾＝k|x⁽ⁱ⁾；θ)，假设函数h_θ(x⁽ⁱ⁾)的形式为：

式中，θ₁,θ₂,…θ_K是概率模型的参数，等式右边对模型的概率分布进行归一化，使概率之和为1；对于样本x⁽ⁱ⁾，选择最大概率取值对应的k作为当前样本的分类结果，并与样本的真实分类作比较，如果一致则分类正确，否则分类错误；定义softmax分类器的代价函数为：

式中1{·}表示一个示性函数，即1{true}＝1，1{false}＝0；利用梯度下降法求解函数中的θ，通过最小化J(θ)得到可用的softmax分类器；

4-3.稀疏自编码器网络用于样本特征的提取，softmax回归模型用于完成序列识别；故将softmax分类器直接连接到SAE的隐藏层，得到SAE网络的分类模型。