CN110460402B - 一种基于深度学习的端到端通信系统建立方法 - Google Patents

Abstract

本发明属于信息通信技术领域，具体涉及一种基于深度学习的端到端通信系统建立方法。本发明方法分为两个阶段。首先是建立自编码器神经网络并复杂化信道层，以随机数仿真为训练集对网络进行初步训练，以获得一个对信道干扰有适应性的编码方式。之后是通过USRP收集大量实际信道下的通信数据并以此来作为训练集对译码层进行单独训练使其针对实际情况下的通信具有更好的性能。本发明可以获得一种完全不同于传统通信系统建立方式的通信系统，其相对于传统系统有更优的通信性能，且对真实信道的适应能力有更好的鲁棒性。

Description

一种基于深度学习的端到端通信系统建立方法

技术领域

本发明属于信息通信技术领域，具体涉及一种基于深度学习的端到端通信系统建立方法。

背景技术

传统的通信系统往往由发送机、信道、接收机的各个子模块联合组成并使用，但是一来实际信道十分复杂，传统的数学模型只能够做到线性近似并不能完全描述，二来各个子模块的最优并不能代表其构成系统是最优的，为了解决这两点问题，本发明提出基于深度学习的端到端通信系统建立方法。本发明方法直接通过构建一个自编码器来完成整个通信架构，利用机器学习的非线性拟合特性来适应信道，通过直接训练神经网络来得到全局最优解。

近年来，机器学习被尝试用于通信领域来替换通信系统中的各个子模块并取得了很好的效果。在2006年，多伦多大学教授Geoffrey Hinton首次提出了深度学习的模型以及训练方法。一般的深度学习模型有多层网络构成，每一层又由多个神经元组成，通过基于大量标记与未标记数据整合而成的训练集的有效训练而获取参数配置合理的深度学习模型。

发明内容

本发明的目的是为了提高通信系统对真实信道的适应性并得到一个全局最优的通信系统，为此提供了一种基于深度学习的端到端通信系统建立方法。

本发明的目的是这样实现的：

一种基于深度学习的端到端通信系统建立方法，包括以下步骤：

步骤1、建模信道训练阶段：通过建立自编码器深度神经网络并进行训练，其中中间层加入信道层，信道层尽量模拟真实信道，得到有效训练的端到端通信系统的深度学习模型，将训练完的网络以信道层为节点，之前的为编码层，之后的为译码层；

步骤2、真实信道训练阶段：在真实信道下进行收发数据，利用收发数据对译码层进行单独训练，使译码层对真实信道更具有适应性。

步骤1所述的有效训练的端到端通信系统的深度学习模型是这样得到的：

搭建包含输入层、信道层、多层隐藏层、输出层，且每层由多个代表数据特征的神经元构成深度神经网络并进行训练；编码层加入上采样和成型滤波，上采样点数设置为6，成型滤波器采用根升余弦滤波器，α＝0.5，输入信号经上采样后与成型滤波卷积，卷积完的数据保留经上采样而形成的两边的0值作为保护间隔抑制符号干扰；信道层包含高斯白噪声、相位偏移和频率偏移，译码层先经过切片层将保护间隔去除，再加入RTN环节；

训练过程中，生成一定数量的随机数作为网络的输入数据集s和输出标签s’，数据于神经网络中在权重、偏置和激活函数的共同作用下前向传播进而得到最终神经网络输出s’，则第q层神经网络的第j个神经元的输入

和输出

分别为：

其中，J^(q-1)和J^(q)分别代表第q-1和第q层神经网络所包含的神经元个数，u_ij ^(q-1)为第q-1层第i个神经元与第q层第j个神经元之间的权重，v_j ^(q-1)为第q层第j个神经元的偏置，f(·)为激活函数；因此得到深度神经网络的总输出：

s'^(Q)＝f^(Q-1)(f^(Q-2)(...f⁽¹⁾(s⁽¹⁾)))

其中，Q为深度神经网络层数，

即为输入数据s；

定义表征神经网络性能的损失函数：

其中y为期望输出即原始输入比特，a为神经元实际输出即预测的输出比特，n为输入神经网络的训练数据的总数，当L达到预设的阈值ζ，结束训练并保存深度神经网络当前状态下各层权值和偏置，即得到有效训练的深度学习模型。

在搭建端到端通信的深度学习模型过程中，编码层将成型滤波器通过参数传递的方式包含在内，利用卷积特性，保留信号和成型滤波器卷积后两边的0值作为保护间隔抑制符号间干扰：

其中h为根升余弦滤波器，x为编码信号，y为待发送信号，

为卷积符号；

同时在译码层做相对应的切片处理，去除保护间隔对分类结果的影响。

在上采样后将前半部分输出视为发送的同相支路即I路数据，后半部分视为发送的正交支路即Q路数据，人为的将神经网络输出的实数变为复数用以进行之后的相偏、频偏估计和补偿。

通过RTN网络，即以专家领域知识为基础，通过构建一个神经网络分支来提取接收信号的相位偏移ψ和频率偏移Δψ，将神经网络提取出的相位偏移和频率偏移的相反数与接收信号相乘做补偿：

x'＝x*e^{-j(2πk*Δψ+ψ)}

其中x为接收到的信号，x’为经过补偿后的信号，k为接收到信号的采样点顺序号，j为复数表示形式的虚部符号。

步骤2所述的真实信道的训练过程具体是这样进行的：

生成一组随机序列s(k)作为训练的监督数据，并将其通过步骤1的编码层网络得到中间信道需要传输的数据形式x(k)，在一端用USRP收发器发射数据，并在另一端用USRP接收当前数据作为神经网络输入数据y(k)，如此重复若干次以获得训练数据集；将y(k)作为译码层输入，s(k)作为译码层期望输出对译码层进行再训练，得到最终的端到端通信系统的深度学习网络。

在步骤2中，将经信道传输得到的接收信号进行预处理后输入深度神经网络和发送序列组成训练集，通过损失函数判决得到权值u和偏置v，从而获取有效的深度学习模型。

本发明的有益效果在于：

本发明使用基于深度学习的端到端通信系统建立方法，用自编码器神经网络代替传统通信系统。与传统通信系统由各个优化的子模块构成不同，深度神经网络直接包含了通信系统中的所有模块可以直接通过训练迭代得到一个全局最优的通信系统，且其对真实信道的通信具有更好的鲁棒性。在神经网络构建中利用成型滤波器和信号卷积的特性保留卷积后的0值作为保护间隔抑制符号间干扰；在接收信号中先经过切片去除保护间隔的影响，同时加入RTN网络加快神经网络收敛速度。

附图说明

图1为深度学习端到端通信网络的总体流程图；

图2为深度学习端到端通信网络自编码器内部结构图；

图3为深度神经网络原理图；

图4为译码层神经网络再训练流程图。

具体实施方式

下面结合附图对本发明进一步详细说明。

一种基于深度学习的端到端通信系统建立方法，其特征在于，包括以下步骤：

步骤1、建模信道训练阶段：通过建立自编码器深度神经网络并进行训练，其中中间层加入信道层，信道层尽量模拟真实信道，得到有效的端到端通信系统学习模型，将训练完的网络以信道层为节点，之前的为编码层，之后的为译码层。

步骤2、真实信道训练阶段：在真实信道下进行收发数据，利用收发数据对译码层进行单独训练，使译码层对真实信道更具有适应性。

步骤1通过建立如图2所示的自编码神经网络并进行有效训练，得到有效的端到端通信系统。具体包括以下步骤：

步骤1.1、如图2所示构建编码层，以8-8编码通信系统为例，原始的二进制比特信息需转换为独热码即one-hot类型输入，共256种类型，即0-255，输入信息先经过两层全连接层得到8位的编码信号输出，输出信号进行插0上采样后将前半部分视为发送的I路数据即实部信号，后半部分视为发送的Q路数据即虚部信号，将这两部分信号分别与通过MATLAB产生的成型滤波器系数进行卷积。其中成型滤波器的上采样点数为6，滚降系数为0.5，符号持续时间为8，类型为根升余弦滤波器。在这里信号和滤波器卷积得到的0不去除而是用作保护间隔抑制传输中的码间干扰：

其中h(x)为根升余弦滤波器，x为编码信号，y为待发送信号，

为卷积符号。

最后对信号进行功率归一化使之输出功率恒为1。

步骤1.2、如图2所示构建信道层，高斯噪声层对信号加入了一定信噪比的噪声，使系统在训练时能够得到对噪声具有适应性的编码方式，之后对信号做相位偏移和频率偏移，以使训练得到的系统克服实际中的相偏和频偏。

步骤1.3、如图2所示构建译码层，译码层先对信号进行切片处理，即将之前保留的保护间隔去除，防止保护间隔内的参数对最后的分类判决产生影响。将切片后的信号通过3层全连接层神经网络分支提取相偏和频偏信息，将提取出的相偏和频偏信息与原信号相成做补偿，最后通过2层全连接层得到softmax类型数据输出。

步骤1.4、生成N组0-255的随机数并转换为独热码形式作为训练集对整个自编码器神经网络进行训练。

信道层包含高斯白噪声、相位偏移和频率偏移，译码层先经过切片层将保护间隔去除，防止其对最后分类产生影响，再加入RTN环节，即以专家领域知识为基础，通过构建一个神经网络分支来提取接收信号的相位偏移ψ和频率偏移Δψ，将神经网络提取出的相位偏移和频率偏移的相反数与接收信号相乘做补偿：

x'＝x*e^{-j(2πk*Δψ+ψ)}

其中x为接收到的信号，x’为经过补偿后的信号，k为接收到信号的采样点顺序号，j为复数表示形式的虚部符号。

训练过程中，生成一定数量的随机数作为网络的输入数据集s和输出标签s’，数据于神经网络中在权重、偏置和激活函数的共同作用下前向传播进而得到最终神经网络输出s’，如图3，则第q层神经网络的第j个神经元的输入

和输出

分别为：

其中，J^(q-1)和J^(q)分别代表第q-1和第q层神经网络所包含的神经元个数，u_ij ^(q-1)为第q-1层第i个神经元与第q层第j个神经元之间的权重，v_j ^(q-1)为第q层第j个神经元的偏置，f(·)为激活函数；因此得到深度神经网络的总输出：

s'^(Q)＝f^(Q-1)(f^(Q-2)(...f⁽¹⁾(s⁽¹⁾)))

其中，Q为深度神经网络层数，

即为输入数据s；

定义表征神经网络性能的损失函数：

其中y为期望输出即原始输入比特，a为神经元实际输出即预测的输出比特，n为输入神经网络的训练数据的总数。当L达到预设的阈值ζ，结束训练并保存深度神经网络当前状态下各层权值和偏置，即得到有效训练的深度学习模型。

步骤2具体包括以下过程：如图4所示生成一组随机序列s(k)作为训练的监督数据，并将其通过步骤1的编码层网络得到中间信道需要传输的信号x(k)，在一端用USRP收发器发射信号，并在另一端用USRP接收当前数据作为神经网络输入数据y(k)，如此重复若干次以收集训练数据集。将y(k)经过预处理后作为译码层输入，s(k)作为译码层期望输出对译码层进行再训练，通过损失函数判决得到权值u和偏置v，从而获取有效的深度学习模型，得到最终的端到端通信系统的深度学习网络。

本发明使用基于深度学习的端到端通信系统建立方法，用自编码器神经网络代替传统通信系统。与传统通信系统由各个优化的子模块构成不同，深度神经网络直接包含了通信系统中的所有模块可以直接通过训练迭代得到一个全局最优的通信系统，且其对真实信道的通信具有更好的鲁棒性。在神经网络构建中利用成型滤波器和信号卷积的特性保留卷积后的0值作为保护间隔抑制符号间干扰；在接收信号中先经过切片去除保护间隔的影响，同时加入RTN网络加快神经网络收敛速度。

一种基于深度学习的通信系统建立方法，属于信息通信技术领域。本发明分为两个阶段。首先是建立自编码器神经网络并复杂化信道层，以随机数仿真为训练集对网络进行初步训练，以获得一个对信道干扰有适应性的编码方式。之后是通过USRP收集大量实际信道下的通信数据并以此来作为训练集对译码层进行单独训练使其针对实际情况下的通信具有更好的性能。本发明可以获得一种完全不同于传统通信系统建立方式的通信系统，其相对于传统系统有更优的通信性能，且对真实信道的适应能力有更好的鲁棒性。

Claims (3)

1.一种基于深度学习的端到端通信系统建立方法，其特征在于，包括以下步骤：

步骤1、建模信道训练阶段：通过建立自编码器深度神经网络并进行训练，其中中间层加入信道层，信道层尽量模拟真实信道，得到有效训练的端到端通信系统的深度学习模型，将训练完的网络以信道层为节点，之前的为编码层，之后的为译码层；

步骤1.1：构建编码层，原始的二进制比特信息需转换为独热码即one-hot类型输入，共256种类型，即0-255，输入信息先经过两层全连接层得到8位的编码信号输出，输出信号进行插0上采样后将前半部分视为发送的I路数据即实部信号，后半部分视为发送的Q路数据即虚部信号，将这两部分信号分别与通过MATLAB产生的成型滤波器系数进行卷积；成型滤波器的上采样点数为6，滚降系数为0.5，符号持续时间为8，类型为根升余弦滤波器；在这里信号和滤波器卷积得到的0不去除而是用作保护间隔抑制传输中的码间干扰：

其中，h(x)为根升余弦滤波器；x为编码信号；y为待发送信号；

为卷积符号；

最后对信号进行功率归一化使之输出功率恒为1；

步骤1.2：构建信道层，高斯噪声层对信号加入了一定信噪比的噪声，使系统在训练时能够得到对噪声具有适应性的编码方式，之后对信号做相位偏移和频率偏移，以使训练得到的系统克服实际中的相位偏移和频率偏移；

步骤1.3：构建译码层，译码层先对信号进行切片处理，即将之前保留的保护间隔去除，防止保护间隔内的参数对最后的分类判决产生影响；将切片后的信号通过3层全连接层神经网络分支提取相位偏移和频率偏移信息，将提取出的相位偏移和频率偏移信息与原信号相乘做补偿，最后通过2层全连接层得到softmax类型数据输出；

步骤1.4：生成N组0-255的随机数并转换为独热码形式作为训练集对整个自编码器神经网络进行训练；

信道层包含高斯白噪声、相位偏移和频率偏移，译码层先经过切片层将保护间隔去除，防止其对最后分类产生影响，再加入RTN环节，即以专家领域知识为基础，通过构建一个神经网络分支来提取接收信号的相位偏移ψ和频率偏移Δψ，将神经网络提取出的相位偏移和频率偏移的相反数与接收信号相乘做补偿：

x′＝x*e^{-j(2πk*Δψ+ψ)}

其中，x为接收到的信号；x′为经过补偿后的信号；k为接收到信号的采样点顺序号；j为复数表示形式的虚部符号；

训练过程中，生成一定数量的随机数作为网络的输入数据集s和输出标签s′，数据于神经网络中在权重、偏置和激活函数的共同作用下前向传播进而得到最终神经网络输出s′，则第q层神经网络的第j个神经元的输入

和输出

分别为：

其中，J^(q-1)和J^(q)分别代表第q-1和第q层神经网络所包含的神经元个数；u_ij ^(q-1)为第q-1层第i个神经元与第q层第j个神经元之间的权重；v_j ^(q-1)为第q层第j个神经元的偏置；f(·)为激活函数；

深度神经网络的总输出：

s′^(Q)＝f^(Q-1)(f^(Q-2)(...f⁽¹⁾(s⁽¹⁾)))

其中，Q为深度神经网络层数；

即为输入数据s；

定义表征神经网络性能的损失函数：

其中，y为期望输出即原始输入比特；a为神经元实际输出即预测的输出比特；n为输入神经网络的训练数据的总数；当L达到预设的阈值ζ，结束训练并保存深度神经网络当前状态下各层权重和偏置，即得到有效训练的深度学习模型；

步骤2、真实信道训练阶段：在真实信道下进行收发数据，利用收发数据对译码层进行单独训练，使译码层对真实信道更具有适应性。

2.根据权利要求1所述的一种基于深度学习的端到端通信系统建立方法，其特征在于，步骤2所述的真实信道的训练过程具体是这样进行的：

生成一组随机序列s(k)作为训练的监督数据，并将其通过步骤1的编码层网络得到中间信道需要传输的数据形式x(k)，在一端用USRP收发器发射数据，并在另一端用USRP接收当前数据作为神经网络输入数据y(k)，如此重复若干次以获得训练数据集；将y(k)作为译码层输入，s(k)作为译码层期望输出对译码层进行再训练，得到最终的端到端通信系统的深度学习网络。

3.根据权利要求1或2所述的一种基于深度学习的端到端通信系统建立方法，其特征在于：在步骤2中，将经信道传输得到的接收信号进行预处理后输入深度神经网络和发送序列组成训练集，通过损失函数判决得到权重u和偏置v，从而获取有效的深度学习模型。

Images