CN116405158A - 一种非高斯噪声下基于深度学习的端到端通信系统 - Google Patents
一种非高斯噪声下基于深度学习的端到端通信系统 Download PDFInfo
- Publication number
- CN116405158A CN116405158A CN202310349710.4A CN202310349710A CN116405158A CN 116405158 A CN116405158 A CN 116405158A CN 202310349710 A CN202310349710 A CN 202310349710A CN 116405158 A CN116405158 A CN 116405158A
- Authority
- CN
- China
- Prior art keywords
- network
- noise
- layer
- generator
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006854 communication Effects 0.000 title claims abstract description 55
- 238000004891 communication Methods 0.000 title claims abstract description 54
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 65
- 238000009826 distribution Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 32
- 238000007781 pre-processing Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 27
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000009827 uniform distribution Methods 0.000 claims description 4
- 238000005562 fading Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013178 mathematical model Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 19
- 238000013461 design Methods 0.000 description 14
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 9
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/0082—Monitoring; Testing using service channels; using auxiliary channels
- H04B17/0087—Monitoring; Testing using service channels; using auxiliary channels using auxiliary channels or channel simulators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/391—Modelling the propagation channel
- H04B17/3911—Fading models or fading generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/391—Modelling the propagation channel
- H04B17/3912—Simulation models, e.g. distribution of spectral power density or received signal strength indicator [RSSI] for a given geographic region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0033—Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the transmitter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0036—Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the receiver
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Noise Elimination (AREA)
Abstract
本发明属于无线通信技术领域，涉及一种非高斯噪声下基于深度学习的端到端通信系统。本发明利用深度学习技术解决传统理论难以处理的非高斯噪声信道通信问题：首先通过根据脉冲噪声的特性设计信道模拟器实现了对噪声的捕捉，而不需要准确的数学模型；接着，通过精心设计的E2E系统框架有效地在抑制脉冲噪声的同时尽量保留信号中原本包含的信息，从而实现非高斯噪声下逼近最优的通信；同时，利用E2E系统的全局优化以及MWSRN网络的强大能力，该发明可以无需导频实现在准静态衰落的非高斯噪声信道下的通信。
Description
技术领域
本发明属于无线通信技术领域，涉及一种非高斯噪声下基于深度学习的端到端通信系统。
背景技术
非高斯噪声广泛存在于多种通信场景中，如甚低频(Very-Low Frequency，VLF)通信、电力线通信等。非高斯噪声主要表现为脉冲噪声的形式，可以用α-稳定分布对其进行建模(D.A.Chrissan,“Statistical analysis and modeling of low-frequency radionoise and improvement of low-frequency communications,”Ph.D.dissertation,Space Telecommunications and Radioscience Lab.,Stanford Univ.,CA,1998.)。实际场景下，脉冲噪声与高斯噪声必然会同时出现，构成混合噪声。由于混合噪声复杂的特性，难以对其进行准确、解析的数学建模。因此，在混合噪声场景下，我们无法基于传统通信理论设计最优的通信方案。
传统通信系统设计的一项重要指导原则是模块化：整个通信过程被分解成多个独立的功能块，每个模块执行一个特定的功能，例如信源/信道编码、调制、信道估计、均衡等。这种方法虽然可以得到满足应用需求的通信系统，但不能保障单独优化的处理块连接起来就已经达到了最佳的链路性能。反之，近年来出现的、基于深度学习的自动编码器网络进行收发两端联合通信波形设计的方法，理论上可以获得全局性能最优的通信波形。(T.O’Sheaand J.Hoydis,“An introduction to deep learning for the physical layer,”IEEETrans.Cognit.Commun.Netw.,vol.3,no.4,pp.563–575,Dec.2017.)这种数据驱动的E2E通信技术使用生成器实现噪声环境模拟，采用自编码器实现E2E智能波形优化和编译码设计，其中生成器与自编码器的搭建均依赖于神经网络。(H.Ye,L.Liang,G.Y.Li,and B.-H.F.Juang,“Deep learning-based end-to-end wireless communication systems withconditional GANs as unknown channel,”IEEE Trans.Wireless Commun.,vol.19,no.5,pp.3133–3143,May 2020.)。
发明内容
针对非高斯混合噪声难以准确建模，从而难以通过经典通信理论实现最优波形设计的问题，本发明提出一种非高斯噪声下基于深度学习的E2E通信系统。
传统通信系统由调制/解调、编码/解码等不同部分组合而成，其中每一部分都分别在优化理论指导下进行优化设计，但不同部分串联起来之后整体的最优性却难以保证。同时，在非高斯噪声环境下，难以对环境噪声进行准确的数学建模，进一步导致基于传统方法设计的通信系统无法达到最优。数据驱动的E2E通信是一种基于近些年快速发展的深度学习(Deep Learning,DL)技术的新型通信模式。E2E系统的各部分均由神经网络构成，使用深度学习的方法，在E2E损失的监督下训练这些神经网络，从而使系统逼近全局最优。然而，由于非高斯混合噪声尤其是脉冲噪声复杂的性质，普通E2E系统难以处理受到非高斯噪声干扰的通信信号，进而导致无法在非高斯噪声的环境下实现有效通信。因此，本发明基于E2E系统的结构，发明了一种非高斯噪声下基于深度学习的新型E2E通信波形设计系统，达到了比传统通信方法和普通E2E系统更优秀的性能。
本发明的技术方案是：
一种非高斯噪声下基于深度学习的端到端通信系统，包括发射网络、信道网络、预处理网络和判决网络；
所述发射网络是由卷积层构成的前馈神经网络，发射网络的输入数据为发射数据，定义发射数据为s＝[s1,s2,…,sL]，其中L为数据长度，si∈{0,1},i∈{1,2,…L}；发射网络将发射数据转化为发射信号
其中N为发射信号长度，ft(·)是发射机映射函数；
所述信道网络用于生成与环境噪声相似的模拟噪声，信道网络为可生成脉冲的GAN网络，由生成器G与判别器D两部分组成；生成器G的损失函数为：
判别器D的损失函数为：
其中，α1,α2为权重，U1+ε(g)为U型函数，U型函数的定义为：
xm代表该U型函数的边界，xm取1+ε，ε为一足够小的正数使1+ε趋近于1，V(g,m)函数的定义是：V(a,b)＝(||a||2-||b||2)2，用于衡量两个向量的长度差；E[x]代表随机变量x的数学期望，θg与θd分别代表生成器G与判别器D中的所有可训练参数，z代表一组服从高斯分布的生成器G输入随机矢量，m代表环境噪声矢量，g代表生成器的模拟噪声矢量，gp(·)代表梯度惩罚项，λ代表梯度惩罚项的权重，
代表g与m的凸组合，组合系数由均匀分布采样得到，x-px(x)代表x中元素xi独立同分布服从于给定的分布px(·)，/>
代表函数f关于变量x的梯度。以所述生成器与判别器损失函数训练信道网络即可得到能够模拟混合噪声环境的信道模拟器；
发射数据s通过发射网络得到发射信号x，发射信号发射到信道中后与训练完成的信道网络产生的模拟噪声g构成接收信号y，接收信号再由预处理网络进行接收；
所述预处理网络接收发射符号得到接收信号y，预处理网络为多级小波变换卷积神经网络，用于抑制脉冲噪声所带来的异常值，其对于受到脉冲噪声污染的信号的作用视为映射fp(y)，因此预处理网络的输出可以表示为r＝fp(y)；
所述判决网络用于恢复出原始数据，其作用为映射fde(r)，判决网络根据预处理网络处理后的信号得到对发射数据的估计
进一步的，所述发射网络的具体结构为4层，前3层结构相同，均由卷积层、批归一化层和ReLU激活函数层构成，最后一层由卷积层和一个Tanh激活函数层构成。
进一步的，所述信道网络分为生成器与判别器两部分，其中生成器具体结构为5层，前4层结构相同，均由线性层、批归一化层和ReLU激活函数层构成，最后一层由线性层和一个Tanh激活函数层构成；判别器具体结构为3层，前2层结构相同，均由线性层、LeakyReLU激活函数层构成，最后一层由线性层构成。
进一步的，所述预处理网络由4级离散小波变换和相应一系列卷积网络构成，整体可分为分解信号过程和重构信号过程。分解信号过程中，每一级先通过离散小波变换处理输入信号，再将分解出的高频分量与低频分量拼接起来一起通过由4个卷积块构成的卷积网络，如此进行4级操作然后进入重构阶段。重构阶段先用同样由4个卷积块构成的卷积网络处理输入信号，再由离散反小波变换进行信号恢复，如此进行4级操作最后得到处理过的信号。其中卷积块由一个卷积层、一个批归一化层和一个ReLU激活函数层构成。
进一步的，所述判决网络具体结构为6层，前5层结构相同，均由卷积层、批归一化层和ReLU激活函数层构成，最后一层由卷积层和一个Sigmoid激活函数层构成。
进一步的，所述信道网络的训练方法为：
初始化优化算法Adam、学习率α、批量尺寸b、训练轮数e、生成器参数θg0、判别器参数θd0、梯度惩罚系数λgp；
从高斯分布中随机生成一组向量z作为生成器的输入，让z通过生成器得到g；
从真实分布中采样作为向量m；
从(0,1)连续均匀分布中采样出一组随机数t，得到采样
根据判别器的损失函数计算判别器损失，同时计算其关于每个网络参数的梯度，再使用Adam优化器对判别器进行参数更新；
重新从高斯分布中随机生成一组向量z′作为生成器的输入；
根据生成器的损失函数计算生成器损失，同时计算其关于每个网络参数的梯度，再使用Adam优化器对生成器进行参数更新；
重复直到训练轮次结束。
进一步的，所述发射网络、预处理网络以及判决网络的参数训练方法是，定义损失函数：
其中θt,θp,θde分别为发射网络、预处理网络以及判决网络的参数，d(x,y)为两向量之间的距离度量，采用二元交叉熵或均方误差作为可选用的距离度量，在这两种度量下，整个网络的任务分别视为码元分类任务以及波形恢复任务，对应的损失函数分别为：
具体训练过程为：
初始化优化算法Adam、学习率α、批量尺寸b、训练轮数e、帧长L、发射网络参数θt0、预处理网络参数θp0、判决网络参数θde0；
随机生成一组0-1信息比特s∈{0,1}b×1×L作为发射数据；
使发射数据s通过发射网络得到发射信号
其中第二维的两个部分分别代表基带信号的实部与虚部；
令发射信号x叠加信道模拟网络产生的模拟噪声g得到接收信号y；
令接收信号y依次通过预处理网络与判决网络，再由判决函数It(·)判决，最后得到恢复的信息数据
根据损失函数中的Lb计算s与
间的E2E损失，同时计算其关于每个网络参数的梯度，使用Adam优化器对三个网络进行参数更新；
重复训练轮次结束。
本发明的有益效果：本发明利用深度学习技术解决传统理论难以处理的非高斯噪声信道通信问题：首先通过根据脉冲噪声的特性设计信道模拟器实现了对噪声的捕捉，而不需要准确的数学模型；接着，通过精心设计的E2E系统框架有效地在抑制脉冲噪声的同时尽量保留信号中原本包含的信息，从而实现非高斯噪声下逼近最优的通信；同时，利用E2E系统的全局优化以及MWSRN网络的强大能力，该发明可以无需导频实现在准静态衰落的非高斯噪声信道下的通信。
附图说明
图1是本发明提供的E2E系统结构。
图2是本发明提供的以GAN为基础的实施例信道模拟网络结构。
图3是本发明提供的实施例MWCNN与MWSRN结构。
图4是本发明提供的实施例E2E系统训练过程。
图5是本发明提供的实施例与传统方法模拟噪声WD对比直方图。
图6是本发明提供的发明所设计E2E系统与传统方法误码率性能对比。
图7是本发明提供的发明所设计E2E系统与传统方法误码率性能对比(准静态衰落混合噪声)。
具体实施方式
下面结合附图，对本发明技术方案进行详细描述：
本发明中将混合噪声建模为脉冲噪声与高斯噪声之和，其中脉冲噪声建模为对称α稳定(Symmetricα-Stable，SαS)分布，因此信道噪声可以建模为
m＝ms+mg,ms～Sα(γ,0,0),mg～N(0,σ2) (1)
其中Sα(γ,0,0)代表特征参数为α，尺度参数为γ，偏斜参数β和位置参数δ均为0的SαS分布；N(0,σ2)代表均值为0，方差为σ2的高斯分布。同时定义脉冲强度λ＝2γα/σ2，为混合噪声中脉冲噪声部分与高斯噪声部分的等效功率之比，代表该场景下混合噪声的脉冲强度。λ越大，噪声中的脉冲成分越多，反之则越趋近于高斯噪声。
本发明的技术方案是非高斯噪声下基于深度学习的E2E通信波形设计系统，整个系统组成框图见图1。如图1所示，该系统包含发射机、信道模拟器、接收机三个模块。首先，发射网络ft(·)将发射数据s＝[s1,…,sL],si∈{0,1},i∈{1,2,…,L}根据信道特性转化为适宜在信道中传输的发射信号
其中L代表输入数据长度，N代表发射信号长度，L/N≤1可被视为该系统的码率。信道模拟器负责在信道条件未知、且导引数据有限的情况下，利用观测到的噪声样本m来生成与其足够相近的模拟噪声g，为各个网络组件的优化提供条件。发射机的输出经过信道模拟器后叠加噪声，利用预处理网络fp(·)处理信道脉冲噪声引入的异常值，处理过的信号再由判决网络fde(·)进行判决It(·)得到接收数据/>
具体地，该发明包括：
模块1：发射网络
由于卷积神经网络(Convolutional Neural Network,CNN)具有出色的捕捉信息的能力，且所需要的参数少，因此本发明采用卷积神经网络设计发射机与接收机。整个发射与接收网络构成一个自编码器(Auto-Encoder，AE)结构，其中发射机作为编码器(Encoder)，基于信道特性实现对输入数据的转换；接收机作为解码器(Decoder)实现对被信道噪声干扰的发射波形的恢复，最终完成信息传输功能。本发明的自编码器的目标是学习对于发射数据s的另一种表示，即发射信号x，学习到的发射信号x需要在受到信道的影响(例如：干扰、噪声、衰落、失真)的情况下，即从发射信号x到接收信号y的映射中具有鲁棒性。这样，接收机可以以极小的错误概率从接收信号y中恢复出传输的消息。发射机是一个主要由卷积层构成的前馈神经网络，其输入为数据流s＝[s1,s2,…,sL]，其中L为数据长度，si∈{0,1},i∈{1,2,…L}。数据流经过发射机映射ft(·)转化为发射信号
其中N为发射信号长度，发射信号通过N次使用信道发送给接收机。另外，通常情况下为了确保x上的物理约束得到满足，发射机的硬件会对x加以限制，因此在发射机末尾添加归一化层中对x进行特定的约束，例如，能量限制/>
幅度限制/>
或者是平均功率限制/>
模块2：信道模拟网络
信道模拟网络是实现E2E波形优化的基础，旨在捕捉信道噪声的特性，模拟其统计分布pn，然后利用模拟得到的分布pg生成与其相近的模拟噪声g。如此，原信号受噪声干扰的过程可以替代为
本发明选择使用对抗式生成网络(GenerativeAdversarial Net,GAN)结构作为信道模拟网络的基础结构，并基于脉冲噪声特性进一步改进常规的GAN网络，提出可生成脉冲的GAN网络(Impulsive Generative Adversarial Net,IGAN)，相比于普通GAN，IGAN更加适用于非高斯场景。
本发明采用的以GAN为基础的信道模拟网络由生成器G与判别器D两部分组成，具体组成见图2。由于GAN本身难以训练，本发明采用以Wasserstein距离和梯度惩罚项来构成损失函数的方案。此时，生成器G的损失函数如下所示
判别器D的损失函数如下所示
其中E[x]代表随机变量x的数学期望，θg与θd分别代表生成器G与判别器D中的所有可训练参数，z代表一组服从某一分布(一般使用高斯分布)的生成器G输入随机矢量，m代表环境噪声矢量，g代表生成器的模拟噪声矢量，gp(·)代表梯度惩罚项，λ代表梯度惩罚项的权重，
代表g与m的凸组合，组合系数由均匀分布采样得到，x～px(x)代表x中元素xi独立同分布服从于给定的分布px(·)，/>
代表函数f关于变量x的梯度。
GAN在训练过程中会遇到模式塌缩现象，即网络放弃学习复杂的最优解，而陷入简单的局部最优解的现象，这种现象在模拟脉冲噪声和脉冲与高斯混合噪声时尤其明显。为了解决这一问题，本发明提出在生成器的损失函数中引入两个正则项约束生成器的训练。第一个正则项称为U型函数，其表达式为
其中xm代表该U型函数的边界。该函数与零阶第一类贝塞尔函数是一对傅里叶变换对，其特点就是其在边界附近有非常大的值，如果取xm→1并结合图2中的归一化，就可以实现对脉冲特性的保留。第二个正则项函数为V(a,b)＝(||a||2-||b||2)2，该函数可以衡量两个向量的长度差或者理解为两个信号的能量之差，这个函数也会帮助生成脉冲噪声的分布。本发明利用这两个函数设计生成器的损失函数：
其中α1,α2分别代表两种正则项的权重，xm取1+ε，ε为一足够小的正数使1+ε趋近于1，从而保证归一化的噪声在U型正则化项的定义域之内，α1,α2,ε均为可调节的参数，可以根据不同的实际环境进行调整。
信道模拟网络的训练方法流程如下：
1、初始化优化算法Adam、学习率α、批量尺寸b、训练轮数e、生成器参数θg、判别器参数θd、梯度惩罚系数λgp；
2、从高斯分布中随机生成一组向量z作为生成器的输入，让z通过生成器得到g；
3、从真实分布中采样作为向量m；
4、从(0,1)连续均匀分布中采样出一组随机数t，得到采样
5、根据式(3)计算判别器损失，使用Adam优化器对判别器进行参数更新；
6、重新从高斯分布中随机生成一组向量z′作为生成器的输入；
7、根据式(5)计算生成器损失，使用Adam优化器对生成器进行参数更新；
8、重复步骤2-7，直到训练轮次结束。
模块3：接收机网络。
在许多通信场景当中，信道中会存在明显的脉冲噪声，这对于传统技术以及以深度学习为基础的E2E通信技术来说都是一个挑战，因此本发明设计了一个接收机来使其能够在脉冲噪声下依旧达到良好的性能。本发明将接收机分为预处理网络与判决网络，其中，预处理网络用来抑制脉冲噪声所带来的异常值，从而使处理过的信号能够被后续的判决网络有效利用。预处理网络是该E2E系统可以在非高斯噪声下能够良好工作的关键，由于脉冲噪声的特性，接收端收到的信号会带有很多异常值，常规接收机包括常规网络在这种异常值的干扰下都会无法正常工作，因此需要一个在尽量不破坏原接收信息的情况下处理异常值的模块。
加性混合非高斯噪声信道下，本发明采用多级小波变换卷积神经网络(Multi-level Wavelet Convolutional Neural Network，MWCNN)架构来设计该预处理网络。受到脉冲噪声污染的接收信号首先送到该预处理网络，网络对其中的异常值进行预处理，然后送到判决网络进行判决，表示为r＝fp(y)，其中r为处理后信号，y为接收信号。该预处理网络由堆叠的离散小波变换(Discrete Wavelet Transform，DWT)或反离散小波变换(Inverse DWT，IWT)层以及相应的卷积块所构成。在下行的特征提取过程中，受到污染的信号首先由DWT分离高频与低频部分，再进行拼接，送入之后的卷积层提取特征，经过若干级上述变换后进入上行信号重构部分；被分解的信号同样先由卷积层来重新表示，再由IWT层重新整合高频与低频的部分，如此几级最后得到恢复出的信号；同时使用相加来连接下行路和上行路的同一级，从而实现同一级的特征沟通，进一步提高信息的利用效率以及重构的可靠性。MWCNN的结构如图3所示，其中Conv 1d代表一维卷积层，BatchNorm1d代表1维批归一化层，ReLU代表激活函数使用ReLU，Conv Block1/2代表由Conv 1d、BatchNorm1d、ReLU等组成的卷积网络块。
实际信道中，信道不可避免地存在信道衰落，为了在衰落信道下依然能够进行鲁棒的通信，本发明采用了多级小波信号恢复网络(Multi-level Wavelet Signal RecoveryNetwork，MWSRN)作为预处理网络来实现衰落混合噪声信道下的通信。相对于MWCNN，MWSRN在每一级的连接中加入信道特征提取单元，并使用提取出的信道特征对信号进行补偿，从而使该发明可以处理信道引入的乘性干扰。同时，由于E2E系统可以自动根据当前信道特性学习最优通信波形，且由于MWSRN的强大处理能力，该发明可以无需使用导频而实现在准静态衰落的非高斯噪声信道下的通信。MWSRN的网络结构同样如图3所示。
检测网络相当于是传统的接收机模块，其作用可以表示为
其中p＝fde(r)为接收机的直接输出，由于最后一层使用Sigmoid层进行激活，所以p∈(0,1)N，可以视其为似然比，在此基础上It(·)为判决函数，/>
同理/>
由此得到/>
然后以发射端的数据流作为标签，与判决得到的/>
一起计算二元交叉熵损失或者是均方误差损失(前者视网络进行分类任务，后者视网络进行波形恢复的任务)，然后进行随机梯度下降与反向传播即可对网络进行优化。
具体的网络构建方式为：
根据表与图3中的MWCNN(MWSRN)网络结构搭建E2E通信系统。验证信道为加性混合噪声信道以及单径准静态衰落信道(假设为VLF通信场景)，多普勒谱为Jakes谱，最大频偏为fm＝1Hz。
表1实施例信道模拟网络参数
表2实施例发射与判决网络参数
实施步骤如下：
步骤1：根据表1和表2与图3搭建E2E系统，输入帧长度设为128。
步骤2：训练信道模拟网络模拟环境噪声。
先由信道模拟网络接收环境中的非高斯噪声，然后开始对其进行训练，信道模拟网络的训练方法流程如下所示。
1、初始化优化算法Adam、学习率α、批量尺寸b、训练轮数e、生成器参数θg0、判别器参数θd0、梯度惩罚系数λgp；
2、从高斯分布中随机生成一组向量z作为生成器的输入，让z通过生成器得到g；
3、从真实分布中采样作为向量m；
4、从(0,1)连续均匀分布中采样出一组随机数t，得到采样
5、根据式(3)计算判别器损失，同时计算其关于每个网络参数的梯度，再使用Adam优化器对判别器进行参数更新；
6、重新从高斯分布中随机生成一组向量z′作为生成器的输入；
7、根据式(5)计算生成器损失，同时计算其关于每个网络参数的梯度，再使用Adam优化器对生成器进行参数更新；
8、重复步骤2-7，直到训练轮次结束；
由此得到与真实环境高度相似的模拟噪声g。
步骤3：通过向信道模拟网络输入服从高斯分布的随机变量z，使训练完成的信道模拟网络生成与环境噪声高度相似的模拟噪声g。
步骤4：利用由信道模拟器生成的模拟噪声对发射机与接收机进行训练。
训练发射与接收网络的目标是使发射数据与接收端解码出的数据间的差错尽可能小，本发明设计从发射网络到接收网络的E2E损失为：
其中θt,θp,θde分别为发射网络、预处理网络以及判决网络的参数，d(x,y)为两向量之间的距离度量。本发明采用二元交叉熵(Binary Cross-Entropy，BCE)或均方误差(Mean Square Error，MSE)作为可选用的距离度量，在这两种度量下，整个E2E网络的任务可以分别视为码元分类任务以及波形恢复任务。对应的损失函数分别为：
在式(7)的E2E监督下，整个E2E系统的训练过程如图4所示。训练同时对系统进行验证，当误码率趋于收敛或达到预期时即可停止训练。训练方法流程如下所示
1、初始化优化算法Adam、学习率α、批量尺寸b、训练轮数e、帧长L、发射网络参数θt0、预处理网络参数θp0、判决网络参数θde0；
2、随机生成一组0-1信息比特s∈{0,1}b×1×L作为发射数据；
3、使发射数据s通过发射网络得到发射信号
其中第二维的两个部分分别代表基带信号的实部与虚部；
4、令发射信号x叠加信道模拟网络产生的模拟噪声g得到接收信号y；
5、令接收信号y依次通过预处理网络与判决网络，再由判决函数It(·)判决，最后得到恢复的信息数据
6、根据式(7)中的Lb计算s与
间的E2E损失，同时计算其关于每个网络参数的梯度，使用Adam优化器对三个网络进行参数更新；
7、重复流程2-6，直到训练轮次结束。
步骤5：将训练好的发射网络与接收网络部署到实际场景中。
将想要传输的数据按预定帧长划分为帧，然后交给发射网络，发射网络会根据信道特性自动设计出当前场景下最优的通信波形。发射信号经过信道后由接收网络进行接收，接收网络中的预处理网络可以抑制脉冲噪声以及信道衰落的影响，最后再由判决网络恢复出原始数据。
该发明采用Wasserstein-1距离(Wasserstein-1Distance,WD)来衡量噪声模拟效果。因为模拟器的输出以及从环境中的噪声采样均为离散的形式，而WD可以度量拥有不同支撑集的两分布之间的距离，所以采用其为度量标准。WD定义为
其中Γ(P,Q)是
上的联合分布，且边缘分布分别为P和Q。WD可以看作是将一个分布转化为另一个分布的最小代价。本发明考虑三种不同情况：强脉冲性的混合噪声、脉冲高斯一样强的混合噪声与弱脉冲的混合噪声，对应于λ＝10,1,0.1三种情况。表3中给出三种情况下(脉冲噪声特征指数α均为1.5)本发明和传统方法(G.Sureka and K.Kiasaleh,“Sub-optimum receiver architecture for WGN channel with symmetric alpha-stable interference,”IEEE Trans.Commun.,vol.61,no.5,pp.1926–1935,Mar.2013.)与实际噪声间的WD对比。
表3本发明与传统方法WD对比
| WD | 本发明 | 传统方法 |
| λ＝0.1 | 0.011 | 0.009 |
| λ＝1 | 0.007 | 0.008 |
| λ＝10 | 0.008 | 0.012 |
由表3可以看出两种方法在当前情况下模拟的结果与真实噪声间的WD均可达到10-2量级。在脉冲噪声强时本发明效果比传统方法要好，在噪声趋近于高斯噪声时本发明稍逊一筹，该种情况下本发明与传统方法模拟结果对比直方图如图5所示，可以发现差异很小。仿真结果表明信道模拟器能达到与传统经验近似分布相同甚至更好的效果
发明的E2E系统采用误比特率(Bit Error Rate，BER)与广义Eb/N0来表示系统性能好坏以及信道中信号与噪声的强弱关系。同时定义广义信噪比
其中Ps代表信号的平均功率。广义信噪比与广义Eb/N0之间的关系为
实施例分别在Eb/N0＝10dB(场景1)与10-30dB处(场景2)训练该E2E波形设计系统，选取MSK调制技术作为基线标准，且MSK调制使用维特比(Viterbi)算法进行解调，支路测度分别选择经过Myriad滤波器滤波后的高斯测度、Myriad测度以及近似经验分布为基础的近似最大似然(Maximum Likelihood，ML)测度，同时与没有针对非高斯噪声环境优化的一般E2E系统进行对比，并给出对应的BER随广义Eb/N0变化的曲线，性能如图6所示。其中，场景1为加性混合噪声的情况，场景2为准静态衰落混合噪声的情况，两种场景下噪声参数均为α＝1.5，λ＝1。从仿真结果可以看到，无论是场景1还是场景2，本发明所设计的E2E通信波形设计系统的性能都远超各种传统方法。
Claims (7)
1.一种非高斯噪声下基于深度学习的端到端通信系统，其特征在于，包括发射网络、信道网络、预处理网络和判决网络；
所述发射网络是由卷积层构成的前馈神经网络，发射网络的输入数据为发射数据，定义发射数据为s＝[s1,s2,...,sL]，其中L为数据长度，si∈{0,1},i∈{1,2,...L}；发射网络将发射数据转化为发射信号
其中N为发射信号长度，ft(·)是发射机映射函数；
所述信道网络用于生成与环境噪声相似的模拟噪声，信道网络为可生成脉冲的GAN网络，由生成器G与判别器D两部分组成；生成器G的损失函数为：
判别器D的损失函数为：
其中，α1,α2为权重，U1+ε(g)为U型函数，U型函数的定义为：
xm代表该U型函数的边界，xm取1+ε，ε为一足够小的正数使1+ε趋近于1，V(g,m)函数的定义是：V(a,b)＝(||a||2-||b||2)2，用于衡量两个向量的长度差；E[x]代表随机变量x的数学期望，θg与θd分别代表生成器G与判别器D中的所有可训练参数，z代表一组服从高斯分布的生成器G输入随机矢量，m代表环境噪声矢量，g代表生成器的模拟噪声矢量，gp(·)代表梯度惩罚项，λ代表梯度惩罚项的权重，
代表g与m的凸组合，组合系数由均匀分布采样得到，x～px(x)代表x中元素xi独立同分布服从于给定的分布px(·)，/>
代表函数f关于变量x的梯度；
发射数据s通过发射网络得到发射信号x，发射信号发射到信道中后与训练完成的信道网络产生的模拟噪声g构成接收信号y，接收信号再由预处理网络进行接收；
所述预处理网络接收发射符号得到接收信号y，预处理网络为多级小波变换卷积神经网络，用于抑制脉冲噪声所带来的异常值，其对于受到脉冲噪声污染的信号的作用视为映射fp(y)，将预处理网络的输出表示为r＝fp(y)；
所述判决网络用于恢复出原始数据，其作用定义为映射fde(r)，判决网络根据预处理网络处理后的信号得到对发射数据的估计
2.根据权利要求1所述的一种非高斯噪声下基于深度学习的端到端通信系统，其特征在于，所述发射网络的具体结构为4层，前3层结构相同，均由卷积层、批归一化层和ReLU激活函数层构成，最后一层由卷积层和一个Tanh层构成。
3.根据权利要求2所述的一种非高斯噪声下基于深度学习的端到端通信系统，其特征在于，所述信道网络分为生成器与判别器两部分，其中生成器具体结构为5层，前4层结构相同，均由线性层、批归一化层和ReLU激活函数层构成，最后一层由线性层和一个Tanh激活函数层构成；判别器具体结构为3层，前2层结构相同，均由线性层、LeakyReLU激活函数层构成，最后一层由线性层构成。
4.根据权利要求3所述的一种非高斯噪声下基于深度学习的端到端通信系统，其特征在于，所述预处理网络由4级离散小波变换和相应一系列卷积网络构成，分为分解信号过程和重构信号过程；分解信号过程中，每一级先通过离散小波变换处理输入信号，再将分解出的高频分量与低频分量拼接起来一起通过由4个卷积块构成的卷积网络，如此进行4级操作然后进入重构阶段；重构阶段先同样由4个卷积块构成的卷积网络处理输入信号，再由离散反小波变换进行信号恢复，如此进行4级操作最后得到处理过的信号；其中卷积块由一个卷积层、一个批归一化层和一个ReLU激活函数层构成。
5.根据权利要求4所述的一种非高斯噪声下基于深度学习的端到端通信系统，其特征在于，所述判决网络具体结构为6层，前5层结构相同，均由卷积层、批归一化层和ReLU激活函数层构成，最后一层由卷积层和一个Sigmoid激活函数层构成。
6.根据权利要求5所述的一种非高斯噪声下基于深度学习的端到端通信系统，其特征在于，所述信道网络的训练方法为：
初始化优化算法Adam、学习率α、批量尺寸b、训练轮数e、生成器参数θg0、判别器参数θd0、梯度惩罚系数λgp；
从高斯分布中随机生成一组向量z作为生成器的输入，让z通过生成器得到g；
从真实分布中采样作为向量m；
从(0,1)连续均匀分布中采样出一组随机数t，得到采样
根据判别器的损失函数计算判别器损失，同时计算其关于每个网络参数的梯度，再使用Adam优化器对判别器进行参数更新；
重新从高斯分布中随机生成一组向量z′作为生成器的输入；
根据生成器的损失函数计算生成器损失，同时计算其关于每个网络参数的梯度，再使用Adam优化器对生成器进行参数更新；
重复直到训练轮次结束。
7.根据权利要求6所述的一种非高斯噪声下基于深度学习的端到端通信系统，其特征在于，所述发射网络、预处理网络以及判决网络的参数训练方法是，定义损失函数：
其中θt,θp,θde分别为发射网络、预处理网络以及判决网络的参数，d(x,y)为两向量之间的距离度量，采用二元交叉熵或均方误差作为可选用的距离度量，在这两种度量下，整个网络的任务分别视为码元分类任务以及波形恢复任务，对应的损失函数分别为：
具体训练过程为：
初始化优化算法Adam、学习率α、批量尺寸b、训练轮数e、帧长L、发射网络参数θt0、预处理网络参数θp0、判决网络参数θde0；
随机生成一组0-1信息比特
作为发射数据；
使发射数据s通过发射网络得到发射信号
其中第二维的两个部分分别代表基带信号的实部与虚部；
令发射信号x叠加信道模拟网络产生的模拟噪声g得到接收信号y；
令接收信号y依次通过预处理网络与判决网络，再由判决函数It(·)判决，最后得到恢复的信息数据
根据损失函数中的Lb计算s与
间的E2E损失，同时计算其关于每个网络参数的梯度，使用Adam优化器对三个网络进行参数更新；
重复训练轮次结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310349710.4A CN116405158A (zh) | 2023-04-04 | 2023-04-04 | 一种非高斯噪声下基于深度学习的端到端通信系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310349710.4A CN116405158A (zh) | 2023-04-04 | 2023-04-04 | 一种非高斯噪声下基于深度学习的端到端通信系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116405158A true CN116405158A (zh) | 2023-07-07 |
Family
ID=87009812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310349710.4A Pending CN116405158A (zh) | 2023-04-04 | 2023-04-04 | 一种非高斯噪声下基于深度学习的端到端通信系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116405158A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095073A (zh) * | 2023-08-23 | 2023-11-21 | 浙江大学 | 一种基于深度学习的医学图像的去噪方法及装置 |
-
2023
- 2023-04-04 CN CN202310349710.4A patent/CN116405158A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095073A (zh) * | 2023-08-23 | 2023-11-21 | 浙江大学 | 一种基于深度学习的医学图像的去噪方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ye et al. | Deep learning-based end-to-end wireless communication systems with conditional GANs as unknown channels | |
| Qin et al. | Deep learning in physical layer communications | |
| Ye et al. | Channel agnostic end-to-end learning based communication systems with conditional GAN | |
| CN110460402B (zh) | 一种基于深度学习的端到端通信系统建立方法 | |
| CN108650201B (zh) | 基于神经网络的信道均衡方法、译码方法及对应设备 | |
| Ozpoyraz et al. | Deep learning-aided 6G wireless networks: A comprehensive survey of revolutionary PHY architectures | |
| CN107038421A (zh) | 基于稀疏堆栈自编码的调制样式识别方法 | |
| CN103117964B (zh) | 一种60GHz毫米波通信系统下的信号检测方法与装置 | |
| CN113381828B (zh) | 基于条件生成对抗网络的稀疏码多址接入随机信道建模方法 | |
| CN112115821B (zh) | 一种基于小波近似系数熵的多信号智能调制模式识别方法 | |
| CN114362859B (zh) | 增强条件生成对抗网络的自适应信道建模方法及系统 | |
| CN113630130B (zh) | 端到端数字通信解调方法 | |
| CN116405158A (zh) | 一种非高斯噪声下基于深度学习的端到端通信系统 | |
| CN109728824A (zh) | 一种基于深度学习的ldpc码迭代译码方法 | |
| Smith et al. | A communication channel density estimating generative adversarial network | |
| Mashhadi et al. | Fedrec: Federated learning of universal receivers over fading channels | |
| Madhubabu et al. | Long-short term memory based channel prediction for SISO system | |
| Azari et al. | Automated deep learning-based wide-band receiver | |
| Farsad et al. | Neural network detectors for molecular communication systems | |
| Lu et al. | Attention-Empowered Residual Autoencoder for End-to-End Communication Systems | |
| CN113489545B (zh) | 基于k均值聚类的光空间脉冲位置调制分步分类检测方法 | |
| CN112821971A (zh) | 一种基于对抗式学习的时变信道信号检测方法 | |
| Tan et al. | MSK demodulator and impulsive noise depression based on convolutional neural network with gated layers | |
| Gorday et al. | LMS to deep learning: How DSP analysis adds depth to learning | |
| CN113794659B (zh) | 一种信道估计与信号检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |