CN113112003A - 基于自编码器的数据增广改善深度学习信道估计性能方法 - Google Patents
基于自编码器的数据增广改善深度学习信道估计性能方法 Download PDFInfo
- Publication number
- CN113112003A CN113112003A CN202110404444.1A CN202110404444A CN113112003A CN 113112003 A CN113112003 A CN 113112003A CN 202110404444 A CN202110404444 A CN 202110404444A CN 113112003 A CN113112003 A CN 113112003A
- Authority
- CN
- China
- Prior art keywords
- encoder
- data
- channel estimation
- self
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 230000003321 amplification Effects 0.000 title claims abstract description 19
- 238000003199 nucleic acid amplification method Methods 0.000 title claims abstract description 19
- 230000006872 improvement Effects 0.000 title description 2
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000012360 testing method Methods 0.000 claims abstract description 46
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 41
- 238000013434 data augmentation Methods 0.000 claims abstract description 35
- 238000004891 communication Methods 0.000 claims abstract description 30
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 230000003190 augmentative effect Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 239000004576 sand Substances 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000013507 mapping Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种在无线通信场景下基于自编码器的最优数据增广改善深度学习信道估计性能的方法，包括以下步骤，建立两个用于信道估计的基本卷积神经网络模型；获取无线通信信道估计的训练集，并基于自编码器进行数据增广，得到增广数据；增广数据通过信道估计基本卷积神经网络模型，得到基于自编码器的数据增广方法在测试集上的均方误差值与数据集大小的关系；基于步骤3中少量的实验数据，提出一种简单的直线交点检测方法，获取自编码器提升无线通信信道估计模型性能时的数据集大小的阈值。通过本发明可以获取自编码器最大限度提升无线通信系统性能时的数据集阈值，对于使用自编码器对模型进行数据增广具有实际价值。
Description
技术领域
本发明涉及无线通信的技术领域，尤其涉及基于自编码器的数据增广改善深度学习信道估计性能方法。
背景技术
在通信系统中，接收到的信号通常会因信道特性而失真，为了恢复所发送的符号，必须在接收机处估计并进行补偿。通常，接收器使用一些称为导频的符号来估计信道，这些符号的时频位置对于发射器和接收器都是已知的。常规的基于导频的信道估计方法有最小二乘法和最小均方误差法，都是利用导频值来估计信道响应的未知值。如何降低这些方法的复杂度并保证估计性能，一直是无线通信领域的研究热点。深度学习在音频信号处理、图像和视频处理以及无线通信方面都实现了前所未有的发展。在基于深度学习的通信系统中，可以将信道矩阵视为图像，然后将计算机视觉领域用于降噪的网络用于信道估计，以此获得基于深度学习的无线通信系统中的信道估计模型。
但是，训练深度学习模型需要大量的训练样本，训练数据的不足会导致严重的过拟合问题并降低模型精度。实际上，收集大量样本以训练深度学习模型需要时间和相关领域的知识，这既昂贵又困难。数据增广是解决上述问题的常用技术之一，它可以增加数据集中的相关数据，让模型学习更多与数据相关的特性。进而有效地避免过拟合，使训练后的模型更加具有鲁棒性，并显著提高泛化性能。数据增广被广泛用于提高图像和文本分类任务的性能，如AutoAug和RandAug之类的先进方法已针对这些任务进行了数据增广方案的设计和优化，并获得了最先进的成果。然而，数据增广对基于深度学习的信道估计模型的影响尚未得到充分的研究。
由于当前典型的数据增广方法都是针对具有语义信息的图像分类任务而设计的，然而信道估计问题通常是一个回归任务，因此典型的数据增广方法并不适用于信道估计问题。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供了基于自编码器的数据增广改善深度学习信道估计性能方法，该发明能够确定数据集阈值，使基于自编码器的数据增广方法最大限度提升深度学习网络模型的性能。
技术方案：为了实现上述发明目的，本发明提供了基于自编码器的数据增广改善深度学习信道估计性能方法，包括以下步骤，
步骤1，建立两个用于信道估计的基本卷积神经网络模型；
步骤2，获取无线通信信道估计的训练集，并基于自编码器进行数据增广，得到增广数据；
步骤3，增广数据通过信道估计基本卷积神经网络模型，得到基于自编码器的数据增广方法在测试集上的均方误差值与数据集大小的关系；
步骤4，建立直线交点检测法模型，获取自编码器提升无线通信信道估计模型性能时的数据集大小的阈值。
进一步的，在本发明中：所述步骤1还包括以下步骤，
步骤1-1，将导频相应的时频数据建模为2维图像，采用图像超分辨率卷积神经网络，为信道估计问题建立第一个神经网络模型；
步骤1-2，将步骤1-1中模型的输出数据建模为2维图像，采用一种图像去噪卷积神经网络，为信道估计问题建立第二个神经网络模型。
进一步的，在本发明中：所述步骤2还包括以下步骤，
步骤2-1，所述自编码器包括编码器f、解码器g和损失函数，所述编码器f将输入的训练集的信号x转换为编码信号z，所述解码器g将编码信号z转换为输出信号x'，即满足以下关系：
步骤2-2，通过三层的深度神经网络对编码器f和解码器g进行参数化，编码器f和解码器g的参数分别为Kf和Kg，给定编码器f的函数为f:x→z，解码器g的函数为g:z→x'，数据集的重构误差为，
其中，J为损失函数；
假设解码器g服从以为中心的高斯分布，可以将上述损失函数简化为：
给定一个经过严格训练后的自编码器
可以得到
步骤2-3，获取x的低维表示，即
给z加上扰动，得到
并使用解码器g生成新数据
经过训练后的自编码器f满足下式：
其中，
进一步的，在本发明中：所述步骤2中对自编码器f的训练还包括，基于early-stop方法对自编码器的
进行训练，且满足：
其中，c和d为超参数，如初始学习率，本实施例中取c＝0.2，d＝0.3，也可由本领域专业人员根据实验结果进行调整；
基于非完美编码器生成
和新数据
进一步的，在本发明中：所述步骤3还包括，
步骤3-1，对于单输入单输出的通信链路，其发送器和接收器之间的信道时频响应矩阵为H，发送器和接收器之间的无线通信信道估计的输入为导频值向量h，输出为信道估计矩阵
满足如下公式：
其中，fs和fR分别是图像超分辨率卷积神经网络和图像去噪卷积神经网络；
步骤3-2，构建与实际环境相符合的仿真环境，生成用于信道估计任务的数据集，将该数据集分为训练集
和测试集
且训练集和测试集中的数据不重叠，其中，训练数据集和测试数据集的大小分别为NT和NV；
步骤3-3，将包含多个训练样本的训练集划分为百量级、千量级和万量级的子数据集，再将不同大小的训练集样本通过信道估计基本卷积神经网络模型，得到数据集大小与测试集均方误差的关系曲线；
步骤3-4，将经过数据增广后的不同大小的训练集输入信道估计基本卷积神经网络模型，且保持测试集样本和步骤3-3中的一样，得到数据集大小与测试集均方误差的关系曲线。
进一步的，在本发明中：所述步骤4还包括，
步骤4-1，当总数据集大小在104和105的数量级时，初始实验数据集大小分别为百数量级和千数量级，其他情况依次类推；
步骤4-2，若初始实验数据集大小为D1，则选择一个测试点(D2,y2)，其中D2为训练数据集大小，且D2＝D1×n(n＝1,2,3,...)，y2为在测试集均方误差值开始变得相对缓慢的点，当某一点之前的均方误差值和其之后的均方误差值相差0.1以上时，取该点作为分界点y2；
步骤4-3，若整个数据集D的大小为D＝U×10λ，则设置
其中，U和λ分别为数据集D的有效位数和量级，
为向下取整函数，选择一个测试点(D3,y3)，其中D3＝D-n×(D-D4)(n＝1,2,3,...)，且y3是在测试集上获得的神经网络的测试损失值；
步骤4-4，基于自编码器的数据增广方法，分别计算数据集大小为D2和D3时的测试损失y4和y5，根据测试点(D2,y2)和(D3,y3)确定第一线性方程曲线，根据(D2,y4)和(D3,y5)确定第二线性方程曲线，并将第一线性方程和第二线性方程曲线的交点的横坐标作为阈值，当数据集大小超过该阈值时，自编码器因增强数据的噪声而失效。
有益效果：本发明与现有技术相比，其有益效果是：
(1)本发明通过获取基于自编码器的数据增广方法对于无线通信性能的影响，得到数据集小大的阈值，当数据集小于该阈值时，基于自编码器的数据增广方法能有效提升深度学习网络模型性能，但当数据集大于该阈值时，则不能继续提升深度学习网络模型性能，通过阈值的确定选择合适大小的数据集，既能最大限度提升深度学习网络模型性能，同时减小训练负担；
(2)本发明提出使用基于自编码器的生成模型来增广信道估计的训练数据集，自编码器不仅可以用于计算机视觉领域的降维和去噪任务，还可以作为生成模型用于生成数据，本发明提出了基于自编码器的数据增广方法改善信道估计的条件，以及简单地确定此条件的方法。
附图说明
图1为本发明所述基于自编码器的数据增广改善深度学习信道估计性能方法的整体流程示意图；
图2为本发明中图像超分辨率卷积神经网络模型结构示意图；
图3为本发明中图像去噪卷积神经网络模型结构示意图；
图4为本发明中不同量级数据样本在使用和未使用基于自编码器的数据增广方法下无线通信信道估计模型性能曲线对比图以及直线交点检测法的结果对比示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
本发明可以用许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。
如图1所示，为本发明提出的基于自编码器的数据增广改善深度学习信道估计性能方法的整体流程示意图，该方法具体包括以下步骤，
步骤1，建立两个用于信道估计的基本卷积神经网络模型，包括图像超分辨率卷积神经网络模型和图像去噪卷积神经网络模型；
具体的，步骤1还包括以下步骤，
步骤1-1，将导频相应的时频数据建模为二维图像，该二维图像仅包括导频位置数据，将多个导频获取的信道作为低分辨率图像，真实信道则作为高分辨率图像，由此可将信道估计问题转换为图像超分辨率恢复问题；进一步将图像超分辨率卷积神经网络模型作为信道估计问题的第一个神经网络模型，用于增强分辨率低的输入图像；
进一步的，所述图像超分辨率卷积神经网络模型的构建还包括以下步骤：
步骤1-1-1，使用双三次插值法将输入图像缩放至低分辨率图像；
步骤1-1-2，从生成的三次插值的低分辨率图像中提取特征，特征提取公式如下:
F1(Y)＝max(0,W1*Y+B1)
其中，F1、Y、W1和B1分别表示特征提取映射函数、双三次插值的低分辨率输入图像、大小为9×9的滤波器和偏置；
步骤1-1-3，将64维特征向量通过非线性映射到32维特征向量，得到高分辨率图像，其计算公式如下：
F2(Y)＝max(0,W2*F1(Y)+B2)
其中，W2和B2分别是大小为1×1的过滤器和32维向量，F2表示非线性映射函数。
步骤1-1-4，通过重建聚合高分辨率特征以生成最终高分辨率图像，其公式如下：
F(Y)＝W3*F2(Y)+B3
其中，W3和B3分别是大小为1×1的过滤器和64维向量；
图像超分辨率卷积神经网络模型在构建后需要先进行训练，在训练阶段，映射函数F需要估计网络参数Θ＝{W1,W2,W3,B1,B2,B3}，将重建图像定义为F(Y；Θ)，将真实高分辨率图像定义为X，则损失函数L的公式如下：
其中，n为训练图像的数量，Xi为一组高分辨率图像，它们对应的低分辨率图像的集合为Yi。使用随机梯度下降算法将损失函数L最小化，最终获得图像超分辨率卷积神经网络模型，参照图2的示意，为图像超分辨率卷积神经网络模型的架构图。
步骤1-2，将图像超分辨率卷积神经网络模型输出的最终高分辨率图像建模为二维图像，将图像去噪卷积神经网络模型作为信道估计问题的第二个神经网络模型，用于估计低分辨输入对应的高分辨率输出图像。
进一步的，图像去噪卷积神经网络模型的构建还包括以下步骤，
步骤1-2-1，进行图像去噪卷积神经网络模型深度的设计；为了更好地在性能和效率之间进行权衡，需要为图像去噪卷积神经网络模型设置适当的深度，本实施例中，将图像去噪卷积神经网络模型的滤波器大小设置为3×3，并移除图像去噪卷积神经网络模型中所有的池化层。其中，深度为d'的图像去噪卷积神经网络的感受野为(2d'+1)×(2d'+1)。
步骤1-2-2，进行图像去噪卷积神经网络模型架构的设计；本实施例中，设置图像去噪卷积神经网络模型的输入为一个有噪声的观测值y”，且y”＝x”+v，其中，x”为实际输入值，ν”表示噪声，判别降噪模型通过学习映射函数F(y”)＝x”以预测潜在的清晰图像，对于图像去噪卷积神经网络模型，采用残差学习公式来训练残差映射R'(y”)≈v，得到x”＝y”-R'(y”)。通过损失函数最小化残差和噪声输入估计的之间的均方误差，从训练数据中学习图像去噪卷积神经网络模型，损失函数l如下：
其中，Φ为图像去噪卷积神经网络模型中的可训练参数，
表示N个训练样本。
使用上述残差学习和批量归一化方法，构建的图像去噪卷积神经网络模型可用于根据F(y”)预测x”或根据残差映射R'(y”)预测v。参照图3的示意，图像去噪卷积神经网络模型架构如图3所示。
步骤2，获取无线通信信道估计的训练集，建立基于自编码器的数据增广模型，并基于自编码器进行数据增广，得到增广数据；
具体的，步骤2还包括以下步骤，
步骤2-1，采用基于经典自编码器的数据增广方法进行数据增广，自编码器包括编码器f、解码器g和损失函数，所述编码器f将输入的训练集的信号x转换为编码信号z，所述解码器g将编码信号z转换为输出信号x'，即满足以下关系：
其中，f(x)为编码器函数，g(z)为解码器函数，g(f(x))为将编码器f输出的编码信号z输入解码器g进行处理。
步骤2-2，建立数据集，对于给定的数据集D，自编码器通过构建编码信号z来更简单地表示输入信号x，为了确保编码信号z不会丢失输入信号x的关键信息，提升自编码器从编码信号z恢复输入信号x的数量，本实施例中通过一个三层的深度神经网络对编码器f和解码器g进行参数化，得到编码器f和解码器g的参数分别为κf和κg，给定编码器f的函数为f:x→z，解码器g的函数为g:z→x'，数据集D的重构误差即损失函数为，
其中，J为损失函数；
假设解码器g服从以g(f(x))为中心的高斯分布，则可以将上述损失函数J简化为：
给定一个自编码器
经过严格训练后，可以得到其损失函数
步骤2-3，获取输入信号x的低维表示，即可得到
对编码信号z加上扰动，得到真实环境下受到干扰的真实编码信号
且
并使用解码器g生成新数据
经过训练后的自编码器f满足下式：
其中，
进一步的，对自编码器f的训练还包括，
为了减少训练复杂度和训练负载，本实施例中使用基于early-stop方法对自编码器的
进行训练，即：
其中，c和d为超参数，如初始学习率，本实施例中取c＝0.2，d＝0.3，也可由本领域专业人员根据实验结果进行调整。
进一步的，本实施例采用基于early-stop和梯度算法的优化器的方法对自编码器进行训练，其中，基于early-stop对自编码器进行训练的方法不需要将自编码器的损失函数训练到接近于0，而能够在损失函数满足要求的时候提前终止训练，减少了训练复杂度和训练负载；采用基于梯度算法的优化器对自编码器进行训练为当损失函数J(D；κf,κg)满c≤J(D；κf,κg)≤d足时，停止训练；对于数据集D中的数据点(x,y)，通过
和
生成新的数据
进一步的，基于未经过严格训练的编码器生成
基于非经过严格训练的解码器生成新数据
此处利用没有充分训练的自编码器生成新的数据，在保证生成样本能够丰富训练集的同时，降低了自编码器的训练要求。
进一步的，本实施例中对于信道估计任务中自编码器的神经网络的主要参数，具体设置如下表1所示：
表1：自编码器参数设置表
其中，在自编码器的训练过程中，输入样本NT的数量在100到36000之间，测试集的大小Nv固定为4000。由于随着批大小的增加，算法的性能一开始保持不变，然后逐渐增加，直到一个顶点值后突然下降，因此在实际应用中，批大小不能无限增大或越大越好，本实施例中取最大值256。以4为批大小的基础值，即样本数在100到6000之间时，批大小为NT×4/100，相应的学习率为0.001～0.005；而当样本数量在6000～36000时，将批大小设置为256。
实验过程中，在信噪比为22dB的信道估计系统中产生40000个数据，使用sigmoid函数作为自编码器神经网络隐藏层的激活函数；将自编码器生成的数据与相应的原始数据进行拼接后，训练样本数量将增加一倍，并达到数据增广的效果。样本数据的实部和虚部由自编码器分别处理，然后合并为复数。
步骤3，增广数据通过信道估计基本卷积神经网络模型，得到基于自编码器的数据增广方法在测试集上的均方误差值与数据集大小的关系；
具体的，步骤3还包括，
步骤3-1，对于单输入单输出的通信链路，其发送器和接收器之间的信道时频响应矩阵为H，发送器和接收器之间的无线通信信道估计的输入为导频值向量h，输出为信道估计矩阵
满足如下公式：
其中，fs和fR分别是图像超分辨率卷积神经网络和图像去噪卷积神经网络；
步骤3-2，构建与实际环境相符合的仿真环境，生成用于信道估计任务的数据集，将该数据集分为训练集
和测试集
且训练集和测试集中的数据不重叠，其中，训练数据集和测试数据集的大小分别为NT和NV；
步骤3-3，将包含多个训练样本的训练集划分为百量级、千量级和万量级的子数据集，再将不同大小的训练集通过信道估计基本卷积神经网络模型，得到数据集大小与测试集均方误差的第一关系曲线；
步骤3-4，将经过数据增广后的不同大小的训练集输入信道估计基本卷积神经网络模型，且保持测试集样本和步骤3-3中的一样，得到数据集大小与测试集均方误差的第二关系曲线。
具体的，参照图4的示意，为不同量级数据样本在使用和未使用基于自编码器的数据增广方法下无线通信信道估计模型性能曲线图。由于此无线通信信道估计模型精度较好，所以测试集整体均方误差较小，但是随着训练数据集大小的增大，能够明显地看到测试集均方误差的变化。从图4中没有使用数据增广方法的结果可以看出，随着训练数据集大小的增加，无线通信信道模型精度逐渐降低并逐渐趋于收敛。还可以看出，当训练数据集大小小于9000时，基于自编码器的数据增广方法会将测试集均方误差从10-1降低到10-2；当训练数据集大小大于9000时，增加数据集大小将不再能改善无线通信信道估计模型性能，因此9000为基于自编码器的数据增广有效时数据集大小的阈值。
步骤4，建立直线交点检测法模型，获取自编码器提升无线通信信道估计模型性能时的数据集大小的阈值。
具体的，步骤4还包括，
步骤4-1，当总数据集D的大小在104和105的数量级时，初始实验数据集大小分别为百数量级和千数量级，其他情况按照比例依次类推；
步骤4-2，若初始实验数据集大小为D1，则选择一个测试点(D2,y2)，其中D2为训练数据集大小，且D2＝D1×n(n＝1,2,3,...)，y2为在测试集均方误差值开始变得相对缓慢的点，具体的，当某一点之前的均方误差值和其之后的均方误差值相差0.1以上时，取该点作为分界点y2；
步骤4-3，若总数据集D的大小为D＝U×10λ，则设置
其中，U和λ分别为数据集D的有效位数和量级，
为向下取整函数，选择一个测试点(D3,y3)，其中D3＝D-n×(D-D4)(n＝1,2,3,...)，且y3是在测试集上获得的神经网络的测试损失值；
步骤4-4，基于自编码器的数据增广方法，分别计算数据集大小为D2和D3时的测试损失y4和y5，根据测试点(D2,y2)和(D3,y3)确定第一线性方程曲线，根据(D2,y4)和(D3,y5)确定第二线性方程曲线，并将第一线性方程和第二线性方程曲线的交点的横坐标作为阈值，当数据集大小超过该阈值时，自编码器因增强数据的噪声而失效。
步骤4-5，将第一线性方程第一线性方程与第二线性方程曲线交点的横坐标值A与直线交点检测法所求值B做差，若差值的量级远小于A、B本身，即差值的量级与A、B相差1000倍或以上时，则选取A或B作为使得自编码器有效的数据集大小的阈值；否则，选取A作为使得自编码器有效的数据集大小的阈值。
基于上述实验中已知的少量实验点，设置数据集D的大小为36000，D1＝100，D2＝600，D3＝12000。参照图4的示意，首先连接点k(600,0.0532)和l＝(12000,0.0379)，得到第一线性方程，然后连接点q(600,0.0458)和r(12000,0.0386)，得到第二线性方程。求解两个方程的交点w，交点w的横坐标为10983，则10983为直线交点检测法的检测结果。因此，确定10983为使得基于自编码器的数据增广方法有效的数据集大小的阈值，可以看出，该值与步骤3中的实验值9000相似。
本发明实现了针对无线通信场景下的指导基于深度自编码器的数据增广改善信道估计性能方案。采用基于自编码器的数据增广方法提升了数据集大小阈值内的信道估计性能，并使用直线交点检测法大致找出了使得基于自编码器的数据增广方法能够有效提升模型性能的数据集大小的阈值，这对使用自编码器对模型进行数据增广具有重要的指导意义。
应说明的是，以上所述实施例仅表达了本发明的部分实施方式，其描述并不能理解为对本发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干改进，这些均应落入本发明的保护范围。
Claims (6)
1.基于自编码器的数据增广改善深度学习信道估计性能方法，其特征在于：包括以下步骤，
步骤1，建立两个用于信道估计的基本卷积神经网络模型；
步骤2，获取无线通信信道估计的训练集，并基于自编码器进行数据增广，得到增广数据；
步骤3，增广数据通过信道估计基本卷积神经网络模型，得到基于自编码器的数据增广方法在测试集上的均方误差值与数据集大小的关系；
步骤4，建立直线交点检测法模型，获取自编码器提升无线通信信道估计模型性能时的数据集大小的阈值。
2.如权利要求1所述的基于自编码器的数据增广改善深度学习信道估计性能方法，其特征在于：所述步骤1还包括以下步骤，
步骤1-1，将导频相应的时频数据建模为2维图像，采用图像超分辨率卷积神经网络，为信道估计问题建立第一个神经网络模型；
步骤1-2，将步骤1-1中神经网络模型的输出数据建模为2维图像，采用一种图像去噪卷积神经网络，为信道估计问题建立第二个神经网络模型。
3.如权利要求1或2所述的基于自编码器的数据增广改善深度学习信道估计性能方法，其特征在于：所述步骤2还包括以下步骤，
步骤2-1，所述自编码器包括编码器f、解码器g和损失函数，所述编码器f将输入的训练集的信号x转换为编码信号z，所述解码器g将编码信号z转换为输出信号x'，即满足以下关系：
步骤2-2，通过三层的深度神经网络对编码器f和解码器g进行参数化，编码器f和解码器g的参数分别为Kf和Kg，给定编码器f的函数为f:x→z，解码器g的函数为g:z→x'，数据集的重构误差为，
其中，J为损失函数；
假设解码器g服从以g(f(x))为中心的高斯分布，可以将上述损失函数简化为：
给定一个经过严格训练后的自编码器
可以得到
步骤2-3，获取x的低维表示，即
给z加上扰动，得到
并使用解码器g生成新数据
经过训练后的自编码器f满足下式：
其中，
4.如权利要求3所述的基于自编码器的数据增广改善深度学习信道估计性能方法，其特征在于：所述步骤2中对自编码器f的训练还包括，
基于early-stop方法对自编码器的
进行训练，且满足：
其中，c和d为超参数，取c＝0.2，d＝0.3；
基于非完美编码器生成
和新数据
5.如权利要求4所述的基于自编码器的数据增广改善深度学习信道估计性能方法，其特征在于：所述步骤3还包括，
步骤3-1，设单输入单输出的通信链路，其发送器和接收器之间的无线通信信道时频响应矩阵为H，此无线通信信道估计的输入为导频值向量h，输出为信道估计矩阵
满足如下公式：
其中，fs和fR分别是图像超分辨率卷积神经网络和图像去噪卷积神经网络；
步骤3-2，构建与实际环境相符合的仿真环境，生成用于信道估计任务的数据集，将该数据集分为训练集
和测试集
且训练集和测试集中的数据不重叠，其中，训练数据集和测试数据集的大小分别为NT和NV；
步骤3-3，将包含多个训练样本的训练集划分为百量级、千量级和万量级的子数据集，再将不同大小的子数据集作为训练集样本通过信道估计基本卷积神经网络模型，得到数据集大小与测试集均方误差的关系曲线；
步骤3-4，将经过数据增广后的不同大小的训练集输入信道估计基本卷积神经网络模型，且保持测试集样本和步骤3-3中的一样，得到数据集大小与测试集均方误差的关系曲线。
6.如权利要求5所述的基于自编码器的数据增广改善深度学习信道估计性能方法，其特征在于：所述步骤4还包括，
步骤4-1，当总数据集大小在104和105的数量级时，初始实验数据集大小分别为百数量级和千数量级，其他情况依次类推；
步骤4-2，若初始实验数据集大小为D1，则选择一个测试点(D2,y2)，其中D2为训练数据集大小，且D2＝D1×n(n＝1,2,3,...)，y2为在测试集均方误差值开始变得相对缓慢的点，当某一点之前的均方误差值和其之后的均方误差值相差0.1以上时，取该点作为分界点y2
步骤4-3，若整个数据集D的大小为D＝U×10λ，则设置
其中，U和λ分别为数据集D的有效位数和量级，
为向下取整函数，选择一个测试点(D3,y3)，其中D3＝D-n×(D-D4)(n＝1,2,3,...)，且y3是在测试集上获得的神经网络的测试损失值；
步骤4-4，基于自编码器的数据增广方法，分别计算数据集大小为D2和D3时的测试损失y4和y5，根据测试点(D2,y2)和(D3,y3)确定第一线性方程曲线，根据(D2,y4)和(D3,y5)确定第二线性方程曲线，并将第一线性方程和第二线性方程曲线的交点的横坐标作为阈值，当数据集大小超过该阈值时，自编码器因增强数据的噪声而失效。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110404444.1A CN113112003A (zh) | 2021-04-15 | 2021-04-15 | 基于自编码器的数据增广改善深度学习信道估计性能方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110404444.1A CN113112003A (zh) | 2021-04-15 | 2021-04-15 | 基于自编码器的数据增广改善深度学习信道估计性能方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113112003A true CN113112003A (zh) | 2021-07-13 |
Family
ID=76717097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110404444.1A Pending CN113112003A (zh) | 2021-04-15 | 2021-04-15 | 基于自编码器的数据增广改善深度学习信道估计性能方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113112003A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114760132A (zh) * | 2022-04-14 | 2022-07-15 | 中国电信股份有限公司 | 信号发送方身份认证方法、装置、存储介质及电子设备 |
| WO2023137641A1 (zh) * | 2022-01-19 | 2023-07-27 | Oppo广东移动通信有限公司 | 信道估计方法、训练信道估计模型的方法和通信设备 |
| CN117528573A (zh) * | 2023-11-07 | 2024-02-06 | 北京乾径科技有限公司 | 一种无线网络优化方法、装置、设备和计算机程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751044A (zh) * | 2019-09-19 | 2020-02-04 | 杭州电子科技大学 | 基于深度网络迁移特征与增广自编码的城市噪声识别方法 |
| CN111327381A (zh) * | 2020-02-04 | 2020-06-23 | 清华大学 | 基于深度学习的无线通信物理层收发端的联合优化方法 |
| CN112152948A (zh) * | 2019-06-28 | 2020-12-29 | 华为技术有限公司 | 一种无线通信处理的方法和装置 |
| CN112464837A (zh) * | 2020-12-03 | 2021-03-09 | 中国人民解放军战略支援部队信息工程大学 | 基于小数据样本的浅海水声通信信号调制识别方法及系统 |
-
2021
- 2021-04-15 CN CN202110404444.1A patent/CN113112003A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112152948A (zh) * | 2019-06-28 | 2020-12-29 | 华为技术有限公司 | 一种无线通信处理的方法和装置 |
| CN110751044A (zh) * | 2019-09-19 | 2020-02-04 | 杭州电子科技大学 | 基于深度网络迁移特征与增广自编码的城市噪声识别方法 |
| CN111327381A (zh) * | 2020-02-04 | 2020-06-23 | 清华大学 | 基于深度学习的无线通信物理层收发端的联合优化方法 |
| CN112464837A (zh) * | 2020-12-03 | 2021-03-09 | 中国人民解放军战略支援部队信息工程大学 | 基于小数据样本的浅海水声通信信号调制识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| MEHRAN SOLTANI 等: "Deep learning-based channel estimation", 《IEEE COMMUNICATIONS LETTERS》, vol. 23, no. 4, 12 February 2019 (2019-02-12), pages 652, XP011719093, DOI: 10.1109/LCOMM.2019.2898944 * |
| 王森: "基于深度学习的毫米波信道估计与预编码研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, 15 January 2021 (2021-01-15) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023137641A1 (zh) * | 2022-01-19 | 2023-07-27 | Oppo广东移动通信有限公司 | 信道估计方法、训练信道估计模型的方法和通信设备 |
| CN114760132A (zh) * | 2022-04-14 | 2022-07-15 | 中国电信股份有限公司 | 信号发送方身份认证方法、装置、存储介质及电子设备 |
| CN114760132B (zh) * | 2022-04-14 | 2023-10-31 | 中国电信股份有限公司 | 信号发送方身份认证方法、装置、存储介质及电子设备 |
| CN117528573A (zh) * | 2023-11-07 | 2024-02-06 | 北京乾径科技有限公司 | 一种无线网络优化方法、装置、设备和计算机程序产品 |
| CN117528573B (zh) * | 2023-11-07 | 2024-06-07 | 北京乾径科技有限公司 | 一种无线网络优化方法、装置、设备和计算机程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113673307B (zh) | 一种轻量型的视频动作识别方法 | |
| CN113112003A (zh) | 基于自编码器的数据增广改善深度学习信道估计性能方法 | |
| CN107644006B (zh) | 一种基于深度神经网络的手写体中文字库自动生成方法 | |
| CN109165660B (zh) | 一种基于卷积神经网络的显著物体检测方法 | |
| US20190087726A1 (en) | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications | |
| CN109035142B (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
| CN109035251B (zh) | 一种基于多尺度特征解码的图像轮廓检测方法 | |
| CN111696027B (zh) | 一种基于适应性注意力机制的多模态的图像风格迁移方法 | |
| CN113920013B (zh) | 一种基于超分辨率的小图像多目标检测方法 | |
| CN112184577B (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| CN111340046A (zh) | 基于特征金字塔网络和通道注意力的视觉显著性检测方法 | |
| CN111899168B (zh) | 一种基于特征增强的遥感影像超分辨率重建方法和系统 | |
| CN105513026A (zh) | 一种基于图像非局部相似的压缩感知重构方法 | |
| CN102915527A (zh) | 基于形态学成分分析的人脸图像超分辨率重建方法 | |
| CN113066025B (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN112541572A (zh) | 基于卷积编码器-解码器网络的剩余油分布预测方法 | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN111402138A (zh) | 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法 | |
| CN111814693A (zh) | 一种基于深度学习的海上船舶识别方法 | |
| CN113538402B (zh) | 一种基于密度估计的人群计数方法及系统 | |
| CN117474796B (zh) | 一种图像生成方法、装置、设备及计算机可读存储介质 | |
| CN113313668B (zh) | 一种地铁隧道表面病害特征提取方法 | |
| CN108090914B (zh) | 基于统计建模与像素分类的彩色图像分割方法 | |
| CN105069767A (zh) | 基于表征学习与邻域约束嵌入的图像超分辨重构方法 | |
| CN116597142A (zh) | 基于全卷积神经网络与变换器的卫星图像语义分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |