CN112819082B - 一种基于深度学习的卫星频谱感知数据重构方法 - Google Patents
一种基于深度学习的卫星频谱感知数据重构方法 Download PDFInfo
- Publication number
- CN112819082B CN112819082B CN202110175322.XA CN202110175322A CN112819082B CN 112819082 B CN112819082 B CN 112819082B CN 202110175322 A CN202110175322 A CN 202110175322A CN 112819082 B CN112819082 B CN 112819082B
- Authority
- CN
- China
- Prior art keywords
- data
- reconstruction
- resolution
- time
- frequency spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Monitoring And Testing Of Transmission In General (AREA)
Abstract
本发明公开了一种基于深度学习的卫星频谱感知数据重构方法,结合了异常数据修复算法与深度卷积神经网络,包括数据预处理、数据重建、实时重建性能评估三个部分;数据预处理是将高分辨率频谱数据依次进行异常数据修复、降采样和数据匹配操作,低分辨率数据依次进行异常数据修复和数据匹配操作;数据重建步骤是利用历史高分辨率数据进行模型训练,将实时传输的低分辨率频谱输入到已经训练好的模型中,完成超分辨率重建;实时重建性能评估步骤是利用传输的少量高分辨率频谱数据评估数据重建的性能,以确定是否要重新进行模型训练。本方法可将低分辨率频谱数据重建为高分辨率频谱数据,从而有效降低星地传输数据量,减缓星地间数据传输压力。
Description
技术领域
本发明涉及一种基于深度学习的卫星频谱感知数据重构方法,属于认知无线电通信技术。
背景技术
卫星频谱感知是掌握频谱分配情况、提高频谱利用效率的有效途径,近年来受到越来越多的研究关注。特别是在通过卫星的频谱感知系统中,卫星能够以无缝方式实现全局频谱感知。然而,由于地球上的感测卫星与接收节点之间的距离较长,并且感知卫星的发射功率有限,因此从感知卫星到接收节点的链路难以承担海量感知数据的无线传输。当前,为了减少传输的数据量,数据压缩被广泛用于压缩传输前的原始数据。此外,信号重建是重建频谱感应卫星丢失数据的有效方法。
随着深度学习的进一步发展,由于深度学习在图像处理方面具有特定的能力来获得底层信息,因此已经引起了越来越多的研究关注,深度学习也已经被用于进行数据重构。开发了一种新的深度字典学习和编码网络,以在数据有限的情况下执行图像识别任务,并借助微分相分析工具,针对不完整的数据进一步提出了一种使用深度学习的新重构框架。对比计算机断层扫描,深度学习还被设计为重建用于压缩感知的信号。具体来说,开发一种基于混合模型的深度学习架构,该架构依赖于深度展开方法,并将数据采集和信号恢复进一步解释为自动编码结构。此外,研究了稀疏信号恢复和稀疏支持恢复,并提出了两种基于标准自动编码器结构的模型驱动方法。尽管基于压缩感知的稀疏信号恢复可用于重建丢失的数据,但它依赖于数据的稀疏性。在基于卫星的频谱感知的系统中,由于其覆盖范围广的特性,卫星可能会同时感知其覆盖范围内的大量发射终端,因此,频谱感知数据的稀疏性是模糊的。另外,传统的图像重建依赖于先验知识(如像素的分布等)和相邻像素之间的高相关性相比之下,这种先验知识在频谱感知数据的图像中很难获得,因为被感知的终端以随机的方式传输数据。因此,尽管可以将频谱感知数据转换成图像,但是频谱感知数据的图像仍然与通常的图片不同。
发明内容
发明目的:为了缓解星地之间有限的链路资源和大量的频谱感知数据之间的矛盾,本发明提供一种基于深度学习的卫星频谱感知数据重构方法,该方法综合使用了异常数据修复算法与深度卷积神经网络(DCNN),让接收节点借助异常数据修复算法来对降采样的数据进行异常数据修复,再通过HR频谱离线训练后的深度卷积神经网络对预处理数据进行频谱重建,并通过周期性发送的小段HR频谱数据对模型重建性能实时评估的数据重构方法;该方法可以使卫星对频谱感知数据进行降采样,并从降采样后的副本中重建出原始的频谱感知数据,减缓星地之间数据传输的压力。
技术方案:为实现上述目的,本发明采用的技术方案为:
一种基于深度学习的卫星频谱感知数据重构方法,具体包括数据预处理、数据重建和实时重建性能评估三个部分,具体如下:
(1)数据预处理:将高分辨率(High Resolution,HR)频谱数据依次进行异常数据恢复、降采样和数据匹配操作完成预处理,将低分辨率(Low Resolution,LR)频谱数据依次进行异常数据恢复和数据匹配操作完成预处理;
(2)数据重建:对历史采集的高分辨率频谱数据进行预处理,利用该预处理后的数据对深度卷积神经网络进行模型训练;对实时采集的低分辨率频谱数据进行预处理,将该预处理后的数据输入到训练好的深度卷积神经网络中进行数据重建;
(3)实时重建性能评估:对实时采集的周期性传输的高分辨率频谱数据进行预处理,利用训练好的深度卷积神经网络对该预处理后的数据进行数据重建,对重建得到的高分辨率频谱数据和实时采集的高分辨率频谱数据进行误差比对,确定是否重新对深度卷积神经网络进行模型训练。
具体的,对频谱数据进行异常数据恢复的方法为:
min rank(X)+λ||e||0
subject to X+e=T
其中:T为待异常数据恢复的频谱数据,X为异常数据恢复后的频谱数据,e为干扰异常,λ是一个正标量,秩函数rank(·)表示计算矩阵秩,||·||0表示计算向量非零元素数量。
具体的,对高分辨率频谱数据进行降采样和数据匹配的方法为:
(1.1)对高分辨率频谱数据进行异常数据恢复,得到行、Lf列的二维矩阵数据其中为频谱数据的总时隙长度,Lf为频谱数据的频点数目,截取前行、Lf作为训练时的标签数据集剩下的行、Lf作为验证时的标签数据集
(1.3)分别在时域和频域以dt和df为间隔为降采样后的数据插入零,将降采样后的数据恢复到高分辨率频谱数据的尺寸,得到数据匹配后的二维矩阵数据截取前行、Lf作为训练时的样本数据集剩下的行、Lf列作为验证时的样本数据集
具体的,所述步骤(2)中,对深度卷积神经网络进行模型训练的过程包括:
(2.1.1)初始化最小损失函数Lossbest=∞,训练周期为T,训练周期计数器t=1;进入步骤(2.1.2);
(2.1.2)判断t≤T是否成立:若成立,设置耐心值计数器count=1,进入步骤(2.1.3);否则,进入步骤(2.1.8);
(2.1.3)判断count≤patience是否成立:若成立,则进入步骤(2.1.4);否则,Lossbest=L(θt),进入步骤(2.1.7);其中:patience为正整数,是用于监测模型训练的耐心值;
(2.1.6)计算的损失函数L(θt):若L(θt)>Lossbest,则count=count+1,进入步骤(2.1.3);否则,count=0,Lossbest=L(θt),返回步骤(2.1.3);
(2.1.7)t=t+1,返回步骤(2.1.2);
具体的,所述步骤(2)中,数据重建包括如下步骤:
具体的,所述步骤(3)中,实时重建性能评估包括如下步骤:
具体的,所述步骤(3)中,平均绝对误差MAE的计算方法为:
有益效果:本发明提供的基于深度学习的卫星频谱感知数据重构方法,将异常数据修复算法与深度卷积神经网络结合在一起,接收节点借助异常数据修复算法来对降采样的数据进行异常数据修复,再通过经HR频谱离线训练后的深度卷积神经网络对预处理数据进行频谱重建,并通过周期性发送的小段HR频谱数据对模型重建性能实时评估的数据重构方法;该方法可以使卫星对频谱感知数据进行降采样,并从降采样后的副本中重建出原始的频谱感知数据,减缓星地之间数据传输的压力;其中,在数据预处理方面使用了零插值法,并使用自适应矩估计优化网络模型,使得模型具有更好的重建效果。
附图说明
图1为本发明的实施流程图;
图2为本发明方法在5%异常情况下有无异常修复的重建误差对比图;
图3为本发明方法使用离线在线框架和不使用离线在线框架的结果对比图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
我们探索了由多个频谱感知卫星和一个接收节点组成的频谱感知系统的频谱重构,频谱感知卫星可以对频谱感知数据进行下采样,然后将其向下传输到接收节点;接收节点不仅能够从频谱感知卫星处接收频谱感知数据,而且还能够重构不完整的频谱数据。
如图1所示为一种基于深度学习的卫星频谱感知数据重构方法,结合了异常数据修复算法与深度卷积神经网络;具体包括数据预处理、数据重建和实时重建性能评估三个部分;具体说明如下。
一、数据预处理
将高分辨率(High Resolution,HR)频谱数据依次进行异常数据恢复、降采样和数据匹配操作完成预处理,将低分辨率(Low Resolution,LR)频谱数据依次进行异常数据恢复和数据匹配操作完成预处理。
(1.1)对频谱数据进行异常数据恢复的方法为:
min rank(X)+λ||e||0
subject to X+e=T
其中:T为待异常数据恢复的频谱数据,X为异常数据恢复后的频谱数据,e为干扰异常,λ是一个正标量,秩函数rank(·)表示计算矩阵秩,||·||0表示计算向量非零元素数量。
(1.2)对高分辨率频谱数据进行降采样和数据匹配的方法为:
(1.2.1)对高分辨率频谱数据进行异常数据恢复,得到行、Lf列的二维矩阵数据其中为频谱数据的总时隙长度,Lf为频谱数据的频点数目,截取前行、Lf作为训练时的标签数据集剩下的行、Lf作为验证时的标签数据集
(1.2.3)分别在时域和频域以dt和df为间隔为降采样后的数据插入零,将降采样后的数据恢复到高分辨率频谱数据的尺寸,得到数据匹配后的二维矩阵数据截取前行、Lf作为训练时的样本数据集剩下的行、Lf列作为验证时的样本数据集
二、数据重建
对历史采集的高分辨率频谱数据进行预处理,利用该预处理后的数据对深度卷积神经网络进行模型训练;对实时采集的低分辨率频谱数据进行预处理,将该预处理后的数据输入到训练好的深度卷积神经网络中进行数据重建。
(2.1)对深度卷积神经网络进行模型训练的过程包括:
(2.1.1)初始化最小损失函数Lossbest=∞,训练周期为T,训练周期计数器t=1;进入步骤(2.1.2);
(2.1.2)判断t≤T是否成立:若成立,设置耐心值计数器count=1,进入步骤(2.1.3);否则,进入步骤(2.1.8);
(2.1.3)判断count≤patience是否成立:若成立,则进入步骤(2.1.4);否则,Lossbest=L(θt),进入步骤(2.1.7);其中:patience为正整数,是用于监测模型训练的耐心值;
(2.1.6)计算的损失函数L(θt):若L(θt)>Lossbest,则count=count+1,进入步骤(2.1.3);否则,count=0,Lossbest=L(θt),返回步骤(2.1.3);
(2.1.7)t=t+1,返回步骤(2.1.2);
(2.2)数据重建包括如下步骤:
三、实时重建性能评估
对实时采集的周期性传输的高分辨率频谱数据进行预处理,利用训练好的深度卷积神经网络对该预处理后的数据进行数据重建,对重建得到的高分辨率频谱数据和实时采集的高分辨率频谱数据进行误差比对,确定是否重新对深度卷积神经网络进行模型训练。具体包括如下步骤:
为了验证基于深度学习的频谱数据重构方法的数据重建效果,选取GSM1800数据集和自己收集的数据集作为对比。在GSM1800数据集中,选择从1835~1848MHz的频率数据,持续时间为两周,频域和时域的最小间隔分别为200KHz和1.8秒。测量数据集是通过收集来自中星-10卫星的数据而创建的,采样持续时间为3小时,其中前2小时和后1小时的数据分别用于训练和测试,测量带宽为72MHz,范围为12529~12601MHz,其中仅12529~12531MHz用于重建。图2为基于纯DCNN的频谱重构以及本发明提出的数据重构方法的不同频率的重建误差MAE对比,从图中可以看出,在异常情况下,本发明提出的方法优于纯DCNN的频谱重构方法。此外,还可以看出,本发明方法提出的带有异常修复的重构误差MAE仍然比没有异常的纯DCNN方法的MAE稍好(频谱感知数据没有注入异常),显示出提出的基于异常修复的重构方法既可以修复异常数据,又可以提高频谱重建的性能。图3中,本发明提出的实时评估框架的重构MAE与时隙的关系,其中预定义的MAE阈值为0.035。当实时MAE小于0.035时,训练后的重构模型可用于频谱重建。否则,应再次训练已训练的重构模型。从图3可以看出,随着时隙的增加,降采样数据会相应变化,从而导致所提出的单纯的重构方法无法很好地适应时变数据。相比之下,本方法的实时评估框架不仅可以在MAE高于预定阈值时自动查找事件,而且可以触发模型进入训练状态,然后使用重新训练的模型激活在线重构,显示了在实际系统中本方法的适应性。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种基于深度学习的卫星频谱感知数据重构方法,其特征在于:具体包括数据预处理、数据重建和实时重建性能评估三个部分,具体如下:
(1)数据预处理:将高分辨率频谱数据依次进行异常数据恢复、降采样和数据匹配操作完成预处理,将低分辨率频谱数据依次进行异常数据恢复和数据匹配操作完成预处理;
(1.1)对频谱数据进行异常数据恢复的方法为:
min rank(X)+λ||e||0
subject to X+e=T
其中:T为待异常数据恢复的频谱数据,X为异常数据恢复后的频谱数据,e为干扰异常,λ是一个正标量,秩函数rank(·)表示计算矩阵秩,||·||0表示计算向量非零元素数量;
(1.2)对高分辨率频谱数据进行降采样和数据匹配的方法为:
(1.2.1)对高分辨率频谱数据进行异常数据恢复,得到行、Lf列的二维矩阵数据其中为频谱数据的总时隙长度,Lf为频谱数据的频点数目,截取前行、Lf作为训练时的标签数据集剩下的行、Lf作为验证时的标签数据集
(1.2.3)分别在时域和频域以dt和df为间隔为降采样后的数据插入零,将降采样后的数据恢复到高分辨率频谱数据的尺寸,得到数据匹配后的二维矩阵数据截取前行、Lf作为训练时的样本数据集剩下的行、Lf列作为验证时的样本数据集
(2)数据重建:对历史采集的高分辨率频谱数据进行预处理,利用该预处理后的数据对深度卷积神经网络进行模型训练;对实时采集的低分辨率频谱数据进行预处理,将该预处理后的数据输入到训练好的深度卷积神经网络中进行数据重建;
(3)实时重建性能评估:对实时采集的高分辨率频谱数据进行预处理,利用训练好的深度卷积神经网络对该预处理后的数据进行数据重建,对重建得到的高分辨率频谱数据和实时采集的高分辨率频谱数据进行误差比对,确定是否重新对深度卷积神经网络进行模型训练。
2.根据权利要求1所述的基于深度学习的卫星频谱感知数据重构方法,其特征在于:所述步骤(2)中,对深度卷积神经网络进行模型训练的过程包括:
(2.1.1)初始化最小损失函数Lossbest=∞,训练周期为T,训练周期计数器t=1;进入步骤(2.1.2);
(2.1.2)判断t≤T是否成立:若成立,设置耐心值计数器count=1,进入步骤(2.1.3);否则,进入步骤(2.1.8);
(2.1.3)判断count≤patience是否成立:若成立,则进入步骤(2.1.4);否则,Lossbest=L(θt),进入步骤(2.1.7);其中:patience为正整数,是用于监测模型训练的耐心值;
(2.1.6)计算的损失函数L(θt):若L(θt)>Lossbest,则count=count+1,进入步骤(2.1.3);否则,count=0,Lossbest=L(θt),返回步骤(2.1.3);
(2.1.7)t=t+1,返回步骤(2.1.2);
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110175322.XA CN112819082B (zh) | 2021-02-09 | 2021-02-09 | 一种基于深度学习的卫星频谱感知数据重构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110175322.XA CN112819082B (zh) | 2021-02-09 | 2021-02-09 | 一种基于深度学习的卫星频谱感知数据重构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112819082A CN112819082A (zh) | 2021-05-18 |
CN112819082B true CN112819082B (zh) | 2022-06-17 |
Family
ID=75864342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110175322.XA Active CN112819082B (zh) | 2021-02-09 | 2021-02-09 | 一种基于深度学习的卫星频谱感知数据重构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819082B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362412A (zh) * | 2021-06-02 | 2021-09-07 | 中国工程物理研究院激光聚变研究中心 | 一种基于深度学习的散斑频谱信息重建方法及装置 |
CN114034327B (zh) * | 2021-11-10 | 2023-02-28 | 南京航空航天大学 | 基于稀疏采样和人工神经网络的布里渊散射信号测量方法 |
CN114488105B (zh) * | 2022-04-15 | 2022-08-23 | 四川锐明智通科技有限公司 | 一种基于运动特征及方向模板滤波的雷达目标检测方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006074123A2 (en) * | 2005-01-05 | 2006-07-13 | United States Postal Service | System and method for image lift with enhanced image capture |
CN102193108B (zh) * | 2010-03-19 | 2013-07-03 | 中国石油天然气集团公司 | 一种提高石油勘探资料处理信噪比的方法 |
US20120306886A1 (en) * | 2011-06-02 | 2012-12-06 | Tektronix, Inc | Continuous rf signal visualization with high resolution |
CN103325103B (zh) * | 2013-03-07 | 2015-09-02 | 上海交通大学 | 高分辨率图像复原方法及系统 |
US10331207B1 (en) * | 2013-03-15 | 2019-06-25 | John Castle Simmons | Light management for image and data control |
CN106658517A (zh) * | 2015-11-03 | 2017-05-10 | 上海航天卫星应用有限公司 | 一种用于卫星通信中的频谱重叠共享的方法 |
CN108509843B (zh) * | 2018-02-06 | 2022-01-28 | 重庆邮电大学 | 一种基于加权的Huber约束稀疏编码的人脸识别方法 |
CN108733624B (zh) * | 2018-04-11 | 2021-11-30 | 杭州电子科技大学 | 一种水质异常数据检测与重构方法 |
CN111242849B (zh) * | 2020-01-16 | 2022-08-16 | 南京邮电大学 | 一种基于深度卷积神经网络的频谱超分辨率在线重建方法 |
CN111650738A (zh) * | 2020-05-07 | 2020-09-11 | 清华大学深圳国际研究生院 | 一种基于深度学习的傅里叶叠层显微图像重构方法及装置 |
-
2021
- 2021-02-09 CN CN202110175322.XA patent/CN112819082B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112819082A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112819082B (zh) | 一种基于深度学习的卫星频谱感知数据重构方法 | |
Shi et al. | Deep networks for compressed image sensing | |
Ryu et al. | Convolutional autoencoder based feature extraction and clustering for customer load analysis | |
CN111242849B (zh) | 一种基于深度卷积神经网络的频谱超分辨率在线重建方法 | |
CN102148987B (zh) | 基于先验模型和l0范数的压缩感知图像重构方法 | |
CN110519233B (zh) | 一种基于人工智能的星载传感网数据压缩方法 | |
CN111797891B (zh) | 基于生成对抗网络的非成对异质人脸图像生成方法、装置 | |
CN111738521B (zh) | 非侵入式电力负荷监测序列生成方法、系统、设备及介质 | |
CN114549385B (zh) | 一种基于深度稠密残差网络的光学与sar图像融合的去云方法 | |
CN104780008A (zh) | 一种基于自适应压缩感知的宽带频谱感知方法 | |
CN113793261A (zh) | 一种基于3d注意力机制全通道融合网络的光谱重建方法 | |
CN113075462A (zh) | 一种基于神经网络的电磁场分布定位方法 | |
CN106559670A (zh) | 一种改进的分块视频压缩感知算法 | |
Hasnat et al. | Sampling of power system graph signals | |
CN108288295A (zh) | 基于结构信息的红外小目标图像的快速重构方法及系统 | |
CN117176270A (zh) | 一种带信号监测功能的室分天线 | |
EP4123862A1 (en) | Systems and methods for optimal synchrophasor data recovery | |
CN106878997A (zh) | 一种分布式网络中的贝叶斯压缩频谱感知方法 | |
Yu et al. | SAR image super-resolution base on weighted dense connected convolutional network | |
Kasem et al. | DRCS-SR: Deep robust compressed sensing for single image super-resolution | |
CN114325072A (zh) | 基于格拉姆角场编码的铁磁谐振过电压识别方法及装置 | |
CN114529482A (zh) | 基于小波多通道深度网络的图像压缩感知重建方法 | |
CN113052080A (zh) | 一种基于无监督生成对抗网络的非法无人机检测方法 | |
CN112700007A (zh) | 电离层电子含量预报模型的训练方法、预报方法及装置 | |
CN115908144B (zh) | 基于随机小波注意力的图像处理方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |