CN117978247B - 基于高通量卫星物联网的数据压缩方法和装置 - Google Patents

Abstract

本发明公开了一种基于高通量卫星物联网的数据压缩方法和装置，所述方法包括:获取高通量卫星物理网的采集数据和训练数据；利用所述训练数据，构建得到数据压缩模型；利用所述数据压缩模型，对所述采集数据进行处理，得到压缩数据。所述数据压缩模型，包括编码网络、量化网络和解码网络。本发明装置包括：低轨卫星星座、信关站及用户终端；所述用户终端，用于采集得到环境数据信息集，利用所述数据压缩方法，对所述环境数据信息集进行压缩处理，得到压缩数据集，将所述压缩数据集发送至所述低轨卫星星座。本发明解决了传统压缩方法存在的压缩速度慢、压缩率不够高，及不适用于物联网采集的时序数据的问题。

Description

基于高通量卫星物联网的数据压缩方法和装置

技术领域

本发明涉及卫星物联网技术领域，尤其涉及一种基于高通量卫星物联网的数据压缩方法和装置。

背景技术

卫星物联网是一种新兴的技术，它将物理设备与互联网连接起来，以实现设备之间的数据交换。根据GSMA发布的《The mobile economy 2020》报告显示，2019年全球物联网总连接数达到120亿，预计到2025年，全球物联网总连接数将达到246亿，年复合增长率高达13％。目前，卫星物联网已得到广泛应用，包括但不限于野生动物保护、自然灾害防治、环境监测、物流追踪、农业监测等，随着技术的发展和需求场景的扩大，卫星物联网的应用将会越来越广泛。与此同时，卫星的带宽资源成为卫星物联网发展的重要制约因素之一，尽管全球主要卫星运营商都在大力发展HTS通信卫星，带宽资源在可预见的未来仍将长期处于供不应求的状态。因此，更高效的无损数据压缩技术将成为解决带宽供需矛盾的主要技术途径之一。

然而，传统的无损数据压缩算法都是基于规则的，存在如下问题：①压缩速度慢，算法需要对数据进行多次扫描和分析，以便找到重复的数据和最优的编码方式，尤其是在处理大型数据时，压缩耗时会呈指数增长；②压缩率不够高，算法通常采用Huffman变长编码来表示不同的数据元素，一般还存在优化空间；③不适用于物联网采集的时序数据，传统压缩算法需要对整个数据块进行分析和处理，因此不适用于流式数据的压缩。

发明内容

本发明所要解决的技术问题在于，提供一种基于高通量卫星物联网的数据压缩方法和装置，提高压缩效率，减少计算复杂度，实现物理网采集的时序数据的高效无损压缩。

为了解决上述技术问题，本发明实施例第一方面，公开了一种基于高通量卫星物联网的数据压缩方法,包括:

S1,获取高通量卫星物理网的采集数据和训练数据；

S2，利用所述训练数据，构建得到数据压缩模型；

S3，利用所述数据压缩模型，对所述采集数据进行处理，得到压缩数据。

所述利用所述训练数据，构建得到数据压缩模型，包括：

S21,初始化数据压缩模型；

S22，对所述训练数据进行预处理，得到压缩训练数据集合；

S23，利用所述压缩训练数据集合，对所述数据压缩模型进行训练处理，得到训练完毕的数据压缩模型；

S24，确定所述训练完毕的数据压缩模型，为构建得到的数据压缩模型。

所述数据压缩模型，包括编码网络、量化网络和解码网络；

所述编码网络，与量化网络相连接，包括第一处理模块、第二处理模块、第三处理模块和第四处理模块，用于对输入数据进行编码处理，得到特征图像数据；

所述第一处理模块，包括输入模块、第一二维卷积模块、第一激活模块、第一残差模块、第一归一化模块；所述第一处理模块的第一端口，为所述输入模块的输入端；所述第一处理模块的第二端口，为所述第一归一化模块的输出端；所述第一处理模块的第一端口，作为所述编码网络的输入端，用于接收得到输入数据；所述第一处理模块的第二端口，与所述第二处理模块的第一端口连接；在所述第一处理模块中，所述输入模块、第一二维卷积模块、第一激活模块、第一残差模块、第一归一化模块依次连接；

所述第二处理模块，包括第二二维卷积模块、第二激活模块、第二归一化模块；所述第二处理模块的第一端口，为所述第二二维卷积模块的输入端；所述第二处理模块的第二端口，为所述第二归一化模块的输出端；所述第二处理模块的第二端口，与所述第三处理模块的第一端口连接；在所述第二处理模块中，所述第二二维卷积模块、第二激活模块、第二归一化模块依次连接；

所述第三处理模块，包括第三二维卷积模块、第三激活模块、第三残差模块；所述第三处理模块的第一端口，为所述第三二维卷积模块的输入端；所述第三处理模块的第二端口，为所述第三残差模块的输出端；所述第三处理模块的第二端口，与所述第四处理模块的第一端口连接；在所述第三处理模块中，所述第三二维卷积模块、第三激活模块、第三残差模块依次连接；

所述第四处理模块，包括第四二维卷积模块、第四激活模块、第四残差模块；所述第四处理模块的第一端口，为所述第四二维卷积模块的输入端；所述第四处理模块的第二端口，为所述第四残差模块的输出端；所述第四处理模块的第二端口，作为所述编码网络的输出端，用于输出特征图像数据；在所述第四处理模块中，所述第四二维卷积模块、第四激活模块、第四残差模块依次连接；

所述量化网络，与编码网络和解码网络相连接，用于对所述特征图像数据进行量化处理，得到压缩数据；所述量化网络，包括第九二维卷积模块、第九激活模块和量化模块；在所述量化网络，所述第九二维卷积模块、第九激活模块和量化模块依次连接；

所述解码网络，与量化网络相连接，包括第五处理模块、第二处理模块、第三处理模块和第四处理模块，用于对所述压缩数据进行解码处理，得到还原的输入数据；

所述第五处理模块，包括输入模块、随机排列模块、第五二维卷积模块、第五激活模块、第五残差模块；所述第五处理模块的第一端口，为所述输入模块的输入端，用于接收得到压缩数据；所述第五处理模块的第二端口，为所述第五残差模块的输出端，与所述第六处理模块的第一端口连接；在所述第五处理模块中，所述输入模块、随机排列模块、第五二维卷积模块、第五激活模块、第五残差模块依次连接；

所述第六处理模块，包括第六二维卷积模块、第六激活模块、第六残差模块；所述第六处理模块的第一端口，为所述第六二维卷积模块的输入端；所述第六处理模块的第二端口，为所述第六残差模块的输出端；所述第六处理模块的第二端口，与所述第七处理模块的第一端口连接；在所述第六处理模块中，所述第六二维卷积模块、第六激活模块、第六残差模块依次连接；

所述第七处理模块，包括第七二维卷积模块、第七激活模块、第七归一化模块；所述第七处理模块的第一端口，为所述第七二维卷积模块的输入端；所述第七处理模块的第二端口，为所述第七归一化模块的输出端；所述第七处理模块的第二端口，与所述第八处理模块的第一端口连接；在所述第七处理模块中，所述第七二维卷积模块、第七激活模块、第七归一化模块依次连接；

所述第八处理模块，包括第八二维卷积模块、第八激活模块、第八残差模块、第八归一化模块；所述第八处理模块的第一端口，为所述第八二维卷积模块的输入端；所述第八处理模块的第二端口，为所述第八归一化模块的输出端；所述第八处理模块的第二端口，是所述解码网络的输出端，用于输出计算得到的还原的输入数据；在所述第八处理模块中，所述第八二维卷积模块、第八激活模块、第八残差模块、第八归一化模块依次连接。

所述对所述训练数据进行预处理，得到压缩训练数据集合，包括：

S221,对所述训练数据的维度进行判别，得到数据维度信息；当所述数据维度信息为一维时，执行S222；当所述数据维度信息为二维时，执行S225；

S222，对所述一维的训练数据进行数据清理处理，得到清洗训练数据；

S223，对所述清洗训练数据进行数据范围限定处理，得到限定训练数据；

S224，对所述限定训练数据进行归一化处理，得到预处理后的一维训练数据，执行S228；

S225，对所述二维的训练数据进行线性量化处理，得到量化训练数据；

S226，对所述量化训练数据的灰度值信息进行灰度拉伸处理，得到灰度训练数据信息；

S227，对所述灰度训练数据信息进行归一化处理，得到预处理后的二维训练数据；

S228，对所述预处理后的一维训练数据和预处理后的二维训练数据进行合并处理，得到压缩训练数据集合。

所述利用所述压缩训练数据集合，对所述数据压缩模型进行训练处理，得到训练完毕的数据压缩模型，包括：

S231，初始化训练迭代次数值；

S232，将所述压缩训练数据集合中的每个数据作为输入数据，输入数据压缩模型，得到还原的输入数据；

S233，对所述输入数据值和还原的输入数据值进行差异计算处理，得到差异值；

S234，判断所述差异值是否满足收敛条件，得到第一判断结果；

当所述第一判断结果为否时，判断所述训练迭代次数值是否等于训练次数阈值，得到第二判断结果；

当所述第二判断结果为否时，确定模型训练状态为不满足终止训练条件；

当所述第二判断结果为是时，确定所述模型训练状态为满足终止训练条件；

当所述第一判断结果为是时，确定所述模型训练状态为满足终止训练条件；

当所述模型训练状态为不满足终止训练条件时，利用参数更新模型对所述编码模块和解码模块进行参数更新，训练迭代次数值增加1，执行S232；

当所述模型训练状态为满足终止训练条件时，完成对所述数据压缩模型的训练处理过程，得到训练完毕的数据压缩模型。

所述参数更新模型为：

θ←θ+v；

式中，x⁽ⁱ⁾为所述压缩训练数据集合中的第i个数据，为损失函数，v为参数更新值，θ为所述编码模块和解码模块的参数，η为初始参数学习率，α为动量角度参数，0≤α≤1，表示针对变量θ求偏导数，f(x⁽ⁱ⁾；θ)表示数据压缩模型对所述压缩训练数据集合的第i个数据计算得到的还原的输入数据，f(.)为数据压缩模型对应的计算函数。

本发明实施例第二方面，公开了一种基于高通量卫星物联网的数据压缩装置，包括：低轨卫星星座、信关站及用户终端；

所述低轨卫星星座包括若干个低轨卫星；所述低轨卫星星座，用于对所述信关站及用户终端的信号进行接收和转发处理；

所述信关站，用于接收得到低轨卫星和用户终端的数据，对接收的低轨卫星和用户终端的数据进行转发处理，对用户终端进行接入管理；

所述用户终端，用于采集得到环境数据信息集，利用所述基于高通量卫星物联网的数据压缩方法，对所述环境数据信息集进行压缩处理，得到压缩数据集，将所述压缩数据集发送至所述低轨卫星星座。

本发明实施例第三方面，公开了一种基于高通量卫星物联网的数据压缩装置，所述装置包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行所述的基于高通量卫星物联网的数据压缩方法。

本发明实施例第四方面，公开了一种计算机可存储介质，所述计算机可存储介质存储有计算机指令，所述计算机指令被调用时，用于执行所述的基于高通量卫星物联网的数据压缩方法。

本发明实施例第五方面，公开了一种信息数据处理终端，所述信息数据处理终端用于实现所述的基于高通量卫星物联网的数据压缩方法。

本发明的有益效果为：

1、本发明方通过对训练数据进行预处理,使得本发明中的模型可以对二维和一维数据同时进行处理,并且通过设置包含三个网络的压缩模型,通过编码网络的编码后可以提取数据特征,将数据进行压缩,进一步地,通过量化网络的量化的作用,可以将浮点型数据变为整型数据,减少数据占用的比特数,从而可以进一步提升压缩效果。解决了现有技术中无法实现对时序数据的压缩或者压缩效果较差的技术问题。

2、本发明通过实现的基于深度学习的数据无损压缩组件，并在高通量卫星通信系统物联网低速数据与语音数据传输中进行应用，进一步节省了卫星数据传输带宽，并且具有较好的泛化性，可以支持普通的IP数据、语音数据、时序数据等物联网常用数据类型，并且算法规模可支持普通性能CPU上运行，适应卫星物联网终端低处理性能、低功耗、低带宽资源受限使用场景，具有较好的市场应用推广潜力。

3、本发明解决了传统压缩方法存在的压缩速度慢、压缩率不够高，及不适用于物联网采集的时序数据的问题。

附图说明

图1为本发明方法的实施流程图。

具体实施方式

为了更好的了解本发明内容，这里给出一个实施例。图1为本发明方法的实施流程图。

随着人工智能技术的发展，其在各个领域的应用不断带来质的飞越，尤其目前流行的端到端大模型被认为是现实世界的无损压缩或映射。目前，人工智能在数据压缩方面的应用主要集中在体现在图像压缩方向上，主要通过多层感知器、卷积神经网络和生成对抗网络技术手段实现无损或有损压缩，并取得了良好效果。利用深度神经网络，训练一种适用于卫星互联网的端到端无损压缩模型已成为可能。

本发明实施例第一方面公开了一种基于高通量卫星物联网的数据压缩方法,包括:

S1,获取高通量卫星物理网的采集数据和训练数据；

S2，利用所述训练数据，构建得到数据压缩模型；

S3，利用所述数据压缩模型，对所述采集数据进行处理，得到压缩数据。

所述S2，包括:

S21,初始化数据压缩模型；

S22，对所述训练数据进行预处理，得到压缩训练数据集合；

S23，利用所述压缩训练数据集合，对所述数据压缩模型进行训练处理，得到训练完毕的数据压缩模型；

S24，确定所述训练完毕的数据压缩模型，为构建得到的数据压缩模型；

所述利用所述数据压缩模型，对所述采集数据进行处理，得到压缩数据，包括：

利用所述数据压缩模型中的编码网络和量化网络，对所述采集数据进行处理，得到压缩数据。

基于高通量卫星物联网，将所述压缩数据从发送端发送到接收端，在接收端利用所述数据压缩模型中的解码网络对所述压缩数据进行处理，得到接收数据。

所述数据压缩模型，包括编码网络、量化网络和解码网络；

所述编码网络，与量化网络相连接，包括第一处理模块、第二处理模块、第三处理模块和第四处理模块，用于对输入数据进行编码处理，得到特征图像数据；

所述第一处理模块，包括输入模块、第一二维卷积模块、第一激活模块、第一残差模块、第一归一化模块；所述第一处理模块的第一端口，为所述输入模块的输入端；所述第一处理模块的第二端口，为所述第一归一化模块的输出端；所述第一处理模块的第一端口，作为所述编码网络的输入端，用于接收得到输入数据；所述第一处理模块的第二端口，与所述第二处理模块的第一端口连接；在所述第一处理模块中，所述输入模块、第一二维卷积模块、第一激活模块、第一残差模块、第一归一化模块依次连接；

所述第二处理模块，包括第二二维卷积模块、第二激活模块、第二归一化模块；所述第二处理模块的第一端口，为所述第二二维卷积模块的输入端；所述第二处理模块的第二端口，为所述第二归一化模块的输出端；所述第二处理模块的第二端口，与所述第三处理模块的第一端口连接；在所述第二处理模块中，所述第二二维卷积模块、第二激活模块、第二归一化模块依次连接；

所述第三处理模块，包括第三二维卷积模块、第三激活模块、第三残差模块；所述第三处理模块的第一端口，为所述第三二维卷积模块的输入端；所述第三处理模块的第二端口，为所述第三残差模块的输出端；所述第三处理模块的第二端口，与所述第四处理模块的第一端口连接；在所述第三处理模块中，所述第三二维卷积模块、第三激活模块、第三残差模块依次连接；

所述第四处理模块，包括第四二维卷积模块、第四激活模块、第四残差模块；所述第四处理模块的第一端口，为所述第四二维卷积模块的输入端；所述第四处理模块的第二端口，为所述第四残差模块的输出端；所述第四处理模块的第二端口，作为所述编码网络的输出端，用于输出特征图像数据；在所述第四处理模块中，所述第四二维卷积模块、第四激活模块、第四残差模块依次连接；

所述量化网络，与编码网络和解码网络相连接，用于对所述特征图像数据进行量化处理，得到压缩数据；所述量化网络，包括第九二维卷积模块、第九激活模块和量化模块；在所述量化网络，所述第九二维卷积模块、第九激活模块和量化模块依次连接；

所述解码网络，与量化网络相连接，包括第五处理模块、第二处理模块、第三处理模块和第四处理模块，用于对所述压缩数据进行解码处理，得到还原的输入数据；

所述第五处理模块，包括输入模块、随机排列模块、第五二维卷积模块、第五激活模块、第五残差模块；所述第五处理模块的第一端口，为所述输入模块的输入端，用于接收得到压缩数据；所述第五处理模块的第二端口，为所述第五残差模块的输出端，与所述第六处理模块的第一端口连接；在所述第五处理模块中，所述输入模块、随机排列模块、第五二维卷积模块、第五激活模块、第五残差模块依次连接；

所述第六处理模块，包括第六二维卷积模块、第六激活模块、第六残差模块；所述第六处理模块的第一端口，为所述第六二维卷积模块的输入端；所述第六处理模块的第二端口，为所述第六残差模块的输出端；所述第六处理模块的第二端口，与所述第七处理模块的第一端口连接；在所述第六处理模块中，所述第六二维卷积模块、第六激活模块、第六残差模块依次连接；

所述第七处理模块，包括第七二维卷积模块、第七激活模块、第七归一化模块；所述第七处理模块的第一端口，为所述第七二维卷积模块的输入端；所述第七处理模块的第二端口，为所述第七归一化模块的输出端；所述第七处理模块的第二端口，与所述第八处理模块的第一端口连接；在所述第七处理模块中，所述第七二维卷积模块、第七激活模块、第七归一化模块依次连接；

所述第八处理模块，包括第八二维卷积模块、第八激活模块、第八残差模块、第八归一化模块；所述第八处理模块的第一端口，为所述第八二维卷积模块的输入端；所述第八处理模块的第二端口，为所述第八归一化模块的输出端；所述第八处理模块的第二端口，是所述解码网络的输出端，用于输出计算得到的还原的输入数据；在所述第八处理模块中，所述第八二维卷积模块、第八激活模块、第八残差模块、第八归一化模块依次连接。

所述激活模块，用于实现激活函数；所述激活函数，可以是sigmoid函数；

所述残差模块，可采用Resnet网络来实现；

所述归一化模块，可采用phthon中的分位数归一化Quantile Normalization函数来实现。

所述随机排列模块，采用python中的shuffle函数来实现。

所述第九激活模块，采用tanh函数实现；

所述量化模块，其计算公式为:

其中，X为所述量化模块的输入。

所述第八处理模块中的卷积模块、激活模块、残差模块、归一化模块的结构，与所述第一处理模块中的卷积模块、激活模块、残差模块、归一化模块的结构相同；

所述第七处理模块中的卷积模块、激活模块、残差模块、归一化模块的结构，与所述第二处理模块中的卷积模块、激活模块、残差模块、归一化模块的结构相同；

所述第六处理模块中的卷积模块、激活模块、残差模块、归一化模块的结构，与所述第三处理模块中的卷积模块、激活模块、残差模块、归一化模块的结构相同；

所述第五处理模块中的卷积模块、激活模块、残差模块、归一化模块的结构，与所述第四处理模块中的卷积模块、激活模块、残差模块、归一化模块的结构相同；

所述对所述训练数据进行预处理，得到压缩训练数据集合，包括：

S221,对所述训练数据的维度进行判别，得到数据维度信息；当所述数据维度信息为一维时，执行S222；当所述数据维度信息为二维时，执行S225；

S222，对所述一维的训练数据进行数据清理处理，得到清洗训练数据；

S223，对所述清洗训练数据进行数据范围限定处理，得到限定训练数据；

S224，对所述限定训练数据进行归一化处理，得到预处理后的一维训练数据，对预处理后的一维训练数据进行维度变换处理，得到二维变换数据，执行S228；

S225，对所述二维的训练数据进行线性量化处理，得到量化训练数据；

S226，对所述量化训练数据的灰度值信息进行灰度拉伸处理，得到灰度训练数据信息；

S227，对所述灰度训练数据信息进行归一化处理，得到预处理后的二维训练数据；

S228，对所述二维变换数据和预处理后的二维训练数据进行合并处理，得到压缩训练数据集合。

所述数据清理处理，包括填补缺失值、光滑噪声数据、平滑或删除野值点；所述光滑噪声数据，是首先判别得到噪声数据，再根据噪声数据的前后数据，对噪声数据进行平滑处理；所述噪声数据，是电极在采集训练数据时由于工频干扰，环境影响等原因产生的叠加在训练数据上的异常值。所述野值点的判别，可以采用卡尔曼滤波方法。对于缺失值的填补值的确定，可对缺失值的前后一定采样区间内的测量值取平均得到。

所述对所述清洗训练数据进行数据范围限定处理，得到限定训练数据，包括：

获取每一类清洗训练数据的取值范围信息；

判断所述每个清洗训练数据，是否在所述取值范围信息内，得到范围判别结果；若所述范围判别结果为否，将所述清洗训练数据的取值，用其前后相邻时间的采集信号值的平均值进行替换；

对每个清洗训练数据完成判断处理后，得到限定训练数据。

所述归一化处理，包括：

获得所有限定训练数据的最大值；用每个限定训练数据除以所述最大值，得到归一化后的数据。

所述步骤S225,具体包括：对获取的二维的训练数据，即32bit高分辨率的图像数据，进行线性量化，得到8bit的图像数据；

所述灰度拉伸处理，可采用对比对拉伸来实现，具体可采用分段线性变换函数来实现。

所述对预处理后的一维训练数据进行维度变换处理，得到二维变换数据，是按照设定行数和列数，将预处理后的一维训练数据变换成矩阵，得到二维变换数据；例如，预设行数和列数为3和4，对预处理后的一维训练数据中以12个数据为一组，变换为3行4列的矩阵。

所述利用所述压缩训练数据集合，对所述数据压缩模型进行训练处理，得到训练完毕的数据压缩模型，包括：

S231，初始化训练迭代次数值；

S232，将所述压缩训练数据集合中的每个数据作为输入数据，输入数据压缩模型，得到还原的输入数据；

S233，对所述输入数据值和还原的输入数据值进行差异计算处理，得到差异值；

S234，判断所述差异值是否满足收敛条件，得到第一判断结果；

当所述第一判断结果为否时，判断所述训练迭代次数值是否等于训练次数阈值，得到第二判断结果；

当所述第二判断结果为否时，确定模型训练状态为不满足终止训练条件；

当所述第二判断结果为是时，确定所述模型训练状态为满足终止训练条件；

当所述第一判断结果为是时，确定所述模型训练状态为满足终止训练条件；

当所述模型训练状态为不满足终止训练条件时，利用参数更新模型对所述编码模块和解码模块进行参数更新，训练迭代次数值增加1，执行S232；

当所述模型训练状态为满足终止训练条件时，完成对所述数据压缩模型的训练处理过程，得到训练完毕的数据压缩模型。

所述参数更新模型为：

θ←θ+v；

式中，x⁽ⁱ⁾为所述压缩训练数据集合中的第i个数据，为损失函数，v为参数更新值，θ为所述编码模块和解码模块的参数，η为初始参数学习率，α为动量角度参数，0≤α≤1，表示针对变量θ求偏导数，f(x⁽ⁱ⁾；θ)表示数据压缩模型对所述压缩训练数据集合的第i个数据计算得到的还原的输入数据，f(·)为数据压缩模型对应的计算函数；exp表示常数e的幂运算；η和α为预设值。

本发明实施例第二方面公开了一种基于高通量卫星物联网的数据压缩装置，包括：低轨卫星星座、信关站及用户终端；

所述低轨卫星星座包括若干个低轨卫星；所述低轨卫星星座，是高通量卫星物联网架构主要的功能组成部分，用于对所述信关站及用户终端的信号进行接收和转发处理；

所述信关站，其主要任务是管理整个天基信息网络，用于接收得到低轨卫星和用户终端的数据，对接收的低轨卫星和用户终端的数据进行转发处理，对用户终端进行接入管理，对用户终端采集得到的原始数据进行处理、分发、存储，为用户提供多样化的通信服务，如互联互通、用户管理、呼叫管理、资源调度等。

所述用户终端，包括控制处理模块、感知模块和通信模块，用于采集得到环境数据信息集，利用所述基于高通量卫星物联网的数据压缩方法，对所述环境数据信息集进行压缩处理，得到压缩数据集，将所述压缩数据集发送至所述低轨卫星星座；

所述用户终端的控制处理模块，与所述感知模块和所述通信模块连接；

所述感知模块，包括温湿度传感器、红外感应器和RFID读卡器，用于采集得到环境数据信息集，将所述环境数据信息集发送至所述用户终端控制处理模块。

所述用户终端控制处理模块，用于对所述感知模块采集得到的环境数据信息集进行压缩处理，得到压缩数据集；

所述通信模块，用于将所述压缩数据集，发送至所述低轨卫星星座中的低轨卫星和信关站；

所述对用户终端采集得到的原始数据进行分发，包括对用户终端采集得到的原始数据，分发到对应的其他用户终端；

用户终端是天基物联网的服务请求接口，主要由各种终端设备及用户组成。

所述用户终端，又称为物联网终端，通过对STM32L控制芯片与NB-IoT通信模块的集成设计，实现传感器采集数据、网络传输数据的低功耗工作系统。系统采用低功耗的器件，通过控制系统的工作模式实现低功耗运行。在这一系统中，MCU模块采用停止模式，可以在保持SRAM和寄存器内容的同时实现微安量级的电流功耗(NB-IoT网络利用eDRX技术，相较于传统的DRX技术和PSM技术，能够权衡上下行通信和能耗。

控制处理模块，又称为微控制单元(micrcontroller unit,MCU)处理模块；物联网终端是物联网的关键设备,一般由微控制单元(micrcontroller unit,MCU)处理模块、感知模块、通信模块三部分组成；MCU模块对外围感知器件采集的各种信号进行数据分析、校验并将数据通过通信模块，传输到物联网(云服务器)或所述低轨卫星星座和所述信关站,再从服务器取出相应的传感器数据,以可视化页面的形式呈现出来。所述通信模块通过窄带物联网(narrow band internet of things,NB-IoT)通信模组来实现。

本发明实施例第三方面，公开了一种基于高通量卫星物联网的数据压缩装置，所述装置包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行所述的基于高通量卫星物联网的数据压缩方法。

本发明实施例第四方面，公开了一种计算机可存储介质，所述计算机可存储介质存储有计算机指令，所述计算机指令被调用时，用于执行所述的基于高通量卫星物联网的数据压缩方法。

本发明实施例第五方面，公开了一种信息数据处理终端，所述信息数据处理终端用于实现所述的基于高通量卫星物联网的数据压缩方法。

在一种实施方式中,编码网络包括输入层input、卷积层Conv2D、激活层PRelu、残差单元NFNet、归一化层BatchNorm,通过编码网络提取待压缩数据的特征后得到编码后的特征图,包括:

将待压缩的数据输入input层后,通过第一处理模块中的步长为2的Conv2D层将待压缩数据的尺寸变为原来的二分之一,得到第一特征图,然后进入PRelu层和NFNet；

第一特征图再次经过第二处理模块中的一个步长为2的Conv2D层,得到第二特征图,第二特征图的尺寸变为第一特征图的二分之一,再经过；以此类推,经过第三处理模块中的Conv2D层之后,得到第三特征图的尺寸为待压缩数据的八分之一,最后通过第四处理模块中的一个Conv2D层调整特征图的数量，将得到的特征图作为编码后的特征图。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (5)

1.基于高通量卫星物联网的数据压缩方法,其特征在于，包括:

S1,获取高通量卫星物理网的采集数据和训练数据；

S2，利用所述训练数据，构建得到数据压缩模型；

S3，利用所述数据压缩模型，对所述采集数据进行处理，得到压缩数据；

所述利用所述训练数据，构建得到数据压缩模型，包括：

S21,初始化数据压缩模型；

S22，对所述训练数据进行预处理，得到压缩训练数据集合；

S23，利用所述压缩训练数据集合，对所述数据压缩模型进行训练处理，得到训练完毕的数据压缩模型；

S24，确定所述训练完毕的数据压缩模型，为构建得到的数据压缩模型；

所述数据压缩模型，包括编码网络、量化网络和解码网络；

所述编码网络，与量化网络相连接，包括第一处理模块、第二处理模块、第三处理模块和第四处理模块，用于对输入数据进行编码处理，得到特征图像数据；

所述第一处理模块，包括输入模块、第一二维卷积模块、第一激活模块、第一残差模块、第一归一化模块；所述第一处理模块的第一端口，为所述输入模块的输入端；所述第一处理模块的第二端口，为所述第一归一化模块的输出端；所述第一处理模块的第一端口，作为所述编码网络的输入端，用于接收得到输入数据；所述第一处理模块的第二端口，与所述第二处理模块的第一端口连接；在所述第一处理模块中，所述输入模块、第一二维卷积模块、第一激活模块、第一残差模块、第一归一化模块依次连接；

所述第二处理模块，包括第二二维卷积模块、第二激活模块、第二归一化模块；所述第二处理模块的第一端口，为所述第二二维卷积模块的输入端；所述第二处理模块的第二端口，为所述第二归一化模块的输出端；所述第二处理模块的第二端口，与所述第三处理模块的第一端口连接；在所述第二处理模块中，所述第二二维卷积模块、第二激活模块、第二归一化模块依次连接；

所述第三处理模块，包括第三二维卷积模块、第三激活模块、第三残差模块；所述第三处理模块的第一端口，为所述第三二维卷积模块的输入端；所述第三处理模块的第二端口，为所述第三残差模块的输出端；所述第三处理模块的第二端口，与所述第四处理模块的第一端口连接；在所述第三处理模块中，所述第三二维卷积模块、第三激活模块、第三残差模块依次连接；

所述第四处理模块，包括第四二维卷积模块、第四激活模块、第四残差模块；所述第四处理模块的第一端口，为所述第四二维卷积模块的输入端；所述第四处理模块的第二端口，为所述第四残差模块的输出端；所述第四处理模块的第二端口，作为所述编码网络的输出端，用于输出特征图像数据；在所述第四处理模块中，所述第四二维卷积模块、第四激活模块、第四残差模块依次连接；

所述量化网络，与编码网络和解码网络相连接，用于对所述特征图像数据进行量化处理，得到压缩数据；所述量化网络，包括第九二维卷积模块、第九激活模块和量化模块；在所述量化网络，所述第九二维卷积模块、第九激活模块和量化模块依次连接；

所述解码网络，与量化网络相连接，包括第五处理模块、第六处理模块、第七处理模块和第八处理模块，用于对所述压缩数据进行解码处理，得到还原的输入数据；

所述第五处理模块，包括输入模块、随机排列模块、第五二维卷积模块、第五激活模块、第五残差模块；所述第五处理模块的第一端口，为所述输入模块的输入端，用于接收得到压缩数据；所述第五处理模块的第二端口，为所述第五残差模块的输出端，与所述第六处理模块的第一端口连接；在所述第五处理模块中，所述输入模块、随机排列模块、第五二维卷积模块、第五激活模块、第五残差模块依次连接；

所述第六处理模块，包括第六二维卷积模块、第六激活模块、第六残差模块；所述第六处理模块的第一端口，为所述第六二维卷积模块的输入端；所述第六处理模块的第二端口，为所述第六残差模块的输出端；所述第六处理模块的第二端口，与所述第七处理模块的第一端口连接；在所述第六处理模块中，所述第六二维卷积模块、第六激活模块、第六残差模块依次连接；

所述第七处理模块，包括第七二维卷积模块、第七激活模块、第七归一化模块；所述第七处理模块的第一端口，为所述第七二维卷积模块的输入端；所述第七处理模块的第二端口，为所述第七归一化模块的输出端；所述第七处理模块的第二端口，与所述第八处理模块的第一端口连接；在所述第七处理模块中，所述第七二维卷积模块、第七激活模块、第七归一化模块依次连接；

所述第八处理模块，包括第八二维卷积模块、第八激活模块、第八残差模块、第八归一化模块；所述第八处理模块的第一端口，为所述第八二维卷积模块的输入端；所述第八处理模块的第二端口，为所述第八归一化模块的输出端；所述第八处理模块的第二端口，是所述解码网络的输出端，用于输出计算得到的还原的输入数据；在所述第八处理模块中，所述第八二维卷积模块、第八激活模块、第八残差模块、第八归一化模块依次连接；

所述对所述训练数据进行预处理，得到压缩训练数据集合，包括：

S221,对所述训练数据的维度进行判别，得到数据维度信息；当所述数据维度信息为一维时，执行S222；当所述数据维度信息为二维时，执行S225；

S222，对所述一维的训练数据进行数据清理处理，得到清洗训练数据；

S223，对所述清洗训练数据进行数据范围限定处理，得到限定训练数据；

S224，对所述限定训练数据进行归一化处理，得到预处理后的一维训练数据，执行S228；

S225，对所述二维的训练数据进行线性量化处理，得到量化训练数据；

S226，对所述量化训练数据的灰度值信息进行灰度拉伸处理，得到灰度训练数据信息；

S227，对所述灰度训练数据信息进行归一化处理，得到预处理后的二维训练数据；

S228，对所述预处理后的一维训练数据和预处理后的二维训练数据进行合并处理，得到压缩训练数据集合；

所述利用所述压缩训练数据集合，对所述数据压缩模型进行训练处理，得到训练完毕的数据压缩模型，包括：

S231，初始化训练迭代次数值；

S232，将所述压缩训练数据集合中的每个数据作为输入数据，输入数据压缩模型，得到还原的输入数据；

S233，对所述输入数据值和还原的输入数据值进行差异计算处理，得到差异值；

S234，判断所述差异值是否满足收敛条件，得到第一判断结果；

当所述第一判断结果为否时，判断所述训练迭代次数值是否等于训练次数阈值，得到第二判断结果；

当所述第二判断结果为否时，确定模型训练状态为不满足终止训练条件；

当所述第二判断结果为是时，确定所述模型训练状态为满足终止训练条件；

当所述第一判断结果为是时，确定所述模型训练状态为满足终止训练条件；

当所述模型训练状态为不满足终止训练条件时，利用参数更新模型对所述编码网络和解码网络进行参数更新，训练迭代次数值增加1，执行S232；

当所述模型训练状态为满足终止训练条件时，完成对所述数据压缩模型的训练处理过程，得到训练完毕的数据压缩模型；

所述参数更新模型为：

θ←θ+v；

式中，x⁽ⁱ⁾为所述压缩训练数据集合中的第i个数据，为损失函数，v为参数更新值，θ为所述编码网络和解码网络的参数，η为初始参数学习率，α为动量角度参数，0≤α≤1，表示针对变量θ求偏导数，f(x⁽ⁱ⁾；θ)表示数据压缩模型对所述压缩训练数据集合的第i个数据计算得到的还原的输入数据，f(·)为数据压缩模型对应的计算函数。

2.一种基于高通量卫星物联网的数据压缩装置，包括：低轨卫星星座、信关站及用户终端；

所述低轨卫星星座包括若干个低轨卫星；所述低轨卫星星座，用于对所述信关站及用户终端的信号进行接收和转发处理；

所述信关站，用于接收得到低轨卫星和用户终端的数据，对接收的低轨卫星和用户终端的数据进行转发处理，对用户终端进行接入管理；

所述用户终端，用于采集得到环境数据信息集，利用权利要求1所述基于高通量卫星物联网的数据压缩方法，对所述环境数据信息集进行压缩处理，得到压缩数据集，将所述压缩数据集发送至所述低轨卫星星座。

3.一种基于高通量卫星物联网的数据压缩装置，其特征在于，所述装置包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1所述的基于高通量卫星物联网的数据压缩方法。

4.一种计算机可存储介质，其特征在于，所述计算机可存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1所述的基于高通量卫星物联网的数据压缩方法。

5.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1所述的基于高通量卫星物联网的数据压缩方法。