CN113242264B - 一种对大容量数据进行压缩存储的方法和系统 - Google Patents

一种对大容量数据进行压缩存储的方法和系统 Download PDF

Info

Publication number
CN113242264B
CN113242264B CN202110776025.0A CN202110776025A CN113242264B CN 113242264 B CN113242264 B CN 113242264B CN 202110776025 A CN202110776025 A CN 202110776025A CN 113242264 B CN113242264 B CN 113242264B
Authority
CN
China
Prior art keywords
satellite navigation
signal
data
navigation signals
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110776025.0A
Other languages
English (en)
Other versions
CN113242264A (zh
Inventor
郭海玉
倪少杰
鲁祖坤
孙广富
肖伟
邱杨
孙涛
周彦波
赖成伟
宋捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110776025.0A priority Critical patent/CN113242264B/zh
Publication of CN113242264A publication Critical patent/CN113242264A/zh
Application granted granted Critical
Publication of CN113242264B publication Critical patent/CN113242264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/21—Interference related issues ; Issues related to cross-correlation, spoofing or other methods of denial of service
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提出一种对大容量数据进行压缩存储的方法和系统。所述方法包括：对经由所述地面天线接收到的卫星导航信号进行预处理；通过信号检测，确定经预处理的卫星导航信号中是否存在干扰：若是，则对所述经预处理的卫星导航信号进行压缩存储；若否，则对所述经预处理的卫星导航信号进行选择存储；所述压缩存储具体包括：对待压缩存储的卫星导航信号进行进制转换，使得转换后的进制高于当前进制；确定经进制转换的卫星导航信号的各个数据位上字符的出现概率；基于所述各个数据位上字符的出现概率，对所述经进制转换的卫星导航信号进行编码，以实现无损压缩。

Description

一种对大容量数据进行压缩存储的方法和系统
技术领域
本发明属于数据压缩技术领域，尤其涉及一种对大容量数据进行压缩存储的方法和系统。
背景技术
卫星导航信号原始数据的采集对科研工作有很大的价值，一般的监测接收机并不保存原始数据，只输出处理后的结果，对信号质量检测、干扰分析等方面的科研活动带来极大困扰。卫星导航信号采集回放仪等设备可以存储原始数据，便携式设备更受广大科研工作者青睐。但是，现有采集回放设备存储空间有限，一次性工作时间有限，对于完成无人化、常态化、高质量监测采集任务有较大困难。
为了应对大数据采集的任务，常用的双通道信号采集回放仪增大了存储空间，连续采集时间有所加长。但是随着采集时间的增长，相应的数据文件也不断变大，10s的数据占用超过1G的存储空间，大数据包给设备之间数据传输、处理带来了极大困难。
除此之外，受到采集存储速度的制约，现有采集设备双通道同时采集时只允许4bit的采样位宽，无法使用8bit、16bit采样位宽的模式，得到的数据质量差，数据分析结果随机性大、误差大、错误率较高，给卫星导航信号质量监测、干扰监测等任务带来较大困扰。
现有的卫星导航信号采集设备中没有集成压缩存储模块，只是将采集到的数据经过采样后直接存储，数据量大，冗余数据多。现有的压缩编码方法，如哈夫曼编码、算术编码以及各种有损压缩等方法，不适应或不能有效的对卫星导航信号进行压缩。综上，现有技术存在以下缺点：(1)无压缩存储模块存储的数据量大，导致传输困难；(2)有损压缩会损坏卫星导航信号结构，影响跟踪捕获性能，不建议使用；(3)无损压缩对数据的压缩率不够，很难有效地提高压缩率。因此。需要针对卫星导航信号特点提出改进。
发明内容
为解决现有设备连续采集时间短、数据文件大、采集位宽窄的技术问题，本发明提出一种对大容量数据进行压缩存储的方案。
本发明第一方面公开了一种对大容量数据进行压缩存储的方法。所述大容量数据为地面天线接收到的卫星导航信号，所述方法具体包括：对经由所述地面天线接收到的卫星导航信号进行预处理，所述预处理包括信号变频处理、信号放大处理和量化采样处理；通过信号检测，确定经预处理的卫星导航信号中是否存在干扰：若是，则对所述经预处理的卫星导航信号进行压缩存储；若否，则对所述经预处理的卫星导航信号进行选择存储；其中，所述压缩存储具体包括：对待压缩存储的卫星导航信号进行进制转换，使得转换后的进制高于当前进制；确定经进制转换的卫星导航信号的各个数据位上字符的出现概率；基于所述各个数据位上字符的出现概率，对所述经进制转换的卫星导航信号进行编码，以实现无损压缩。
根据本发明第一方面的方法，其中，所述预处理具体包括：所述信号变频处理包括：对所述卫星导航信号进行下变频处理，使得所述卫星导航信号的高频段转移到低频段上；所述信号放大处理包括：利用中频放大器，将经所述信号变频处理的卫星导航信号中噪声的幅值和存在的干扰的幅值放大到模数转换器的最大值；所述量化采样处理包括：基于所述模数转换器的采样位宽对经所述信号放大处理的卫星导航信号进行量化采样。
根据本发明第一方面的方法，其中，所述信号检测具体包括：获取所述经预处理的卫星导航信号的所述采样位宽；根据所述采样位宽确定所述经预处理的卫星导航信号的幅值；基于所述幅值计算所述经预处理的卫星导航信号的功率；当所述功率高于阈值时，则判定所述经预处理的卫星导航信号中存在所述干扰，所述阈值为所述信号放大处理的放大增益与所述噪声的功率的总和。
根据本发明第一方面的方法，其中，所述进制转换包括将所述待压缩存储的卫星导航信号从二进制转换至十六进制，以增加所述经进制转换的卫星导航信号的各个数据位上的字符之间的差异性，从而实现所述无损压缩。
根据本发明第一方面的方法，其中，对所述经进制转换的卫星导航信号进行编码具体包括：对所述各个数据位上字符的出现概率基于从大到小的顺序进行排序，并选取排名倒数第一的概率值和排名倒数第二的概率值，为所述排名倒数第一的概率值对应的字符计编码1，为所述排名倒数第二的概率值对应的字符计编码0；对排名倒数第一和倒数第二的概率值进行求和，求和后的概率值与除排名倒数第一和倒数第二的概率值之外的其他概率值重新进行以上步骤中的所述排序和所述求和，最终得到一个概率值；按从后向前的顺序读取所述各个数据位上字符的编码值，作为所述无损压缩的编码结果，所述编码值由0和1构成。
根据本发明第一方面的方法，其中，将所述各个数据位上字符的编码值存储为对应的编码表，以实现基于所述编码表的查询编码和查询解码。
根据本发明第一方面的方法，其中，所述选择存储包括：以固定的时间间隔提取所述时间间隔内的部分数据进行存储，所述部分数据为非重复数据。
本发明第二方面公开了一种对大容量数据进行压缩存储的系统。所述大容量数据为地面天线接收到的卫星导航信号，所述系统具体包括：预处理单元，被配置为，对经由所述地面天线接收到的卫星导航信号进行预处理，所述预处理包括信号变频处理、信号放大处理和量化采样处理；检测单元，被配置为，通过信号检测，确定经预处理的卫星导航信号中是否存在干扰：存储单元，被配置为：若所述干扰存在，则对所述经预处理的卫星导航信号进行压缩存储；若所述干扰不存在，则对所述经预处理的卫星导航信号进行选择存储；其中，所述存储单元具体被配置为，在对所述经预处理的卫星导航信号进行压缩存储时：对待压缩存储的卫星导航信号进行进制转换，使得转换后的进制高于当前进制；确定经进制转换的卫星导航信号的各个数据位上字符的出现概率；基于所述各个数据位上字符的出现概率，对所述经进制转换的卫星导航信号进行编码，以实现无损压缩。
根据本发明第二方面的系统，其中，所述预处理单元具体被配置为：所述信号变频处理包括：对所述卫星导航信号进行下变频处理，使得所述卫星导航信号的高频段转移到低频段上；所述信号放大处理包括：利用中频放大器，将经所述信号变频处理的卫星导航信号中噪声的幅值和存在的干扰的幅值放大到模数转换器的最大值；所述量化采样处理包括：基于所述模数转换器的采样位宽对经所述信号放大处理的卫星导航信号进行量化采样。
根据本发明第二方面的系统，其中，所述检测单元具体被配置为：获取所述经预处理的卫星导航信号的所述采样位宽；获取所述经预处理的卫星导航信号的所述采样位宽；根据所述采样位宽确定所述经预处理的卫星导航信号的幅值；基于所述幅值计算所述经预处理的卫星导航信号的功率；当所述功率高于阈值时，则判定所述经预处理的卫星导航信号中存在所述干扰，所述阈值为所述信号放大处理的放大增益与所述噪声的功率的总和。
根据本发明第二方面的系统，其中，所述存储单元具体被配置为：所述进制转换包括将所述待压缩存储的卫星导航信号从二进制转换至十六进制，以增加所述经进制转换的卫星导航信号的各个数据位上的字符之间的差异性，从而实现所述无损压缩。
根据本发明第二方面的系统，其中，所述存储单元具体被配置为：对所述经进制转换的卫星导航信号进行编码具体包括：对所述各个数据位上字符的出现概率基于从大到小的顺序进行排序，并选取排名倒数第一的概率值和排名倒数第二的概率值，为所述排名倒数第一的概率值对应的字符计编码1，为所述排名倒数第二的概率值对应的字符计编码0；对排名倒数第一和倒数第二的概率值进行求和，求和后的概率值与除排名倒数第一和倒数第二的概率值之外的其他概率值重新进行以上步骤中的所述排序和所述求和，最终得到一个概率值；按从后向前的顺序读取所述各个数据位上字符的编码值，作为所述无损压缩的编码结果，所述编码值由0和1构成。
根据本发明第二方面的系统，其中，所述存储单元具体被配置为：将所述各个数据位上字符的编码值存储为对应的编码表，以实现基于所述编码表的查询编码和查询解码。
根据本发明第二方面的系统，其中，所述存储单元具体被配置为：所述选择存储包括：以固定的时间间隔提取所述时间间隔内的部分数据进行存储，所述部分数据为非重复数据。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明第一方面中任一项所述的一种对大容量数据进行压缩存储的方法的步骤。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本发明第一方面中任一项所述的一种对大容量数据进行压缩存储的方法的步骤。
综上，本发明提出了一种对大容量数据进行压缩存储的方案，在采集设备中增加数据压缩模块，以实现卫星采集回放设备24小时自动化采集、极大压缩数据文件、双通道8bit以上数据采集等的功能。仅需简单引入一个阈值门限，用于检测采样后数据的功率，便可识别出重要数据和次要数据，实现重要数据重点存储，次要数据选择性存储。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A为根据本发明实施例的一种对大容量数据进行压缩存储的方法的流程图；
图1B为根据本发明实施例的对待压缩存储的卫星导航信号进行进制转换的示意图；
图1C为根据本发明实施例的对待压缩存储的卫星导航信号进行无损压缩的示意图；
图1D为根据本发明实施例的利用编码表进行对照编码的示意图；
图2为根据本发明实施例的一种对大容量数据进行压缩存储的系统的结构图；
图3为根据本发明实施例的一种电子设备的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为解决采集设备结构设计、数据存储方面的不足，结合卫星导航信号电文特点，本发明第一方面公开了一种对大容量数据进行压缩存储的方法；其通过在采集设备中增加数据压缩步骤，以实现卫星采集回放设备常态化自动化采集、极大压缩数据文件、双通道16bit以上数据采集等的功能。
图1A为根据本发明实施例的一种对大容量数据进行压缩存储的方法的流程图，其中，所述大容量数据为地面天线接收到的卫星导航信号，如图1A所示，在步骤S1，对经由所述地面天线接收到的卫星导航信号进行预处理，所述预处理包括信号变频处理、信号放大处理和量化采样处理；在步骤S2，通过信号检测，确定经预处理的卫星导航信号中是否存在干扰：若是，则在步骤S3a，对所述经预处理的卫星导航信号进行压缩存储；若否，则在步骤S3b，对所述经预处理的卫星导航信号进行选择存储。
在步骤S1，对经由所述地面天线接收到的卫星导航信号进行预处理，所述预处理包括信号变频处理、信号放大处理和量化采样处理。
在一些实施例中，信号变频处理、信号放大处理和量化采样处理分别包括：所述信号变频处理包括：对所述卫星导航信号进行下变频处理，使得所述卫星导航信号的高频段转移到低频段上；所述信号放大处理包括：利用中频放大器，将经所述信号变频处理的卫星导航信号中噪声的幅值和存在的干扰的幅值放大到模数转换器的最大值；所述量化采样处理包括：基于所述模数转换器的采样位宽对经所述信号放大处理的卫星导航信号进行量化采样。
具体地，采集回放设备利用天线接收到的卫星导航信号是淹没在噪声之中的，是模拟信号。卫星导航信号中心频点频率很高，例如，B3频点信号的中心频率为1268.52MHz，带宽为20M。若同时受到信号带宽内的干扰，采集到信号的模型可表示为：
x(t)＝s(t)+n(t)+j(t)
s(t)＝Af(t)sin(2π(f1+fd)t+θ) (1)
上式中，x(t)表示采集到的总的信号，s(t)表示卫星导航信号，n(t)表示噪声，j(t)表示干扰信号；A表示导航信号振幅，f(t)表示卫星导航信号的伪码信息和数据码，f1表示卫星导航信号中心频率，fd表示多普勒频移，θ表示接收到信号的初相位。
由于频率如此高的射频信号一般不适与被直接采样离散，采集回放设备接收到信号后，首先将信号进行下变频处理，将信号的高频段转移到较低的频段上进行处理，具体方法是将射频信号与本机产生的本振信号相乘。smix(t)＝s(t)sL(t)
＝Af(t)sin(2π(f1+fd)t+θ)·ALsin(2πfLt+θL)
＝AALf(t)[cos(2π(f1+fd-fL)t+θ-θL)-cos(2π(f1+fd+fL)t+θ+θL)] (2)
式中，smix(t)表示射频信号与本振信号相乘的结果，sL(t)表示本振信号，AL表示本振信号幅值，fL表示本振信号中心频率，θL表示本振信号相位。式中中括号左边部分表示频率在f1-fL附近的低频信号成分，右边一项表示频率更高的高频信号成分，将此信号通过低通滤波器后去掉高频信号成分得到低频信号sIF(t)。
Figure GDA0003221710420000081
完成下变频后信号通过中频放大器，因为信号弱于噪声，中频放大将噪声幅值而不是信号幅值放大到ADC(A/D转换器，即模数转换器)的最大输入值。(若有干扰，则将干扰幅值放大到ADC的最大输入值)，记中频放大器的增益为G。
中频放大后对信号进行模数转换，该步骤在ADC中完成，采集回放仪的采样位宽指的就是ADC的位数，位数越多，ADC分辨率越高。中频信号经ADC采样和量化后，得到如下的数字中频信号：
Figure GDA0003221710420000091
在步骤S2，通过信号检测，确定经预处理的卫星导航信号中是否存在干扰。
在一些实施例中，所述信号检测具体包括：获取所述经预处理的卫星导航信号的所述采样位宽；根据所述采样位宽确定所述经预处理的卫星导航信号的幅值；基于所述幅值计算所述经预处理的卫星导航信号的功率；当所述功率高于阈值时，则判定所述经预处理的卫星导航信号中存在所述干扰，所述阈值为所述信号放大处理的放大增益与所述噪声的功率的总和。
具体地，以8bit采样位宽为例进行分析，经过量化采样处理后，采集到的模拟信号变为数字信号，其格式为8个一组的二进制数据，无干扰下，信号功率低，增益大，数据如下例所示：
1101000111010100 11010101 110110101 1010110 11011001...
有干扰的情况下，信号功率差值大，增益相对小，数据如下所示：
00000100 00000110...10000100 101001011100000110100100...0000011000000100
其中，每一组二进制数据包含一个采样点的幅度信息。无干扰时，中高轨卫星导航信号落地功率一般为-130dBm，幅度较小，通常是淹没在噪声之下的，此时采样后的数据量化范围较小，放大后高低位字符被完全使用，转化成十六进制后各字符概率相近，压缩空间很低，重复信息多，可适当减少存储。
当卫星信号受到外界信号干扰时，量化范围大，有干扰和无干扰的字符串之间差异明显(上例中省略号之间的是有干扰的数据，两端的是无干扰的数据)，无干扰数据高位字符为0，通过信号检测(高位符号检测、幅值检测、功率检测都可以实现)，确定所述信号中是否存在干扰，进一步针对存在干扰的数据识别出异常的数据段以进行压缩，重点保留有用信息。
量化采样后每个采样点的幅度信息Di被存储在二进制的字符串中，通过幅度信息求均方和容易得采集到总信号的功率P。
取N个采样点，则信号功率可计算为：
Figure GDA0003221710420000101
卫星导航信号落地功率一般为Ps＝-130dBm，噪声功率大约为Pn＝-100dBm，噪声功率要远大于信号功率，设置功率检测的阈值时应以噪声功率为参考。采集回放仪接收到的信号经下变频混频、中频滤波放大后导航信号和噪声功率均被放大，还应考虑采集回放仪的放大增益G。
阈值的大小即可选择为增益与噪声功率的和。
Th＝Pn+G (6)
式中，Th表示功率检测的判决门限，G表示采集回放仪放大电路的增益，单位均为dB。对量化后的数据监测功率，超过阈值的异常信号具有重要的科研价值，是科研人员研究干扰特征以及干扰对信号影响的重要依据，需要原原本本的重点压缩存储。
如上所述，若所述干扰存在，则在步骤S3a，对所述经预处理的卫星导航信号进行压缩存储；若所述干扰不存在，则在步骤S3b，对所述经预处理的卫星导航信号进行选择存储。
在一些实施例中，所述选择存储包括：以固定的时间间隔提取所述时间间隔内的部分数据进行存储，所述部分数据为非重复数据。
具体地，普通的卫星导航信号在采集数据中占绝大多数，普通的卫星导航信号可提供导航定位授时等的功能，而完成上述功能不需要很长时间的数据，一分钟左右的数据即可满足科研需求，因此对无干扰的正常信号要按时间段选择存储(例如，每隔十分钟存一次)，只需要记录下所存储数据的具体时刻即可，可以大大减少无用信息和冗余信息，减小数据量。
在一些实施例中，所述压缩存储具体包括：对待压缩存储的卫星导航信号进行进制转换，使得转换后的进制高于当前进制；确定经进制转换的卫星导航信号的各个数据位上字符的出现概率；基于所述各个数据位上字符的出现概率，对所述经进制转换的卫星导航信号进行编码，以实现无损压缩。
在一些实施例中，所述进制转换包括将所述待压缩存储的卫星导航信号从二进制转换至十六进制，以增加所述经进制转换的卫星导航信号的各个数据位上的字符之间的差异性，从而实现所述无损压缩。
具体地，由于信号采集回放设备等量化后用二进制存储数据，字符只有“0”和“1”，对两个字符进行重新编码显然并不能提高压缩率，要将其转换为易进行编码统计的16进制数据。除此之外，当存在干扰时，采集到的有干扰信号功率远大于无干扰信号，此时对无干扰数据进行量化时高数据位为零，将二进制转化为十六进制，“0”字符出现概率最大，字符之间概率差别越大，压缩率越高。图1B为根据本发明实施例的对待压缩存储的卫星导航信号进行进制转换的示意图。
在一些实施例中，对所述经进制转换的卫星导航信号进行编码具体包括：对所述各个数据位上字符的出现概率基于从大到小的顺序进行排序，并选取排名倒数第一的概率值和排名倒数第二的概率值，为所述排名倒数第一的概率值对应的字符计编码1，为所述排名倒数第二的概率值对应的字符计编码0；对排名倒数第一和倒数第二的概率值进行求和，求和后的概率值与除排名倒数第一和倒数第二的概率值之外的其他概率值重新进行以上步骤中的所述排序和所述求和，最终得到一个概率值；按从后向前的顺序读取所述各个数据位上字符的编码值，作为所述无损压缩的编码结果，所述编码值由0和1构成。
对所述经进制转换的卫星导航信号进行编码的具体示例如下：
Figure GDA0003221710420000121
具体地，对要进行压缩存储的数据进行无损压缩，压缩的步骤主要是：先按字符出现的概率大小排队，把两个最小的概率相加，作为新的概率和剩余的概率重新排队，再把最小的两个概率相加，再重新排队，直到最后变成1。每次相加时，都将“0”和“1”标记相加的两个概率(0标记较大数，1标记较小数)，读数时由概率1开始从后往前一直到该符号，将路线上所遇到的“0”和“1”按最低位到最高位的顺序排好，就是该符号的编码。
在一些实施例中，将所述各个数据位上字符的编码值存储为对应的编码表，以实现基于所述编码表的查询编码和查询解码。
具体地，为避免每次编码前要对字符概率进行重新统计，增长编码时间，对长时间的卫星导航信号的字符进行统计，出现概率较大的字符编码字长较短，反之编码字长较长，将每一个符号的编码记录形成编码表进行查询编码。“0”字符出现的概率最高，其余字符概率也基本稳定，利用上述方法得编码表如下(每次统计概率大小和排序大致相同，概率最高的前两位为“0”，其余字符的概率和排序对压缩率影响较小，故选取其中一次实验结果构建编码表，按概率大小排列)；图1C为根据本发明实施例的对待压缩存储的卫星导航信号进行无损压缩的示意图。
表1字符编码表
字符 概率 编码
0 0.217 01
A 0.0903 1111
5 0.0712 1100
1 0.0677 1010
4 0.0590 1001
8 0.0581 1000
7 0.0547 0011
2 0.0521 0010
6 0.0512 0001
C 0.0477 0000
D 0.0417 11101
9 0.0408 11100
E 0.0399 11011
B 0.0373 10111
3 0.0373 11010
F 0.0338 10110
解码的过程和编码类似，也只需要在遍历编码数据的过程中对照编码表译码出原字符即可。图1C为根据本发明实施例的对待压缩存储的卫星导航信号进行无损压缩的示意图；图1D为根据本发明实施例的利用编码表进行对照编码的示意图；可见形成编码表后，按照编码表用相应二进制字符串将原先的字符替换即可。
综上，本发明第一方面提供的方法能够带来的有益效果包括：(1)使采集回放设备在外场环境下长时间自动采集存储卫星信号，增加信号的采样位宽；(2)提高卫星导航信号采集时长，减少冗余数据，大幅减小采集文件的大小；(3)存储的数据便于传输和处理，对异常信号监测具有针对性；(4)针对卫星导航信号采集设备，可重点检测卫星导航信号的受干扰情况，为干扰监测与评估等方面的工作提供极大的便利；(5)可减少相同时间内采集数据包的大小，无损压缩率(压缩后数据大小/原数据大小)超过80％。
本发明第二方面公开了一种对大容量数据进行压缩存储的系统；所述大容量数据为地面天线接收到的卫星导航信号。
图2为根据本发明实施例的一种对大容量数据进行压缩存储的系统的结构图，如图2所示，所述系统200具体包括：预处理单元201，被配置为，对经由所述地面天线接收到的卫星导航信号进行预处理，所述预处理包括信号变频处理、信号放大处理和量化采样处理；检测单元202，被配置为，通过信号检测，确定经预处理的卫星导航信号中是否存在干扰：203存储单元，被配置为：若所述干扰存在，则对所述经预处理的卫星导航信号进行压缩存储；若所述干扰不存在，则对所述经预处理的卫星导航信号进行选择存储。其中，所述存储单元203具体被配置为，在对所述经预处理的卫星导航信号进行压缩存储时：对待压缩存储的卫星导航信号进行进制转换，使得转换后的进制高于当前进制；确定经进制转换的卫星导航信号的各个数据位上字符的出现概率；基于所述各个数据位上字符的出现概率，对所述经进制转换的卫星导航信号进行编码，以实现无损压缩。
根据本发明第二方面的系统，其中，所述预处理单元201具体被配置为：所述信号变频处理包括：对所述卫星导航信号进行下变频处理，使得所述卫星导航信号的高频段转移到低频段上；所述信号放大处理包括：利用中频放大器，将经所述信号变频处理的卫星导航信号中噪声的幅值和存在的干扰的幅值放大到模数转换器的最大值；所述量化采样处理包括：基于所述模数转换器的采样位宽对经所述信号放大处理的卫星导航信号进行量化采样。
根据本发明第二方面的系统，其中，所述检测单元202具体被配置为：获取所述经预处理的卫星导航信号的所述采样位宽；获取所述经预处理的卫星导航信号的所述采样位宽；根据所述采样位宽确定所述经预处理的卫星导航信号的幅值；基于所述幅值计算所述经预处理的卫星导航信号的功率；当所述功率高于阈值时，则判定所述经预处理的卫星导航信号中存在所述干扰，所述阈值为所述信号放大处理的放大增益与所述噪声的功率的总和。
根据本发明第二方面的系统，其中，所述存储单元203具体被配置为：所述进制转换包括将所述待压缩存储的卫星导航信号从二进制转换至十六进制，以增加所述经进制转换的卫星导航信号的各个数据位上的字符之间的差异性，从而实现所述无损压缩。
根据本发明第二方面的系统，其中，所述存储单元203具体被配置为：对所述经进制转换的卫星导航信号进行编码具体包括：对所述各个数据位上字符的出现概率基于从大到小的顺序进行排序，并选取排名倒数第一的概率值和排名倒数第二的概率值，为所述排名倒数第一的概率值对应的字符计编码1，为所述排名倒数第二的概率值对应的字符计编码0；对排名倒数第一和倒数第二的概率值进行求和，求和后的概率值与除排名倒数第一和倒数第二的概率值之外的其他概率值重新进行以上步骤中的所述排序和所述求和，最终得到一个概率值；按从后向前的顺序读取所述各个数据位上字符的编码值，作为所述无损压缩的编码结果，所述编码值由0和1构成。
根据本发明第二方面的系统，其中，所述存储单元203具体被配置为：将所述各个数据位上字符的编码值存储为对应的编码表，以实现基于所述编码表的查询编码和查询解码。
根据本发明第二方面的系统，其中，所述存储单元203具体被配置为：所述选择存储包括：以固定的时间间隔提取所述时间间隔内的部分数据进行存储，所述部分数据为非重复数据。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本发明第一方面中任一项所述的一种对大容量数据进行压缩存储的方法的步骤。
图3为根据本发明实施例的一种电子设备的结构图，如图3所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本发明第一方面中任一项所述的一种对大容量数据进行压缩存储的方法的步骤。
综上，本发明提出了一种对大容量数据进行压缩存储的方案，在采集设备中增加数据压缩模块，以实现卫星采集回放设备24小时自动化采集、极大压缩数据文件、双通道8bit以上数据采集等的功能。仅需简单引入一个阈值门限，用于检测采样后数据的功率，便可识别出重要数据和次要数据，实现重要数据重点存储，次要数据选择性存储。该方案带来的有益效果包括：(1)使采集回放设备在外场环境下长时间自动采集存储卫星信号，增加信号的采样位宽；(2)提高卫星导航信号采集时长，减少冗余数据，大幅减小采集文件的大小；(3)存储的数据便于传输和处理，对异常信号监测具有针对性；(4)针对卫星导航信号采集设备，可重点检测卫星导航信号的受干扰情况，为干扰监测与评估等方面的工作提供极大的便利；(5)可减少相同时间内采集数据包的大小，无损压缩率(压缩后数据大小/原数据大小)超过80％。
请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种对大容量数据进行压缩存储的方法，其特征在于，所述大容量数据为地面天线接收到的卫星导航信号，所述方法具体包括：
对经由所述地面天线接收到的卫星导航信号进行预处理，所述预处理包括信号变频处理、信号放大处理和量化采样处理；
通过信号检测，确定经预处理的卫星导航信号中是否存在干扰：
若是，则对所述经预处理的卫星导航信号进行压缩存储；
若否，则对所述经预处理的卫星导航信号进行选择存储；
其中，所述压缩存储具体包括：
对待压缩存储的卫星导航信号进行进制转换，使得转换后的进制高于当前进制；
确定经进制转换的卫星导航信号的各个数据位上字符的出现概率；
基于所述各个数据位上字符的出现概率，对所述经进制转换的卫星导航信号进行编码，以实现无损压缩；
其中，所述进制转换包括将所述待压缩存储的卫星导航信号从二进制转换至十六进制，以增加所述经进制转换的卫星导航信号的各个数据位上的字符之间的差异性，从而实现所述无损压；
其中，对所述经进制转换的卫星导航信号进行编码具体包括：
对所述各个数据位上字符的出现概率基于从大到小的顺序进行排序，并选取排名倒数第一的概率值和排名倒数第二的概率值，为所述排名倒数第一的概率值对应的字符计编码1，为所述排名倒数第二的概率值对应的字符计编码0；
对排名倒数第一和倒数第二的概率值进行求和，求和后的概率值与除排名倒数第一和倒数第二的概率值之外的其他概率值重新进行以上步骤中的所述排序和所述求和，最终得到一个概率值；
按从后向前的顺序读取所述各个数据位上字符的编码值，作为所述无损压缩的编码结果，所述编码值由0和1构成。
2.根据权利要求1所述的一种对大容量数据进行压缩存储的方法，其特征在于，其中，所述预处理具体包括：
所述信号变频处理包括：对所述卫星导航信号进行下变频处理，使得所述卫星导航信号的高频段转移到低频段上；
所述信号放大处理包括：利用中频放大器，将经所述信号变频处理的卫星导航信号中噪声的幅值和存在的干扰的幅值放大到模数转换器的最大值；
所述量化采样处理包括：基于所述模数转换器的采样位宽对经所述信号放大处理的卫星导航信号进行量化采样。
3.根据权利要求2所述的一种对大容量数据进行压缩存储的方法，其特征在于，其中，所述信号检测具体包括：
获取所述经预处理的卫星导航信号的所述采样位宽；
根据所述采样位宽确定所述经预处理的卫星导航信号的幅值；
基于所述幅值计算所述经预处理的卫星导航信号的功率；
当所述功率高于阈值时，则判定所述经预处理的卫星导航信号中存在所述干扰，所述阈值为所述信号放大处理的放大增益与所述噪声的功率的总和。
4.根据权利要求1所述的一种对大容量数据进行压缩存储的方法，其特征在于，其中，将所述各个数据位上字符的编码值存储为对应的编码表，以实现基于所述编码表的查询编码和查询解码。
5.根据权利要求1所述的一种对大容量数据进行压缩存储的方法，其特征在于，其中，所述选择存储包括：以固定的时间间隔提取所述时间间隔内的部分数据进行存储，所述部分数据为非重复数据。
6.一种对大容量数据进行压缩存储的系统，其特征在于，所述大容量数据为地面天线接收到的卫星导航信号，所述系统具体包括：
预处理单元，被配置为，对经由所述地面天线接收到的卫星导航信号进行预处理，所述预处理包括信号变频处理、信号放大处理和量化采样处理；
检测单元，被配置为，通过信号检测，确定经预处理的卫星导航信号中是否存在干扰；
存储单元，被配置为：若所述干扰存在，则对所述经预处理的卫星导航信号进行压缩存储；若所述干扰不存在，则对所述经预处理的卫星导航信号进行选择存储；
其中，所述存储单元具体被配置为，在对所述经预处理的卫星导航信号进行压缩存储时：
对待压缩存储的卫星导航信号进行进制转换，使得转换后的进制高于当前进制；
确定经进制转换的卫星导航信号的各个数据位上字符的出现概率；
基于所述各个数据位上字符的出现概率，对所述经进制转换的卫星导航信号进行编码，以实现无损压缩；
其中，所述进制转换包括将所述待压缩存储的卫星导航信号从二进制转换至十六进制，以增加所述经进制转换的卫星导航信号的各个数据位上的字符之间的差异性，从而实现所述无损压；
其中，对所述经进制转换的卫星导航信号进行编码具体包括：
对所述各个数据位上字符的出现概率基于从大到小的顺序进行排序，并选取排名倒数第一的概率值和排名倒数第二的概率值，为所述排名倒数第一的概率值对应的字符计编码1，为所述排名倒数第二的概率值对应的字符计编码0；
对排名倒数第一和倒数第二的概率值进行求和，求和后的概率值与除排名倒数第一和倒数第二的概率值之外的其他概率值重新进行以上步骤中的所述排序和所述求和，最终得到一个概率值；
按从后向前的顺序读取所述各个数据位上字符的编码值，作为所述无损压缩的编码结果，所述编码值由0和1构成。
7.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至5中任一项所述的一种对大容量数据进行压缩存储的方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至5中任一项所述的一种对大容量数据进行压缩存储的方法的步骤。
CN202110776025.0A 2021-07-09 2021-07-09 一种对大容量数据进行压缩存储的方法和系统 Active CN113242264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110776025.0A CN113242264B (zh) 2021-07-09 2021-07-09 一种对大容量数据进行压缩存储的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110776025.0A CN113242264B (zh) 2021-07-09 2021-07-09 一种对大容量数据进行压缩存储的方法和系统

Publications (2)

Publication Number Publication Date
CN113242264A CN113242264A (zh) 2021-08-10
CN113242264B true CN113242264B (zh) 2021-09-24

Family

ID=77135195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110776025.0A Active CN113242264B (zh) 2021-07-09 2021-07-09 一种对大容量数据进行压缩存储的方法和系统

Country Status (1)

Country Link
CN (1) CN113242264B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116125502B (zh) * 2023-04-04 2023-06-27 湖南鲸瓴智联信息技术有限公司 一种导航信号生成方法、装置、设备及存储介质
CN116582889B (zh) * 2023-07-14 2023-11-21 武汉能钠智能装备技术股份有限公司四川省成都市分公司 一种高吞吐量数据传输及存储方法、电子设备及存储介质
CN117406249B (zh) * 2023-12-14 2024-03-08 成都安则优科技有限公司 一种反无人机卫星导航设备及数据回放方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015124324A1 (en) * 2014-02-20 2015-08-27 Gurulogic Microsystems Oy Methods and devices for source-coding and decoding of data involving symbol compression
CN108809977A (zh) * 2018-06-08 2018-11-13 电子科技大学 一种分布式光纤传感大数据实时统计压缩方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09162748A (ja) * 1995-12-01 1997-06-20 Fujitsu Ltd データ符号化方法、データ復号方法、データ圧縮装置、データ復元装置、及びデータ圧縮・復元システム
CN103297182A (zh) * 2012-03-02 2013-09-11 中兴通讯股份有限公司 频谱感知测量数据的发送方法及装置
CN102811114B (zh) * 2012-07-12 2015-05-20 中国电子科技集团公司第二十八研究所 一种采用帧间编码的字符型通信报文压缩方法
CN103227920B (zh) * 2013-04-03 2015-12-23 南京信息工程大学 一种多通道卫星图像无损压缩方法
CN103209328B (zh) * 2013-04-19 2017-02-22 中国科学院遥感与数字地球研究所 多源卫星图像实时在线处理技术方法及装置
CN104283568B (zh) * 2013-07-12 2017-05-17 中国科学院声学研究所 一种基于部分霍夫曼树的数据压缩编码方法
US11223386B2 (en) * 2019-05-22 2022-01-11 Stmicroelectronics Sa Data transmission, in particular on a serial link having a great length
CN111913198B (zh) * 2020-08-13 2023-05-30 淮南师范学院 基于双模导航soc芯片的数据处理方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015124324A1 (en) * 2014-02-20 2015-08-27 Gurulogic Microsystems Oy Methods and devices for source-coding and decoding of data involving symbol compression
CN108809977A (zh) * 2018-06-08 2018-11-13 电子科技大学 一种分布式光纤传感大数据实时统计压缩方法

Also Published As

Publication number Publication date
CN113242264A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN113242264B (zh) 一种对大容量数据进行压缩存储的方法和系统
CA1153820A (en) Soft quantizer for fm radio binary digital signaling
CN109962742B (zh) 便携式遥测数据监测平台及监测方法
US20140119421A1 (en) Testing Radio-Frequency Performance of Wireless Communications Circuitry Using Fast Fourier Transforms
US10845489B2 (en) Method of compressing GPS data, method of restoring GPS data, and GPS device
US8150346B2 (en) Detecting a signal in the presence of noise
US6226271B1 (en) Received signal strength determination method, apparatus and computer program products
US7660569B2 (en) Methods and apparatus for digital jammer detection
JP3471550B2 (ja) Ａ／ｄ変換装置
CN102748011A (zh) 一种应用于工业监控设备的音频监控终端及音频处理方法
JP4820942B2 (ja) デジタル自動利得制御方法およびデバイス
CN109194667B (zh) 基于频域检测的实现iq数据信号数据压缩与传输功能的装置
CN108282261A (zh) 编码方法和编码器
CN112152758B (zh) 导航通信方法及装置
US20150236714A1 (en) Method and device for compressing digital data
JPH04278743A (ja) データ伝送装置
US9042856B2 (en) Method and apparatus for using erasure to improve signal decoding during an interference event
CN116184450A (zh) 一种卫星导航基带信号数字前端预处理方法及其装置
CN110380826B (zh) 移动通信信号自适应混合压缩方法
JPWO2009034618A1 (ja) 無線受信機
CN101227308B (zh) 一种移动多媒体广播信号分析系统及分析方法
CN116866972B (zh) 一种基于双模通信的通信监测系统和方法
CN117498892B (zh) 基于uwb的音频传输方法、装置、终端及存储介质
WO2017160429A1 (en) Processing tracing information of a radio signal
CN114374501B (zh) 一种确定后端信号处理设备的本地时间的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant