CN107423372B - 一种ionex电离层数据编辑与无损优化压缩方法 - Google Patents
一种ionex电离层数据编辑与无损优化压缩方法 Download PDFInfo
- Publication number
- CN107423372B CN107423372B CN201710534284.6A CN201710534284A CN107423372B CN 107423372 B CN107423372 B CN 107423372B CN 201710534284 A CN201710534284 A CN 201710534284A CN 107423372 B CN107423372 B CN 107423372B
- Authority
- CN
- China
- Prior art keywords
- data
- ionex
- ionosphere
- editing
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
Abstract
本发明公开了一种IONEX电离层数据编辑与无损优化压缩方法，该方法包括：按需求提取IONEX格式的电离层数据，支持不同采样率的全球电离层数据、区域电离层数据；对IONEX电离层数据在时间维度、地理经纬度层面的编辑操作；对数据进行加密、抽稀以及自定义时间、经纬度范围的截取；根据编辑需求建立一套编辑操作输入指令；针对不同的操作指令执行相应的编辑操作；将编辑后的结果以IONEX格式重新存储为新的电离层数据文件；根据IONEX电离层产品所包含数据划分为字符串、整型数值、浮点型数值这三种基本类型；对三种基本类型的数据分别采用不同的优化存储方案。本发明方法在不损耗原IONEX数据文件的数值精度的前提下尽可能提高压缩率从而减少存储空间。
Description
技术领域
本发明涉及数据处理技术，尤其涉及一种IONEX电离层数据编辑与无损优化压缩方法。
背景技术
电离层是地球大气层60千米以上的，在来自太阳辐射和宇宙射线及各种高能带电粒子的作用下处于部分电离或完全电离状态的大气区域。长期以来，人类主要通过电离层测高仪、雷达以及探空火箭等探测仪器来监测电离层形态变化从而认识电离层活动规律及其变化机制。从1998年开始，IGS(International GNSS Service)电离层工作组开始发布日常的全球电离层图(Global Ionosphere Maps，GIM)。它是由欧洲定轨中心(Center forOrbit Determination in Europe,CODE)、欧空局(European Space Agency,ESA)、美国喷气推进实验室(Jet Propulsion Laboratory,JPL)和西班牙加泰罗尼亚理工大学(Universitat Politécnica De Catalunya,UPC)四个分析中心(Ionosphere AssociateAnalysis Centers，IAACs)各自独立的解算方法得到的电离层产品加权平均组合而成。2016年，我国中科院和武汉大学也加入了IGS电离层分析中心并开始对外发布全球电离层产品。随着应用的需求发展，电离层数据产品的时间分辨率也相应提高，从而大大增加了数据存储空间。而且，分析中心提供的产品均为全球范围的，尚没有针对特定区域的产品，不利于地球物理学、空间物理学等领域有关电离层方面的科学研究。所以，IONEX电离层数据的编辑与压缩存储需要亟待解决。目前，比较常用的无损压缩算法有Huffman算法和LZW算法。Huffman算法是基于统计模型的压缩算法，需要先对数据中出现的概率大小来构造二叉树，对出现概率较大的字符给予较短码长，对概率较小的字符给予较长的码长，且没有错误保护功能，需要补0凑够8位才可进行编码，从而存储了一定的冗余数据。LZW算法是一种基于字典算法的编码方法，通过编码表将字符串映射成定长的码输出，并未真正做到最佳地分析输入数据，其压缩性能受到制约，仅仅适合压缩具有明显单词结构的数据文件。目前，尚没有针对IONEX电离层数据的压缩方法。由于IONEX电离层数据既包含了若干字符串信息，也包含了不同数值类型的数值信息，故不宜采用Huffman算法或LZW算法来对IONEX电离层数据进行压缩，而应该针对IONEX格式开发一种更加良好的优化压缩方法。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种IONEX电离层数据编辑与无损优化压缩方法。
本发明解决其技术问题所采用的技术方案是：一种IONEX电离层数据编辑与无损优化压缩方法，包括以下步骤：
1)数据提取：按需求从原始电离层数据中提取IONEX格式的电离层数据文件，原始电离层数据为不同采样率的全球电离层数据、区域电离层数据；
2)数据编辑：根据数据编辑需求建立一套编辑操作输入指令；数据编辑需求包括对IONEX电离层数据文件在时间维度、地理经纬度层面的编辑操作；以及对数据进行加密、抽稀以及自定义时间、经纬度范围的截取；
根据用户的输入指令调用对应的操作指令执行相应的编辑操作；
将编辑后的结果以IONEX格式重新存储为新的电离层数据文件；
3)数据压缩：根据IONEX电离层数据文件所包含数据划分为字符串、整型数值、浮点型数值这三种基本类型；对三种基本类型的数据分别采用不同的优化存储方案，将IONEX数据经过无损优化压缩后转为二进制数据；
对于字符串数据的处理方式为：对非必要信息不存储，对必要的字符串按照字符逐个存储；所述非必要信息为IONEX电离层数据文件里有关数据的说明信息；
对整型数值的电离层总电子含量及其均方根数据、卫星编号数据采用short型存储，
对浮点型数值的卫星与接收机的差分码偏差经处理后分别转化为short型或int型进行存储，从而在不损耗原IONEX数据文件的数值精度的前提下尽可能提高压缩率从而减少存储空间。
按上述方案，所述对浮点型数值的卫星与接收机的差分码偏差处理为乘以1000后转化为整型并以short型或int型进行存储。
本发明产生的有益效果是：
1、普适性，方法不依赖于特定的物理或虚拟服务器，也不依赖于特定的操作系统或者软件环境，可采用编译型或者解释型语言实现本发明所描述的数据编辑与压缩功能，使得软件能够跨平台长期稳定运行，具有良好的通用特性；
2、良好的扩展性，建立了一套编辑操作指令集，可通过组合不同的操作指令来执行相应的编辑操作，且易于更新，通过添加新的指令从而灵活地实现新功能的增加；
3、无损优化压缩，针对IONEX电离层数据划分为三种基本类型并分别采用不同方案进行优化存储，且不需存储额外的其他信息，在不损耗原数据精度的条件下尽量减少存储空间；
4、节省成本，通过本发明所提出的无损优化压缩方法可对IONEX电离层数据进行压缩存储，大大降低存储空间，有效降低了本地硬件成本以及虚拟服务器租用成本；5、执行效率高，本发明无需事先对数据进行统计分析，可直接将IONEX电离层数据读入内存然后经过无损优化压缩方法写为二进制文件，算法简单易行效率高。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的方法流程图；
图2是本发明实施例的使用示范流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，一种适用于IONEX电离层数据编辑与无损优化压缩存储方法，
1)数据提取：按需求从原始电离层数据中提取IONEX格式的电离层数据文件，原始电离层数据为不同采样率的全球电离层数据、区域电离层数据；
2)数据编辑：根据数据编辑需求建立一套编辑操作输入指令(如文件的输入/输出指令为--input/--output,以及对应的简化指令为-i/-o等，指令集可自定义也可根据需求进行扩展)；数据编辑需求包括对IONEX电离层数据文件在时间维度、地理经纬度层面的编辑操作；以及对数据进行加密、抽稀以及自定义时间、经纬度范围的截取；
根据用户的输入指令调用对应的操作指令执行相应的编辑操作；
将编辑后的结果以IONEX格式重新存储为新的电离层数据文件；
3)数据压缩：根据IONEX电离层数据文件所包含数据划分为字符串、整型数值、浮点型数值这三种基本类型；对三种基本类型的数据分别采用不同的优化存储方案，将IONEX数据经过无损优化压缩后转为二进制数据；
对于字符串数据的处理方式为：对非必要信息不存储(IONEX电离层数据文件里有关数据的说明等文字信息)，对必要的字符串按照字符逐个存储；
对整型数值的电离层总电子含量及其均方根数据、卫星编号数据采用short型存储，
对浮点型数值的卫星与接收机的差分码偏差经处理后分别转化为short型或int型进行存储，从而在不损耗原IONEX数据文件的数值精度的前提下尽可能提高压缩率从而减少存储空间。
所述方法不依赖于用户采用的操作系统，即支持Windows、Linux、Mac OS三大主流操作系统；所述的操作指令集存在与或关系，即可以通过不同的指令组合来实现不同的编辑功能；所述的无损优化压缩方法是可逆的，即可实现IONEX格式与二进制格式的相互转换；所述的数据包括导入的原IONEX电离层数据、编辑后生成的新IONEX数据以及经过无损优化压缩后的二进制数据；所述的功能有多个，包括多项编辑操作和数据的无损压缩以及解压缩；所述的指令包含多个，包括输入、输出、编辑类型等但不限于图中所示指令，后续可扩展其他指令增加功能；所述的压缩方法通过对不同类型的数据分别按照最优的方式进行压缩，从而在保证数据精度的基础上最大程度地压缩数据。
如图2所示，一种适用于IONEX电离层数据编辑与无损优化压缩存储方法在电离层数据编辑与压缩中的示范应用，包括一下步骤：
1.进入Windows DOS环境或者Linux、Mac OS的终端并输入cd切换到可执行程序所在目录；
2.根据需求键入相应的操作指令，检查各指令的配置选项是否正确，确认无误后回车；
3.可执行程序执行指令，生成新的IONEX电离层数据文件或压缩后的二进制文件；
4.用户采用文本编辑器打开并查阅新的IONEX数据文件；
5.键入解压缩指令，将二进制压缩文件还原为IONEX数据文件以便用户查阅；
6.用户通过浏览器访问Web服务器查阅软件平台网站上的最新信息，如操作指令集的最新版本以及各编辑操作的具体指令使用说明方法等，具体见软件使用说明网站：http://ionosphere.cn/inx_editor。
本实施采用Windows7、Ubuntu16.04LTS以及Mac OS X作为本发明中所述方法实践的操作系统，并采用C++语言和gcc编译器完成本发明示范应用。示范应用表明本发明所述方法能够在三大主流操作系统上实现，并能提供给用户良好的软件交互。该应用不依赖于互联网，可离线使用，能够实现对IONEX电离层数据产品在时间维度、地理经纬度层面的编辑操作，如数据的加密、抽稀以及自定义截取，并且支持IONEX格式与二进制格式的相互转换。此外，当用户键入错误的指令，软件能够自动识别并在屏幕上打印出提示信息，以方便用户纠正输入指令。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (2)
1.一种IONEX电离层数据编辑与无损优化压缩方法，其特征在于，包括以下步骤：
1)数据提取：按需求从原始电离层数据中提取IONEX格式的电离层数据文件，原始电离层数据为不同采样率的全球电离层数据、区域电离层数据；
2)数据编辑：根据数据编辑需求建立一套编辑操作输入指令；数据编辑需求包括对IONEX电离层数据文件在时间维度、地理经纬度层面的编辑操作；以及对数据进行加密、抽稀以及自定义时间、经纬度范围的截取；
根据用户的输入指令调用对应的操作指令执行相应的编辑操作；
将编辑后的结果以IONEX格式重新存储为新的电离层数据文件；
3)数据压缩：根据IONEX电离层数据文件所包含数据划分为字符串、整型数值、浮点型数值这三种基本类型；对三种基本类型的数据分别采用不同的优化存储方案，将IONEX数据经过无损优化压缩后转为二进制数据；
对于字符串数据的处理方式为：对非必要信息不存储，对必要的字符串按照字符逐个存储；所述非必要信息为IONEX电离层数据文件里有关数据的说明信息；
对整型数值的电离层总电子含量及其均方根数据、卫星编号数据采用short型存储；
对浮点型数值的卫星与接收机的差分码偏差经处理后分别转化为short型或int型进行存储。
2.根据权利要求1所述的IONEX电离层数据编辑与无损优化压缩方法，其特征在于，所述对浮点型数值的卫星与接收机的差分码偏差处理为乘以1000后转化为整型并以short型或int型进行存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710534284.6A CN107423372B (zh) | 2017-07-03 | 2017-07-03 | 一种ionex电离层数据编辑与无损优化压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710534284.6A CN107423372B (zh) | 2017-07-03 | 2017-07-03 | 一种ionex电离层数据编辑与无损优化压缩方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107423372A CN107423372A (zh) | 2017-12-01 |
| CN107423372B true CN107423372B (zh) | 2020-05-05 |
Family
ID=60426959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710534284.6A Expired - Fee Related CN107423372B (zh) | 2017-07-03 | 2017-07-03 | 一种ionex电离层数据编辑与无损优化压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107423372B (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8031111B2 (en) * | 2008-10-03 | 2011-10-04 | Trimble Navigation Limited | Compact transmission of GPS information using compressed measurement record format |
| CN101539627B (zh) * | 2009-04-14 | 2011-05-25 | 北京航空航天大学 | 一种电离层立体探测星载sar成像处理平台的构建方法 |
| CN101847998A (zh) * | 2010-04-15 | 2010-09-29 | 同济大学 | 一种高性能gml流压缩方法 |
| CN102073041B (zh) * | 2010-11-10 | 2012-09-05 | 北京航空航天大学 | 一种顶层电离层探测星载mimo雷达系统 |
-
2017
- 2017-07-03 CN CN201710534284.6A patent/CN107423372B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN107423372A (zh) | 2017-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10366113B2 (en) | Method and system for generating a geocode trie and facilitating reverse geocode lookups | |
| US20140278228A1 (en) | Mapping uncertain geometries to graticules | |
| CN111680061A (zh) | 一种数据存取方法、装置、设备和存储介质 | |
| KR20220039576A (ko) | 요약 생성 방법, 장치, 전자 기기 및 기록 매체 | |
| CN107423372B (zh) | 一种ionex电离层数据编辑与无损优化压缩方法 | |
| Tehranian et al. | A robust framework for real-time distributed processing of satellite data | |
| CN111858093B (zh) | 一种消息处理的方法、装置、设备及存储介质 | |
| CN104021121A (zh) | 一种文本数据压缩方法、装置及服务器 | |
| Yin et al. | Performance analysis of L2 and L5 CNAV broadcast ephemeris for orbit calculation | |
| Gombosi et al. | From Sun to Earth: Multiscale MHD simulations of space weather | |
| US9762285B1 (en) | Compression using mu-law approximation | |
| CN113469439A (zh) | 台风活动的预测方法、装置、设备及存储介质 | |
| US7735061B2 (en) | Efficient encoding and access of mathematically precise variable precision numeric types | |
| Su et al. | An efficient approach based on polygon approximation to query spatial data on digital archiving system | |
| CN111984748A (zh) | 地址信息处理方法和装置、存储介质及电子设备 | |
| Li | An efficient multi-resolution grid for global models and coupled systems | |
| KR102506030B1 (ko) | Gps 위치 데이터 송수신 장치 | |
| Dang et al. | About the Parsing of NMEA–0183 Format Data Streams in GPS | |
| JP7403223B2 (ja) | ディクショナリ管理を用いない普遍的に一意のリソース | |
| Wu et al. | A Cloud Storage Framework for Massive Meteorological and Oceanographic Data and the Application of Virtualization Technology | |
| US20230230577A1 (en) | Dynamic adjustment of content descriptions for visual components | |
| CN109491620B (zh) | 存储数据重写方法、装置、服务器及存储介质 | |
| Yuandana et al. | Mobile application and cloud system for Telecommunication natural disasters anticipation | |
| Navarro et al. | GSSC Now-ESA's Thematic Exploitation Platform for Navigation Science Data | |
| Wolf et al. | Web-client based distributed generalization and geoprocessing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200505 Termination date: 20210703 |