CN111314277A - 一种基于gnss大数据的压缩方法 - Google Patents
一种基于gnss大数据的压缩方法 Download PDFInfo
- Publication number
- CN111314277A CN111314277A CN201911108393.7A CN201911108393A CN111314277A CN 111314277 A CN111314277 A CN 111314277A CN 201911108393 A CN201911108393 A CN 201911108393A CN 111314277 A CN111314277 A CN 111314277A
- Authority
- CN
- China
- Prior art keywords
- gnss
- big data
- compression
- algorithm
- data obtained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0056—Systems characterized by the type of code used
- H04L1/0061—Error detection codes
Abstract
本发明提供一种基于GNSS大数据的压缩方法，方法包括以下步骤：步骤一，当车辆定位终端接收到卫星传输的原始GNSS大数据后，对原始GNSS大数据采用基于字段类型的编码方式进行压缩；步骤二，对步骤一中压缩后得到的GNSS大数据采用基于数理统计的编码方式进行压缩；步骤三，对步骤二中压缩后得到的GNSS大数据采用无损压缩算法进行压缩；步骤四，对步骤三中压缩后得到的GNSS大数据采用以包为基本单位的数据效验算法进行数据容错性效验。本发明的一种基于GNSS大数据的压缩方法，相比较未压缩前的数据，使用较少的计算量，获得了65％左右的压缩率，在提升压缩比的同时满足实时编码和解码，满足数据无损的场景需求，从而在很大程度地提升了车辆定位的精度。
Description
技术领域
本发明涉及汽车自动驾驶中卫星定位的纠偏数据传输领域，特别是涉及一种基于GNSS大数据的压缩方法。
背景技术
在自动驾驶领域，需要实时地向自动驾驶车辆提供稳定精准的定位服务，目前前沿领域的技术是使用卫星向车辆实时发送纠偏数据，以达到车辆所需的高精度车道级定位。由于该项技术需要卫星不间断地向车辆发送实时数据，原始传输的数据量相当大，当卫星控制的车辆数目较多时，传输带宽成为了一个致命的瓶颈。同时，由于传输的是车辆的纠偏数据，必须采用无损压缩的方法，保证终端得到数据的正确性。因此，对传输数据规划一个实时、高压缩比、且无损的算法，以满足在实际场景下，卫星传输带宽的更高利用率。
目前深耕于自动驾驶领域的各厂家，对GNSS大数据的压缩，均有了一定的研究成果。这些成果通常是基于比较传统的方法，比如使用位编码对包字段进行压缩等等。相比较原始数据，的确有了一定的压缩率，但仍然存在较大的数据冗余，影响了车辆定位的精度。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于GNSS大数据的压缩方法，用于解决现有技术中存在较大的数据冗余、影响了车辆定位的精度的问题。
为解决上述技术问题，本发明是按如下方式实现的：一种基于GNSS大数据的压缩方法，所述方法包括以下步骤：
步骤一，当车辆定位终端接收到卫星传输的原始GNSS大数据后，对所述原始GNSS大数据采用基于字段类型的编码方式进行压缩；
步骤二，对步骤一中压缩后得到的GNSS大数据采用基于数理统计的编码方式进行压缩；
步骤三，对步骤二中压缩后得到的GNSS大数据采用无损压缩算法进行压缩；
步骤四，对步骤三中压缩后得到的GNSS大数据采用以包为基本单位的数据效验算法进行数据容错性效验。
进一步地，所述步骤一中，所述基于字段类型的编码方式对所述原始GNSS大数据进行浮点数的位编码，浮点数变形取整后转化为定点数，对定点数进行位编码。
进一步地，所述步骤二中，判断步骤一中压缩后得到的GNSS大数据的字段数值的规律性，如果有规律就采用基于数理统计的编码方式进行压缩，如果没有规律就不采用基于数理统计的编码方式进行压缩。
进一步地，所述步骤三中，对步骤二中压缩后得到的GNSS大数据的投影类型的包采用无损压缩算法进行压缩；如果压缩后得到的GNSS大数据的值小于步骤二中压缩后得到的GNSS大数据的值，那么保留；如果压缩后得到的GNSS大数据的值大于步骤二中压缩后得到的GNSS大数据的值，那么舍弃。
进一步地，所述无损压缩算法为基于字典压缩算法。
进一步地，所述基于字典压缩算法为LZ77压缩算法。
进一步地，所述数据效验算法为CRC效验算法。
如上所述，本发明的一种基于GNSS大数据的压缩方法，相比较未压缩前的数据，使用较少的计算量，获得了65％左右的压缩率，在提升压缩比的同时满足实时编码和解码，满足数据无损的场景需求，从而在很大程度地提升了车辆定位的精度。
附图说明
图1显示为本发明实施例中一种基于GNSS大数据的压缩方法的流程图；
图2显示为本发明实施例中一种基于GNSS大数据的压缩方法的数据图；
图3显示为本发明实施例中一种基于GNSS大数据的压缩方法的包数据[0x0000,0x0144]的校验结果图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本发明提供一种基于GNSS大数据的压缩方法，GNSS的全称是全球导航卫星系统(Global Navigation Satellite System)，它是泛指所有的卫星导航系统，包括全球的、区域的和增强的，如美国的GPS、俄罗斯的Glonass、欧洲的Galileo、中国的北斗卫星导航系统，以及相关的增强系统，如美国的WAAS(广域增强系统)、欧洲的EGNOS(欧洲静地导航重叠系统)和日本的MSAS(多功能运输卫星增强系统)等，还涵盖在建和以后要建设的其他卫星导航系统。国际GNSS系统是个多系统、多层面、多模式的复杂组合系统。本方法包括以下步骤：
步骤一，当车辆定位终端接收到卫星传输的原始GNSS大数据后，对原始GNSS大数据采用基于字段类型的编码方式进行压缩。基于字段类型的编码方式对原始GNSS大数据进行浮点数的位编码，浮点数变形取整后转化为定点数，对定点数按取值最大范围进行最少位编码。
字段类型包括浮点数和定点数，浮点数的存储位数由CPU或MCU的最小处理位数所决定，通常为32bit或64bit。一般在少量精度要求的情况下，浮点数转为定点数，可以节省存储空间。在将浮点数缩小精度至个位(即定点数精度)的同时，相应地扩大取值范围，最后将该定点数按最少位编码。由于定点数已满足最小精度为个位的要求，因此可以直接按最少位编码。当有符号的情况时，独立分配1bit作为符号标识。
例如，对于定点数字段DF387卫星数量，取值范围为[0,63]。源数据采用字节或字存储，需要8bit或32bit的存储空间。若按位编码存储的方式，按最少位编码只需要6bit，空间压缩了至少25％。再例如，对于浮点数字段DF390高速时钟校准，取值范围为[-209.7151,209.7151]。源数据采用低精度浮点存储，需要32bit的存储空间。若按浮定点转化结合最少位编码的方式，将原数保留小数点后有效四位数据，该字段压缩后为19bit(其中数据部分18bit，符号部分1bit)，空间压缩了41％。
步骤二，对步骤一中压缩后得到的GNSS大数据采用基于数理统计的编码方式进行压缩。判断步骤一中压缩后得到的GNSS大数据的字段数值的规律性，该字段为信息数字段、服务端渲染更新间隔字段、卫星数量字段、服务端渲染解决方案编号字段；该规律性为字段数值大多数都向一个数值集中，同时又在此数值的两旁分散开。如果有规律就采用基于数理统计的编码方式进行压缩，如果没有规律就不采用基于数理统计的编码方式进行压缩。
如图2所示，第一列为卫星数量字段，第二列为服务器渲染解决方案编号字段。在GNSS大数据中，这两列数值在数据的大范围内，第一列均存在单调递增(增量为1、2、3或其他)，第二列均存在数值基本相同。因此，保持首行源数据存储不变，对后续数据压缩，第一列可以采用2bit控制增量，第二列可以采用1bit区分数值异同。第一列和第二列源数据为20*(6+8)＝280bit，压缩后数据为6+8+19*2+19＝71bit，压缩率为75％。
步骤三，对步骤二中压缩后得到的GNSS大数据采用无损压缩算法进行压缩。对步骤二中压缩后得到的GNSS大数据的投影类型的包采用无损压缩算法进行压缩，无损压缩算法为基于字典压缩算法，基于字典压缩算法可以用LZ77压缩算法。如果压缩后得到的GNSS大数据的值小于步骤二中压缩后得到的GNSS大数据的值，那么保留；如果压缩后得到的GNSS大数据的值大于步骤二中压缩后得到的GNSS大数据的值，那么舍弃。
如表1所示，几种GNSS大数据中经过步骤二压缩后的包，在使用通用无损压缩算法LZ77前后的大小对比。考虑到通用无损算法使用过程中的性能消耗，对如下几种类型的包，仅保留类型4使用步骤三的无损压缩算法。
表1使用通用无损压缩算法LZ77前后的大小对比表
| 包类型 | 压缩前 | 压缩后 | 说明 |
| 类型1 | 325byte | 320byte | 压缩率过小，舍弃 |
| 类型2 | 167byte | 160byte | 压缩率过小，舍弃 |
| 类型3 | 501byte | 400byte | 压缩率较小，舍弃 |
| 类型4 | 1777byte | 596byte | 保留 |
步骤四，对步骤三中压缩后得到的GNSS大数据采用以包为基本单位的数据效验算法进行数据容错性效验。当数据传输的过程中，受各种因素的影响，接收到的数据可能会有错误。为了满足数据通讯的容错率需求，使用以包为基本单位的数据效验算法对数据做容错性校验，数据效验算法可以使用常用的CRC校验算法。
如图3所示，在数据最后一行的画圈部分为使用CRC24校验算法对该包数据[0x0000,0x0144]的校验结果。当在数据传输过程中发生数据错误或丢失，那么在包末尾的CRC校验字节可以决定该包数据的正确性。
综上所述，本发明的一种基于GNSS大数据的压缩方法，相比较未压缩前的数据，使用较少的计算量，获得了65％左右的压缩率，在提升压缩比的同时满足实时编码和解码，满足数据无损的场景需求，从而在很大程度地提升了车辆定位的精度。所以，本发明有效克服了现有技术中的种种缺点而具有高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (7)
1.一种基于GNSS大数据的压缩方法，其特征在于，所述方法包括以下步骤：
步骤一，当车辆定位终端接收到卫星传输的原始GNSS大数据后，对所述原始GNSS大数据采用基于字段类型的编码方式进行压缩；
步骤二，对步骤一中压缩后得到的GNSS大数据采用基于数理统计的编码方式进行压缩；
步骤三，对步骤二中压缩后得到的GNSS大数据采用无损压缩算法进行压缩；
步骤四，对步骤三中压缩后得到的GNSS大数据采用以包为基本单位的数据效验算法进行数据容错性效验。
2.根据权利要求1所述的一种基于GNSS大数据的压缩方法，其特征在于，所述步骤一中，所述基于字段类型的编码方式对所述原始GNSS大数据进行浮点数的位编码，浮点数变形取整后转化为定点数，对定点数进行位编码。
3.根据权利要求1所述的一种基于GNSS大数据的压缩方法，其特征在于，所述步骤二中，判断步骤一中压缩后得到的GNSS大数据的字段数值的规律性，如果有规律就采用基于数理统计的编码方式进行压缩，如果没有规律就不采用基于数理统计的编码方式进行压缩。
4.根据权利要求1所述的一种基于GNSS大数据的压缩方法，其特征在于，所述步骤三中，对步骤二中压缩后得到的GNSS大数据的投影类型的包采用无损压缩算法进行压缩；如果压缩后得到的GNSS大数据的值小于步骤二中压缩后得到的GNSS大数据的值，那么保留；如果压缩后得到的GNSS大数据的值大于步骤二中压缩后得到的GNSS大数据的值，那么舍弃。
5.根据权利要求1所述的一种基于GNSS大数据的压缩方法，其特征在于，所述无损压缩算法为基于字典压缩算法。
6.根据权利要求5所述的一种基于GNSS大数据的压缩方法，其特征在于，所述基于字典压缩算法为LZ77压缩算法。
7.根据权利要求1所述的一种基于GNSS大数据的压缩方法，其特征在于，所述数据效验算法为CRC效验算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911108393.7A CN111314277A (zh) | 2019-11-13 | 2019-11-13 | 一种基于gnss大数据的压缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911108393.7A CN111314277A (zh) | 2019-11-13 | 2019-11-13 | 一种基于gnss大数据的压缩方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111314277A true CN111314277A (zh) | 2020-06-19 |
Family
ID=71161536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911108393.7A Pending CN111314277A (zh) | 2019-11-13 | 2019-11-13 | 一种基于gnss大数据的压缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111314277A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001063772A1 (en) * | 2000-02-25 | 2001-08-30 | Physical Optics Corporation | Method and apparatus for optimized lossless compression using a plurality of coders |
| CN101915929A (zh) * | 2010-07-13 | 2010-12-15 | 武汉大学 | 基于六十进制的gnss观测值压缩与解压缩方法 |
| US20150054680A1 (en) * | 2013-08-21 | 2015-02-26 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing memory and communications bandwidth requirements in gnss receivers |
| CN106610497A (zh) * | 2016-10-26 | 2017-05-03 | 北京无线电计量测试研究所 | 一种北斗短报文共视数据压缩传输方法 |
| US20180039426A1 (en) * | 2016-08-02 | 2018-02-08 | Seagate Technology Llc | Data compression using partial statistics |
| CN109768959A (zh) * | 2018-12-06 | 2019-05-17 | 成都路行通信息技术有限公司 | 一种gnss设备高频采样下数据包压缩和解压的方法 |
-
2019
- 2019-11-13 CN CN201911108393.7A patent/CN111314277A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001063772A1 (en) * | 2000-02-25 | 2001-08-30 | Physical Optics Corporation | Method and apparatus for optimized lossless compression using a plurality of coders |
| CN101915929A (zh) * | 2010-07-13 | 2010-12-15 | 武汉大学 | 基于六十进制的gnss观测值压缩与解压缩方法 |
| US20150054680A1 (en) * | 2013-08-21 | 2015-02-26 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing memory and communications bandwidth requirements in gnss receivers |
| US20180039426A1 (en) * | 2016-08-02 | 2018-02-08 | Seagate Technology Llc | Data compression using partial statistics |
| CN106610497A (zh) * | 2016-10-26 | 2017-05-03 | 北京无线电计量测试研究所 | 一种北斗短报文共视数据压缩传输方法 |
| CN109768959A (zh) * | 2018-12-06 | 2019-05-17 | 成都路行通信息技术有限公司 | 一种gnss设备高频采样下数据包压缩和解压的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110113132B (zh) | 一种编译码方法和终端 | |
| CN101911641B (zh) | 用于确定传输块大小的方法和使用其的信号传送方法 | |
| WO2004027616B1 (en) | Method and apparatus for encoding data | |
| CN105099843B (zh) | 针对车辆通信总线的运行时间压缩方法 | |
| EP1805899B1 (en) | Puncturing/depuncturing using compressed differential puncturing pattern | |
| CN109981111B (zh) | 一种数据压缩编码的方法、装置及存储电子设备 | |
| CN111314392B (zh) | 卫星导航定位辅助星历数据压缩及传输方法 | |
| CN109379598B (zh) | 一种基于fpga实现的图像无损压缩方法 | |
| US20140122964A1 (en) | Error checking and correction method for determining an error correction code length and related error checking and correction circuit | |
| CN113267790A (zh) | 基于北斗全球短报文通信的卫星轨道钟差改正数编码方法 | |
| CN1813425A (zh) | 用于提供前向纠错的方法和设备 | |
| CN103874017A (zh) | 一种卫星定位数据传输方法 | |
| CN1126314C (zh) | 具自适应信道编码和解码器的传输系统及所用的发射机、接收机和传输方法 | |
| CN111314277A (zh) | 一种基于gnss大数据的压缩方法 | |
| US8782328B2 (en) | Method for transmitting program codes to a memory of a control device, particularly for motor vehicles | |
| EP2448124A1 (en) | Method for the completely adaptive calibration of a prediction error encoder | |
| US20030018942A1 (en) | Common memory device and controlling method thereof | |
| CN113452380A (zh) | 星载sar原始数据压缩方法及装置 | |
| US20210327528A1 (en) | Data verifying method, chip, and verifying apparatus | |
| EP1750454A1 (en) | Method, device and program for receiving and verifying payload data of a transport stream | |
| US8290097B2 (en) | Multi-channel sequential Viterbi decoder | |
| US20150078674A1 (en) | Component sorting based encoding for 3d mesh compression | |
| CN109150198B (zh) | 一种极化码的交织处理方法及装置 | |
| CN117749323A (zh) | 数据传输的方法、装置、设备、系统及可读存储介质 | |
| CN100505600C (zh) | 一种实现缩短Turbo译码器关键路径的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20230228 |