CN114282271A - 基于gnss的数据实时处理方法、系统及存储介质 - Google Patents
基于gnss的数据实时处理方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114282271A CN114282271A CN202111578555.0A CN202111578555A CN114282271A CN 114282271 A CN114282271 A CN 114282271A CN 202111578555 A CN202111578555 A CN 202111578555A CN 114282271 A CN114282271 A CN 114282271A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- gnss
- satellite
- data access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 4
- 238000012795 verification Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000013524 data verification Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000005433 ionosphere Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Radio Relay Systems (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于GNSS的数据实时处理方法、系统及存储介质，其中方法包括如下步骤：S1：实时监测数据服务器的资源使用情况，动态分配及释放资源；S2：根据已经接入的基站数量及配置，启动多个数据接入实例，将基站分配给数据接入实例；S3：数据接入中间件对多个数据接入实例的处理结果进行汇总并根据数据量启动多个数据预处理实例，对数据接入中间件汇总的数据队列进行预处理；S4：数据结果中间件将多个数据预处理实例的结果汇总至历元信息队列。采用上述数据实时处理方法，通过将数据接入与数据预处理进行分离，并设置多个数据接入实例和数据预处理实例，能对多个基站数据进行同步处理，提高数据处理效率，使大量的卫星数据实时处理成为可能。
Description
技术领域
本发明涉及卫星数据处理技术领域，特别涉及一种基于GNSS的数据实时处理方法、系统及存储介质。
背景技术
GNSS(全球导航卫星系统，Global Navigation Satellite System)高精定位基站用于定点接收卫星播发数据，并结合基站自身基础信息，播发出基于GNSS系统的定位数据流，该数据流在被定位解算系统解算后，可以为特定终端设备提供高精定位服务。
GNSS高精定位基站数据流，作为数据源头，其完整性及可靠性，是决定能够提供有效高精定位服务的基础，当前采用的完整性验证方式多为将原始的基站数据流累计保存后，解析成明文RINEX数据文件后，对明文的RINEX数据文件进行数据完整性的校验与统计，从而推导出原始基站的数据流是否完整，对基站进行调整处理。该方法数据需要多次转换，可能在转化过程中出现误差，且一般是对累积一定时间的静态数据进行结算，时效性差且无法保证真实性。
发明内容
发明目的：本发明的目的是提出一种基于GNSS的数据实时处理方法，对数据处理流程进行优化，提高数据处理效率，使得可以对GNSS基站的数据进行实时处理，提高时效性及真实性。
本发明的另一目的是提出一种可以采用上述处理方法的数据实时处理系统以及存储有上述方法实例化的计算机程序的存储介质。
技术方案：本发明所述的基于GNSS的数据实时处理方法，包括如下步骤：
S1：实时监测数据服务器的资源使用情况，动态分配及释放资源；
S2：根据已经接入的基站数量及配置，启动多个数据接入实例，将基站分配给数据接入实例；
S3：数据接入中间件对多个数据接入实例的处理结果进行汇总并根据数据量启动多个数据预处理实例，对数据接入中间件汇总的数据队列进行预处理；
S4：数据结果中间件将多个数据预处理实例的结果汇总至历元信息队列。
进一步的，在步骤S1至S4中，卫星数据以如下规则存储及传输：同一卫星在同一历元内多个频率的数据共用高位，低位分别保存。
进一步的，所述步骤S2中，数据接入实例存在链接基站阈值，若数据接入实例接入的基站数量超过链接基站阈值，则将启用新的数据接入实例，并将新基站接入到新的数据接入实例。
进一步的，所述步骤S3中的数据预处理实例对数据进行的处理包括：验证历元完整性，验证卫星系统完整性、验证频率数据完整性和验证数据误差。
进一步的，所诉步骤S3中的数据处理程序还将卫星数据与气象观测数据进行融合计算，屏蔽卫星数据中的不理想数据。
本发明所述的基于GNSS的数据实时处理系统，包括：多个基站及数据处理服务器，其中所述数据处理服务器包括数据接入集群、数据接入中间件、数据预处理集群和数据结果中间件，所述数据接入集群包括多个用于接入所述基站数据的数据接入实例，所述数据预处理集群包括多个用于对卫星数据进行预处理的数据预处理实例，所述数据接入中间件用于对所述数据接入实例接入的卫星数据进行汇总，所述数据结果中间件用于对所述数据预处理实例处理的卫星数据进行汇总。
进一步的，所述数据处理服务器为虚拟化服务器，采用分布式部署。
进一步的，所述数据预处理实例包括用于验证历元完整性的历元验证模块，用于验证卫星系统完整性的卫星系统验证模块，用于验证频率数据完整性的频率数据验证模块，用于验证数据误差的数据误差验证模块。
进一步的，所述数据与处理实例还包括用于将卫星数据与气象观测数据进行融合计算的融合计算模块。
本发明所述的存储介质，存储有计算机程序，所述计算机程序被设置为执行时实现上述基于GNSS的数据实时处理方法。
有益效果：与现有技术相比，本发明具有如下优点：优化了数据处理流程及数据传输存储方式，通过将数据的接入及预处理分离，提高数据的处理效率，并根据GNSS的数据特性对数据存储方式进行优化，降低数据量，进一步提高数据处理的失效性，使得卫星数据实时处理可以实现。
附图说明
图1为本发明实施例的基于GNSS的数据实时处理系统的系统框图；
图2为传统高精定位系统与采用本发明处理方法的高精定位系统的工作流程比较图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
根据本发明实施例的基于GNSS的数据实时处理方法，包括如下步骤：
S1：实时监测数据服务器的资源使用情况，动态分配及释放资源；
S2：根据已经接入的基站数量及配置，启动多个数据接入实例，将基站分配给数据接入实例；
S3：数据接入中间件对多个数据接入实例的处理结果进行汇总并根据数据量启动多个数据预处理实例，对数据接入中间件汇总的数据队列进行预处理；
S4：数据结果中间件将多个数据预处理实例的结果汇总至历元信息队列。
NRTK(Network Real Time Kinematic)定位必要数据包括传输值，伪距值，载波相位值，每个RTK基站均能接受若干卫星信号。以历元为1秒为例，RTK基站每天发送86400秒，每个历元包含5个卫星系统(BDS、GPS、GLONASS、Galileo和QZSS)，每个卫星系统又包含若干颗卫星，每个卫星包括2至6个频率，每个频率均包含伪距、载波相位、多普勒和信噪比等4个数值，数据量庞大，靠传统方法难以实现实时处理。上述技术方案通过将基站数据的接入和数据的预处理分离，依靠多个数据接入实例和多个数据预处理实例对多个基站的大量数据进行同步处理，提高了数据处理效率。通过数据接入实例先将基站数据按基站存入队列，再分配数据预处理实例进行预处理及完整性校验，相对于传统对基站排队处理，可以同时处理多个基站数据，使得在下一历元数据到来前处理完毕本历元的数据成为可能，可以实现数据的实时处理。
实际中，电离层参数对不同频率信号的误差影响不会超过一公里，以米为单位，伪距精度到毫米，即小数点后3位，若上限距离为76500000米，由于同卫星不同频率间误差不超过1000m，所以可以将同卫星的多个频率的数据的高低位分开保存，且由于误差不会影响到高位，所以同卫星的不同频率的数据可以仅存储一个高位，低位分开保存。在本实施例中，高5位最大值为76500，使用2Bit数据内存即可表示，低6位先将数据放大1000倍，保存3位小数的精度，也使用20Bit数据内存即可表示。若采用双精度类型保存原始数据，则需要使用64Bit的存储空间才能表示，以三个频率为例则需要3*64＝192Bit。而采用上述优化数据的存储及传输后，每个卫星的数据仅需要20+20*3＝80Bit即可表达，可以节省一半的数据表达，显著提升卫星数据在传输、存储及处理上的性能，总而进一步地提高数据的处理效率，确保数据可以在当前历元内处理完毕。
由于数据接入仅是将不同基站的数据按照基站入队，所以数据接入实例可以处理多个基站的数据接入，数据接入实例设有链接基站阈值，当启用的数据接入实例链接的基站数量达到阈值时，则启用新的数据接入实例，将新接入的基站分配给新启用的数据接入实例，完成数据接入后空闲的数据接入实例则及时释放占用的资源。数据预处理实例对同一基站的数据进行处理，启用数量与接入的基站数量一致，数据预处理实例对数据的处理包括将卫星数据与气象观测数据进行融合计算、验证历元完整性、验证卫星系统完整性、验证频率数据完整性及验证数据误差。其中融合计算结合实时气象电离观测站的观测数据，获得由于太阳活动辐射、雷电等自然活动导致大气电离指数出现的差异，根据折射公式将收到数据的相对坐标在电离气象观测数据不理想的范围内的特定频率数据屏蔽。卫星数据的解析、完整性校验的具体规则和方法为本领域的公知常识或现有技术，在此不对数据的解析方法进行详细描述。
参照图1，根据本发明实施例的基于GNSS的数据实时处理系统，包括多个基站及数据处理服务器。其中数据处理服务器包括数据接入集群、数据接入中间件、数据预处理集群和数据结果中间件。数据接入集群包括多个用于接入基站数据的数据接入实例，数据预处理集群包括多个用于对卫星数据进行预处理的数据预处理实例。数据接入中间件用于汇总数据接入实例接入的卫星数据，数据结果中间件用于汇总数据预处理实例处理的卫星数据。其中数据预处理实例包括历元验证模块、卫星系统验证模块、频率数据验证模块、数据误差验证模块和用于将卫星数据和气象观测数据进行融合计算的融合计算模块。
在本实施例中，为了进一步提高数据处理效率，便于资源的动态分配，数据处理服务器为虚拟化服务器，采用多服务器虚拟化资源后形成多虚拟机，进行分布式部署。100个基站分配64个核心、128G内存，8TB作为7天缓存，当基站数量超过阈值后，按照10％的提升幅度进行核心及内存的自动分配，采用虚拟化动态迁移拓展存储空间。
本发明实施例的存储介质存储有上述基于GNSS的数据实时处理方法实例化的计算机程序。
参照图2，采用本发明实施例的基于GNSS的数据实时处理方法及系统的高精定位系统，相对于传统的高精定位系统，由于数据处理效率得到提升，可以对卫星数据进行实时的完整性校验，及时发现基站异常，便于及时对基站进行维护。同时避免了数据格式的多次转换，避免数据在转换途中出现错误，提高数据的准确性及真实性。
Claims (10)
1.一种基于GNSS的数据实时处理方法，其特征在于，包括如下步骤：
S1：实时监测数据服务器的资源使用情况，动态分配及释放资源；
S2：根据已经接入的基站数量及配置，启动多个数据接入实例，将基站分配给数据接入实例；
S3：数据接入中间件对多个数据接入实例的处理结果进行汇总并根据数据量启动多个数据预处理实例，对数据接入中间件汇总的数据队列进行预处理；
S4：数据结果中间件将多个数据预处理实例的结果汇总至历元信息队列。
2.根据权利要求1所述的基于GNSS的数据实时处理方法，其特征在于，在步骤S1至S4中，卫星数据以如下规则存储及传输：同一卫星在同一历元内多个频率的数据共用高位，低位分别保存。
3.根据权利要求1所述的基于GNSS的数据实时处理方法，其特征在于，所述步骤S2中，数据接入实例存在链接基站阈值，若数据接入实例接入的基站数量超过链接基站阈值，则将启用新的数据接入实例，并将新基站接入到新的数据接入实例。
4.根据权利要求1所述的基于GNSS的数据实时处理方法，其特征在于，所述步骤S3中的数据预处理实例对数据进行的处理包括：验证历元完整性，验证卫星系统完整性、验证频率数据完整性和验证数据误差。
5.根据权利要求4所述的基于GNSS的数据实时处理方法，其特征在于，所诉步骤S3中的数据处理程序还将卫星数据与气象观测数据进行融合计算，屏蔽卫星数据中的不理想数据。
6.一种基于GNSS的数据实时处理系统，其特征在于，包括：多个基站及数据处理服务器，其中所述数据处理服务器包括数据接入集群、数据接入中间件、数据预处理集群和数据结果中间件，所述数据接入集群包括多个用于接入所述基站数据的数据接入实例，所述数据预处理集群包括多个用于对卫星数据进行预处理的数据预处理实例，所述数据接入中间件用于对所述数据接入实例接入的卫星数据进行汇总，所述数据结果中间件用于对所述数据预处理实例处理的卫星数据进行汇总。
7.根据权利要求6所述的基于GNSS的数据实时处理系统，其特征在于，所述数据处理服务器为虚拟化服务器，采用分布式部署。
8.根据权利要求6所述的基于GNSS的数据实时处理系统，其特征在于，所述数据预处理实例包括用于验证历元完整性的历元验证模块，用于验证卫星系统完整性的卫星系统验证模块，用于验证频率数据完整性的频率数据验证模块，用于验证数据误差的数据误差验证模块。
9.根据权利要求8所述的基于GNSS的数据实时处理系统，其特征在于，所述数据与处理实例还包括用于将卫星数据与气象观测数据进行融合计算的融合计算模块。
10.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被设置为执行时实现根据权利要求1至5任一项所述的基于GNSS的数据实时处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111578555.0A CN114282271A (zh) | 2021-12-22 | 2021-12-22 | 基于gnss的数据实时处理方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111578555.0A CN114282271A (zh) | 2021-12-22 | 2021-12-22 | 基于gnss的数据实时处理方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114282271A true CN114282271A (zh) | 2022-04-05 |
Family
ID=80874284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111578555.0A Pending CN114282271A (zh) | 2021-12-22 | 2021-12-22 | 基于gnss的数据实时处理方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114282271A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078396A (zh) * | 2019-11-22 | 2020-04-28 | 厦门安胜网络科技有限公司 | 一种基于多任务实例的分布式数据接入方法和系统 |
| CN111756649A (zh) * | 2020-05-29 | 2020-10-09 | 浪潮电子信息产业股份有限公司 | 一种数据传输方法、装置、设备及计算机可读存储介质 |
| CN112153697A (zh) * | 2020-09-03 | 2020-12-29 | 南方电网数字电网研究院有限公司 | 一种多基站、高并发场景下的cors解算方法、播发方法及系统、cors系统 |
| CN113254194A (zh) * | 2021-03-29 | 2021-08-13 | 河海大学 | 一种实时gnss数据处理方法和系统 |
| CN113806043A (zh) * | 2021-08-27 | 2021-12-17 | 济南浪潮数据技术有限公司 | 一种任务调度均衡优化方法、装置 |
-
2021
- 2021-12-22 CN CN202111578555.0A patent/CN114282271A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078396A (zh) * | 2019-11-22 | 2020-04-28 | 厦门安胜网络科技有限公司 | 一种基于多任务实例的分布式数据接入方法和系统 |
| CN111756649A (zh) * | 2020-05-29 | 2020-10-09 | 浪潮电子信息产业股份有限公司 | 一种数据传输方法、装置、设备及计算机可读存储介质 |
| CN112153697A (zh) * | 2020-09-03 | 2020-12-29 | 南方电网数字电网研究院有限公司 | 一种多基站、高并发场景下的cors解算方法、播发方法及系统、cors系统 |
| CN113254194A (zh) * | 2021-03-29 | 2021-08-13 | 河海大学 | 一种实时gnss数据处理方法和系统 |
| CN113806043A (zh) * | 2021-08-27 | 2021-12-17 | 济南浪潮数据技术有限公司 | 一种任务调度均衡优化方法、装置 |
Non-Patent Citations (1)
| Title |
|---|
| 杨国庆等: "基于Hadoop的GNSS网基线向量的分布式处理", 《全球定位系统》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107544077B (zh) | 一种gnss数据质量检测分析系统及其分析方法 | |
| CN107765275B (zh) | 广域差分定位方法、装置、终端及计算机可读存储介质 | |
| CN103852773A (zh) | 一种基于云计算技术的定位系统和定位方法 | |
| CN103278822B (zh) | 基于hla平台的卫星导航定位系统性能评估系统和方法 | |
| US9261599B1 (en) | System and method for improving GPS accuracy in a device by utilizing increased time stamp accuracy | |
| CN101542308A (zh) | 辅助式基于卫星信号的定位 | |
| CN113031037B (zh) | 设备定位方法、装置、电子设备及计算机可读介质 | |
| CN112887320A (zh) | 星历数据的处理方法、装置、设备以及存储介质 | |
| EP2260319A1 (en) | Improved sbas receiver | |
| US20230061599A1 (en) | Positioning method, electronic device and storage medium | |
| CN111650614A (zh) | 卫星定位方法、芯片、模组和电子设备 | |
| Zuo et al. | The quality analysis of GNSS satellite positioning data | |
| CN115993623B (zh) | 一种自适应选星方法、装置、设备及可读存储介质 | |
| CN111352129A (zh) | 一种差分质量的监测方法、装置及计算机介质 | |
| CN111191293A (zh) | 基于区块链的北斗数据处理方法及装置 | |
| CN114282271A (zh) | 基于gnss的数据实时处理方法、系统及存储介质 | |
| CN111679295A (zh) | 一种星基增强系统通信网络的可靠性评估方法 | |
| CN114578400B (zh) | 多基站星历合并方法 | |
| US11895562B2 (en) | Determining approximate position of a user machine based on inernet (IP) address | |
| CN110971288A (zh) | 一种定位方法及装置 | |
| CN112731268B (zh) | 一种差分数据的处理方法和定位跟踪系统 | |
| CN114296107A (zh) | 基于mcc的可见卫星星历数据生成方法、分发方法及系统 | |
| Huang et al. | Research on global positioning system in mobile communication equipment based on android platform | |
| CN111856530B (zh) | 一种连续运行参考站系统的组合优化方法 | |
| CN111123303B (zh) | 定位误差数据的获取方法、装置及处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220405 |