CN116643300B - 基于地图映射的卫星导航数据分布式实时处理方法和系统 - Google Patents
基于地图映射的卫星导航数据分布式实时处理方法和系统 Download PDFInfo
- Publication number
- CN116643300B CN116643300B CN202310913758.3A CN202310913758A CN116643300B CN 116643300 B CN116643300 B CN 116643300B CN 202310913758 A CN202310913758 A CN 202310913758A CN 116643300 B CN116643300 B CN 116643300B
- Authority
- CN
- China
- Prior art keywords
- data
- sub
- baseline
- result
- resolving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims description 47
- 238000012163 sequencing technique Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 239000012634 fragment Substances 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 238000000638 solvent extraction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000028257 Joubert syndrome with oculorenal defect Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/14—Relay systems
- H04B7/15—Active relay systems
- H04B7/185—Space-based or airborne stations; Stations for satellite systems
- H04B7/1851—Systems using a satellite or space-based relay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Astronomy & Astrophysics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
一种基于地图映射的卫星导航数据分布式实时处理方法和系统，本发明针对传统的单机集中式处理方法在处理海量GNSS数据时计算和存储资源不能满足需求的问题，分布式处理能够实现地域上的分布以及计算资源、存储资源软硬件部署上的分布。将主计算问题划分为多个子计算问题，通过并行解决子计算问题来提高计算性能，同时能够有效利用整个分布式系统的硬件资源，实现资源的高效利用。另外，通过地域上的分布能够减少网络传输距离，降低网络时延，解决集中式处理中所面临的时效性差的问题。
Description
技术领域
本发明涉及卫星导航数据处理技术领域，特别涉及一种基于地图映射的卫星导航数据分布式实时处理方法和系统。
背景技术
随着北斗三号卫星导航系统的正式开通以及我国信息化建设的进一步深入，基于北斗卫星导航系统的位置服务产业已经迎来了创新发展的新时期，各行各业对位置服务的需求越来越旺盛。近年来，高精度定位技术俨然成为了位置服务领域的研究热点，众多学者致力于研究高精度定位算法来提高定位精度。同时，由于高精度定位的实现依赖于高精度的差分产品，而精密产品需要通过大量跟踪站的海量实时数据解算得到，所以在高精度定位中对海量全球卫星导航系统（Global Navigation Satellite System，GNSS）实时数据的处理也越来越关键。
GNSS实时数据总量呈指数级递增趋势，特别是随着连续运行基准站（ContinuousOperating Reference System , CORS）的大量建立，相应的处理运算量更是迅速增加。GNSS数据处理中基线解算是影响定位精度的关键一步，也是计算量最大、处理时长最长的过程之一。GNSS载波观测量做双差是最常用的GNSS基线解算方法，但是如果参与解算的测站数量大大增加，载波双差解算的时间复杂度将会呈几何级数增长（），普通单机难以支撑短时间内完成大数据量的基线解算的需求。
传统的GNSS数据的处理方法多采用单机集中式处理。由于海量GNSS数据处理过程中需要极大的计算和存储资源，所以传统的单机集中式处理方法在处理海量的GNSS数据时面临计算和存储资源不足问题，通常通过增加单机计算机性能和通过增加计算机节点数的方法来进行系统扩展，但是这两种扩展方式仅可以满足在短时间内达到提高系统性能的需要，从系统的长远发展来看，当计算机节点增加到一定程度后，继续增加节点数量系统性能不再具有明显的提升。
发明内容
为克服现有技术中存在的问题，本发明针对传统的单机集中式处理方法在处理海量GNSS数据时计算和存储资源不能满足需求的问题，提出了一种基于地图映射的卫星导航数据分布式实时处理方法和系统。分布式处理能够实现地域上的分布以及计算资源、存储资源软硬件部署上的分布。将主计算问题划分为多个子计算问题，通过并行解决子计算问题来提高计算性能，同时能够有效利用整个分布式系统的硬件资源，实现资源的高效利用。另外，通过地域上的分布能够减少网络传输距离，降低网络时延，解决集中式处理中所面临的时效性差的问题。
本发明由下述技术方案实现：
本发明的第一方面提供了一种基于地图映射的卫星导航数据分布式实时处理方法，包括如下步骤：
步骤S100，通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，并通过观测网络的原始观测数据计算生成多个独立基线；
步骤S200，根据分布式网络节点的信息将生成的基线数据划分成大小相等且独立的小数据块；
步骤S300，将分解后的子基线解算分配到分布式网络的各个节点上；
步骤S400，将每个小数据块上的数据格式化为键值对形式的数据；
步骤S500，每个节点对格式化后的基线数据分别进行子基线解算，进一步生成键值对形式的结果数据；
步骤S600，将步骤S500中生成的子解算结果映射到主控机不同的存储桶中，同时对每个节点初步的子解算结果进行分区、排序和溢写；
步骤S700，对第一个存储桶的子基线解算结果进行合并、二次排序形成一个结果文件；
步骤S800，完成第一个存储桶的合并之后，依次从磁盘读取其他存储桶的子基线解算结果，当该存储桶数据能够完全放入内存，则重复步骤S700与其他存储桶的结果数据进行合并形成一个最终结果文件，如果无法完全放入内存则重复步骤S600-S800直至合并成一个最终的结果文件。
进一步的，步骤S200中，所述信息包括：节点的数量、网络带宽、节点单机性能。
进一步的，步骤S300中，将拆分后的数据分片按照最快响应法分配到分布式网络的M个节点上，主控机记录自身到每一个节点的网络响应时间，并逐个将子基线解算的连接请求分配给响应时间最短的节点。
进一步的，步骤S400中，每个节点分别对分片中的数据按行进行读取，并将每一行的数据分别解析成键值对形式。
进一步的，步骤S500中，对每个节点对格化后的数据分片求解待定的未知参数；以未知参数中的每一个整周未知数为中心，以与中心误差的若干倍为搜索半径确定出每一个整周未知数的一组备选整数值，分别从中随机选取一个组成整周未知数的备选组，并将其作为已知值带入原基线解算方程求解出所有的基线向量，选择产生单位权中误差最小的基线向量结果作为基线向量的整数解；将求解得到的整周未知数作为已知值，待定的测站坐标分量作为未知数，重复步骤S500求解出基线向量的最终解即子解算结果；最终将求解的子解算结果作为“值”，对应的接收原始数据的接收机ID作为“键”形成键值对形式的结果数据。
进一步的，步骤S600中，具体的，根据步骤S500中生成的结果数据的“键”利用哈希函数映射到主控机不同的存储桶中。
进一步的，步骤S700中，对当前第一个存储桶的子基线解算结果与已有的结果文件进行合并，同时通过快速排序手段进行二次字典序排序保证形成结果文件的有序性。
本发明还涉及一种基于地图映射的卫星导航数据分布式实时处理系统，包括：
独立基线生成模块，用于通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，并通过观测网络的原始观测数据计算生成多个独立基线；
数据块划分模块，用于根据分布式网络节点的信息将生成的基线数据划分成大小相等且独立的数据块；
分配模块，用于将分解后的子基线解算分配到分布式网络的各个节点上；
格式化模块，用于将每个数据块上的数据格式化为键值对形式的数据；
子基线解算模块，用于每个节点对格式化后的基线数据分别进行子基线解算，进一步生成键值对形式的结果数据；
子解算结果处理模块，用于将步骤S500中生成的子解算结果映射到主控机不同的存储桶中，同时对每个节点初步的子解算结果进行分区、排序和溢写；
子基线解算结果合并与排序模块，用于对第一个存储桶的子基线解算结果进行合并、二次排序形成一个结果文件；
最终结果生成模块，用于完成第一个存储桶的合并之后，依次从磁盘读取其他存储桶的子基线解算结果，当该存储桶数据能够完全放入内存，则重复子基线解算结果合并与排序模块中执行的步骤与其他存储桶的结果数据进行合并形成一个最终结果文件，如果无法完全放入内存则重复子基线解算模块、子解算结果处理模块和子基线解算结果合并与排序模块中执行的步骤直至合并成一个最终的结果文件。
本发明还涉及一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的方法。
本发明还涉及一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行所述的方法。
基于地图映射的卫星导航数据分布式实时处理方法从提高计算效率和提高实时性两个方面对基线解算过程进行了优化。与传统的单机集中式GNSS数据处理方法相比，本发明的技术方案能实现如下有益的技术效果：
本发明所提出的基于地图映射的卫星导航数据分布式实时处理方法通过MapReduce自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在分布式网络节点上自动分配和执行任务以及收集计算结果，能够实现海量GNSS数据的高效处理。
本发明针对当GNSS数据量较大，且需要快速、高效处理海量GNSS数据这一需求，提出一种支持自动划分计算数据和计算任务，并能够进行计算任务并行化处理的GNSS数据处理方法，该方法基于MapReduce实现基线分布式解算，能够缩短大规模数据处理的处理时长，提高整体的计算性能。该技术具有较高的计算效率和较高的可扩展性，提高了传统的单机集中式GNSS数据处理方法的计算能力，节约了使用成本，提高了使用灵活性。
本发明通过MapReduce实现了自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在分布式网络节点上自动分配和执行任务以及收集计算结果，同时通过Hash函数将中间结果进行递归分割，使得Reduce阶段完全在内存中处理中间结果数据，降低I/O开销，从而实现对海量GNSS数据的快速、实时处理。
通过分布式网络节点减轻了单机解算压力，同时充分利用各节点的计算资源和存储资源，提高了整体的计算效率和资源利用率。通过引入MapReduce实现计算任务的自动分解及并行化处理，避免了对并行计算中所涉及的容错、通信等复杂细节的处理。同时，在MapReduce中通过对中间结果的优化避免了二次排序过程所造成的CPU开销，通过将中间结果映射到主控机不同的存储桶中保证主计算阶段所处理的中间结果数据完全在内存中，能够有效地加快处理速度、提高该方法的灵活性，最终实现大规模GNSS数据的快速、实时处理。
附图说明
图1为本发明的卫星导航数据分布式实时处理流程图；
图2为本发明的基于哈希映射的中间结果递归分割方法示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
下面结合附图及实施例对本发明进行详细说明。
具体的，如图1和图2所示，本发明的第一方面提供了一种基于地图映射的卫星导航数据分布式实时处理方法，包括如下步骤：
其中，设用于进行GNSS数据处理的分布式网络有M个节点，同步观测的接收机n台，各个节点的网络带宽及单机性能相同。
步骤S100，通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，并通过观测网络的原始观测数据计算生成n-1条独立基线；
具体的，通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，提取一个观测时段中n台接收机的同步观测数据生成基线。数学模型如下：假设接收机,观测到卫星/>,则在历元时刻/>的相位观测方程可表示为如下形式：
(1)
其中，，/>是接收机/>对卫星/>的载波相位原始观测量；表示接收机与卫星之间的几何距离；/>表示接收机/>的钟差；/>表示卫星/>的钟差；/>表示接收机/>接收到卫星/>的信号所对应的电离层延迟量；/>表示接收机/>接收到卫星/>的信号所对应的的对流层延迟量；/>表示在初识历元/>时刻接收机/>观测到卫星/>时的整周模糊度；/>、/>分别表示载波波长和光速。
对上述相位观测方程在接收机和卫星间求差建立多基线模式的双差观测方程（把接收机作为基站，卫星/>作为基星）：
(2)
式中: ,/> , />为双差分算子（在接收机1，/>和卫星1，/>间求差），具体的/>，/>，，/>，。
将公式（2）线性化并表示成误差方程形式：
(3)
其中，是双差观测值的残差；/>是基线向量参数；/>是双差模糊度参数；/>是常数项。
步骤S200，根据分布式网络节点的信息将生成的基线数据划分成大小相等且独立的小数据块；
具体的，所述信息包括：节点的数量、网络带宽、节点单机性能等。
具体的，假设M个节点的网络带宽及节点单机性能相同，将生成的基线数据划分成大小相等且独立的M个小数据块（分片），每一个数据分片共有条基线，其中/>；主控制机对每一个数据分片上的接收机ID进行筛选，剔除重复的接收机使得每个数据分片上有/>个接收机数据，其中。同时，每个数据分片上组成误差方程：
(4)
式中为权阵，第/>个数据分片的误差方程为：
(5)
其中，、/>、/>、/>为向量，/>和/>为矩阵。通过最小二乘法求得法方程：
(6)
其中，，/>，/>,/>, , />为各个数据分片的权矩阵。
步骤S300，将分解后的子基线解算分配到分布式网络的各个节点上；
具体的，将拆分后的数据分片按照最快响应法分配到分布式网络的M个节点上，主控机记录自身到每一个节点的网络响应时间，并逐个将子基线解算的连接请求分配给响应时间最短的节点；
步骤S400，将每个小数据块上的数据格式化为键值对形式的数据；
具体的，每个节点分别对分片中的数据按行进行读取，并将每一行的数据分别解析成键值对形式，解析规则是将偏移量作为“键”，将每一行具体的数据内容作为“值”。
步骤S500，每个节点对格式化后的基线数据分别进行子基线解算，进一步生成键值对形式的结果数据。
具体的，每个节点对格式化后的数据分片根据步骤S200中的法方程求解待定的未知参数；以未知参数中的每一个整周未知数为中心，以与中心误差的若干倍为搜索半径确定出每一个整周未知数的一组备选整数值，分别从中随机选取一个组成整周未知数的备选组，并将其作为已知值带入原基线解算方程求解出所有的基线向量，选择产生单位权中误差最小的基线向量结果作为基线向量的整数解；将求解得到的整周未知数作为已知值，待定的测站坐标分量作为未知数，重复步骤S500求解出基线向量的最终解即子解算结果；最终将求解的子解算结果作为“值”，对应的接收原始数据的接收机ID作为“键”形成键值对形式的结果数据。
步骤S600，将步骤S500中生成的子解算结果映射到主控机不同的存储桶中，同时对每个节点初步的子解算结果进行分区、排序和溢写。
具体的，根据步骤S500中生成的结果数据的“键”利用哈希函数映射到主控机不同的存储桶中，存储桶/>所存储的子解算结果个数为：
(7)
式中，为接收机数量，/>为存储桶总数，/>为向上取整。依据“键”值将所有的子解算结果映射到各个存储桶中，映射规则为：
(8)
式中，为公式(7)的取值，即符合式(8)的子解算结果映射到存储桶中。经过上述步骤完成子解算结果的分区，并将第一个存储桶完全存储在内存中；对第一个存储桶中的结果数据通过快速排序手段进行第一次字典序排序，依次从磁盘读取其他存储桶的子基线解算结果，若该存储桶数据能够完全放入内存，则对其进行第一次排序，若无法完全放入内存则重复步骤S700对存储桶的结果数据进行进一步散列，直至在内存中完成每一个存储桶的第一次排序，保证每一个存储桶里的结果数据都是有序的。子解算结果映射到存储桶的同时，判断子基线解算输出的结果所对应的存储桶是否达到阈值100M，当达到阈值时，将该分区的结果数据溢写到本地磁盘的临时文件中；
步骤S700，对第一个存储桶的子基线解算结果进行合并、二次排序形成一个结果文件；
具体的，对当前第一个存储桶的子基线解算结果与已有的结果文件进行合并，同时通过快速排序手段进行二次字典序排序保证形成结果文件的有序性。
步骤S800，完成第一个存储桶的合并之后，依次从磁盘读取其他存储桶的子基线解算结果，当该存储桶数据能够完全放入内存，则重复步骤S700与其他存储桶的结果数据进行合并形成一个最终结果文件，如果无法完全放入内存则重复步骤S600-S800直至合并成一个最终的结果文件。
本发明还涉及一种基于地图映射的卫星导航数据分布式实时处理系统，包括：
独立基线生成模块，用于通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，并通过观测网络的原始观测数据计算生成多个独立基线；
数据块划分模块，用于根据分布式网络节点的信息将生成的基线数据划分成大小相等且独立的数据块；
分配模块，用于将分解后的子基线解算分配到分布式网络的各个节点上；
格式化模块，用于将每个小数据块上的数据格式化为键值对形式的数据；
子基线解算模块，用于每个节点对格式化后的基线数据分别进行子基线解算，进一步生成键值对形式的结果数据；
子解算结果处理模块，用于将步骤S500中生成的子解算结果映射到主控机不同的存储桶中，同时对每个节点初步的子解算结果进行分区、排序和溢写；
子基线解算结果合并与排序模块，用于对第一个存储桶的子基线解算结果进行合并、二次排序形成一个结果文件；
最终结果生成模块，用于完成第一个存储桶的合并之后，依次从磁盘读取其他存储桶的子基线解算结果，当该存储桶数据能够完全放入内存，则重复子基线解算结果合并与排序模块中执行的步骤与其他存储桶的结果数据进行合并形成一个最终结果文件，如果无法完全放入内存则重复子基线解算模块、子解算结果处理模块和子基线解算结果合并与排序模块中执行的步骤直至合并成一个最终的结果文件。
本发明还涉及一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的方法。
本发明还涉及一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行所述的方法。
综上所述，本发明提供了一种基于地图映射的卫星导航数据分布式实时处理方法和系统，本发明针对传统的单机集中式处理方法在处理海量GNSS数据时计算和存储资源不能满足需求的问题，分布式处理能够实现地域上的分布以及计算资源、存储资源软硬件部署上的分布。将主计算问题划分为多个子计算问题，通过并行解决子计算问题来提高计算性能，同时能够有效利用整个分布式系统的硬件资源，实现资源的高效利用。另外，通过地域上的分布能够减少网络传输距离，降低网络时延，解决集中式处理中所面临的时效性差的问题。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，包括如下步骤：
步骤S100，通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，并通过观测网络的原始观测数据计算生成多个独立基线；
步骤S200，根据分布式网络节点的信息将生成的基线数据划分成大小相等且独立的数据块；
步骤S300，将分解后的子基线解算分配到分布式网络的各个节点上；
步骤S400，将每个数据块上的数据格式化为键值对形式的数据；
步骤S500，每个节点对格式化后的基线数据分别进行子基线解算，进一步生成键值对形式的结果数据；
步骤S600，将步骤S500中生成的子解算结果映射到主控机不同的存储桶中，同时对每个节点初步的子解算结果进行分区、排序和溢写；
步骤S700，对第一个存储桶的子基线解算结果进行合并、二次排序形成一个结果文件；
步骤S800，完成第一个存储桶的合并之后，依次从磁盘读取其他存储桶的子基线解算结果，当存储桶数据能够完全放入内存，则重复步骤S700与其他存储桶的结果数据进行合并形成一个最终结果文件，如果无法完全放入内存则重复步骤S600-S800直至合并成一个最终的结果文件。
2.根据权利要求1所述的基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，步骤S200中，所述信息包括：节点的数量、网络带宽、节点单机性能。
3.根据权利要求1所述的基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，步骤S300中，将拆分后的数据分片按照最快响应法分配到分布式网络的多个节点上，主控机记录自身到每一个节点的网络响应时间，并逐个将子基线解算的连接请求分配给响应时间最短的节点。
4.根据权利要求1所述的基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，步骤S400中，每个节点分别对分片中的数据按行进行读取，并将每一行的数据分别解析成键值对形式。
5.根据权利要求1所述的基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，步骤S500中，对每个节点对格化后的数据分片求解待定的未知参数；以未知参数中的每一个整周未知数为中心，以与中心误差的若干倍为搜索半径确定出每一个整周未知数的一组备选整数值，分别从中随机选取一个组成整周未知数的备选组，并将其作为已知值带入原基线解算方程求解出所有的基线向量，选择产生单位权中误差最小的基线向量结果作为基线向量的整数解；将求解得到的整周未知数作为已知值，待定的测站坐标分量作为未知数，重复步骤S500求解出基线向量的最终解即子解算结果；最终将求解的子解算结果作为“值”，对应的接收原始数据的接收机ID作为“键”形成键值对形式的结果数据。
6.根据权利要求1所述的基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，步骤S600中，根据步骤S500中生成的结果数据的“键”利用哈希函数映射到主控机不同的存储桶中。
7.根据权利要求1所述的基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，步骤S700中，对当前第一个存储桶的子基线解算结果与已有的结果文件进行合并，同时通过快速排序手段进行二次字典序排序保证形成结果文件的有序性。
8.一种基于地图映射的卫星导航数据分布式实时处理系统，其特征在于，包括：
独立基线生成模块，用于通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，并通过观测网络的原始观测数据计算生成多个独立基线；
数据块划分模块，用于根据分布式网络节点的信息将生成的基线数据划分成大小相等且独立的数据块；
分配模块，用于将分解后的子基线解算分配到分布式网络的各个节点上；
格式化模块，用于将每个数据块上的数据格式化为键值对形式的数据；
子基线解算模块，用于每个节点对格式化后的基线数据分别进行子基线解算，进一步生成键值对形式的结果数据；
子解算结果处理模块，用于将步骤S500中生成的子解算结果映射到主控机不同的存储桶中，同时对每个节点初步的子解算结果进行分区、排序和溢写；
子基线解算结果合并与排序模块，用于对第一个存储桶的子基线解算结果进行合并、二次排序形成一个结果文件；
最终结果生成模块，用于完成第一个存储桶的合并之后，依次从磁盘读取其他存储桶的子基线解算结果，当存储桶数据能够完全放入内存，则重复子基线解算结果合并与排序模块中执行的步骤与其他存储桶的结果数据进行合并形成一个最终结果文件，如果无法完全放入内存则重复子基线解算模块、子解算结果处理模块和子基线解算结果合并与排序模块中执行的步骤直至合并成一个最终的结果文件。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述权利要求1至7中任一项所述的方法。
10.一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310913758.3A CN116643300B (zh) | 2023-07-25 | 2023-07-25 | 基于地图映射的卫星导航数据分布式实时处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310913758.3A CN116643300B (zh) | 2023-07-25 | 2023-07-25 | 基于地图映射的卫星导航数据分布式实时处理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116643300A CN116643300A (zh) | 2023-08-25 |
| CN116643300B true CN116643300B (zh) | 2023-10-10 |
Family
ID=87640342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310913758.3A Active CN116643300B (zh) | 2023-07-25 | 2023-07-25 | 基于地图映射的卫星导航数据分布式实时处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116643300B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9170848B1 (en) * | 2010-07-27 | 2015-10-27 | Google Inc. | Parallel processing of data |
| CN109740038A (zh) * | 2019-01-02 | 2019-05-10 | 安徽芃睿科技有限公司 | 网络数据分布式采集系统及方法 |
| CN110290182A (zh) * | 2019-05-31 | 2019-09-27 | 北京邮电大学 | 分布式Web应用存储系统、服务系统和访问方法 |
| CN110749909A (zh) * | 2019-07-25 | 2020-02-04 | 中国民用航空中南地区空中交通管理局 | 基于多星座网络事后差分的飞行器位置高精度定位方法 |
| US10684787B1 (en) * | 2019-01-28 | 2020-06-16 | Alibaba Group Holding Limited | Partition splitting method and apparatus, electronic device, and readable storage medium |
| CN111811542A (zh) * | 2020-08-07 | 2020-10-23 | 中国矿业大学(北京) | 一种基于轨迹数据的寻路性能分布计算方法及系统 |
| CN112014860A (zh) * | 2020-07-20 | 2020-12-01 | 中国科学院空天信息创新研究院 | 一种基于北斗ppp-rtk的低轨卫星时空基准建立方法 |
| KR20210047503A (ko) * | 2019-10-22 | 2021-04-30 | 한국항공대학교산학협력단 | 블록 동기화 과정 생략 및 원격 저장소 제공을 위한 분산파일시스템 활용 블록 데이터 매핑 방법 및 노드 장치 |
| CN113886331A (zh) * | 2021-12-03 | 2022-01-04 | 苏州浪潮智能科技有限公司 | 分布式对象存储方法、装置、电子设备及可读存储介质 |
| CN114051021A (zh) * | 2021-10-25 | 2022-02-15 | 河南信安通信技术股份有限公司 | 基于地图界面大数据应用综合定位方法及系统 |
| CN114253950A (zh) * | 2022-02-28 | 2022-03-29 | 北京奥星贝斯科技有限公司 | 管理数据库的方法和装置 |
| CN115878027A (zh) * | 2022-07-29 | 2023-03-31 | 浙江宇视科技有限公司 | 一种存储对象的处理方法、装置、终端及存储介质 |
| CN115987696A (zh) * | 2023-03-21 | 2023-04-18 | 深圳市永达电子信息股份有限公司 | 一种基于区块链结构的零信任安全网关实现方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150006895A1 (en) * | 2009-06-01 | 2015-01-01 | Maidsafe Foundation | Distributed network system |
-
2023
- 2023-07-25 CN CN202310913758.3A patent/CN116643300B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9170848B1 (en) * | 2010-07-27 | 2015-10-27 | Google Inc. | Parallel processing of data |
| CN109740038A (zh) * | 2019-01-02 | 2019-05-10 | 安徽芃睿科技有限公司 | 网络数据分布式采集系统及方法 |
| US10684787B1 (en) * | 2019-01-28 | 2020-06-16 | Alibaba Group Holding Limited | Partition splitting method and apparatus, electronic device, and readable storage medium |
| CN110290182A (zh) * | 2019-05-31 | 2019-09-27 | 北京邮电大学 | 分布式Web应用存储系统、服务系统和访问方法 |
| CN110749909A (zh) * | 2019-07-25 | 2020-02-04 | 中国民用航空中南地区空中交通管理局 | 基于多星座网络事后差分的飞行器位置高精度定位方法 |
| KR20210047503A (ko) * | 2019-10-22 | 2021-04-30 | 한국항공대학교산학협력단 | 블록 동기화 과정 생략 및 원격 저장소 제공을 위한 분산파일시스템 활용 블록 데이터 매핑 방법 및 노드 장치 |
| CN112014860A (zh) * | 2020-07-20 | 2020-12-01 | 中国科学院空天信息创新研究院 | 一种基于北斗ppp-rtk的低轨卫星时空基准建立方法 |
| CN111811542A (zh) * | 2020-08-07 | 2020-10-23 | 中国矿业大学(北京) | 一种基于轨迹数据的寻路性能分布计算方法及系统 |
| CN114051021A (zh) * | 2021-10-25 | 2022-02-15 | 河南信安通信技术股份有限公司 | 基于地图界面大数据应用综合定位方法及系统 |
| CN113886331A (zh) * | 2021-12-03 | 2022-01-04 | 苏州浪潮智能科技有限公司 | 分布式对象存储方法、装置、电子设备及可读存储介质 |
| CN114253950A (zh) * | 2022-02-28 | 2022-03-29 | 北京奥星贝斯科技有限公司 | 管理数据库的方法和装置 |
| CN115878027A (zh) * | 2022-07-29 | 2023-03-31 | 浙江宇视科技有限公司 | 一种存储对象的处理方法、装置、终端及存储介质 |
| CN115987696A (zh) * | 2023-03-21 | 2023-04-18 | 深圳市永达电子信息股份有限公司 | 一种基于区块链结构的零信任安全网关实现方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| Ningbo Wang et al..Using DORIS data for validating real-time GNSS ionosphere maps.advances in space research.2023,第72卷(第1期),全文. * |
| Petrov, D et al..Distributed GNSS-Based Time Synchronization and Applications. 2016 8TH INTERNATIONAL CONGRESS ON ULTRA MODERN TELECOMMUNICATIONS AND CONTROL SYSTEMS AND WORKSHOPS (ICUMT).2017,全文. * |
| 基于DHT的分布式索引技术研究与实现;吴炜;苏永红;李瑞轩;卢正鼎;;计算机科学(02);全文 * |
| 基于Map/Reduce的索引数据云存储模型研究;陆小丽;何加铭;;宁波大学学报(理工版)(03);全文 * |
| 李艳红等.高精度位置服务平台分布式架构研究与设计.全球定位系统.2022,第47卷(第4期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116643300A (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9683852B2 (en) | Dispatching map matching tasks by a cluster server | |
| Hunter et al. | Large-scale estimation in cyberphysical systems using streaming data: A case study with arterial traffic estimation | |
| WO2022227303A1 (zh) | 信息处理方法、装置、计算机设备及存储介质 | |
| CN113723715B (zh) | 公交线网自动匹配道路网络方法、系统、设备及存储介质 | |
| CN111090712A (zh) | 一种数据处理方法、装置、设备及计算机存储介质 | |
| CN113821332B (zh) | 自动机器学习系统效能调优方法、装置、设备及介质 | |
| CN107341210B (zh) | Hadoop平台下的C-DBSCAN-K聚类算法 | |
| CN107729138A (zh) | 一种高性能分布式矢量空间数据的分析方法和装置 | |
| CN114780644B (zh) | 一种船舶航行数据处理方法、装置、设备及存储介质 | |
| Alves Peixoto et al. | A framework for parallel map-matching at scale using Spark | |
| CN112948123A (zh) | 一种基于Spark的网格水文模型分布式计算方法 | |
| CN113420004A (zh) | 隧道点云数据的存储方法、装置、计算机设备及存储介质 | |
| CN116643300B (zh) | 基于地图映射的卫星导航数据分布式实时处理方法和系统 | |
| CN110705606A (zh) | 一种基于Spark分布式内存计算的空间K均值聚类方法 | |
| CN112463739A (zh) | 基于海洋模式roms的数据处理方法及系统 | |
| CN104897176B (zh) | 一种多核并行摄影测量区域网平差方法 | |
| EP4102391A1 (en) | Road data processing method and apparatus, and device and storage medium | |
| CN116523640A (zh) | 一种基于调度反馈算法的金融信息管理系统 | |
| CN110325984B (zh) | 在图形中进行层次社区检测的系统和方法 | |
| CN113837552B (zh) | 一种航天型号试验鉴定指标评估方法及装置 | |
| CN111343664A (zh) | 用户定位方法、装置、设备及介质 | |
| CN110083598B (zh) | 一种面向Spark的遥感数据索引方法、系统及电子设备 | |
| CN110765130B (zh) | 一种分布式环境下基于Ripley’s K函数的时空POI数据点模式分析方法 | |
| CN113806376A (zh) | 索引构建方法及装置 | |
| CN113282406A (zh) | 一种gnss大网观测数据协同并行计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |