CN110837497A - 数据质量的检测方法、装置及服务器 - Google Patents
数据质量的检测方法、装置及服务器 Download PDFInfo
- Publication number
- CN110837497A CN110837497A CN201911087142.5A CN201911087142A CN110837497A CN 110837497 A CN110837497 A CN 110837497A CN 201911087142 A CN201911087142 A CN 201911087142A CN 110837497 A CN110837497 A CN 110837497A
- Authority
- CN
- China
- Prior art keywords
- data
- observation data
- quality detection
- target
- computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 abstract description 100
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000012544 monitoring process Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000003068 static effect Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000005433 ionosphere Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
本发明提供了一种数据质量的检测方法、装置及服务器，该方法接收目标配置信息；根据目标配置信息获取各个目标设备的观测数据；其中，目标设备用于采集被观测设备的运行状态，得到观测数据；将各个观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个计算节点针对观测数据输出的计算结果；其中，计算节点用于基于质量检测任务对观测数据进行计算处理；计算节点的数量与质量检测任务相关；将各个计算节点输出的计算结果，作为观测数据的质量检测结果。本发明可以提高数据质检结果与数据采集场景的适应性，提高质检结果的可靠性和针对性，减少数据质检所需的时间，提高数据的质检效率。
Description
技术领域
本发明涉及质量检测技术领域，尤其是涉及一种数据质量的检测方法、装置及服务器。
背景技术
GNSS(Global Navigation Satellite System，全球卫星导航系统)在科学研究和日常生活等各方面的均有较为广泛的应用，通过对搭载GNSS接收机的各种载体进行观测，可以得到多项观测数据，例如伪距观测量、载波相位观测量、多普勒观测量和信号载噪比等，上述观测数据可以应用至不同场景中。由于不同场景可能对观测数据的质量存在不同的要求，因此在应用观测数据前需要针对应用场景对观测数据进行具有针对性的质检，以将满足该场景的观测数据应用至该场景中。但是发明人经研究发现，传统的数据质检方法及装置的质检结果的针对性较低，质检结果与场景的适应性稍弱。
发明内容
有鉴于此，本发明的目的在于提供一种数据质量的检测方法、装置及服务器，可以提高数据质检结果与数据采集场景的适应性，提高质检结果的可靠性和针对性，同时可减少数据质检所需的时间，提高数据的质检效率。
第一方面，本发明实施例提供了一种数据质量的检测方法，所述方法应用于服务器，所述方法包括：接收目标配置信息；其中，所述目标配置信息包括多个目标设备的标识信息；根据所述目标配置信息获取各个所述目标设备的观测数据；其中，所述目标设备用于采集被观测设备的运行状态，得到所述观测数据；将各个所述观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个所述计算节点针对所述观测数据输出的计算结果；其中，所述计算节点用于基于所述质量检测任务对所述观测数据进行计算处理；所述计算节点的数量与所述质量检测任务相关；将各个所述计算节点输出的计算结果，作为所述观测数据的质量检测结果。
在一种实施方式中，所述目标配置信息还包括采集频率信息、采集时段信息、观测数据格式信息、所述目标设备的运动信息和所述被观测设备的位置信息中的一种或多种；所述接收目标配置信息的步骤，包括：展示预设的候选配置集合，以提示用户从所述候选配置集合中选取目标配置信息；其中，所述候选配置集合包括多项候选配置信息；接收所述用户选择的所述目标配置信息。
在一种实施方式中，所述将各个所述观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个所述计算节点针对所述观测数据输出的计算结果的步骤，包括：将各个所述观测数据存储至预设的消息中间件；其中，所述观测数据的数据类型包括实时类型和/或离线类型；当接收到用户发送的质量检测指令时，从所述消息中间件中读取各个所述观测数据；对各个所述观测数据进行预处理；其中，所述预处理包括数据校验和解码处理、格式化处理，重复数据剔除、缺失数据填充和数据类型转换中的一种或多种；将预处理后的观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个所述计算节点针对所述预处理后的观测数据输出的计算结果。
在一种实施方式中，所述方法还包括：将所述质量检测结果保存至预设区域。
在一种实施方式中，所述方法还包括：将所述质量检测结果发送至与所述服务器对应的关联终端，以使所述关联终端展示所述质量检测结果。
在一种实施方式中，所述目标设备包括卫星导航接收定位设备。
第二方面，本发明实施例还提供一种数据质量的检测装置，所述装置应用于服务器，所述装置包括：配置接收模块，用于接收目标配置信息；其中，所述目标配置信息包括多个目标设备的标识信息；数据采集模块，用于根据所述目标配置信息获取各个所述目标设备的观测数据；其中，所述目标设备用于采集被观测设备的运行状态，得到所述观测数据；计算模块，用于将各个所述观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个所述计算节点针对所述观测数据输出的计算结果；其中，所述计算节点用于基于所述质量检测任务对所述观测数据进行计算处理；所述计算节点的数量与所述质量检测任务相关；结果获取模块，用于将各个所述计算节点输出的计算结果，作为所述观测数据的质量检测结果。
在一种实施方式中，所述目标配置信息还包括采集频率信息、采集时段信息、观测数据格式信息、所述目标设备的位置信息和所述目标设备的运动信息中的一种或多种；所述配置接收模块，还用于：展示预设的候选配置集合，以提示用户从所述候选配置集合中选取目标配置信息；其中，所述候选配置集合包括多项候选配置信息；接收所述用户选择的所述目标配置信息。
第三方面，本发明实施例还提供一种服务器，所述服务器包括存储器以及处理器，所述存储器用于存储支持处理器执行第一方面提供的任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
第四方面，本发明实施例还提供一种计算机存储介质，用于储存为第一方面提供的任一项所述方法所用的计算机软件指令。
本发明实施例提供的一种数据质量的检测方法、装置及服务器，接收包括有多个目标设备的标识信息的目标配置信息，然后根据目标配置信息获取各个目标设备的观测数据，将各个观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个计算节点针对观测数据输出的计算结果，其中，计算节点用于基于质量检测任务对观测数据进行计算处理，且计算节点的数量与质量检测任务相关，最后将各个计算节点输出的计算结果，作为观测数据的质量检测结果。上述方式可以通过质量检测任务对应的多个计算节点对观测数据进行计算处理，实现了对观测数据的并行处理，有效减少数据质检所需的时间，进而有效提高数据的质检效率，另外本发明实施例通过上述方式还可以有效提高质量检测结果与数据采集场景的适应性，提高质量检测结果的可靠性和针对性。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据质量的检测方法的流程示意图；
图2为本发明实施例提供的一种导航卫星观测数据质检系统的结构示意图；
图3为本发明实施例提供的另一种数据质量的检测方法的流程示意图；
图4为本发明实施例提供的一种数据质量的检测装置的结构示意图；
图5为本发明实施例提供的另一种数据质量的检测装置的结构示意图；
图6为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到现有的数据质检方法和装置存在对数据使用场景的针对性、适应性以及处理效率较低的问题，为改善此问题，本发明实施提供了一种数据质量的检测方法、装置及服务器，可以提高数据质检结果与数据采集场景的适应性，提高质检结果的可靠性和针对性，同时可减少数据质检所需的时间，提高数据的质检效率。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据质量的检测方法进行详细介绍，该方法应用于服务器，参见图1所示的一种数据质量的检测方法的流程示意图，该方法主要包括以下步骤S102至步骤S108：
步骤S102，接收目标配置信息。
其中，目标配置信息包括多个目标设备的标识信息，目标设备可以包括卫星导航接收定位设备，诸如GPS(Global Positioning System，全球定位系统)设备、BDS(BeiDouNavigation Satellite System，北斗卫星导航系统)设备、GLONASS(Global NavigationSatellite System，格洛纳斯系统)设备、Galileo(Galileo Satellite NavigationSystem，伽利略卫星导航系统)设备中的一种或多种，标识信息可以包括目标设备的编号或名称等信息。在一种实施方式中，可以向用户展示可选的多项配置信息，以提示用户从可选的多项配置信息中填选所需的目标配置信息，进而获取目标配置信息。
步骤S104，根据目标配置信息获取各个目标设备的观测数据。
其中，目标设备用于采集观测数据，观测数据可以包括伪距观测量、载波相位观测量、多普勒观测量和信号载噪比中的一种或多种。在一种实施方式中，可以根据目标配置信息中的目标设备的标识信息，利用消息中间件技术获取该目标设备的观测数据，并将获取的观测数据存储至多个处理队列中。
步骤S106，将各个观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个计算节点针对观测数据输出的计算结果。
其中，计算节点用于基于质量检测任务对观测数据进行计算处理，计算节点的数量与质量检测任务相关，例如，质量检测任务包括计算各个观测数据的跳变比和观测完整率，则计算节点的数量可以至少为两个，其中一个用于计算跳变比，另一个用于计算观测完整率。为进一步提高数据质量的检测效率，可以按照目标设备将观测数据划分为多组，并将各组观测数据分别分发至多个用于计算跳变比的多个计算节点中，以及将各组观测数据分别分发至多个用于计算观测完整率的多个计算节点中，通过若干计算节点对观测数据进行并行计算，进而可以有效提高数据质量的检测效率。
步骤S108，将各个计算节点输出的计算结果，作为观测数据的质量检测结果。例如，计算节点S1输出目标设备A1的观测数据的观测完整率，计算节点S2输出目标设备A1的观测数据的跳变比合格率，可以将计算节点S1输出的观测完整率和计算节点S2输出的跳变比作为目标设备A1的观测数据质量检测结果。
本发明实施例提供的上述数据质量的检测方法，可以通过质量检测任务对应的多个计算节点对观测数据进行计算处理，实现了对观测数据的并行处理，有效减少数据质检所需的时间，进而有效提高数据的质检效率。
由于目前的数据质检方法需要针对不同应用场景和不同卫星导航系统的观测数据分别进行质量检测，因此本发明实施例提供了一种接收目标配置信息的具体实现方式，参见如下步骤a至步骤b：
步骤a，展示预设的候选配置集合，以提示用户从候选配置集合中选取目标配置信息。其中，候选配置集合包括多项候选配置信息，候选配置信息和目标配置信息均可以包括采集频率信息、采集时段信息、观测数据格式信息、目标设备的运动信息和被观测设备的位置信息中的一种或多种。
采集频率信息可以理解为卫星导航接收定位设备的数据播发频点，如果设备卫星导航接收定位设备支持GPS系统，则数据播发频点可以包括GPS L1、L2和L5中的一种或多种，如果卫星导航接收定位设备设备支持BDS系统，则数据播发频点可以包括BDS B1、B2或B3中的一种或多种，如果设备卫星导航接收定位设备支持GLONASS系统，则数据播发频点可以包括GLONASS G1或G2，如果设备支持卫星导航接收定位设备Galileo系统，则数据播发频点可以包括Galileo E1、E5和E6中的一种或多种。
采样时段信息可以理解为所需分析的目标时段，假设采样时段信息为2017年全年，则在根据目标配置信息获取各个目标设备的观测数据时，将获取各个目标设备2017年全年的观测数据。
观测数据格式信息可以包括RTCM(Radio Technical Commission for Maritimeservices)格式、RINEX(Receiver Independent Exchange Format，与接收机无关的交换格式)格式和自定义格式中的一种或多种，其中，观测数据的数据类型可以包括实时类型和/或离线类型，实时类型的观测数据(也可称之为实时数据)的数据格式可以包括RTCM格式或自定义格式，离线类型的观测数据(也可称之为事后数据)也即周期性获取的观测数据，诸如以一年为周期获取的目标设备的观测数据为事后数据，事后数据的数据格式可以包括RINEX格式或自定义格式。
目标设备的运动信息可以包括动态或静态。
被观测设备的位置信息可以包括被观测设备在空间中的位置，例如，在电离层以下空间，电离层内部空间和电离层外部空间中的一种或多种。
步骤b，接收用户选择的目标配置信息。在一种实施方式中，可以在展示预设的候选配置集合的页面提供上传控件，当监听到用户针对上传控件的点触操作时，将上传用户填选的目标配置信息，从而接收到用户选择的目标配置信息。本发明实施例通过上述向用户展示候选配置集合，可以根据实际需求填选所需的目标配置信息，以支持不同场景的数据质检，不局限于某一单一解算模式，配置更为多样灵活。
由于传统的数据质检方法多是以单用户单任务的工作方式完成指定的质量检测任务，对于高数据量的情况，单用户单任务的方式将耗费较长时间，因此本发明实施例在执行质量检测任务时，通过将观测数据分别分发至多个计算节点中，通过各个计算节点对观测数据进行并行处理，从而有效提高数据质检的效率。在一种实施方式中，可以按照如下步骤1至步骤4执行将各个观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个计算节点针对观测数据输出的计算结果：
步骤1，将各个观测数据存储至预设的消息中间件。在实际应用中，消息中间件可以配置有多个处理队列，通过按照预设的数据调度策略将各个观测数据存储至预设的消息中间件的多个处理队列中，可以在执行质量检测任务时快速获取所需的观测数据。
步骤2，当接收到用户发送的质量检测指令时，从消息中间件中读取各个观测数据。
步骤3，对各个观测数据进行预处理。其中，预处理包括数据校验和解码处理、格式化处理，重复数据剔除、缺失数据填充或数据类型转换中的一种或多种，可基于实际需求对各个观测数据执行所需的预处理过程。
步骤4，将预处理后的观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个计算节点针对预处理后的观测数据输出的计算结果。其中，质量检测任务可以理解为计算各个观测数据的质检指标的任务，其中，质检指标可以包括静态质检指标、动态质检指标、实时质检指标、事后质检指标、单时段质检指标、多时段质检指标、单目标设备质检指标、多目标设备质检指标、单频点质检指标、多频点质检指标、单星质检指标和多星质检指标中的一种或多种。
上述静态质检指标用于指示卫星导航接收定位设备为静态时，卫星导航接收定位设备其所得到的观测数据的数据质量，动态质检指标用于指示卫星导航接收定位设备为动态时，卫星导航接收定位设备其所得到的观测数据的数据质量。上述实时质检指标用于指示观测数据的数据类型为实时类型时，该观测数据的数据质量，事后质检指标用于指示观测数据的数据类型为离线类型时，该观测数据的数据质量。上述单时段质检指标用于指示单一时段内，卫星导航接收定位设备得到的观测数据的数据质量，多时段质检指标用于指示多个时段内，卫星导航接收定位设备得到的观测数据的综合数据质量。卫星导航接收定位设备卫星导航接收定位设备上述单目标设备质检指标用于指示一个卫星导航接收定位设备的观测数据的数据质量，多目标设备质检指标用于指示多个卫星导航接收定位设备的观测数据的综合数据质量。上述单频点质检指标用于指示导航卫星所发射的单一导航信号频点上的观测数据的数据质量，多频点质检指标用于指示导航卫星所发射的多个导航信号频点上的观测数据的综合数据质量。上述单星质检指标用于指示卫星导航接收定位设备一颗卫星的观测数据的数据质量，多星质检指标用于指示卫星导航接收定位设备多颗卫星的观测数据的数据质量。
在实际应用中，上述静态质检指标、动态质检指标、实时质检指标、事后质检指标、单时段质检指标、多时段质检指标、单目标设备质检指标、多目标设备质检指标、单频点质检指标、多频点质检指标、单星质检指标和多星质检指标为相互关联或相互交叉的质检指标。
为便于获取所需的质量检测结果，本发明实施例还可以将质量检测结果保存至预设区域。另外，为了实现质量检测结果可视化，本发明实施例可以将质量检测结果发送至与服务器对应的关联终端，以使关联终端展示质量检测结果。其中，关联终端可以包括PC终端或移动终端，并利用PC终端或移动终端展示接收到的质量检测结果。
为便于对上述实施例提供的数据质量的检测方法进行理解，本发明实施例提供了一种导航卫星观测数据质检系统，该系统可以布设于上述服务器中，用于执行上述数据质量的检测方法，参见图2所示的一种导航卫星观测数据质检系统的结构示意图，该系统可以包括依次连接的数据采集子系统、核心处理子系统和控制监控子系统。
数据采集子系统用于基于消息中间件读取所需分析的卫星导航接收定位设备的观测数据，包括实时GNSS原始观测数据(也即，前述实时数据)和事后GNSS原始观测数据(也即，前述离线数据)，在实际应用中，将数据采集子系统的状态数据与观测数据一同保存至预设的消息中间件中，并依调度策略将观测数据和数据采集子系统的状态数据分发至核心处理子系统，其中，数据采集子系统的状态数据可以包括子系统网络连接状态、数据丢包率、子系统运行时长、子系统内存占用量、数据传输速度、已传输数据和待传输数据中的一种或多种。
控制监视子系统用于接收用户发送的操作配置指令(也即，前述质量检测指令)，并将接收到的操作配置指令转发至核心处理子系统，控制监视子系统还用于接收并展示核心处理子系统发送的分析解算结果(也即，前述质量检测结果)和数据采集子系统的状态数据。其中，控制监视子系统包括PC(personal computer，个人计算机)平台控制监控子系统和移动设备控制监控子系统。PC平台控制监视子系统用于在固定式PC设备上运行控制监视子系统，移动设备控制监视子系统用于在移动设备上运行控制监视子系统。PC平台控制监视子系统和移动设备控制监视子系统均包括参数配置模块和可视化展示模块，参数配置模块用于向用户提供各种解算配置选项(也即，前述候选配置集合)，并将用户选择的目标配置信息发送至核心处理子系统，可视化展示模块用于接收核心处理子系统发送的质量检测结果，并通过图形化转换技术通过图形形式展示质量检测结果，以实现质量检测结果的可视化显示。
核心处理子系统用于从处理队列中读取数据采集子系统的状态数据与观测数据，并在接收操作配置指令时，跟据操作配置指令对卫星导航接收定位设备的观测数据进行预处理、质量检测和结果存档等操作，并将质量检测结果和数据采集子系统的状态数据传输至控制监视子系统。在一种具体的实施方式中，上述核心处理子系统可以采用分布式计算框架设计，以并行完成质量检测任务，其中，核心处理子系统可以包括数据收发模块、质检模块和成果归档模块。数据收发模块用于接收或发送卫星导航接收定位设备采集的观测数据、数据采集子系统的状态数据、操作配置指令和分析解算结果，数据收发模块可以采用消息中间件实现，通过将上述各项数据存放于消息中间件的多个处理队列当中，并依照预设的调度策略对上述各项数据进行分发处理。质检模块用于对数据收发模块获取的观测数据进行预处理以及执行质量检测任务，并输出质量检测结果，在实际应用中，质检模块可以基于高性能计算集群实现，通过集群内部的各个计算节点完成质量检测任务。成果归档模块用于对质检模块输出的质量检测结果进行存档处理，将质量检测结果存储至预设区域。
在图2的基础上，本发明实施例提供了另一种数据质量的检测方法，参见图3所示的另一种数据质量的检测方法的流程示意图，该方法可以包括以下步骤S302至步骤S310：
步骤S302，初始化质检类。其中，质检类用于对单个或者同类型的多个质检目标(也即，前述观测数据)的配置信息进行统一设置处理。
步骤S304，配置质检类的分析模式及策略(也即，前述目标配置信息)。在一种实施方式中，配置的分析模式及策略可以包括以下内容：采集频率信息、采集时段信息、观测数据格式信息、目标设备的运动信息和被观测设备的位置信息，具体可参见前述步骤a，此处不再赘述。
步骤S306，判断是否完成所有质检类的配置。如果是，执行步骤S308；如果否，执行步骤S302，以配置新的质检类。若完成所有质检类的配置，则根据全部质检类的配置，读取各个目标设备采集的观测数据，并对观测数据进行预处理。
步骤S308，对观测数据执行质量检测任务，生成质量检测结果。其中，质量检测任务可以理解为计算各个观测数据的质检指标的任务，其中，质检指标可以包括静态质检指标、动态质检指标、实时质检指标、事后质检指标、单时段质检指标、多时段质检指标、单目标设备质检指标、多目标设备质检指标、单频点质检指标、多频点质检指标、单星质检指标和多星质检指标中的一种或多种。具体可参见前述步骤4，此处不再赘述。
步骤S310，对质量检测结果进行归档和可视化展示，也即将质量检测结果发送至与服务器对应的关联终端，以使关联终端展示质量检测结果。
在上述数据质量的检测方法的基础上，本发明实施例提供了一种数据质量的检测方法的具体应用示例，设用户P现有分布于全球的189座导航卫星连续监测站2017年全年GPS系统双频原始观测数据，数据以天为单位存储为RINEX格式，数据文件总数为68985，该用户P通过图2中所示的导航卫星观测数据质检系统中的PC端入口完成数据质检工作，现以此为例阐述对该观测数据的质量检测过程，参见如下(1)至(5)：
(1)用户P登录上述导航卫星观测数据质检系统，新建质检类，每个质检类对应于一座导航卫星连续监测站(也即，前述目标设备)，该站在各天的数据观测文件(也即，前述观测数据)为质检目标。
(2)批量配置当前质检类的目标配置信息。例如，配置所需分析的卫星导航接收定位设备为GPS设备；所需分析的时段选择2017年第1天0时0分0秒至2017年第365天23时59分59秒，以年为单位生成质量检测结果；数据格式选择RINEX格式，并指定数据文件的存放路径；目标设备的运动状态选择静态；目标设备的观测位置选择电离层以下空间。
(3)完成当前质检类的配置后，通过批量生成的方式完成其余各观测站的目标配置信息，读取各卫星导航接收定位设备的观测数据，并对读取的观测数据进行数据预处理。
(4)对观测数据进行质量检测，生成质量检测结果。其中，质量指标包括各观测站在全年的观测数据的多路径参考值(MP1、MP2)、数据可用率、跳变比、观测完整率、卫星可见情况和DOP(Dilution of Precision，精度因子)值中的一种或多种。
(5)将所有189座观测站的导航卫星原始观测数据统计结果发送至用户PC端的可视化展示模块完成可视化展示，用户根据需要选择某一观测站或者多座观测站查看其各项质量检测结果。
综上所述，相比于目前已有导航卫星观测数据质检方法与系统，本发明通过为用户提供可选的多项候选配置信息，使配置多样灵活，进而使本发明实施例可以支持不同场景数据质检，不局限于某一单一解算模式。另外，本发明实施例提供导航卫星观测数据质检系统的接口提升了用户接入和操作的灵活性。此外，本发明实施例通过基于大数据计算框架的分布式设计，提升了系统容量和处理速度，从而有效提高数据质量检测的效率。进一步的，本发明实施例通过数据可视化技术，在一定程度上提高了质量检测结果的可靠性和可读性。
对于上述实施例提供的数据质量的检测方法，本发明实施例提供了一种数据质量的检测装置，该装置应用于服务器，参见图4所示的一种数据质量的检测装置的结构示意图，该装置可以包括以下部分：
配置接收模块402，用于接收目标配置信息；其中，目标配置信息包括多个目标设备的标识信息。
数据采集模块404，用于根据目标配置信息获取各个目标设备的观测数据；其中，目标设备用于采集被观测设备的运行状态，得到观测数据。
计算模块406，用于将各个观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个计算节点针对观测数据输出的计算结果；其中，计算节点用于基于质量检测任务对观测数据进行计算处理；计算节点的数量与质量检测任务相关。
结果获取模块408，用于将各个计算节点输出的计算结果，作为观测数据的质量检测结果。
本发明实施例提供的上述数据质量的检测装置，可以通过质量检测任务对应的多个计算节点对观测数据进行计算处理，实现了对观测数据的并行处理，有效减少数据质检所需的时间，进而有效提高数据的质检效率。
在一种实施方式中，目标配置信息还包括采集频率信息、采集时段信息、观测数据格式信息、目标设备的位置信息和目标设备的运动信息中的一种或多种；上述配置接收模块402，还用于：展示预设的候选配置集合，以提示用户从候选配置集合中选取目标配置信息；其中，候选配置集合包括多项候选配置信息；接收用户选择的目标配置信息。
在一种实施方式中，上述计算模块406还用于：将各个观测数据存储至预设的消息中间件；其中，观测数据的数据类型包括实时类型和/或离线类型；当接收到用户发送的质量检测指令时，从消息中间件中读取各个观测数据；对各个观测数据进行预处理；其中，预处理包括数据校验和解码处理、格式化处理，重复数据剔除、缺失数据填充或数据类型转换中的一种或多种；将预处理后的观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个计算节点针对预处理后的观测数据输出的计算结果。
为便于对上述数据质量的检测装置进行理解，本发明实施例提供了另一种数据质量的检测装置，参见图5所示的另一种数据质量的检测装置的结构示意图，图5示意出了数据质量的检测装置还包括保存模块502：将质量检测结果保存至预设区域。
在一种实施方式中，上述数据质量的检测装置还包括结果发送模块504，用于将质量检测结果发送至与服务器对应的关联终端，以使关联终端展示质量检测结果。
在一种实施方式中，上述目标设备包括卫星导航接收定位设备。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供一种服务器，具体的，该服务器包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时，执行如上所述实施方式的任一项所述的方法。
图6为本发明实施例提供的一种服务器的结构示意图，该服务器100包括：处理器60，存储器61，总线62和通信接口63，所述处理器60、通信接口63和存储器61通过总线62连接；处理器60用于执行存储器61中存储的可执行模块，例如计算机程序。
处理器60可能是一种集成电路芯片，具有信号的处理能力，用于读取存储器61中的信息，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器60中，或者由处理器60实现。
存储器61用于存储程序，存储器61可能包含高速随机存取存储器(RAM，RandomAccess Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等，结合其硬件完成上述方法的步骤。
总线62可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种数据质量的检测方法，其特征在于，所述方法应用于服务器，所述方法包括：
接收目标配置信息；其中，所述目标配置信息包括多个目标设备的标识信息；
根据所述目标配置信息获取各个所述目标设备的观测数据；其中，所述目标设备用于采集被观测设备的运行状态，得到所述观测数据；
将各个所述观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个所述计算节点针对所述观测数据输出的计算结果；其中，所述计算节点用于基于所述质量检测任务对所述观测数据进行计算处理；所述计算节点的数量与所述质量检测任务相关；
将各个所述计算节点输出的计算结果，作为所述观测数据的质量检测结果。
2.根据权利要求1所述的方法，其特征在于，所述目标配置信息还包括采集频率信息、采集时段信息、观测数据格式信息、所述目标设备的位置信息和所述目标设备的运动信息中的一种或多种；
所述接收目标配置信息的步骤，包括：
展示预设的候选配置集合，以提示用户从所述候选配置集合中选取目标配置信息；其中，所述候选配置集合包括多项候选配置信息；
接收所述用户选择的所述目标配置信息。
3.根据权利要求1所述的方法，其特征在于，所述将各个所述观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个所述计算节点针对所述观测数据输出的计算结果的步骤，包括：
将各个所述观测数据存储至预设的消息中间件；其中，所述观测数据的数据类型包括实时类型和/或离线类型；
当接收到用户发送的质量检测指令时，从所述消息中间件中读取各个所述观测数据；
对各个所述观测数据进行预处理；其中，所述预处理包括数据校验、解码处理、格式化处理，重复数据剔除、缺失数据填充和数据类型转换中的一种或多种；
将预处理后的观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个所述计算节点针对所述预处理后的观测数据输出的计算结果。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述质量检测结果保存至预设区域。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述质量检测结果发送至与所述服务器对应的关联终端，以使所述关联终端展示所述质量检测结果。
6.根据权利要求1所述的方法，其特征在于，所述目标设备包括卫星导航接收定位设备。
7.一种数据质量的检测装置，其特征在于，所述装置应用于服务器，所述装置包括：
配置接收模块，用于接收目标配置信息；其中，所述目标配置信息包括多个目标设备的标识信息；
数据采集模块，用于根据所述目标配置信息获取各个所述目标设备的观测数据；其中，所述目标设备用于采集被观测设备的运行状态，得到所述观测数据；
计算模块，用于将各个所述观测数据分别分发至预设的质量检测任务对应的多个计算节点，得到各个所述计算节点针对所述观测数据输出的计算结果；其中，所述计算节点用于基于所述质量检测任务对所述观测数据进行计算处理；所述计算节点的数量与所述质量检测任务相关；
结果获取模块，用于将各个所述计算节点输出的计算结果，作为所述观测数据的质量检测结果。
8.根据权利要求7所述的装置，其特征在于，所述目标配置信息还包括采集频率信息、采集时段信息、观测数据格式信息、所述目标设备的位置信息和所述目标设备的运动信息中的一种或多种；
所述配置接收模块，还用于：
展示预设的候选配置集合，以提示用户从所述候选配置集合中选取目标配置信息；其中，所述候选配置集合包括多项候选配置信息；
接收所述用户选择的所述目标配置信息。
9.一种服务器，其特征在于，所述服务器包括存储器以及处理器，所述存储器用于存储支持处理器执行权利要求1至6任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
10.一种计算机存储介质，其特征在于，用于储存为权利要求1至6任一项所述方法所用的计算机软件指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911087142.5A CN110837497A (zh) | 2019-11-07 | 2019-11-07 | 数据质量的检测方法、装置及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911087142.5A CN110837497A (zh) | 2019-11-07 | 2019-11-07 | 数据质量的检测方法、装置及服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110837497A true CN110837497A (zh) | 2020-02-25 |
Family
ID=69574599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911087142.5A Pending CN110837497A (zh) | 2019-11-07 | 2019-11-07 | 数据质量的检测方法、装置及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110837497A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113783954A (zh) * | 2021-09-07 | 2021-12-10 | 中控智网(北京)能源技术有限公司 | 一种油气管道组分数据传输系统及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015086070A1 (en) * | 2013-12-12 | 2015-06-18 | Telefonaktiebolaget L M Ericsson (Publ) | Technique for counting objects in a telecommunications network |
| CN104754328A (zh) * | 2015-03-27 | 2015-07-01 | 安徽四创电子股份有限公司 | 一种分布式视频质量诊断方法及系统 |
| CN107133110A (zh) * | 2017-04-27 | 2017-09-05 | 中国科学院国家授时中心 | 基于集群并行运算的gnss导航信号海量数据快速处理方法 |
| CN108802764A (zh) * | 2017-04-28 | 2018-11-13 | 千寻位置网络有限公司 | 卫星地基增强系统的自检系统的构建方法和构建系统 |
| CN108874725A (zh) * | 2018-06-04 | 2018-11-23 | 武汉导航与位置服务工业技术研究院有限责任公司 | 提高地基增强系统计算服务器计算效能的系统及方法 |
| CN110245759A (zh) * | 2019-05-17 | 2019-09-17 | 网宿科技股份有限公司 | 一种巡检方法、系统、服务器及设备 |
| CN110297919A (zh) * | 2019-05-23 | 2019-10-01 | 深圳壹账通智能科技有限公司 | 一种数据清洗方法、装置、设备及存储介质 |
-
2019
- 2019-11-07 CN CN201911087142.5A patent/CN110837497A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015086070A1 (en) * | 2013-12-12 | 2015-06-18 | Telefonaktiebolaget L M Ericsson (Publ) | Technique for counting objects in a telecommunications network |
| CN104754328A (zh) * | 2015-03-27 | 2015-07-01 | 安徽四创电子股份有限公司 | 一种分布式视频质量诊断方法及系统 |
| CN107133110A (zh) * | 2017-04-27 | 2017-09-05 | 中国科学院国家授时中心 | 基于集群并行运算的gnss导航信号海量数据快速处理方法 |
| CN108802764A (zh) * | 2017-04-28 | 2018-11-13 | 千寻位置网络有限公司 | 卫星地基增强系统的自检系统的构建方法和构建系统 |
| CN108874725A (zh) * | 2018-06-04 | 2018-11-23 | 武汉导航与位置服务工业技术研究院有限责任公司 | 提高地基增强系统计算服务器计算效能的系统及方法 |
| CN110245759A (zh) * | 2019-05-17 | 2019-09-17 | 网宿科技股份有限公司 | 一种巡检方法、系统、服务器及设备 |
| CN110297919A (zh) * | 2019-05-23 | 2019-10-01 | 深圳壹账通智能科技有限公司 | 一种数据清洗方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113783954A (zh) * | 2021-09-07 | 2021-12-10 | 中控智网(北京)能源技术有限公司 | 一种油气管道组分数据传输系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022156481A1 (zh) | 星历预报方法和装置 | |
| WO2022156480A1 (zh) | 钟差预报方法和装置 | |
| US8446315B2 (en) | Method for providing satellite orbit ephemeris, server, and positioning system | |
| CN101726727B (zh) | 一种信号处理方法和系统 | |
| CN102129079A (zh) | 一种处理信号的方法和系统 | |
| US20110273329A1 (en) | Method and Apparatus for Fast TTFF | |
| KR101693389B1 (ko) | 소프트웨어 기반 위성항법신호 생성 장치 및 방법 | |
| KR20150038054A (ko) | 샘플링 감소형 저전력 ｇｐｓ | |
| CN109343092B (zh) | 性能测试方法、装置、电子设备和存储介质 | |
| CN110753298B (zh) | 一种定位方法及其装置、设备和存储介质 | |
| US20100225533A1 (en) | Method and system for logging position data | |
| CN115993623B (zh) | 一种自适应选星方法、装置、设备及可读存储介质 | |
| CN114035216A (zh) | 定位方法、装置、设备以及存储介质 | |
| CN110837497A (zh) | 数据质量的检测方法、装置及服务器 | |
| CN117724125A (zh) | 一种基于一致性的观测数据的质量控制方法及装置 | |
| US12019172B2 (en) | Mobile delivery device methods and systems | |
| WO2019023642A1 (en) | SYSTEMS AND METHODS FOR OBSERVING ATMOSPHERIC VAPOR | |
| CN111028385B (zh) | 一种定位设备的数据存储方法及相关装置 | |
| JP6360729B2 (ja) | 通信品質情報表示システム、端末装置、サーバ装置、通信品質情報表示方法、及び、通信品質情報表示プログラム | |
| CN111158033B (zh) | 基于gnss的差分定位方法、装置、设备和存储介质 | |
| CN114035203A (zh) | 伪距信号的发送方法、装置、存储介质及电子装置 | |
| CN115308779A (zh) | 星历预报方法和星历预报装置 | |
| JP2019023574A (ja) | 測位装置及び測位方法 | |
| JP6037603B2 (ja) | 長期コンパクト衛星モデル | |
| CN110649958B (zh) | 用于处理卫星数据的方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210425 Address after: No. 61, Guangzhou high tech Industrial Development Zone, Qingdao national high tech Industrial Development Zone, Chengyang District, Qingdao, Shandong Applicant after: QINGDAO ACADEMY FOR OPTO-ELECTRONICS ENGINEERING Applicant after: Institute of Oceanology Chinese Academy of Sciences Address before: No. 61, Guangzhou high tech Industrial Development Zone, Qingdao national high tech Industrial Development Zone, Chengyang District, Qingdao, Shandong Applicant before: QINGDAO ACADEMY FOR OPTO-ELECTRONICS ENGINEERING |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200225 |