CN111143097B - 面向gnss定位服务的故障治理系统和方法 - Google Patents

Abstract

本发明提供了一种面向GNSS定位服务的故障治理系统和方法，所述故障治理系统包括：接入层，用于采集、存储和接入元数据，所述元数据包括用户端的数据和服务端的数据；处理层，用于对接入层采集的元数据进行处理，并基于离线计算或者实时流式计算结果提供服务；引擎层，用于根据离线计算结果进行分析，并开发调试算法模型，对算法模型的效果进行评估，并将验证通过的算法模型发布到算法仓库；平台层，用于控制故障治理系统，管理接入层、处理层和引擎层；应用层，用于根据应用场景调用算法仓库中的算法模型，并将算法模型计算的结果展示给用户。本发明可以准确定位到服务异常的原因和问题节点，提升服务质量问题发现及处置的效率。

Description

面向GNSS定位服务的故障治理系统和方法

技术领域

本发明涉及定位服务故障治理技术领域，具体涉及一种面向GNSS定位服务的故障治理系统和方法。

背景技术

基于机器学习的异常检测算法：异常检测的很多算法是基于KPI的趋势预测，还有一些算法是基于机器学习的，机器学习的算法需要有标注。而标注会给运维人员带来很多开销，所以能不能做一些工作减少标注的开销呢？这其中就包括相似异常的查找，运维人员标注一个异常后，机器学习算法能够自动地把相似的、相关的异常都找出来。

关于异常检测的定义，就是对于随着时间有周期性变化的KPI曲线，当它发生异常的时候能够快速准确的报警，它的常见的算法有：基于窗口，基于预测，基于近似性，基于隐式马尔可夫模型，也有机器学习，集成学习，迁移学习，深度学习，深度生成模型等等。

卫星导航数据完好性校验方法，通常情况下，完好性监测系统和方法大都基于以下逻辑：获取导航接收机的观测数据；对所述观测数据进行粗差探测，并生成改正数；当粗差探测结果为残差异常时，对所述异常进行评估；当所述异常对完好性构成威胁时，根据改正数进行误差评估；计算并输出危险误导信息概率HMI(分层互信息)，同时发出告警。通常情况，GNSS(Global Navigation Satellite System，全球导航卫星系统)系统完好性评估方法，能够全面准确的评估GNSS的完好性，及时获知GNSS系统运行状况，及时进行故障的隔离和修复，提高GNSS系统的精确性和稳定性。

基于机器学习的异常检测或关联分析只是一种通用的算法模型方法论，并没有针对GNSS实时动态定位服务有特定的技术或解决方案，GNSS定位服务是否可用(尤其是网络RTK服务)，如何才算异常？需要结合GNSS卫星定位原理和专业处理逻辑来考虑。

卫星导航完好性校验是目前对GNSS数据质量和可用性比较常用的检测方法，是一种通用的技术模型，但其仅针对于某个卫星或频点信号本身的质量做出判断，然后通知到终端，并没有从用户角度关心的整体服务是否可用给出结论。

基于云架构的GNSS实时动态定位互联网播发服务的可用性影响因素比较复杂，大致上包括系统层和数据层两个层面。系统层主要包括GNSS地基增强系统(包括接收机和网络专线)、云平台(包括虚拟机、网络、中间件、数据库等多种云化服务)、平台应用软件(GNSS数据接收编解码模块、GNSS核心算法引擎模块、差分数据播发模块等)。数据层包括原始观测数据和VRS(虚拟参考点)数据，其中涵盖了可用卫星数、各卫星频点、龄期、周跳、多径等数据内容。只有当系统层和数据层都满足一定条件时，最终输出到用户端的差分数据服务才可用。

基于互联网、云计算架构的GNSS实时动态定位服务可用性保证的难点在于前后端技术链条长、分析纬度复杂，服务质量发生异常时难以及时准确定位到问题节点和故障原因，从而客观上延长了故障影响时间，对业务和用户体验造成风险或损失。

发明内容

本发明可以支持全链路各级系统间异常日志/告警的秒级聚合，并利用机器学习算法实时监测识别可用性异常情况，并分析可用性异常报警与后端异常日志之间的关联关系，进而准确定位到服务异常的原因和问题节点，并给出处理建议，或是根据后端异常日志预测出可能出现的业务故障，从而提示预警，最终提升服务质量问题发现及处置的效率。

本发明采用的技术方案具体如下：

一种面向GNSS定位服务的故障治理系统，所述故障治理系统包括：

接入层，用于采集、存储和接入元数据，所述元数据包括用户端的数据和服务端的数据；

处理层，用于对接入层采集的元数据进行处理，并基于离线计算或者实时流式计算结果提供服务；

引擎层，用于根据离线计算结果进行分析，并开发调试算法模型，对算法模型的效果进行评估，并将验证通过的算法模型发布到算法仓库；

平台层，用于控制故障治理系统，管理接入层、处理层和引擎层；

应用层，用于根据应用场景调用算法仓库中的算法模型，并将算法模型计算的结果展示给用户。

进一步地，所述用户端数据包括用户终端上传的GGA信息以及SDK采集到的终端日志；所述服务端数据包括基准站原始观测数据质量分析日志、NRTK算法日志、播发平台应用层日志、Iaas云服务日志报警信息以及完好性检测程序的校验结果。

进一步地，处理层通过数据日志网关接收元数据，并根据需要进行分发。

进一步地，处理层对元数据进行处理包括数据聚合、数据ETL和数据调度；数据聚合是对不同纬度的数据进行聚合处理，数据ETL是对元数据进行去重、转换、结构化以及抽取处理；数据调度是经数据聚合、数据ETL后的数据半成品按需调度至各种算法模型进行离线计算或者实时流式计算。

进一步地，引擎层通过统计分析模块针对数据聚合处理后的数据按照统计方法分析其按时间序列的分布情况，或者与关联指标的相关性，以识别异常分布特征和发生规则。

进一步地，引擎层效果评估模块根据异常分布特征和发生规则，选择算法和参数开发调试算法模型，并对算法模型输出的效果进行评估，根据评估结果对算法模型进行调优。

进一步地，引擎层模型选择模块根据评估结果确定最优模型参数组合，并将最优模型参数组合发布到算法仓库，以实例化的方式提供计算任务的按需调用。

进一步地，应用层调用的算法模型包括应用于异常检测的基于时间序列的数据分解、Holt-Winters、ARIMA，应用于识别周跳、电离层指标的概率分布或异常特征的特征工程分析模型，应用于异常根因定位的多指标联动分析模型、指标与事件关联分析模型。

进一步地，应用层将算法模型计算的结果通过报表、图表或者原因序列的方式展示给用户。

本发明还提供了一种面向GNSS定位服务的故障治理方法，所述方法包括以下步骤：

接入层采集、存储和接入元数据，所述元数据包括用户端的数据和服务端的数据，处理层对接入层采集的元数据进行处理，并基于离线计算或者实时流式计算结果提供服务；

引擎层根据离线计算结果进行分析，并开发调试算法模型，对算法模型的效果进行评估，并将验证通过的算法模型发布到算法仓库，同时根据离线计算结果分析得出的多维指标关联规律，生成规则判定引擎；通过监控报警平台触发规则判定引擎和算法仓库执行分析任务，分析结果进入到结果对比模块进行评分；

结果对比模块将分析结果择优向下输出，通过应用层展示给用户，并通过平台层按照预设规则触发平台执行操作。

进一步地，处理层通过数据日志网关接收元数据进行初步处理后生成日志数据，并实时同步存储到日志数据库，从日志数据库实时获取到日志数据进行数据聚合处理，并将聚合处理的结果存储到日志数据库。

进一步地，所述引擎层包括AI建模工具和算法仓库，引擎层通过AI建模工具从日志数据库抽取数据集进行离线训练模型，将训练成熟的算法模型固化部署到算法仓库，同时根据离线训练得出的多维指标关联规律，生成规则判定引擎。

进一步地，通过监控报警平台的用户异常事件或者网格异常事件/报警触发规则判定引擎和算法仓库执行分析任务，规则判定引擎和算法仓库从日志数据库调取目标日志数据进行分析，分析结果进入到结果对比模块进行评分。

进一步地，如果算法仓库的分析结果准确性高于规则判定引擎的判定结果，则优化规则判定引擎；如果规则判定引擎无法判断故障，则通过算法模型在线分析得出分析结果。

本发明还提供了一种存储器，所述存储器存储有计算机程序，所述计算机程序执行如下步骤：

接入层采集、存储和接入元数据，所述元数据包括用户端的数据和服务端的数据，处理层对接入层采集的元数据进行处理，并基于离线计算或者实时流式计算结果提供服务；

引擎层根据离线计算结果进行分析，并开发调试算法模型，对算法模型的效果进行评估，并将验证通过的算法模型发布到算法仓库，同时根据离线计算结果分析得出的多维指标关联规律，生成规则判定引擎；通过监控报警平台触发规则判定引擎和算法仓库执行分析任务，分析结果进入到结果对比模块进行评分；

结果对比模块将分析结果择优向下输出，通过应用层展示给用户，并通过平台层按照预设规则触发平台执行操作。

本发明的有益效果如下：

1、基于GNSS卫星定位原理和RTK算法处理逻辑，通过海量生产日志数据分析得到周跳、电离层、多径等指标对服务可用性(VRS卫星数)的关联影响规律和阈值区间，并将此结果运用到判定规则程序，同时构建在线的多指标关联分析算法模型，通过“静态”和“动态”两种方式同时得出分析结果，人工判定评分后正反馈到规则引擎和在线AI模型，最终达到自动、智能、快速地感知故障并定位原因的目的。

2、本发明在离线分析和编写判定规则代码时会参考完好性校验的逻辑和方法，或是直接利用完好性校验输出的结果作为GNSS数据质量好坏的判断依据。

3、本发明一方面利用GNSS卫星信号关键指标与数据质量的固有的关联规则，另一方面通过机器学习的方法将地基增强网、云平台Iaas(Infrastructure as a Service，即基础设施即服务)、GNSS算法平台软件等异常日志/告警聚合关联分析，最终得出可用性异常的问题源节点及原因定位。

附图说明

图1为本发明系统整体架构图，描述平台功能分层和逻辑抽象；

图2为本发明主业务流程图。

具体实施方式

本发明运用机器学习技术以及大数据分析问题相关性的思想，利用收集到的全链路多维度不同层面的日志报警数据(包括从基准站-算法-平台各分系统乃至用户层的消息、日志、报警等)，通过AI算法建模分析GNSS关键指标、系统/应用运行状态与服务质量间的关联关系(在这里，服务质量将抽象为可用率以及影响可用率的一系列关键指标，如可用卫星数等等)，并结合GNSS数据质量分析逻辑以及完好性判定逻辑方法，固化为判定规则程序和在线AI分析引擎，并通过日常生产系统海量数据的离线训练，持续优化在线模型和调参，完善判定规则，以迭代滚动的方式不断提升原因定位的准确率。此外，智能故障分析平台还可与上游监控系统打通，通过异常事件自动触发分析人物，智能化的给到运维人员可用性异常原因定位及处置建议。

下文中，结合附图和实施例对本发明作进一步阐述。

实施例一：

本发明提供了一种面向GNSS定位服务基于机器学习的故障治理系统，如图1所示，系统从下至上分为(数据)接入层、(数据)处理层、(分析)引擎层、平台(控制)层，以及应用层。

·接入层：负责元数据的采集、存储及接入，元数据是指覆盖从基站网络到算法平台乃至最终用户终端的端到端的运维指标类数据，数据类型包括日志/metric/agent等；

·处理层：对接入层采集的数据进行分发调度、清洗、转换、规则聚合等数据处理操作，并基于大数据离线分析或实时流式计算服务，以供引擎层能直接按需调用，而无需再做预处理以便提升效率；

·引擎层：主要包括利用海量离线日志数据进行分析探索，并基于此在平台上进行交互式的模型开发调试，对模型的效果进行评估，并将验证通过的算法模型发布到算法库，通过模型部署实例化支持不同应用场景的计算任务的按需调用。同时，通过建模引擎不断注入新的增量数据对算法模型进行训练，达到持续优化模型参数的目的；

·平台层：作为系统控制台角色，负责整个系统平台的底层数据管理、任务调度、算法开发框架及工具、以及用户鉴权、配置管理等功能项，确保平台开发及后期的灵活性和可运维性；

·应用层：应用层组件根据不同的应用场景，如异常检测、根因定位等，按需调用算法仓库中的算法实例，并将模型计算的结果以报表、图表或原因序列的方式展示给用户，达到良好的人机交互效果。

各模块功能具体如下：

1、接入层接入的元数据主要包括用户端和服务端的数据，用户层数据是指用户终端上传的gga信息(一般为NMEA格式)以及SDK(Software Development Kit，软件开发工具包)采集到的终端日志cloud log(包括sdk软件、终端算法运行日志以及终端网络联通情况等信息)；服务层数据则包括基准站原始观测数据质量分析日志(基于基站、卫星、卫星频点的历元完整性、周跳、多径、信噪比等数据)、NRTK算法日志(包括电离层延迟、STD参数，卫星基线组网日志等)、播发平台应用层日志(包括应用进程、接口调用异常等信息)、Iaas云服务日志报警信息(包括虚拟机、网络负载均衡、数据库等各种底层组件的日志报警)，以及完好性检测程序的校验结果。以上元数据都是由其他平台系统产生，作为智能运维系统的输入和生产资料；

2、数据处理层

1)数据日志网关，负责上述日志报警数据的采集、分发等操作，由各类agent或monitor程序主动向网关实时推动各类数据，并根据需要通过数据通道分发。

2)数据处理，包括数据聚合、数据ETL(Extract-Transform-Load，抽取、交互转换、加载)、数据调度。数据聚合主要功能是对不同纬度的数据按照一定规则进行聚合处理，目的是使数据量收敛，便于后续计算；数据ETL支持对元数据进行去重、转换、结构化以及抽取等处理；数据调度是经数据聚合、ETL后的数据半成品按需调度至各种算法模型进行离线验证或实时分析。

3)实时计算和离线计算模块是智能运维平台依赖的大数据计算服务，在实践中可选用现有云服务，如阿里云maxcompute、streamcompute等，或一些开源平台，如Hadoop、spark等。这部分主要是用到现有技术，不是本发明重点，不做赘述。

3、分析引擎层

1)AI建模工具

统计分析模块针对聚合处理后的数据按统计方法分析其按时间序列的分布情况，或与关联指标的相关性，比如不同区域VRS的异常分布、VRS卫星少与电离层变化关联性分析等，以识别异常分布特征及发生规律，目的是让开发者对数据对象充分理解，便于模型的构建；

效果评估，根据统计分析获得的异常特征及发生规则，选择适用的算法及参数进行交互式的开发建模调试，并对分析模型输出的效果进行评估，由开发者依据评估结论对模型进行调优；

模型选择根据不同算法建模及参数配置的评估结果确定最优模型参数组合，并沉淀为特定应用场景的解决方案。同时选择确定的模型经应用发布到算法仓库，以实例化的方式提供计算任务的按需调用。

2)算法仓库

算法仓库是经充分评估验证确认可用的，针对不同应用场景的分析模型(组合)的集合。常用的分析模型包括：基于时间序列的数据分解、Holt-Winters、ARIMA(Autoregressive Integrated Moving Average Model，自回归积分滑动平均模型)，主要解决异常检测(预测)类问题，还有特征工程，可用于识别周跳、电离层等指标的概率分布或异常特征。此外，多指标联动分析模型、指标与事件关联分析模型则可用于异常根因定位(常用算法如Pearson correlation、Spearman correlation、Kendall correlation、J-measure、FP-Growth、随机森林等)。

实施例二：

本发明还提供了一种面向GNSS定位服务基于机器学习的故障治理方法，如图2所示，包括以下步骤：

步骤1，日志数据采集及聚合，具体包括：

步骤1.1，数据日志网关将从基准站、平台系统、算法以及用户采集到的日志数据初步处理后，实时同步存储到日志数据库。其中基准站数据是经GNSS数据质量分析工具分析产生的结果日志，包含基站、卫星、卫星频点3个层面。系统平台主要是GNSS播发平台应用进程及底层基础系统运行日志。算法日志包括电离层延迟、STD(标准差)以及基线组网(剔除卫星)信息。用户层则主要是GGA和SDK收集到的网络、软硬件等客户端信息。

步骤1.2，元数据聚合程序从日志数据库实时获取到日志数据进行聚合，并将聚合后结果存放在日志数据库。

步骤2，机器学习算法建模和故障原因分析任务执行，具体包括：

步骤2.1，机器学习(AI)建模工具从日志数据库抽取数据集进行离线训练模型，一方面将训练成熟的机器学习模型固化部署到算法仓库；另一方面根据离线训练得出的多维指标关联规律，如电离层STD变化与VRS卫星数的关系、基站历元周跳与算法剔除卫星关系等，程序化为规则判定流程。

步骤2.2，通过监控报警平台(外部系统)的用户或网格异常报警/事件触发规则判定引擎和算法模型库执行分析任务。根据用户或VRS信息，规则引擎和算法模型从日志数据库中按需调取目标日志进行分析，分析结果会进入到结果对比模块进行评分。如线上模型库分析结果准确性高于规则判定结果，则将人工优化判定规则。对于判定规则引擎无法判断的未知故障，则主要依靠算法模型在线分析得出结论。

步骤3，原因分析定位和故障自愈操作，具体包括：

分析结果对比模块将规则判定引擎和在线算法模型得出的结果择优向下输出，通过故障分析平台前端展示，并可通过系统控制台接口按预设规则触发播发平台执行相应操作，如坏站剔除组网、GNSS算法服务切换等。

实施例三：

本发明还提供了一种存储器，所述存储器存储有计算机程序，所述计算机程序执行如下步骤：

接入层采集、存储和接入元数据，所述元数据包括用户端的数据和服务端的数据，处理层对接入层采集的元数据进行处理，并基于离线计算或者实时流式计算结果提供服务；

引擎层根据离线计算结果进行分析，并开发调试算法模型，对算法模型的效果进行评估，并将验证通过的算法模型发布到算法仓库，同时根据离线计算结果分析得出的多维指标关联规律，生成规则判定引擎；通过监控报警平台触发规则判定引擎和算法仓库执行分析任务，分析结果进入到结果对比模块进行评分；

结果对比模块将分析结果择优向下输出，通过应用层展示给用户，并通过平台层按照预设规则触发平台执行操作。

本发明中AI算法建模主要采用python实现，通过web service方式支持分析平台框架调用，返回json格式。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (3)

1.一种面向GNSS定位服务的故障治理方法，其特征在于，

所述方法包括以下步骤：

接入层采集、存储和接入元数据，所述元数据包括用户端的数据和服务端的数据，处理层对接入层采集的元数据进行处理，并基于离线计算或者实时流式计算结果提供服务；

引擎层根据离线计算结果进行分析，并开发调试算法模型，对算法模型的效果进行评估，并将验证通过的算法模型发布到算法仓库，同时根据离线计算结果分析得出的多维指标关联规律，生成规则判定引擎；通过监控报警平台触发规则判定引擎和算法仓库执行分析任务，分析结果进入到结果对比模块进行评分；

结果对比模块将分析结果择优向下输出，通过应用层展示给用户，并通过平台层按照预设规则触发平台执行操作；其中，

所述引擎层包括AI建模工具和算法仓库，引擎层通过AI建模工具从日志数据库抽取数据集进行离线训练模型，将训练成熟的算法模型固化部署到算法仓库，同时根据离线训练得出的多维指标关联规律，生成规则判定引擎；

通过监控报警平台的用户异常事件或者网格异常事件/报警触发规则判定引擎和算法仓库执行分析任务，规则判定引擎和算法仓库从日志数据库调取目标日志数据进行分析，分析结果进入到结果对比模块进行评分；并且，

如果算法仓库的分析结果准确性高于规则判定引擎的判定结果，则优化规则判定引擎；如果规则判定引擎无法判断故障，则通过算法模型在线分析得出分析结果。

2.如权利要求1所述的一种面向GNSS定位服务的故障治理方法，其特征在于，

处理层通过数据日志网关接收元数据进行初步处理后生成日志数据，并实时同步存储到日志数据库，从日志数据库实时获取到日志数据进行数据聚合处理，并将聚合处理的结果存储到日志数据库。

3.一种存储器，所述存储器存储有计算机程序，其特征在于，

所述计算机程序执行如下步骤：

接入层采集、存储和接入元数据，所述元数据包括用户端的数据和服务端的数据，处理层对接入层采集的元数据进行处理，并基于离线计算或者实时流式计算结果提供服务；

引擎层根据离线计算结果进行分析，并开发调试算法模型，对算法模型的效果进行评估，并将验证通过的算法模型发布到算法仓库，同时根据离线计算结果分析得出的多维指标关联规律，生成规则判定引擎；

通过监控报警平台触发规则判定引擎和算法仓库执行分析任务，分析结果进入到结果对比模块进行评分；

结果对比模块将分析结果择优向下输出，通过应用层展示给用户，并通过平台层按照预设规则触发平台执行操作；其中，

所述引擎层包括AI建模工具和算法仓库，引擎层通过AI建模工具从日志数据库抽取数据集进行离线训练模型，将训练成熟的算法模型固化部署到算法仓库，同时根据离线训练得出的多维指标关联规律，生成规则判定引擎；

通过监控报警平台的用户异常事件或者网格异常事件/报警触发规则判定引擎和算法仓库执行分析任务，规则判定引擎和算法仓库从日志数据库调取目标日志数据进行分析，分析结果进入到结果对比模块进行评分；并且，

如果算法仓库的分析结果准确性高于规则判定引擎的判定结果，则优化规则判定引擎；如果规则判定引擎无法判断故障，则通过算法模型在线分析得出分析结果。

Images