CN117909703A - 基于告警阈值触发的数据质量评估方法及系统 - Google Patents

基于告警阈值触发的数据质量评估方法及系统 Download PDF

Info

Publication number
CN117909703A
CN117909703A CN202410306753.9A CN202410306753A CN117909703A CN 117909703 A CN117909703 A CN 117909703A CN 202410306753 A CN202410306753 A CN 202410306753A CN 117909703 A CN117909703 A CN 117909703A
Authority
CN
China
Prior art keywords
weather
meteorological
equipment
index
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410306753.9A
Other languages
English (en)
Other versions
CN117909703B (zh
Inventor
冯永玉
史辉
薛秀荣
张妍
王燕
高洁
王萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Institute Of Land And Spatial Data And Remote Sensing Technology Shandong Sea Area Dynamic Monitoring And Monitoring Center
Original Assignee
Shandong Institute Of Land And Spatial Data And Remote Sensing Technology Shandong Sea Area Dynamic Monitoring And Monitoring Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Institute Of Land And Spatial Data And Remote Sensing Technology Shandong Sea Area Dynamic Monitoring And Monitoring Center filed Critical Shandong Institute Of Land And Spatial Data And Remote Sensing Technology Shandong Sea Area Dynamic Monitoring And Monitoring Center
Priority to CN202410306753.9A priority Critical patent/CN117909703B/zh
Publication of CN117909703A publication Critical patent/CN117909703A/zh
Application granted granted Critical
Publication of CN117909703B publication Critical patent/CN117909703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/02Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/10Pre-processing; Data cleansing
    • G06F18/15Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Environmental Sciences (AREA)
  • Ecology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于告警阈值触发的数据质量评估方法及系统,涉及数据质量评估技术领域,通过评估系统获取与气象设备运行精度相关的多类因素,通过精度分析模型分析多类数据并输出气象量化指数,依据气象量化指数与量化阈值的对比结果,分析是否需要对气象设备预测的天气状况数据质量进行评估,若需要对天气状况数据质量进行评估,则结合近期天气状况评估气象设备预测的天气状况数据质量。该评估方法能够有效分析气象设备的当前运行状态后,结合告警阈值触发是否需要评估气象设备预测的天气状况数据质量,以及生成相应的管理策略,不仅有效降低气象设备的恶劣天气预测概率误差,而且保障气象设备运行的稳定性和降低使用局限性。

Description

基于告警阈值触发的数据质量评估方法及系统
技术领域
本发明涉及数据质量评估技术领域,具体涉及基于告警阈值触发的数据质量评估方法及系统。
背景技术
天气监测是指通过使用各种气象仪器和技术手段来测量、记录和分析大气中的各种气象参数的过程。这些参数包括温度、湿度、气压、风速和方向、降水量、云量等,用于了解和预测天气状况。天气监测对于多个领域具有重要意义,包括气象学研究、气象预报、农业、交通运输、能源生产、环境保护等,现有的天气监测预测未来将要出现降雨时,通常是结合近期的天气状况来判断降雨的概率,然而,气象设备在使用过程中易受多类因素的影响,仅通过结合近期天气状况来判断降雨概率的方式误差较大,这对天气监测的使用带来了较大的局限性和不确定性;
基于此,本发明提出基于告警阈值触发的数据质量评估方法及系统,能够在气象设备生成气象数据时,结合多类因素来判断是否需要对气象设备生成数据质量进行评估,以降低天气监测对降雨预测概率的误差。
发明内容
本发明的目的是提供基于告警阈值触发的数据质量评估方法及系统,以解决背景技术中不足。
为了实现上述目的,本发明提供如下技术方案:基于告警阈值触发的数据质量评估方法,所述评估方法包括以下步骤:
天气监测系统通过气象设备监测未来一段时间内的天气状况,当预测未来一段时间内天气状况恶劣时,评估系统获取与气象设备运行精度相关的多类因素;
对多类因素进行预处理后,通过精度分析模型分析多类数据并输出气象量化指数;
依据气象量化指数与量化阈值的对比结果,分析是否需要对气象设备预测的天气状况数据质量进行评估;
若需要对天气状况数据质量进行评估,则结合近期天气状况评估气象设备预测的天气状况数据质量;
依据气象设备预测的天气状况数据质量评估结果生成相应的管理策略;
评估系统定期获取气象设备的气象量化指数后,对气象设备进行运行状态分析,并依据运行状态分析结果动态更新气象设备的维护周期。
在一个优选的实施方式中,评估系统获取与气象设备运行精度相关的多类因素通过精度分析模型分析多类数据并输出气象量化指数包括以下步骤:
评估系统获取与气象设备运行精度相关的多类因素,多类因素包括观测数值波动值、传感器校准偏差、气压偏差以及大气清洁度;
将观测数值波动值、传感器校准偏差、气压偏差以及大气清洁度代入精度分析模型,精度分析模型对观测数值波动值、传感器校准偏差、气压偏差以及大气清洁度进行标准化处理后,依据大气清洁度与气象量化指数成正比,观测数值波动值、传感器校准偏差、气压偏差与气象量化指数成反比的关系;
将标准化处理后的观测数值波动值、传感器校准偏差、气压偏差以及大气清洁度综合计算获取气象量化指数,获取的气象量化指数越大,表明气象设备当前运行状态越好。
在一个优选的实施方式中,依据气象量化指数与量化阈值的对比结果,分析是否需要对气象设备预测的天气状况数据质量进行评估,包括以下步骤:
获取气象设备的气象量化指数后,将气象量化指数与量化阈值进行对比,量化阈值用于区分气象设备的运行状态优差,以及气象设备运行状态对预测的天气状况数据质量影响;
若气象量化指数大于等于量化阈值,分析气象设备的运行状态优,且气象设备运行状态对预测的天气状况数据质量无影响;
若气象量化指数小于量化阈值,分析气象设备的运行状态差,且气象设备运行状态对预测的天气状况数据质量有影响,生成告警信号并发送至管理员。
在一个优选的实施方式中,评估系统定期获取气象设备的气象量化指数后,对气象设备进行运行状态分析,并依据运行状态分析结果动态更新气象设备的维护周期:
获取气象设备的历史所有气象量化指数数量,将所有气象量化指数建立指数集合,并计算指数集合中的平均值以及标准差;
获取指数集合中的平均值以及标准差后,将指数集合中的平均值以及标准差综合分析;
若平均值大于等于量化阈值,且标准差小于等于标准差阈值,分析气象设备的历史运行状态优,无需修改气象设备的维护周期;
若平均值大于等于量化阈值,且标准差大于标准差阈值,分析气象设备的历史运行状态中等,需要对气象设备的维护周期进行一级修改;
若平均值小于量化阈值,且标准差大于标准差阈值,分析气象设备的历史运行状态差,需要对气象设备的维护周期进行二级修改;
若平均值小于量化阈值,且标准差小于等于标准差阈值,分析气象设备的历史运行状态极差,需要对气象设备的维护周期进行三级修。
在一个优选的实施方式中,所述大气清洁度的获取逻辑为:获取气象设备运行中的标准污染指数,并实时获取气象设备运行的污染指数,通过标准污染指数减去污染指数后得到指数差值,将指数差值比上标准污染指数后得到大气清洁度;
气压偏差的获取逻辑为:获取气象设备运行中的标准大气气压,并实时获取气象设备运行的实际大气气压,将实际大气气压减去标准大气气压后得到气压差值,取气压差值的绝对值作为气压偏差。
在一个优选的实施方式中,所述观测数值波动值的计算表达式为:,式中,/>表示气象设备中第i个传感器的波动值,n表示气象设备中传感器的数量,gcj表示传感器的第j个观测值,gcj-1表示传感器的第j-1个观测值,m为传感器中观测值取样点的数量,且m、n均为正整数;
所述传感器校准偏差的计算表达式为:,式中,n为气象设备中传感器的数量,gczi为第i个传感器运行时的观测值,sjzi为第i个传感器的实际值。
在一个优选的实施方式中,天气监测系统通过气象设备监测未来一段时间内的天气状况,预测未来一段时间内天气状况,包括以下步骤:
使用气象仪器,包括风速计、温度计、湿度计以及气象卫星,进行实时的大气监测,并通过数值天气预报模型对当前气象条件进行建模,模拟未来一段时间内的天气演变;
利用概率分析和统计方法对数值天气预报模型的输出进行分析,包括计算未来降雨、风速恶劣天气条件的概率分布;
对当前数值天气预报模型的输出与历史数据进行对比,验证模型的准确性。
基于告警阈值触发的数据质量评估系统,包括启动模块、数据获取模块、指数输出模块、分析模块、评估模块、策略生成模块、维护管理模块;
启动模块:天气监测系统通过气象设备监测未来一段时间内的天气状况,当预测未来一段时间内天气状况恶劣时,启动数据获取模块;
数据获取模块:获取与气象设备运行精度相关的多类因素,对多类因素进行预处理;
指数输出模块:通过精度分析模型分析多类数据并输出气象量化指数;
分析模块:依据气象量化指数与量化阈值的对比结果,分析是否需要对气象设备预测的天气状况数据质量进行评估;
评估模块:若需要对天气状况数据质量进行评估,则结合近期天气状况评估气象设备预测的天气状况数据质量;
策略生成模块:依据气象设备预测的天气状况数据质量评估结果生成相应的管理策略;
维护管理模块:评估系统定期获取气象设备的气象量化指数后,对气象设备进行运行状态分析,并依据运行状态分析结果动态更新气象设备的维护周期。
在上述技术方案中,本发明提供的技术效果和优点:
1、本发明通过评估系统获取与气象设备运行精度相关的多类因素,对多类因素进行预处理后,通过精度分析模型分析多类数据并输出气象量化指数,依据气象量化指数与量化阈值的对比结果,分析是否需要对气象设备预测的天气状况数据质量进行评估,若需要对天气状况数据质量进行评估,则结合近期天气状况评估气象设备预测的天气状况数据质量,依据气象设备预测的天气状况数据质量评估结果生成相应的管理策略。该评估方法能够有效分析气象设备的当前运行状态后,结合告警阈值触发是否需要评估气象设备预测的天气状况数据质量,以及生成相应的管理策略,不仅有效降低气象设备的恶劣天气预测概率误差,而且保障气象设备运行的稳定性和降低使用局限性。
2、本发明通过评估系统获取与气象设备运行精度相关的多类因素,对多类因素进行预处理后,通过精度分析模型分析多类数据并输出气象量化指数,评估系统定期获取气象设备的气象量化指数后,对气象设备进行运行状态分析,并依据运行状态分析结果动态更新气象设备的维护周期,有效提高对气象设备的维护管理效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:请参阅图1所示,本实施例所述基于告警阈值触发的数据质量评估方法,所述评估方法包括以下步骤:
天气监测系统通过气象设备监测未来一段时间内的天气状况,当预测未来一段时间内天气状况恶劣时,例如起大风和暴雨,评估系统获取与气象设备运行精度相关的多类因素,对多类因素进行预处理后,通过精度分析模型分析多类数据并输出气象量化指数,依据气象量化指数与量化阈值的对比结果,分析是否需要对气象设备预测的天气状况数据质量进行评估,若需要对天气状况数据质量进行评估,则结合近期天气状况评估气象设备预测的天气状况数据质量,依据气象设备预测的天气状况数据质量评估结果生成相应的管理策略,评估系统定期获取气象设备的气象量化指数后,对气象设备进行运行状态分析,并依据运行状态分析结果动态更新气象设备的维护周期。
本申请通过评估系统获取与气象设备运行精度相关的多类因素,对多类因素进行预处理后,通过精度分析模型分析多类数据并输出气象量化指数,依据气象量化指数与量化阈值的对比结果,分析是否需要对气象设备预测的天气状况数据质量进行评估,若需要对天气状况数据质量进行评估,则结合近期天气状况评估气象设备预测的天气状况数据质量,依据气象设备预测的天气状况数据质量评估结果生成相应的管理策略。该评估方法能够有效分析气象设备的当前运行状态后,结合告警阈值触发是否需要评估气象设备预测的天气状况数据质量,以及生成相应的管理策略,不仅有效降低气象设备的恶劣天气预测概率误差,而且保障气象设备运行的稳定性和降低使用局限性。
本申请通过评估系统获取与气象设备运行精度相关的多类因素,对多类因素进行预处理后,通过精度分析模型分析多类数据并输出气象量化指数,评估系统定期获取气象设备的气象量化指数后,对气象设备进行运行状态分析,并依据运行状态分析结果动态更新气象设备的维护周期,有效提高对气象设备的维护管理效果。
实施例2:天气监测系统通过气象设备监测未来一段时间内的天气状况,预测未来一段时间内天气状况恶劣时,例如起大风和暴雨,包括以下步骤:
气象仪器和卫星监测:使用现代气象仪器如风速计、温度计、湿度计等,以及气象卫星,进行实时的大气监测。这些仪器可以提供大范围、高分辨率的气象数据。
数学模型和气象模拟:借助数学模型,如数值天气预报模型(NumericalWeatherPrediction,NWP),对当前气象条件进行建模,并模拟未来一段时间内的天气演变。这些模型基于数学方程和物理规律,使用大量观测数据进行参数校准,以提高模拟的准确性。
概率分析和统计方法:利用概率分析和统计方法对数值模型的输出进行分析。这可以包括计算未来降雨、风速等恶劣天气条件的概率分布,从而评估不同天气事件发生的可能性。
历史数据对比和模型验证:对当前模型的输出与历史数据进行对比,验证模型的准确性。这有助于发现模型可能存在的不足,并进行调整和改进。
环境条件因素考虑:考虑环境条件对天气的影响,包括地形、海洋温度等因素。这有助于更好地适应不同地区和季节的气象特点。
使用气象仪器,包括风速计、温度计、湿度计以及气象卫星,进行实时的大气监测,并通过数值天气预报模型对当前气象条件进行建模,模拟未来一段时间内的天气演变,包括以下步骤:
气象仪器和卫星数据采集:收集来自气象仪器(如风速计、温度计、湿度计)和气象卫星的实时气象数据。这可能包括地面气象站、航空气象测量、卫星遥感数据等。
数据预处理:对采集到的数据进行预处理,包括去除异常值、校准传感器、进行单位转换等,以确保数据的准确性和一致性。
气象卫星图像解析:对来自气象卫星的遥感图像进行解析,提取其中的大气参数,例如云量、云高、海温等。
建立数值天气预报模型:选择适当的数值天气预报模型,这可能包括WRF(WeatherResearchandForecasting)、GFS(GlobalForecastSystem)等。配置模型的网格、时间步长和物理参数。
初始化模型:使用实时的观测数据来初始化数值模型,将当前大气条件输入模型以启动模拟。
数值模型运行:运行数值模型,模拟未来一段时间内的大气演变。模型通过离散的方程和物理参数进行计算,产生预测结果。
利用概率分析和统计方法对数值天气预报模型的输出进行分析,包括计算未来降雨、风速恶劣天气条件的概率分布,包括以下步骤:
获取数值模型输出:从数值天气预报模型中获取未来一段时间内的降雨和风速等参数的输出数据。
数据预处理:对模型输出数据进行预处理,包括去除异常值、插值处理缺失值等,以确保数据的质量。
降雨和风速定义:确定降雨和风速的具体定义,例如设定降雨强度阈值和风速阈值,以区分恶劣天气条件。
计算概率分布:使用概率分析和统计方法,计算未来一段时间内降雨和风速的概率分布。这可以包括以下步骤:
a.频率分布计算:对降雨和风速数据进行频率分布计算,以了解不同强度或速度的发生频率。
b.概率密度函数(PDF):计算降雨和风速的概率密度函数,描述其在特定范围内的可能性分布。
c.累积分布函数(CDF):计算降雨和风速的累积分布函数,表示在某一特定值以下的概率。
对当前数值天气预报模型的输出与历史数据进行对比,验证模型的准确性,包括以下步骤:
数据获取:获取当前数值模型的输出数据和相应的实际观测数据(历史数据),包括降雨量、风速等气象参数。
数据一致性处理:对比两组数据的时间和空间分辨率,确保它们在这些方面的一致性。进行必要的插值或缩减,以使模型输出和历史数据在相同的时间和空间范围内进行比较。
可视化比较:使用可视化工具,如图表或地图,将数值模型的输出与历史数据进行比较。这可以帮助直观地识别两者之间的相似性和差异。
时空分析:对比不同时间和空间尺度上的模型输出和历史数据。分析模型是否能够准确地捕捉不同时间段和地点的气象变化。
误差分析:计算数值模型的输出与历史数据之间的误差。常用的误差度量包括均方根误差(RMSE)、平均绝对误差(MAE)等。这有助于量化模型的准确性水平。
时间序列分析:将数值模型的时间序列输出与历史数据进行比较。通过观察模型在不同时间点上的表现,评估其对气象变化的敏感性和准确性。
统计检验:使用统计检验方法,如相关性分析、假设检验等,评估数值模型输出与历史数据之间的关系。确定模型的预测能力和可靠性。
区域性分析:如果模型针对特定地区进行了调整或优化,进行区域性分析以验证模型在该地区的准确性。这有助于定位模型可能存在问题的区域。
模型调整:如果通过对比发现模型存在明显的偏差或误差,可能需要对模型进行调整。这可能涉及改变模型参数、更新初始条件或应用更先进的模型。
上述举例通过气象设备预测未来一段时间的天气状况方案,在实际应用中还包括其他多种预测天气状况和分析概率的方案,属于现有技术,不是本申请需要保护的发明内容,在此不做一一介绍。
评估系统获取与气象设备运行精度相关的多类因素,对多类因素进行预处理后,通过精度分析模型分析多类数据并输出气象量化指数:
评估系统获取与气象设备运行精度相关的多类因素,多类因素包括观测数值波动值、传感器校准偏差、气压偏差以及大气清洁度;
将观测数值波动值、传感器校准偏差、气压偏差以及大气清洁度代入精度分析模型,精度分析模型对观测数值波动值、传感器校准偏差、气压偏差以及大气清洁度进行标准化处理后,依据大气清洁度与气象量化指数成正比,观测数值波动值、传感器校准偏差、气压偏差与气象量化指数成反比的关系,将标准化处理后的观测数值波动值、传感器校准偏差、气压偏差以及大气清洁度综合计算获取气象量化指数,函数表达式为:,式中,qxz为气象量化指数,dqj为大气清洁度,qyp为气压偏差,gcb为观测数值波动值,cgj为传感器校准偏差,/>、/>、/>、/>分别为大气清洁度、气压偏差、观测数值波动值、传感器校准偏差的比例系数,且/>、/>、/>均大于0,获取的气象量化指数越大,表明气象设备当前运行状态越好,精度越高。
大气清洁度的获取逻辑为:获取气象设备运行中的标准污染指数,并实时获取气象设备运行的污染指数,通过标准污染指数减去污染指数后得到指数差值,将指数差值比上标准污染指数后得到大气清洁度,大气清洁度值越大,表明气象设备运行时的大气污染度越低,有利于提高气象设备的精度,具体为:
传感器准确性提高:大气污染物如颗粒物、化学物质等可能对气象设备中的传感器产生干扰。低污染度的环境条件下,传感器更容易准确地测量气象要素,减小了外部因素对传感器的影响,提高了测量准确性。
光学传感器性能优化:污染物在大气中的存在可能导致光学传感器的性能下降,例如光散射和吸收的增加。在清洁的大气条件下,光学传感器能够更有效地接收和传递光信号,提高对光学现象(如云量、能见度等)的测量精度。
数据质量提高:大气污染物会引起背景噪音,影响气象数据的质量。清洁的大气条件有助于减少噪音干扰,提高观测数据的可靠性和稳定性。
设备寿命延长:气象设备在高污染环境中运行可能导致设备的老化和损坏,降低其寿命。低大气污染度有助于减缓设备的老化过程,延长设备的使用寿命。
能见度和远距离观测改善:低大气污染度有助于提高能见度,从而改善对远距离目标的观测。对于一些气象雷达和卫星系统等设备,这可以提高其对天气现象的监测精度。
气压偏差的获取逻辑为:获取气象设备运行中的标准大气气压,并实时获取气象设备运行的实际大气气压,将实际大气气压减去标准大气气压后得到气压差值,取气压差值的绝对值作为气压偏差,气压偏差越大,表明气象设备运行时的大气气压越偏离气象设备的标准大气气压,则会导致气象设备的精度下降,具体为:
气象要素测量误差:大气气压是气象要素的基础参数之一,对其他气象要素如温度、湿度等的测量和计算具有重要影响。如果大气气压偏离标准值,可能导致与大气气压相关的其他参数的测量误差,从而影响设备对气象要素的准确测量。
气象事件预测准确性下降:大气气压的变化与气象事件如气旋、气压系统的演变密切相关。如果设备的大气气压测量不准确,将影响对气象事件的实时监测和未来预测的准确性,降低了设备的精度。
气象模型输出不稳定:大气气压是气象数值模型中的一个重要参数,模型的输出结果受到大气气压准确性的影响。如果设备的气压测量不准确,可能导致气象模型的输出不稳定,从而降低了预测的准确性。
气象事件警报的不可靠性:气象事件警报通常基于气象观测数据,其中大气气压是关键参数之一。若气象设备的气压测量不准确,警报系统可能提供不可靠或误导性的信息,降低了设备的精度。
观测数值波动值的计算表达式为:,式中,表示气象设备中第i个传感器的波动值,n表示气象设备中传感器的数量,gcj表示传感器的第j个观测值,gcj-1表示传感器的第j-1个观测值,m为传感器中观测值取样点的数量,且m、n均为正整数,观测数值波动值越大,表明气象设备在运行过程中,气象设备的多个传感器或单个传感器数值的波动大,对气象设备带来以下精度影响:
数据不稳定性:传感器数值波动大可能导致观测数据的不稳定性,使得设备输出的气象信息不连续或不一致。这可能影响气象事件的实时监测和准确预测。
精度下降:传感器数值波动大可能意味着传感器的测量精度下降,因为波动可能不仅仅是由于自然气象变化引起的,还可能受到设备本身或环境因素的影响。这会降低设备对气象要素的准确测量能力。
实时监测困难:传感器数值波动大可能导致实时监测气象变化变得困难。在需要快速响应气象变化的情况下,数据波动大可能使得及时采取措施或发出警报变得不够可靠。
模型预测不稳定:如果气象设备的传感器数据用于数值模型进行天气预测,数值模型的准确性和稳定性将受到传感器波动的影响。这可能导致模型输出的天气预测结果不稳定或不准确。
影响长期气候记录:传感器数值波动大可能影响气象设备生成的长期气候记录。在建立气候变化趋势或研究气象历史数据时,数值波动可能引入噪音,影响对长期趋势的准确分析。
传感器校准偏差的计算表达式为:,式中,n为气象设备中传感器的数量,gczi为第i个传感器运行时的观测值,sjzi为第i个传感器的实际值,传感器校准偏差越大,表明气象设备的传感器输出值越偏离实际值,则表明传感器可能存在以下问题导致气象设备的精度降低:
校准问题:传感器可能未经过适当的校准,或者校准不准确,导致输出值与实际值之间存在固定偏移或缩放问题。
老化和损坏:传感器元件随着时间的推移可能会老化或受到损坏,导致输出值的漂移或不稳定。老化可能引起传感器灵敏度的下降,从而影响测量准确性。
环境影响:传感器受到周围环境的影响,如温度、湿度和大气压力等。环境因素的变化可能导致传感器输出值的波动或漂移,从而影响设备的精度。
电磁干扰:传感器可能受到电磁场或其他电磁干扰的影响,导致输出值的异常波动。这种干扰可能来自其他设备或电子设备。
供电问题:不稳定的电源供电或电源问题可能导致传感器输出值的不准确。这包括电压不稳定、电流问题或电源噪音等。
故障传输:数据传输线路或通信系统可能存在故障,导致传感器输出值的传递不准确。这可能涉及到信号损失、传输错误或通信中断等问题。
软件或算法问题:与传感器相关的软件或算法可能存在问题,如错误的校准算法、滤波器设置不当等,导致输出值的偏差。
依据气象量化指数与量化阈值的对比结果,分析是否需要对气象设备预测的天气状况数据质量进行评估:
获取气象设备的气象量化指数后,将气象量化指数与量化阈值进行对比,量化阈值用于区分气象设备的运行状态优差,以及气象设备运行状态对预测的天气状况数据质量影响;
若气象量化指数大于等于量化阈值,分析气象设备的运行状态优,且气象设备运行状态对预测的天气状况数据质量无影响;若气象量化指数小于量化阈值,分析气象设备的运行状态差,且气象设备运行状态对预测的天气状况数据质量有影响,生成告警信号并发送至管理员。
若需要对天气状况数据质量进行评估,则结合近期天气状况评估气象设备预测的天气状况数据质量:
当分析气象设备的运行状态差,且气象设备运行状态对预测的天气状况数据质量有影响,判断需要对气象设备预测的天气状况数据质量进行评估;
实际观测数据收集:收集最近一段时间内的实际天气观测数据,包括温度、湿度、降雨量、风速等气象要素。这可以作为评估的基准。
设备预测数据获取:获取相同时间段内气象设备提供的天气预测数据,包括对应的温度、湿度、降雨概率、风速等预测结果。
对比分析:将设备的预测数据与实际观测数据进行对比分析。比较预测与实际情况之间的差异,包括绝对误差、相对误差、命中率等指标。
趋势一致性检查:检查设备的预测结果是否与实际天气变化趋势一致。例如,设备是否能够准确捕捉温度的升降、降雨的开始和结束等趋势。
概率性评估:对设备提供的概率性预测进行评估。检查设备给出的降雨概率、温度范围等是否与实际情况一致,评估其准确性。
异常事件分析:特别关注天气异常事件,如强风、暴雨等。评估设备在异常天气条件下的预测准确性,看其是否能够及时、准确地预测特殊天气状况。
用户反馈考察:获取用户对设备预测的反馈信息。用户的实际感受和经验是评估预测数据质量的重要参考。
空间一致性检查:若设备在不同地理位置提供预测,检查其在空间上的一致性。设备的预测是否在不同地点具有相似的准确性。
季节性变化分析:考虑天气季节性变化,例如春季到夏季的过渡。评估设备在季节变化中的预测能力。
周期性分析:分析设备的预测结果是否能够捕捉到天气的周期性变化,例如日间和夜间的温度变化。
综上所述,可以通过多种和单中方法对气象设备预测的天气状况数据质量进行评估,属于现有技术,在此不一一详细介绍。
依据气象设备预测的天气状况数据质量评估结果生成相应的管理策略:
当通过现有的方法评估气象设备预测的天气状况数据质量达标时,即符合现阶段天气状况的变化趋势,生成需要降低预测恶劣天气发生的概率的管理策略,根据自定义的降低方式降低,例如根据气象量化指数的取值区间来后进行每5个百分点进行降低;
当通过现有的方法评估气象设备预测的天气状况数据质量不达标时,生成的管理策略为:重新通过气象设备进行多次天气状况预测,若多次天气状况预测时,气象设备的气象量化指数仍小于量化阈值,则发出告警并提示更换其他气象设备进行使用。
评估系统定期获取气象设备的气象量化指数后,对气象设备进行运行状态分析,并依据运行状态分析结果动态更新气象设备的维护周期:
获取气象设备的历史所有气象量化指数数量,将所有气象量化指数建立指数集合,并计算指数集合中的平均值以及标准差,函数表达式为:
式中,xh表示标准差,表示平均值,Qa表示指数集合中第a个气象量化指数的取值,b为指数集合中的气象量化指数数量;
获取指数集合中的平均值以及标准差后,将指数集合中的平均值以及标准差综合分析;
若平均值大于等于量化阈值,且标准差小于等于标准差阈值,分析气象设备的历史运行状态优,无需修改气象设备的维护周期;
若平均值大于等于量化阈值,且标准差大于标准差阈值,分析气象设备的历史运行状态中等(即指数集合中存在部分气象量化指数值小于量化阈值),需要对气象设备的维护周期进行一级修改;
若平均值小于量化阈值,且标准差大于标准差阈值,分析气象设备的历史运行状态差(即指数集合中存在部分气象量化指数值大于等于量化阈值),需要对气象设备的维护周期进行二级修改;
若平均值小于量化阈值,且标准差小于等于标准差阈值,分析气象设备的历史运行状态极差,需要对气象设备的维护周期进行三级修改;
其中,一级修改为取气象设备当前距离维护时间剩余时长的三分之二时长后重新计算维护时间;
二级修改为取气象设备当前距离维护时间剩余时长的二分之一时长后重新计算维护时间;
三级修改为将气象设备当前距离维护时间剩余时长乘零,即判断为三级修改时,需要立刻对气象设备进行维护。
实施例3:本实施例所述基于告警阈值触发的数据质量评估系统,包括启动模块、数据获取模块、指数输出模块、分析模块、评估模块、策略生成模块、维护管理模块;
启动模块:天气监测系统通过气象设备监测未来一段时间内的天气状况,当预测未来一段时间内天气状况恶劣时,启动数据获取模块;
数据获取模块:获取与气象设备运行精度相关的多类因素,对多类因素进行预处理,预处理后的多类因素发送至指数输出模块;
指数输出模块:通过精度分析模型分析多类数据并输出气象量化指数,气象量化指数发送至分析模块以及维护管理模块;
分析模块:依据气象量化指数与量化阈值的对比结果,分析是否需要对气象设备预测的天气状况数据质量进行评估,分析结果发送至评估模块;
评估模块:若需要对天气状况数据质量进行评估,则结合近期天气状况评估气象设备预测的天气状况数据质量,评估结果发送至策略生成模块;
策略生成模块:依据气象设备预测的天气状况数据质量评估结果生成相应的管理策略;
维护管理模块:评估系统定期获取气象设备的气象量化指数后,对气象设备进行运行状态分析,并依据运行状态分析结果动态更新气象设备的维护周期。
上述公式均是去量纲取其数值计算,公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式,公式中的预设参数由本领域的技术人员根据实际情况进行设置。
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.基于告警阈值触发的数据质量评估方法,其特征在于:所述评估方法包括以下步骤:
天气监测系统通过气象设备监测未来一段时间内的天气状况,当预测未来一段时间内天气状况恶劣时,评估系统获取与气象设备运行精度相关的多类因素;
对多类因素进行预处理后,通过精度分析模型分析多类数据并输出气象量化指数;
依据气象量化指数与量化阈值的对比结果,分析是否需要对气象设备预测的天气状况数据质量进行评估;
若需要对天气状况数据质量进行评估,则结合近期天气状况评估气象设备预测的天气状况数据质量;
依据气象设备预测的天气状况数据质量评估结果生成相应的管理策略;
评估系统定期获取气象设备的气象量化指数后,对气象设备进行运行状态分析,并依据运行状态分析结果动态更新气象设备的维护周期。
2.根据权利要求1所述的基于告警阈值触发的数据质量评估方法,其特征在于:评估系统获取与气象设备运行精度相关的多类因素通过精度分析模型分析多类数据并输出气象量化指数包括以下步骤:
评估系统获取与气象设备运行精度相关的多类因素,多类因素包括观测数值波动值、传感器校准偏差、气压偏差以及大气清洁度;
将观测数值波动值、传感器校准偏差、气压偏差以及大气清洁度代入精度分析模型,精度分析模型对观测数值波动值、传感器校准偏差、气压偏差以及大气清洁度进行标准化处理后,依据大气清洁度与气象量化指数成正比,观测数值波动值、传感器校准偏差、气压偏差与气象量化指数成反比的关系;
将标准化处理后的观测数值波动值、传感器校准偏差、气压偏差以及大气清洁度综合计算获取气象量化指数,获取的气象量化指数越大,表明气象设备当前运行状态越好。
3.根据权利要求2所述的基于告警阈值触发的数据质量评估方法,其特征在于:依据气象量化指数与量化阈值的对比结果,分析是否需要对气象设备预测的天气状况数据质量进行评估,包括以下步骤:
获取气象设备的气象量化指数后,将气象量化指数与量化阈值进行对比,量化阈值用于区分气象设备的运行状态优差,以及气象设备运行状态对预测的天气状况数据质量影响;
若气象量化指数大于等于量化阈值,分析气象设备的运行状态优,且气象设备运行状态对预测的天气状况数据质量无影响;
若气象量化指数小于量化阈值,分析气象设备的运行状态差,且气象设备运行状态对预测的天气状况数据质量有影响,生成告警信号并发送至管理员。
4.根据权利要求3所述的基于告警阈值触发的数据质量评估方法,其特征在于:评估系统定期获取气象设备的气象量化指数后,对气象设备进行运行状态分析,并依据运行状态分析结果动态更新气象设备的维护周期,包括以下步骤:
获取气象设备的历史所有气象量化指数数量,将所有气象量化指数建立指数集合,并计算指数集合中的平均值以及标准差;
获取指数集合中的平均值以及标准差后,将指数集合中的平均值以及标准差综合分析;
若平均值大于等于量化阈值,且标准差小于等于标准差阈值,分析气象设备的历史运行状态优,无需修改气象设备的维护周期;
若平均值大于等于量化阈值,且标准差大于标准差阈值,分析气象设备的历史运行状态中等,需要对气象设备的维护周期进行一级修改;
若平均值小于量化阈值,且标准差大于标准差阈值,分析气象设备的历史运行状态差,需要对气象设备的维护周期进行二级修改;
若平均值小于量化阈值,且标准差小于等于标准差阈值,分析气象设备的历史运行状态极差,需要对气象设备的维护周期进行三级修。
5.根据权利要求4所述的基于告警阈值触发的数据质量评估方法,其特征在于:所述大气清洁度的获取逻辑为:获取气象设备运行中的标准污染指数,并实时获取气象设备运行的污染指数,通过标准污染指数减去污染指数后得到指数差值,将指数差值比上标准污染指数后得到大气清洁度;
气压偏差的获取逻辑为:获取气象设备运行中的标准大气气压,并实时获取气象设备运行的实际大气气压,将实际大气气压减去标准大气气压后得到气压差值,取气压差值的绝对值作为气压偏差。
6.根据权利要求5所述的基于告警阈值触发的数据质量评估方法,其特征在于:所述观测数值波动值的计算表达式为:,式中,表示气象设备中第i个传感器的波动值,n表示气象设备中传感器的数量,gcj表示传感器的第j个观测值,gcj-1表示传感器的第j-1个观测值,m为传感器中观测值取样点的数量,且m、n均为正整数;
所述传感器校准偏差的计算表达式为:,式中,n为气象设备中传感器的数量,gczi为第i个传感器运行时的观测值,sjzi为第i个传感器的实际值。
7.根据权利要求6所述的基于告警阈值触发的数据质量评估方法,其特征在于:天气监测系统通过气象设备监测未来一段时间内的天气状况,预测未来一段时间内天气状况,包括以下步骤:
使用气象仪器,包括风速计、温度计、湿度计以及气象卫星,进行实时的大气监测,并通过数值天气预报模型对当前气象条件进行建模,模拟未来一段时间内的天气演变;
利用概率分析和统计方法对数值天气预报模型的输出进行分析,包括计算未来降雨、风速恶劣天气条件的概率分布;
对当前数值天气预报模型的输出与历史数据进行对比,验证模型的准确性。
8.基于告警阈值触发的数据质量评估系统,用于实现权利要求1-7任一项所述的评估方法,其特征在于:包括启动模块、数据获取模块、指数输出模块、分析模块、评估模块、策略生成模块、维护管理模块;
启动模块:天气监测系统通过气象设备监测未来一段时间内的天气状况,当预测未来一段时间内天气状况恶劣时,启动数据获取模块;
数据获取模块:获取与气象设备运行精度相关的多类因素,对多类因素进行预处理;
指数输出模块:通过精度分析模型分析多类数据并输出气象量化指数;
分析模块:依据气象量化指数与量化阈值的对比结果,分析是否需要对气象设备预测的天气状况数据质量进行评估;
评估模块:若需要对天气状况数据质量进行评估,则结合近期天气状况评估气象设备预测的天气状况数据质量;
策略生成模块:依据气象设备预测的天气状况数据质量评估结果生成相应的管理策略;
维护管理模块:评估系统定期获取气象设备的气象量化指数后,对气象设备进行运行状态分析,并依据运行状态分析结果动态更新气象设备的维护周期。
CN202410306753.9A 2024-03-18 2024-03-18 基于告警阈值触发的数据质量评估方法及系统 Active CN117909703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410306753.9A CN117909703B (zh) 2024-03-18 2024-03-18 基于告警阈值触发的数据质量评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410306753.9A CN117909703B (zh) 2024-03-18 2024-03-18 基于告警阈值触发的数据质量评估方法及系统

Publications (2)

Publication Number Publication Date
CN117909703A true CN117909703A (zh) 2024-04-19
CN117909703B CN117909703B (zh) 2024-05-31

Family

ID=90682308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410306753.9A Active CN117909703B (zh) 2024-03-18 2024-03-18 基于告警阈值触发的数据质量评估方法及系统

Country Status (1)

Country Link
CN (1) CN117909703B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069558A (zh) * 2015-07-28 2015-11-18 江苏励维逊电气科技有限公司 一种基于气象数据的电力设施受损情况的预警分析方法
CN112232674A (zh) * 2020-10-16 2021-01-15 中国气象局气象探测中心 一种气象灾害评估方法、装置和系统
CN114563111A (zh) * 2022-04-30 2022-05-31 江西省气象信息中心(江西省气象培训中心、江西省农村经济信息中心) 气温观测设备的健康度评估方法、系统、设备和存储介质
CN114742464A (zh) * 2022-05-10 2022-07-12 中国科学院西北生态环境资源研究院 一种高寒草原生态系统健康评估及预警平台构建方法
US20220269603A1 (en) * 2021-02-23 2022-08-25 Western Digital Technologies, Inc. Data storage device performance prediction based on valid fragment count
CN116181416A (zh) * 2023-04-26 2023-05-30 河北工程大学 一种冲击地压多参量超前预警系统及方法
CN116625354A (zh) * 2023-07-21 2023-08-22 山东省国土测绘院 一种基于多源测绘数据的高精度地形图生成方法及系统
CN116989903A (zh) * 2023-09-25 2023-11-03 长春金融高等专科学校 基于温度检测的设备疲劳预警系统
CN117114454A (zh) * 2023-10-25 2023-11-24 南京中鑫智电科技有限公司 一种基于Apriori算法的直流套管状态评估方法及系统
CN117172620A (zh) * 2023-11-02 2023-12-05 江苏全天软件有限公司 一种基于参数化分析的建筑光伏潜力评估方法及系统
CN117612687A (zh) * 2024-01-22 2024-02-27 西安交通大学医学院第一附属医院 一种基于人工智能的医疗设备监测分析系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069558A (zh) * 2015-07-28 2015-11-18 江苏励维逊电气科技有限公司 一种基于气象数据的电力设施受损情况的预警分析方法
CN112232674A (zh) * 2020-10-16 2021-01-15 中国气象局气象探测中心 一种气象灾害评估方法、装置和系统
US20220269603A1 (en) * 2021-02-23 2022-08-25 Western Digital Technologies, Inc. Data storage device performance prediction based on valid fragment count
CN114563111A (zh) * 2022-04-30 2022-05-31 江西省气象信息中心(江西省气象培训中心、江西省农村经济信息中心) 气温观测设备的健康度评估方法、系统、设备和存储介质
CN114742464A (zh) * 2022-05-10 2022-07-12 中国科学院西北生态环境资源研究院 一种高寒草原生态系统健康评估及预警平台构建方法
CN116181416A (zh) * 2023-04-26 2023-05-30 河北工程大学 一种冲击地压多参量超前预警系统及方法
CN116625354A (zh) * 2023-07-21 2023-08-22 山东省国土测绘院 一种基于多源测绘数据的高精度地形图生成方法及系统
CN116989903A (zh) * 2023-09-25 2023-11-03 长春金融高等专科学校 基于温度检测的设备疲劳预警系统
CN117114454A (zh) * 2023-10-25 2023-11-24 南京中鑫智电科技有限公司 一种基于Apriori算法的直流套管状态评估方法及系统
CN117172620A (zh) * 2023-11-02 2023-12-05 江苏全天软件有限公司 一种基于参数化分析的建筑光伏潜力评估方法及系统
CN117612687A (zh) * 2024-01-22 2024-02-27 西安交通大学医学院第一附属医院 一种基于人工智能的医疗设备监测分析系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余学锋;于杰;王亚梅;: "虚拟基准设计及在设备技术状态监测中的应用分析", 电子测量技术, no. 04, 15 April 2015 (2015-04-15) *

Also Published As

Publication number Publication date
CN117909703B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
JP7514242B2 (ja) 風力タービンギアボックス構成要素における観察可能な損傷のリスクを予測するための方法及びシステム
CN115329812B (zh) 一种基于人工智能的桥梁基础设施异常监测方法
CN114611778B (zh) 一种基于入库流量的水库水位预警方法及系统
CN113847216B (zh) 风机叶片的状态预测方法、装置、设备及存储介质
CN117408514A (zh) 基于多参数传感器的智能运维变电站监测预警系统及方法
Garg et al. Applications of Autoregressive integrated moving average (ARIMA) approach in time-series prediction of traffic noise pollution
CN113176420B (zh) 一种针对电网杆塔点的风速预报订正系统
CN114994460A (zh) 一种电缆绝缘性能预测装置及方法
CN117113157B (zh) 一种基于人工智能的台区用电故障检测系统
CN117909703B (zh) 基于告警阈值触发的数据质量评估方法及系统
CN117934212A (zh) 基于iot技术数字可视化平台的施工过程监控方法
CN110455370B (zh) 防汛抗旱远程遥测显示系统
KR101336551B1 (ko) 댐 건설 전후 기후 특성 변화 예측 시스템 및 그 방법
Norouzi et al. An integrated monitor and warning system for the Jeremiah Morrow bridge
Ramirez et al. Road map for creation of advanced meteorological data sets for CSP performance simulations
Sturtevant et al. Quality assurance and control
Widiansyah et al. A Review: Design and Build Damage Detection Equipment on Sensors and Power Supply Automatic Rain Gauge (ARG) With Long Short Term Memory Integrated
CN117759493A (zh) 一种风电场区域雷电防护方法和装置
CN118350651B (zh) 一种输电线路的外力破坏检测预警方法及系统
CN116561705B (zh) 一种三个雨量传感器数据融合计算方法、系统及终端
CN116878728B (zh) 一种压力传感器故障检测分析处理系统
CN113469268B (zh) 基于误差统计分析的输电线路杆塔雨量修正方法及装置
over Telangana ECH
Safaei Pirooz Extreme Winds in New Zealand: Homogenisation, Climatology and Design Wind Speed Estimates
Ramirez-Espinosa et al. Improving Data Quality of Low-Cost Light-Scattering PM Sensors: Towards Automatic Air Quality Monitoring in Urban Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant