CN117493798A - 一种气象环境数据分析方法及系统 - Google Patents
一种气象环境数据分析方法及系统 Download PDFInfo
- Publication number
- CN117493798A CN117493798A CN202311433964.0A CN202311433964A CN117493798A CN 117493798 A CN117493798 A CN 117493798A CN 202311433964 A CN202311433964 A CN 202311433964A CN 117493798 A CN117493798 A CN 117493798A
- Authority
- CN
- China
- Prior art keywords
- data
- analysis
- weather
- target
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000007405 data analysis Methods 0.000 title claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 105
- 238000004458 analytical method Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000012731 temporal analysis Methods 0.000 claims abstract description 28
- 238000000700 time series analysis Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 230000008030 elimination Effects 0.000 claims abstract description 10
- 238000003379 elimination reaction Methods 0.000 claims abstract description 10
- 230000001932 seasonal effect Effects 0.000 claims description 25
- 230000007613 environmental effect Effects 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000003908 quality control method Methods 0.000 claims description 10
- 238000001556 precipitation Methods 0.000 claims description 9
- 238000012300 Sequence Analysis Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 238000013524 data verification Methods 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000007621 cluster analysis Methods 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 238000000611 regression analysis Methods 0.000 claims description 3
- 241000220317 Rosa Species 0.000 claims description 2
- 230000008569 process Effects 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000011049 filling Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 241001439061 Cocksfoot streak virus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004752 cathodic stripping voltammetry Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种气象环境数据分析方法及系统，该方法包括：在获取原始气象监测数据后；对原始气象监测数据进行预处理，并进行整理和格式化操作，得到第一目标数据；对第一目标数据进行异常数据点剔除处理，获取第二目标数据；对所述第二目标数据进行特征提取，获取第三目标数据；对第三目标数据进行分析和预测，获取分析数据和未来气象预测数据；基于时间序列数据获取时间序列分析数据；将分析数据、未来气象预测数据和时间序列分析数据进行可视化输出。本发明能够实现气象环境数据的智能化分析和解读，提高了气象观测监测数据的管理效率，并提供了准确及时的气象环境数据和环境决策依据。
Description
技术领域
本发明涉及气象分析技术领域，具体涉及一种气象环境数据分析方法及系统。
背景技术
气象环境数据的分析对于天气预报、气候研究、环境保护、自然灾害预警等方面具有重要的意义。通过对大量的气象环境数据进行分析，可以帮助工作人员更好地了解气候模式、趋势和周期性变化，从而提供更准确的天气预报和气候变化预测。此外，还可以通过分析气象环境数据，探索气候变化与环境污染、健康等方面的关联，为环境保护和健康管理提供决策支持。
传统的气象环境数据分析流程包括数据收集、处理和分析，但是存在数据收集时间颗粒度粗，无法通过大量数据建立预测模型，导致数据分析的智能程度无法满足工作人员的分析和利用要求，并且传统的气象数据分析方法无法对气象环境数据进行有效的特征提取，造成分析维度单一的问题。
因此如何对气象环境数据智能化分析和解读，以提供准确及时的气象环境数据和环境决策依据支持成为当前领域技术人员需要解决的问题。
发明内容
有鉴于此，有必要提供一种气象环境数据分析方法及系统，以实现对气象环境数据智能化分析和解读，并提供了准确及时的气象环境数据和环境决策依据的目的。
为了实现上述目的，本发明提供了一种环境气象分析方法，包括：
获取原始气象监测数据；
对原始气象监测数据进行预处理；
对经过预处理的原始气象监测数据进行整理和格式化操作，得到第一目标数据；
基于异常监测算法对第一目标数据进行异常数据点剔除处理，获取第二目标数据；
对第二目标数据进行特征提取，获取第三目标数据；
基于机器学习算法对第三目标数据进行分析，获取分析数据，并基于预设预测模型对分析数据进行处理，得到未来气象预测数据；
基于第三目标数据进行整理，获取时间序列数据，基于时间序列数据获取时间序列分析数据；
用于将分析数据、未来气象预测数据和时间序列分析数据进行可视化输出。
在一种可能的实现方式中，原始气象监测数据包括气象观测监测数据、气象卫星监测数据和气象雷达监测数据；
其中，气象观测监测数据包括温度数据、湿度数据、风速数据和降水量数据，气象卫星监测数据包括红外云图数据和可见光云图数据，气象雷达监测数据包括基本反射率数据和降水量数据。
在一种可能的实现方式中，对原始气象监测数据进行预处理包括：
对原始气象监测数据进行缺失值处理；
对原始气象监测数据进行异常值处理；
对原始气象监测数据进行数据一致性检查；
对原始气象监测数据进行数据质量控制；
其中，缺失值处理包括插值法和删除法，异常值处理包括数据范围检查法和统计法，数据一致性检查包括逻辑关系检查法和时间序列一致法，数据质量控制包括数据验证法和数据审查法。
在一种可能的实现方式中，对经过预处理的原始气象监测数据进行整理和格式化操作，得到第一目标数据包括：
对经过预处理的原始气象监测数据按照数据类型进行分类处理、时间序列排序处理、单位标准化处理和数据精度标准化处理，得到初始第一目标数据；
将初始第一目标数据进行数据格式转换处理，得到第一目标数据。
在一种可能的实现方式中，异常监测算法包括3σ原则算法、箱线图算法和局部离群因子算法。
在一种可能的实现方式中，第三目标数据包括预设周期内的第二目标数据的平均值、最小值、最大值、标准差和百分位数。
在一种可能的实现方式中，基于机器学习算法包括聚类分析算法、回归分析算法和时间序列分析算法。
在一种可能的实现方式中，时间序列分析数据包括季节性时间序列分析数据、趋势分析数据和周期性分析数据。
在一种可能的实现方式中，将分析数据和时间序列分析数据进行可视化输出包括：
基于图标可视化单元和图像可视化单元将第三目标数据进行可视化输出；
其中，可视化输出包括温度变化曲线图和风向玫瑰图。
为了实现上述目的，本发明还提供了一种环境气象分析系统，包括：
数据采集模块，用于获取原始气象监测数据；
数据预处理模块，用于对原始气象监测数据进行预处理；
数据整理模块，用于对经过预处理的原始气象监测数据进行整理和格式化操作，得到第一目标数据；
异常监测模块，用于基于异常监测算法对第一目标数据进行异常数据点剔除处理，获取第二目标数据；
特征提取模块，用于对第二目标数据进行特征提取，获取第三目标数据；数据分析模块，用于基于机器学习算法对第三目标数据进行分析，获取分析数据，并基于预设预测模型对分析数据进行处理，得到未来气象预测数据；
时间序列分析模块，用于基于第三目标数据进行整理，获取时间序列数据，基于时间序列数据获取时间序列分析数据；
可视化模块，用于将分析数据、未来气象预测数据和时间序列分析数据进行可视化输出。
采用上述实施例的有益效果为：在获取原始气象监测数据后；对原始气象监测数据进行预处理，并进行整理和格式化操作，得到第一目标数据；对第一目标数据进行异常数据点剔除处理，获取第二目标数据；对第二目标数据进行特征提取，获取第三目标数据；对第三目标数据进行分析和预测，获取分析数据和未来气象预测数据；基于时间序列数据获取时间序列分析数据；将分析数据、未来气象预测数据和时间序列分析数据进行可视化输出。本发明能够实现气象环境数据的智能化分析和解读，提高了气象观测监测数据的管理效率，并提供了准确及时的气象环境数据和环境决策依据。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种气象环境数据分析方法的一个实施例的流程示意图；
图2为本发明提供的一种气象环境数据分析方法的一个实施例中对步骤S12的流程示意图；
图3为本发明提供的一种气象环境数据分析系统的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
图1为本发明提供的一种气象环境数据分析方法的一个实施例的流程示意图。
参照图1，本发明提供了一种环境气象分析方法，包括：
S11、获取原始气象监测数据；
S12、对原始气象监测数据进行预处理；
S13、对经过预处理的原始气象监测数据进行整理和格式化操作，得到第一目标数据；
S14、基于异常监测算法对第一目标数据进行异常数据点剔除处理，获取第二目标数据；
S15、对第二目标数据进行特征提取，获取第三目标数据；
S16、基于机器学习算法对第三目标数据进行分析，获取分析数据，并基于预设预测模型对分析数据进行处理，得到未来气象预测数据；
S17、基于第三目标数据进行整理，获取时间序列数据，基于时间序列数据获取时间序列分析数据；
S18、用于将分析数据、未来气象预测数据和时间序列分析数据进行可视化输出。
采用上述实施例的有益效果为：在获取原始气象监测数据后；对原始气象监测数据进行预处理，并进行整理和格式化操作，得到第一目标数据；对第一目标数据进行异常数据点剔除处理，获取第二目标数据；对第二目标数据进行特征提取，获取第三目标数据；对第三目标数据进行分析和预测，获取分析数据和未来气象预测数据；基于时间序列数据获取时间序列分析数据；将分析数据、未来气象预测数据和时间序列分析数据进行可视化输出。本发明能够实现气象环境数据的智能化分析和解读，提高了气象观测监测数据的管理效率，并提供了准确及时的气象环境数据和环境决策依据。
进一步地，原始气象监测数据包括气象观测监测数据、气象卫星监测数据和气象雷达监测数据；
其中，气象观测监测数据包括温度数据、湿度数据、风速数据和降水量数据，气象卫星监测数据包括红外云图数据和可见光云图数据，气象雷达监测数据包括基本反射率数据和降水量数据。
图2为本发明提供的一种气象环境数据分析方法的一个实施例中对步骤S12的流程示意图。
参照图2，步骤S12包括：
S121、对原始气象监测数据进行缺失值处理；
S122、对原始气象监测数据进行异常值处理；
S123、对原始气象监测数据进行数据一致性检查；
S124、对原始气象监测数据进行数据质量控制；
其中，缺失值处理包括插值法和删除法，异常值处理包括数据范围检查法和统计法，数据一致性检查包括逻辑关系检查法和时间序列一致法，数据质量控制包括数据验证法和数据审查法。
通过对原始气象监测数据进行质量控制和清洗，以保证原始气象监测数据的准确性和可靠性。
具体地，对于原始气象监测数据缺失值较少的情况，可以使用插值法填补，如线性插值、拉格朗日插值和卡尔曼滤波，实际可以根据原始气象监测数据的特点选择合适的插值方法，以保证原始气象监测数据在插值过程中的平滑性和连续性；对于原始气象监测数据缺失值过多或无法准确插值的情况，可以选择删除包括缺失值的数据行或数据列，但在删除前应该评估数据删除的影响，以确保不会由于数据删除导致的数据偏差。
由于原始气象监测数据的错误值和异常值会干扰数据分析的结果，因此需要对原始气象监测数据进行异常值处理，通常可以采用数据范围检查法对原始气象监测数据进行范围检查以提出超出合力范围的值，例如：温度超过屋里极限、湿度超过100％的值，通常能够通过与现实世界的知识和经验进行比较来完成；也可以采用统计法识别和处理原始气象监测数据异常值，例如：使用均值加减预设倍数标准差的方法或箱线图来检测原始气象监测数据异常值。
在数据清洗过程中还需要进行数据一致性检查，以确保数据之间的关联关系的准确，例如：对于不同气象要素之间具有约束关系的数据进行逻辑关系检查，例如：温度和湿度之间、降水量与云量之间是否满足基本的物理规律。对于时序序列数据，可以进行时间序列一致性判断，需要检查原始气象监测数据之间的时间顺序是否正确，是否存在重复和缺失。
在数据清洗过程中，进行数据质量控制是必要的，以确保数据的准确性和一致性。可以通过数据验证法检查数据是否符合预期的统计特性和分布规律，也可以通过人工审查部分数据，进一步识别并纠正潜在的错误和异常。
在一种实施例中，步骤S13包括：
对经过预处理的原始气象监测数据按照数据类型进行分类处理、时间序列排序处理、单位标准化处理和数据精度标准化处理，得到初始第一目标数据；
将初始第一目标数据进行数据格式转换处理，得到第一目标数据。
通过将经过预处理的原始气象监测数据进行整理和格式化操作，以方便后续的处理和分析，常见的格式包括表格和数据库。
具体的，首先对预处理的原始气象监测数据进行分类处理，例如：依旧温度、湿度、降水量和风速数据可以划分为不同的分类，通过将相同类型的数据归类在一起，方便后续对数据的处理和操作；时间序列排序处理指的是对于时间相关的气象数据，需要按照时间顺序进行整理，确保数据按照时间点进行排序，使其具有连续性和一致性，可以利用日期和时间戳来标记每个数据点；单位标准化处理指的是对于气象数据进行单位的统一，常见的单位包括摄氏度、百分比、毫米等，以确保所有数据的单位的统一，并在关联数据中进行适应的转换；数据精度表转化处理指的是根据数据的精确度和用户需求，确定数据的小数位数，例如：温度数据精确到小数点后一位或两位，风速数据精确到小数点后三位，规范化的小数位数有助于提高数据可读性和一致性。
数据格式转换处理即根据使用场景和需求，将数据转换为不同的格式。常见的格式包括表格、文本文件、CSV、JSON和NETCDF等，选择合适的数据格式可以方便数据的存储、传输和分析。
在一种实施例中，异常监测算法包括3σ原则算法、箱线图算法和局部离群因子算法。
通过使用异常监测算法识别并排除异常点，以确保数据的准确性和可靠性。
进一步地，3σ原则算法指的是：设x为观测值，μ为均值，σ为标准差，则判定为异常的条件是|x-μ|>3σ，例如对于温度数据集，计算均值和标准差，如果某个观测值与均值的偏差超过3倍标准差，则认为该观测值是异常的。
箱线图算法指的是根据数据的四分位数和离群值定义的上下限来识别异常值。例如：使用数据的第一四分位数(Q1)和第三四分位数(Q3)，计算箱线图的上界(Upper Bound)和下界(Lower Bound)。如果某个观测值小于下界或大于上界，则被认为是异常值。
局部离群因子算法(LOF算法)通过计算每个数据点的局部密度与其邻近数据点的局部密度之比来度量离群程度。例如对于风速和风向数据，使用LOF算法计算每个数据点的局部离群因子。具有较高的离群因子的数据点被视为异常点。
特征提取指的是从整理后的数据中提取有用的特征，例如计算某一时间段内的平均值、最大值、最小值，或者计算变化趋势、周期性等指标。
在一种实施例中，第三目标数据包括预设周期内的第二目标数据的平均值、最小值、最大值、标准差和百分位数。
平均值：计算某地区一段时间内的平均温度或降水量。
标准差：计算温度或其他气象指标的波动程度。
最大值和最小值：记录某地区的最高温度和最低温度。
百分位数：计算某地区温度在不同百分位的分布情况，如记录最热的百分之十天或最冷的百分之十天。
在一种实施例中，基于机器学习算法包括聚类分析算法、回归分析算法和时间序列分析算法。
通过预设的预测模型，可以利用历史数据预测未来气象环境变化。
例如：预设的预测模型通过将数据在神经网络中向前传递，从输入层通过隐藏层到输出层进行计算和预测。每一层的神经元都与上一层的所有神经元相连，信息只能向前流动，不存在反馈连接。训练时使用反向传播算法来调整网络权重和偏置，以减少预测值与实际观测值之间的差异。根据具体问题和数据的特点，可以调整隐藏层的数量和神经元的数量，以及激活函数的选择，来构建适合该问题的前馈神经网络结构。同时，还可以通过交叉验证和超参数调优等方法进一步改进预测模型的性能和泛化能力。
在一种可能的实现方式中，时间序列分析数据包括季节性时间序列分析数据、趋势分析数据和周期性分析数据。
例如：假设我们有一组连续多年的月平均温度数据，我们想要进行季节性分析。首先，我们需要将每个月的温度数据整理出来；然后通过绘制时间序列图来可视化数据的变化。图中横轴表示时间，纵轴表示月平均温度；利用观察时间序列图，我们可以初步了解到温度的季节性变化趋势。随后，使用季节分解方法对数据进行季节分解。常见的季节分解方法之一是STL(Seasonal and Trend decomposition using Loess)分解。该方法可以将时间序列数据分解为趋势项、季节项和残差项；在进行季节性分解后，计算季节性指数来量化每个季节的相对强度和大小。例如，对于每个季节(春季、夏季、秋季、冬季)，可以计算与该季节相关的平均温度，并将其作为基准值。然后，我们可以计算每个月的季节性指数，即该月的温度除以相应季节的基准值；在进行完季节性分解和计算季节性指数后，进行季节性检验，以确定季节性模式的显著性。例如，可以使用季节性循环图或季节性指数的置信区间检验等方法；最后，利用已知的季节性模式和季节性指数来进行季节性预测，根据过去的数据和季节性模式，对未来的季节性温度变化进行预测。
通过这样的季节性分析能够更好地了解气温的季节性变化规律，提供有关不同季节气温的信息，并为农业、旅游和能源等领域的决策制定提供支持。
在一种实施例中，将分析数据和时间序列分析数据进行可视化输出包括：
基于图标可视化单元和图像可视化单元将第三目标数据进行可视化输出；
其中，可视化输出包括温度变化曲线图和风向玫瑰图，以帮助用户理解和分析数据。
通过上述实施例，本发明至少具有如下有益效果：
1)能够对大量的气象观测监测数据进行高效的处理和管理，并自动化地进行数据清洗、质量控制、缺失值处理等预处理步骤，提高数据的准确性和完整性；
2)能够将复杂的气象环境数据以直观、易读的方式展示出来。通过图表、地图、动画等形式，用户可以更加清晰地了解气象数据的分布、变化趋势和空间关联，提高数据的可理解性；
3)基于历史数据进行气象预测，帮助用户做出准确的决策；
4)能够实时监测和分析气象环境数据，及时发现异常情况并进行预警；
5)数据预处理的质量控制步骤，可以检测和修正这些异常值，提高数据的准确性和可靠性；采用插值等方法填补这些缺失值，以保证数据的完整性和连续性；通过数据预处理的平滑和滤波操作，能够提取出真实的信号，使数据更具可读性和可解释性；预处理还可以对数据进行标准化处理，将其转换为统一的度量单位或格式，方便后续的数据分析和整合。
图3为本发明提供的一种气象环境数据分析系统的一个实施例的结构示意图。
参照图3，本发明还提供了一种环境气象分析系统，包括：
数据采集模块31，用于获取原始气象监测数据；
数据预处理模块32，用于对原始气象监测数据进行预处理；
数据整理模块33，用于对经过预处理的原始气象监测数据进行整理和格式化操作，得到第一目标数据；
异常监测模块34，用于基于异常监测算法对第一目标数据进行异常数据点剔除处理，获取第二目标数据；
特征提取模块35，用于对第二目标数据进行特征提取，获取第三目标数据；
数据分析模块36，用于基于机器学习算法对第三目标数据进行分析，获取分析数据，并基于预设预测模型对分析数据进行处理，得到未来气象预测数据；
时间序列分析模块37，用于基于第三目标数据进行整理，获取时间序列数据，基于时间序列数据获取时间序列分析数据；
可视化模块38，用于将分析数据、未来气象预测数据和时间序列分析数据进行可视化输出。
采用上述实施例的有益效果为：在数据采集模块31获取原始气象监测数据后；数据预处理模块32对原始气象监测数据进行预处理，数据整理模块33进行整理和格式化操作，得到第一目标数据；异常监测模块34对第一目标数据进行异常数据点剔除处理，获取第二目标数据；特征提取模块35对第二目标数据进行特征提取，获取第三目标数据；数据分析模块36对第三目标数据进行分析和预测，获取分析数据和未来气象预测数据；时间序列分析模块37基于时间序列数据获取时间序列分析数据；可视化模块38将分析数据、未来气象预测数据和时间序列分析数据进行可视化输出。本发明能够实现气象环境数据的智能化分析和解读，提高了气象观测监测数据的管理效率，并提供了准确及时的气象环境数据和环境决策依据。
上述实施例提供的是一种气象环境数据分析系统可实现上述基于气象环境数据分析方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可基于气象环境数据分析方法实施例中的相应内容，此处不再赘述。
以上对本发明所提供的气象环境数据分析方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种环境气象分析方法，其特征在于，包括：
获取原始气象监测数据；
对所述原始气象监测数据进行预处理；
对经过预处理的所述原始气象监测数据进行整理和格式化操作，得到第一目标数据；
基于异常监测算法对所述第一目标数据进行异常数据点剔除处理，获取第二目标数据；
对所述第二目标数据进行特征提取，获取第三目标数据；
基于机器学习算法对所述第三目标数据进行分析，获取分析数据，并基于预设预测模型对所述分析数据进行处理，得到未来气象预测数据；
基于所述第三目标数据进行整理，获取时间序列数据，基于所述时间序列数据获取时间序列分析数据；
将所述分析数据、所述未来气象预测数据和所述时间序列分析数据进行可视化输出。
2.根据权利要求1所述的环境气象分析方法，其特征在于，所述原始气象监测数据包括气象观测监测数据、气象卫星监测数据和气象雷达监测数据；
其中，所述气象观测监测数据包括温度数据、湿度数据、风速数据和降水量数据，所述气象卫星监测数据包括红外云图数据和可见光云图数据，所述气象雷达监测数据包括基本反射率数据和降水量数据。
3.根据权利要求1所述的环境气象分析方法，其特征在于，所述对所述原始气象监测数据进行预处理包括：
对所述原始气象监测数据进行缺失值处理；
对所述原始气象监测数据进行异常值处理；
对所述原始气象监测数据进行数据一致性检查；
对所述原始气象监测数据进行数据质量控制；
其中，所述缺失值处理包括插值法和删除法，所述异常值处理包括数据范围检查法和统计法，所述数据一致性检查包括逻辑关系检查法和时间序列一致法，所述数据质量控制包括数据验证法和数据审查法。
4.根据权利要求1所述的环境气象分析方法，其特征在于，所述对经过预处理的所述原始气象监测数据进行整理和格式化操作，得到第一目标数据包括：
对经过预处理的所述原始气象监测数据按照数据类型进行分类处理、时间序列排序处理、单位标准化处理和数据精度标准化处理，得到初始第一目标数据；
将所述初始第一目标数据进行数据格式转换处理，得到第一目标数据。
5.根据权利要求1所述的环境气象分析方法，其特征在于，所述异常监测算法包括3σ原则算法、箱线图算法和局部离群因子算法。
6.根据权利要求1所述的环境气象分析方法，其特征在于，所述第三目标数据包括预设周期内的所述第二目标数据的平均值、最小值、最大值、标准差和百分位数。
7.根据权利要求1所述的环境气象分析方法，其特征在于，所述基于机器学习算法包括聚类分析算法、回归分析算法和时间序列分析算法。
8.根据权利要求1所述的环境气象分析方法，其特征在于，所述时间序列分析数据包括季节性时间序列分析数据、趋势分析数据和周期性分析数据。
9.根据权利要求1所述的环境气象分析方法，其特征在于，所述将所述分析数据和所述时间序列分析数据进行可视化输出包括：
基于图标可视化单元和图像可视化单元将所述第三目标数据进行可视化输出；
其中，可视化输出包括温度变化曲线图和风向玫瑰图。
10.一种环境气象分析系统，其特征在于，包括：
数据采集模块，用于获取原始气象监测数据；
数据预处理模块，用于对所述原始气象监测数据进行预处理；
数据整理模块，用于对经过预处理的所述原始气象监测数据进行整理和格式化操作，得到第一目标数据；
异常监测模块，用于基于异常监测算法对所述第一目标数据进行异常数据点剔除处理，获取第二目标数据；
特征提取模块，用于对所述第二目标数据进行特征提取，获取第三目标数据；
数据分析模块，用于基于机器学习算法对所述第三目标数据进行分析，获取分析数据，并基于预设预测模型对所述分析数据进行处理，得到未来气象预测数据；
时间序列分析模块，用于基于所述第三目标数据进行整理，获取时间序列数据，基于所述时间序列数据获取时间序列分析数据；
可视化模块，用于将所述分析数据、所述未来气象预测数据和所述时间序列分析数据进行可视化输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311433964.0A CN117493798A (zh) | 2023-10-31 | 2023-10-31 | 一种气象环境数据分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311433964.0A CN117493798A (zh) | 2023-10-31 | 2023-10-31 | 一种气象环境数据分析方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117493798A true CN117493798A (zh) | 2024-02-02 |
Family
ID=89684044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311433964.0A Pending CN117493798A (zh) | 2023-10-31 | 2023-10-31 | 一种气象环境数据分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117493798A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117931094A (zh) * | 2024-03-21 | 2024-04-26 | 山东奥斯瑞特检验检测有限公司 | 基于区块链的环境空气监测数据可靠存储方法 |
-
2023
- 2023-10-31 CN CN202311433964.0A patent/CN117493798A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117931094A (zh) * | 2024-03-21 | 2024-04-26 | 山东奥斯瑞特检验检测有限公司 | 基于区块链的环境空气监测数据可靠存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106779505B (zh) | 一种基于大数据驱动的输电线路故障预警方法及系统 | |
| CN110968069B (zh) | 风力发电机组的故障预测方法、相应的装置及电子设备 | |
| CN107480698A (zh) | 基于多个监测指标的质量控制方法 | |
| CN117493798A (zh) | 一种气象环境数据分析方法及系统 | |
| CN116416884B (zh) | 一种显示器模组的测试装置及其测试方法 | |
| CN114519923A (zh) | 一种电厂智能诊断预警方法和系统 | |
| CN115438726A (zh) | 一种基于数字孪生技术的设备寿命与故障类型预测方法及系统 | |
| CN117151649B (zh) | 基于大数据分析的施工方法管控系统及方法 | |
| CN116738192A (zh) | 一种基于数字孪生的安全数据评估方法及系统 | |
| CN116432123A (zh) | 一种基于cart决策树算法的电能表故障预警方法 | |
| CN114648060A (zh) | 基于机器学习的故障信号规范化处理及分类方法 | |
| CN116932523B (zh) | 一种整合和监管第三方环境检测机构的平台 | |
| CN114154716A (zh) | 一种基于图神经网络的企业能耗预测方法及装置 | |
| CN110455370B (zh) | 防汛抗旱远程遥测显示系统 | |
| Kovalyov | Design and development of a power system digital twin: A model-based approach | |
| CN116760017A (zh) | 一种光伏发电的预测方法 | |
| Wei et al. | Uncertainty quantification analysis of wind power: A data-driven monitoring-forecasting framework | |
| CN115600695A (zh) | 一种计量设备的故障诊断方法 | |
| Zhang et al. | A novel hybrid model based on EMD-BPNN for forecasting US and UK stock indices | |
| CN117113157B (zh) | 一种基于人工智能的台区用电故障检测系统 | |
| CN117172138B (zh) | 一种基于深度学习的城市交通碳排放预测方法及装置 | |
| CN117634911A (zh) | 一种农情监测数据的分析方法及系统 | |
| CN117952483B (zh) | 基于数字化平台的收支平衡指标监测方法、系统及其介质 | |
| CN107680685A (zh) | 一种疾病预警方法及系统 | |
| WO2022217568A1 (zh) | 一种耦合伯努利-伽马-高斯分布的日尺度降水预报校正方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |