CN115454981A - 南极器测气象数据的数据清洗和标记方法、系统 - Google Patents
南极器测气象数据的数据清洗和标记方法、系统 Download PDFInfo
- Publication number
- CN115454981A CN115454981A CN202211048418.0A CN202211048418A CN115454981A CN 115454981 A CN115454981 A CN 115454981A CN 202211048418 A CN202211048418 A CN 202211048418A CN 115454981 A CN115454981 A CN 115454981A
- Authority
- CN
- China
- Prior art keywords
- data
- air pressure
- wind speed
- temperature
- hours
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims abstract description 88
- 238000003908 quality control method Methods 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Air Conditioning Control Device (AREA)
Abstract
本发明涉及一种南极器测气象数据的数据清洗和标记方法、系统，方法包括：获取近地面气温、气压、风速、风向、相对湿度之间的映射关系；根据映射关系，提取近地面气温、气压、风速、相对湿度的原始值；将原始值的时间标签进行数字化，得到各个数据的时间变量，并进行时序的比对；根据数据的时序依次对近地面气温、气压、风速、相对湿度根据质量控制标准进行异常值分类和标记，并对异常值进行清洗；根据预设阈值进行数据完整度控制；将清洗后的数据根据不同的时间分辨率进行自动运算；根据有效数据个数，分别计算近地面气温、气压、风速、相对湿度各自的3小时数据完整度、日数据完整度和月数据完整度；对异常数据进行标记，提高气象数据的准确性。
Description
技术领域
本发明涉及计算机技术及气象领域，具体地涉及一种南极器测气象数据的数据清洗和标记方法、系统。
背景技术
作为地球系统不可或缺的组成部分，南极在全球气候系统变化中扮演着十分重要的角色，是气候变化研究的关键区。气象观测资料是开展南极气候变化的基石。长期以来，受制于南极极其恶劣的环境条件，南极一直是全球最缺乏现场观测资料的区域。自20世纪80年代以来，随着自动气象站技术的逐渐成熟，世界诸国争相在南极架设自动气象站，与已有的地面观测站形成了南极气象观测网，以便更好地描述南极区域甚至整个大陆的天气或气候状况。
目前，南极气象观测网器测数据存在缺失、异常、不规范、虚假观测的问题，对于数据的评估及后续使用构成限制，因此需要后续的质量控制方可使用。而且，气象站是由不同的国家管理与维护，尽管针对气象站收集的原始数据进行了基本的质量检查，但质控标准与方法不统一。例如，美国威斯康辛大学南极气象研究中心数据解码时设定阈值进行粗略的错误检查，手动过滤由于仪器故障(如传感器冻结和屏幕被雪/霜覆盖)、数据传输以及单位变化等造成的错误或缺失，并使用单变量均值和标准差检验；英国南极考察局气象数据质量控制主要采用阈值、人工邻近值处理等方式，澳大利亚南极冰川学项目使用内部软件结合人工方式对数据进行编辑，以消除由卫星通信错误或传感器故障导致的观测误差；荷兰乌得勒支大学海洋与大气研究所南极自动气象站项目通过人工鉴定和质量参数编码，对收集的气象数据进行了初步的质量控制。
总之，相关技术中南极器测气象数据后续处理的不足主要体现在对于数据的时间顺序、数据的自动化处理是缺位的；而且质量控制手段不统一、缺失，标准不一致，难以形成系统的全面质量控制下的高精度数据产品，极大的限制了气象数据的应用。
发明内容
本发明的目的是提供一种南极器测气象数据的数据清洗和标记方法、系统，有效提高数据同化系统的数据准确度和全球气候模式模拟效果，提高南极气象监测站点数据的准确性。
为了实现上述目的，第一方面，本发明提供一种南极器测气象数据的数据清洗和标记方法，所述方法包括以下步骤：
S1、获取南极器测气象数据中的近地面气温、气压、风速、风向、相对湿度之间的映射关系，其中，所述近地面气温通过温度传感器采集得到，所述气压通过气压传感器采集得到，所述风速通过风速传感器采集得到，所述风向通过风向传感器采集得到，所述相对湿度通过湿度传感器采集得到；
S2、根据所述映射关系，分别提取所述近地面气温、所述气压、所述风速、所述相对湿度的原始值；
S3、将所述近地面气温、所述气压、所述风速、所述相对湿度的原始值的时间标签进行数字化，得到各个数据的时间变量，并进行时序的比对；
S4、根据数据的时序，依次对所述近地面气温、所述气压、所述风速、所述相对湿度根据质量控制标准进行异常值分类和标记，并对异常值进行清洗，其中，将所述异常值赋值为无效值，以对异常值进行清洗；
S5、根据预设阈值进行数据完整度控制；
S6、将清洗后的数据根据不同的时间分辨率进行自动运算，得到所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时值、日均值和月均值，其中，3小时值包括时间在0时、3时、6时、9时、12时、15时、18时、21时的数据；
S7、根据有效数据个数，分别计算所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时数据完整度、日数据完整度和月数据完整度；
S8、根据对异常数据的清洗结果，对异常数据进行标记，以获取南极气象监测站点有效数据。
可选地，步骤S4具体包括：
将近地面气温在-100摄氏度至15摄氏度的区间范围以外的气温数据、近地面气温超过日均值3倍的日标准差气温数据、以及近地面气温在6小时内变化5摄氏度的气温数据，标记为异常气温数据，且近地面气温在6小时以上存在数据一致的情况时，将期间对应的近地面气温数据标记为异常气温数据；
将气压在0至1100百帕的区间范围以外的气压数据、气压超过日均值3倍的日标准差气压数据、以及气压在6小时内变化10百帕且存在反方向变化的气压数据，标记为异常气压数据，且气压在6小时以上存在数据一致的情况时，将期间对应的气压数据标记为异常气压数据；
将风速在0至360度的区间范围以外的风速数据、风速超过日均值3倍的日标准差风速数据、以及风速在6小时内变化40节的风速数据，标记为异常风速数据，且风速在6小时以上存在数据一致的情况时，将期间对应的风速数据标记为异常风速数据；
将相对湿度在0至100的区间范围以外的湿度数据，以及相对湿度超过日均值3倍的日标准差湿度数据，标记为异常湿度数据，且相对湿度在6小时以上存在数据一致的情况时，将期间对应的湿度数据标记为异常湿度数据。
可选地，步骤S5具体包括：
根据以下条件进行数据完整度的控制：近地面气温的3小时值的有效数据不低于所述预设阈值、气压的3小时值的有效数据不低于所述预设阈值、风速的3小时值的有效数据不低于所述预设阈值、风向的3小时值的有效数据不低于所述预设阈值、相对湿度的3小时值的有效数据不低于所述预设阈值，其中，所述预设阈值为25%。
可选地，步骤S6中，所述近地面气温的日均值和月均值根据所述近地面气温的3小时值计算，所述气压的日均值和月均值根据所述气压的3小时值计算，所述风速的日均值和月均值根据所述风速的3小时值计算，所述相对湿度的日均值和月均值根据所述相对湿度的3小时值计算。
第二方面，本发明提供一种南极器测气象数据的数据清洗和标记系统，所述系统包括：
获取模块，用于获取南极器测气象数据中的近地面气温、气压、风速、风向、相对湿度之间的映射关系，其中，所述近地面气温通过温度传感器采集得到，所述气压通过气压传感器采集得到，所述风速通过风速传感器采集得到，所述风向通过风向传感器采集得到，所述相对湿度通过湿度传感器采集得到；
提取模块，用于根据所述映射关系，分别提取所述近地面气温、所述气压、所述风速、所述相对湿度的原始值；
数字化模块，用于将所述近地面气温、所述气压、所述风速、所述相对湿度的原始值的时间标签进行数字化，得到各个数据的时间变量，并进行时序的比对；
清洗模块，用于根据数据的时序，依次对所述近地面气温、所述气压、所述风速、所述相对湿度根据质量控制标准进行异常值分类和标记，并对异常值进行清洗，其中，将所述异常值赋值为无效值，以对异常值进行清洗；
控制模块，用于根据预设阈值进行数据完整度控制；
分辨率计算模块，用于将清洗后的数据根据不同的时间分辨率进行自动运算，得到所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时值、日均值和月均值，其中，3小时值包括时间在0时、3时、6时、9时、12时、15时、18时、21时的数据；
完整度计算模块，用于根据有效数据个数，分别计算所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时数据完整度、日数据完整度和月数据完整度；
标记模块，用于根据对异常数据的清洗结果，对异常数据进行标记，以获取南极气象监测站点有效数据。
可选地，所述清洗模块具体用于：
将近地面气温在-100摄氏度至15摄氏度的区间范围以外的气温数据、近地面气温超过日均值3倍的日标准差气温数据、以及近地面气温在6小时内变化5摄氏度的气温数据，标记为异常气温数据，且近地面气温在6小时以上存在数据一致的情况时，将期间对应的近地面气温数据标记为异常气温数据；
将气压在0至1100百帕的区间范围以外的气压数据、气压超过日均值3倍的日标准差气压数据、以及气压在6小时内变化10百帕且存在反方向变化的气压数据，标记为异常气压数据，且气压在6小时以上存在数据一致的情况时，将期间对应的气压数据标记为异常气压数据；
将风速在0至360度的区间范围以外的风速数据、风速超过日均值3倍的日标准差风速数据、以及风速在6小时内变化40节的风速数据，标记为异常风速数据，且风速在6小时以上存在数据一致的情况时，将期间对应的风速数据标记为异常风速数据；
将相对湿度在0至100的区间范围以外的湿度数据，以及相对湿度超过日均值3倍的日标准差湿度数据，标记为异常湿度数据，且相对湿度在6小时以上存在数据一致的情况时，将期间对应的湿度数据标记为异常湿度数据。
可选地，所述控制模块具体用于：
根据以下条件进行数据完整度的控制：近地面气温的3小时值的有效数据不低于所述预设阈值、气压的3小时值的有效数据不低于所述预设阈值、风速的3小时值的有效数据不低于所述预设阈值、风向的3小时值的有效数据不低于所述预设阈值、相对湿度的3小时值的有效数据不低于所述预设阈值，其中，所述预设阈值为25%。
可选地，在分辨率计算模块中，所述近地面气温的日均值和月均值根据所述近地面气温的3小时值计算，所述气压的日均值和月均值根据所述气压的3小时值计算，所述风速的日均值和月均值根据所述风速的3小时值计算，所述相对湿度的日均值和月均值根据所述相对湿度的3小时值计算。
通过上述技术方案，第一，南极站点数据时间跨度长，数据维护水平受限，即使是同一站点的数据也存在着参数前后不一致的情况，本发明采用模块化、自动化的设计思想，将气象要素的自动化提取、时间顺序验证、气温、气压、风速、风向、相对湿度的质控进行顺序、全局性控制，其中气象要素的质控综合了3倍标准差、历史极值阈值、邻近值6小时差值阈值、传感器冰冻雪埋导致的常数值的处理，创新性的对于异常情况进行了分类标记，使得数据在后期使用中可以在保证完整性的情况下进一步的区分和处理。最后本发明实现了数据的3小时、日均值、月均值的自动处理，同时自动给出不同站点的数据完整度。第二，通过本发明可以实现数据的全流程的自动化处理，避免人工处理过程中不可避免的错误及误差，同时将当前该领域的质控方法进行了总结、统一和优化，并将数据进行了标准化输出，同时保留质控标记，对于可能存在问题的数据做好标记并予以保留，数据产品中不包含可能存在问题的数据。数据完整度也为数据的整体情况进行了统计，最终得到统一、完整、标准的南极器测气象要素处理机制。第三，本发明数据提取和运算过程通过R编程自动实现，极大地减少了工作量与人工误差，提高了工作效率，可应用于全球尺度长时间序列的气象站点数据质控、清洗，有效提高数据同化系统的数据准确度和全球气候模式模拟效果，大大提高了南极气象监测站点数据的准确性。
附图说明
图1是示例性示出的一种南极器测气象数据的数据清洗和标记方法的流程图。
图2是示例性示出的一种南极器测气象数据的数据清洗和标记系统的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1是示例性示出的一种南极器测气象数据的数据清洗和标记方法的流程图，如图1所示，该方法可包括以下步骤：
S1、获取南极器测气象数据中的近地面气温、气压、风速、风向、相对湿度之间的映射关系，其中，所述近地面气温通过温度传感器采集得到，所述气压通过气压传感器采集得到，所述风速通过风速传感器采集得到，所述风向通过风向传感器采集得到，所述相对湿度通过湿度传感器采集得到。
S2、根据所述映射关系，分别提取所述近地面气温、所述气压、所述风速、所述相对湿度的原始值。
S3、将所述近地面气温、所述气压、所述风速、所述相对湿度的原始值的时间标签进行数字化，得到各个数据的时间变量，并进行时序的比对。
S4、根据数据的时序，依次对所述近地面气温、所述气压、所述风速、所述相对湿度根据质量控制标准进行异常值分类和标记，并对异常值进行清洗，其中，将所述异常值赋值为无效值，以对异常值进行清洗。
S5、根据预设阈值进行数据完整度控制。
示例地，预设阈值为25%，根据25%的阈值进行数据完整度控制，低于阈值，则不参与进一步的统计。
S6、将清洗后的数据根据不同的时间分辨率进行自动运算，得到所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时值、日均值和月均值，其中，3小时值包括时间在0时、3时、6时、9时、12时、15时、18时、21时的数据。
其中，即得到近地面气温3小时值、近地面气温日均值、近地面气温月均值、气压3小时值、气压日均值、气压月均值、风速3小时值、风速日均值、风速月均值、风向3小时值、风向日均值、风向月均值、相对湿度3小时值、相对湿度日均值、相对湿度月均值。
S7、根据有效数据个数，分别计算所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时数据完整度、日数据完整度和月数据完整度。
其中，即分别计算近地面气温3小时数据完整度、近地面气温日均值数据完整度、近地面气温月均值数据完整度、气压3小时值数据完整度、气压日均值数据完整度、气压月均值数据完整度、风速3小时值数据完整度、风速日均值数据完整度、风速月均值数据完整度、风向3小时值数据完整度、风向日均值数据完整度、风向月均值数据完整度、相对湿度3小时值数据完整度、相对湿度日均值数据完整度、相对湿度月均值数据完整度。
S8、根据对异常数据的清洗结果，对异常数据进行标记，以获取南极气象监测站点有效数据。
下表1示出了3小时数据产品整体完整度。
表1
下表2示出了日均值数据产品整体完整度。
表2
下表3示出了月均值数据产品整体完整度。
表3
可选地，步骤S4具体包括：
将近地面气温在-100摄氏度至15摄氏度的区间范围以外的气温数据、近地面气温超过日均值3倍的日标准差气温数据、以及近地面气温在6小时内变化5摄氏度的气温数据，标记为异常气温数据，且近地面气温在6小时以上存在数据一致的情况时，将期间对应的近地面气温数据标记为异常气温数据；
将气压在0至1100百帕的区间范围以外的气压数据、气压超过日均值3倍的日标准差气压数据、以及气压在6小时内变化10百帕且存在反方向变化的气压数据，标记为异常气压数据，且气压在6小时以上存在数据一致的情况时，将期间对应的气压数据标记为异常气压数据；
将风速在0至360度的区间范围以外的风速数据、风速超过日均值3倍的日标准差风速数据、以及风速在6小时内变化40节的风速数据，标记为异常风速数据，且风速在6小时以上存在数据一致的情况时，将期间对应的风速数据标记为异常风速数据；
将相对湿度在0至100的区间范围以外的湿度数据，以及相对湿度超过日均值3倍的日标准差湿度数据，标记为异常湿度数据，且相对湿度在6小时以上存在数据一致的情况时，将期间对应的湿度数据标记为异常湿度数据。
其中，气温要求在-100至15摄氏度，气压要求在0至1100百帕，风速在0至60米/秒，风向在0至360度，相对湿度在0至100，对于以上区间以外的数据赋值为无效值。对于气温、气压、风速和相对湿度分别计算日均值和日标准差，对于超过日均值3倍标准差的数据赋值为无效值。地面气压6小时内变化10百帕且存在反方向变化的、地面气温6小时内变化5摄氏度、地面风速6小时内变化40节的数据分别赋值为无效值。气温、气压、风向、风速、相对湿度数据在6小时以上存在数据一致的情况时，期间的对应要素数据赋值为无效值。以上异常情况会在原始值中同步标记。
可选地，步骤S5具体包括：
根据以下条件进行数据完整度的控制：近地面气温的3小时值的有效数据不低于所述预设阈值、气压的3小时值的有效数据不低于所述预设阈值、风速的3小时值的有效数据不低于所述预设阈值、风向的3小时值的有效数据不低于所述预设阈值、相对湿度的3小时值的有效数据不低于所述预设阈值，其中，所述预设阈值为25%。
可选地，步骤S6中，所述近地面气温的日均值和月均值根据所述近地面气温的3小时值计算，所述气压的日均值和月均值根据所述气压的3小时值计算，所述风速的日均值和月均值根据所述风速的3小时值计算，所述相对湿度的日均值和月均值根据所述相对湿度的3小时值计算。
其中，对于日均值和月均值，本发明例如采用25%的数据量标准，只要一天中有两个时间点，一个月中有25%的数据，我们就可以计算，不足25%的设为空值.日均值和月均值的计算均采用三小时数据进行。
本发明还提供一种南极器测气象数据的数据清洗和标记系统，图2是示例性示出的一种南极器测气象数据的数据清洗和标记系统的框图，如图2所示，所述系统包括：
获取模块，用于获取南极器测气象数据中的近地面气温、气压、风速、风向、相对湿度之间的映射关系，其中，所述近地面气温通过温度传感器采集得到，所述气压通过气压传感器采集得到，所述风速通过风速传感器采集得到，所述风向通过风向传感器采集得到，所述相对湿度通过湿度传感器采集得到；
提取模块，用于根据所述映射关系，分别提取所述近地面气温、所述气压、所述风速、所述相对湿度的原始值；
数字化模块，用于将所述近地面气温、所述气压、所述风速、所述相对湿度的原始值的时间标签进行数字化，得到各个数据的时间变量，并进行时序的比对；
清洗模块，用于根据数据的时序，依次对所述近地面气温、所述气压、所述风速、所述相对湿度根据质量控制标准进行异常值分类和标记，并对异常值进行清洗，其中，将所述异常值赋值为无效值，以对异常值进行清洗；
控制模块，用于根据预设阈值进行数据完整度控制；
分辨率计算模块，用于将清洗后的数据根据不同的时间分辨率进行自动运算，得到所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时值、日均值和月均值，其中，3小时值包括时间在0时、3时、6时、9时、12时、15时、18时、21时的数据；
完整度计算模块，用于根据有效数据个数，分别计算所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时数据完整度、日数据完整度和月数据完整度；
标记模块，用于根据对异常数据的清洗结果，对异常数据进行标记，以获取南极气象监测站点有效数据。
可选地，所述清洗模块具体用于：
将近地面气温在-100摄氏度至15摄氏度的区间范围以外的气温数据、近地面气温超过日均值3倍的日标准差气温数据、以及近地面气温在6小时内变化5摄氏度的气温数据，标记为异常气温数据，且近地面气温在6小时以上存在数据一致的情况时，将期间对应的近地面气温数据标记为异常气温数据；
将气压在0至1100百帕的区间范围以外的气压数据、气压超过日均值3倍的日标准差气压数据、以及气压在6小时内变化10百帕且存在反方向变化的气压数据，标记为异常气压数据，且气压在6小时以上存在数据一致的情况时，将期间对应的气压数据标记为异常气压数据；
将风速在0至360度的区间范围以外的风速数据、风速超过日均值3倍的日标准差风速数据、以及风速在6小时内变化40节的风速数据，标记为异常风速数据，且风速在6小时以上存在数据一致的情况时，将期间对应的风速数据标记为异常风速数据；
将相对湿度在0至100的区间范围以外的湿度数据，以及相对湿度超过日均值3倍的日标准差湿度数据，标记为异常湿度数据，且相对湿度在6小时以上存在数据一致的情况时，将期间对应的湿度数据标记为异常湿度数据。
可选地，所述控制模块具体用于：
根据以下条件进行数据完整度的控制：近地面气温的3小时值的有效数据不低于所述预设阈值、气压的3小时值的有效数据不低于所述预设阈值、风速的3小时值的有效数据不低于所述预设阈值、风向的3小时值的有效数据不低于所述预设阈值、相对湿度的3小时值的有效数据不低于所述预设阈值，其中，所述预设阈值为25%。
可选地，在分辨率计算模块中，所述近地面气温的日均值和月均值根据所述近地面气温的3小时值计算，所述气压的日均值和月均值根据所述气压的3小时值计算，所述风速的日均值和月均值根据所述风速的3小时值计算，所述相对湿度的日均值和月均值根据所述相对湿度的3小时值计算。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种南极器测气象数据的数据清洗和标记方法，其特征在于，所述方法包括以下步骤：
S1、获取南极器测气象数据中的近地面气温、气压、风速、风向、相对湿度之间的映射关系，其中，所述近地面气温通过温度传感器采集得到，所述气压通过气压传感器采集得到，所述风速通过风速传感器采集得到，所述风向通过风向传感器采集得到，所述相对湿度通过湿度传感器采集得到；
S2、根据所述映射关系，分别提取所述近地面气温、所述气压、所述风速、所述相对湿度的原始值；
S3、将所述近地面气温、所述气压、所述风速、所述相对湿度的原始值的时间标签进行数字化，得到各个数据的时间变量，并进行时序的比对；
S4、根据数据的时序，依次对所述近地面气温、所述气压、所述风速、所述相对湿度根据质量控制标准进行异常值分类和标记，并对异常值进行清洗，其中，将所述异常值赋值为无效值，以对异常值进行清洗；
S5、根据预设阈值进行数据完整度控制；
S6、将清洗后的数据根据不同的时间分辨率进行自动运算，得到所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时值、日均值和月均值，其中，3小时值包括时间在0时、3时、6时、9时、12时、15时、18时、21时的数据；
S7、根据有效数据个数，分别计算所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时数据完整度、日数据完整度和月数据完整度；
S8、根据对异常数据的清洗结果，对异常数据进行标记，以获取南极气象监测站点有效数据。
2.根据权利要求1所述的方法，其特征在于，步骤S4具体包括：
将近地面气温在-100摄氏度至15摄氏度的区间范围以外的气温数据、近地面气温超过日均值3倍的日标准差气温数据、以及近地面气温在6小时内变化5摄氏度的气温数据，标记为异常气温数据，且近地面气温在6小时以上存在数据一致的情况时，将期间对应的近地面气温数据标记为异常气温数据；
将气压在0至1100百帕的区间范围以外的气压数据、气压超过日均值3倍的日标准差气压数据、以及气压在6小时内变化10百帕且存在反方向变化的气压数据，标记为异常气压数据，且气压在6小时以上存在数据一致的情况时，将期间对应的气压数据标记为异常气压数据；
将风速在0至360度的区间范围以外的风速数据、风速超过日均值3倍的日标准差风速数据、以及风速在6小时内变化40节的风速数据，标记为异常风速数据，且风速在6小时以上存在数据一致的情况时，将期间对应的风速数据标记为异常风速数据；
将相对湿度在0至100的区间范围以外的湿度数据，以及相对湿度超过日均值3倍的日标准差湿度数据，标记为异常湿度数据，且相对湿度在6小时以上存在数据一致的情况时，将期间对应的湿度数据标记为异常湿度数据。
3.根据权利要求1所述的方法，其特征在于，步骤S5具体包括：
根据以下条件进行数据完整度的控制：近地面气温的3小时值的有效数据不低于所述预设阈值、气压的3小时值的有效数据不低于所述预设阈值、风速的3小时值的有效数据不低于所述预设阈值、风向的3小时值的有效数据不低于所述预设阈值、相对湿度的3小时值的有效数据不低于所述预设阈值，其中，所述预设阈值为25%。
4.根据权利要求1所述的方法，其特征在于，步骤S6中，所述近地面气温的日均值和月均值根据所述近地面气温的3小时值计算，所述气压的日均值和月均值根据所述气压的3小时值计算，所述风速的日均值和月均值根据所述风速的3小时值计算，所述相对湿度的日均值和月均值根据所述相对湿度的3小时值计算。
5.一种南极器测气象数据的数据清洗和标记系统，其特征在于，所述系统包括：
获取模块，用于获取南极器测气象数据中的近地面气温、气压、风速、风向、相对湿度之间的映射关系，其中，所述近地面气温通过温度传感器采集得到，所述气压通过气压传感器采集得到，所述风速通过风速传感器采集得到，所述风向通过风向传感器采集得到，所述相对湿度通过湿度传感器采集得到；
提取模块，用于根据所述映射关系，分别提取所述近地面气温、所述气压、所述风速、所述相对湿度的原始值；
数字化模块，用于将所述近地面气温、所述气压、所述风速、所述相对湿度的原始值的时间标签进行数字化，得到各个数据的时间变量，并进行时序的比对；
清洗模块，用于根据数据的时序，依次对所述近地面气温、所述气压、所述风速、所述相对湿度根据质量控制标准进行异常值分类和标记，并对异常值进行清洗，其中，将所述异常值赋值为无效值，以对异常值进行清洗；
控制模块，用于根据预设阈值进行数据完整度控制；
分辨率计算模块，用于将清洗后的数据根据不同的时间分辨率进行自动运算，得到所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时值、日均值和月均值，其中，3小时值包括时间在0时、3时、6时、9时、12时、15时、18时、21时的数据；
完整度计算模块，用于根据有效数据个数，分别计算所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时数据完整度、日数据完整度和月数据完整度；
标记模块，用于根据对异常数据的清洗结果，对异常数据进行标记，以获取南极气象监测站点有效数据。
6.根据权利要求5所述的系统，其特征在于，所述清洗模块具体用于：
将近地面气温在-100摄氏度至15摄氏度的区间范围以外的气温数据、近地面气温超过日均值3倍的日标准差气温数据、以及近地面气温在6小时内变化5摄氏度的气温数据，标记为异常气温数据，且近地面气温在6小时以上存在数据一致的情况时，将期间对应的近地面气温数据标记为异常气温数据；
将气压在0至1100百帕的区间范围以外的气压数据、气压超过日均值3倍的日标准差气压数据、以及气压在6小时内变化10百帕且存在反方向变化的气压数据，标记为异常气压数据，且气压在6小时以上存在数据一致的情况时，将期间对应的气压数据标记为异常气压数据；
将风速在0至360度的区间范围以外的风速数据、风速超过日均值3倍的日标准差风速数据、以及风速在6小时内变化40节的风速数据，标记为异常风速数据，且风速在6小时以上存在数据一致的情况时，将期间对应的风速数据标记为异常风速数据；
将相对湿度在0至100的区间范围以外的湿度数据，以及相对湿度超过日均值3倍的日标准差湿度数据，标记为异常湿度数据，且相对湿度在6小时以上存在数据一致的情况时，将期间对应的湿度数据标记为异常湿度数据。
7.根据权利要求5所述的系统，其特征在于，所述控制模块具体用于：
根据以下条件进行数据完整度的控制：近地面气温的3小时值的有效数据不低于所述预设阈值、气压的3小时值的有效数据不低于所述预设阈值、风速的3小时值的有效数据不低于所述预设阈值、风向的3小时值的有效数据不低于所述预设阈值、相对湿度的3小时值的有效数据不低于所述预设阈值，其中，所述预设阈值为25%。
8.根据权利要求5所述的系统，其特征在于，在分辨率计算模块中，所述近地面气温的日均值和月均值根据所述近地面气温的3小时值计算，所述气压的日均值和月均值根据所述气压的3小时值计算，所述风速的日均值和月均值根据所述风速的3小时值计算，所述相对湿度的日均值和月均值根据所述相对湿度的3小时值计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211048418.0A CN115454981A (zh) | 2022-08-30 | 2022-08-30 | 南极器测气象数据的数据清洗和标记方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211048418.0A CN115454981A (zh) | 2022-08-30 | 2022-08-30 | 南极器测气象数据的数据清洗和标记方法、系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115454981A true CN115454981A (zh) | 2022-12-09 |
Family
ID=84300304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211048418.0A Pending CN115454981A (zh) | 2022-08-30 | 2022-08-30 | 南极器测气象数据的数据清洗和标记方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115454981A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150080210A (ko) * | 2013-12-31 | 2015-07-09 | 부경대학교 산학협력단 | 농업 이상 기후 지수 시스템 및 이를 이용한 농업 이상 기후 지수 평가 방법 |
| CN107920111A (zh) * | 2017-10-31 | 2018-04-17 | 厦门市谷玉信息技术有限公司 | 一种基于地面气象观测的一体化智能数据采集方法和平台 |
| KR20210053562A (ko) * | 2019-11-04 | 2021-05-12 | 세종대학교산학협력단 | 글로벌 기후 자료의 품질 관리 방법 및 장치 |
| CN114048055A (zh) * | 2021-11-09 | 2022-02-15 | 上海哔哩哔哩科技有限公司 | 时序数据异常根因分析方法及系统 |
| CN114153831A (zh) * | 2021-12-06 | 2022-03-08 | 国网湖南省电力有限公司 | 电力微气象监测数据的标准化转换方法及系统 |
| CN114564629A (zh) * | 2022-04-22 | 2022-05-31 | 国家海洋技术中心 | 异常数据处理方法、装置、计算机设备和存储介质 |
-
2022
- 2022-08-30 CN CN202211048418.0A patent/CN115454981A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150080210A (ko) * | 2013-12-31 | 2015-07-09 | 부경대학교 산학협력단 | 농업 이상 기후 지수 시스템 및 이를 이용한 농업 이상 기후 지수 평가 방법 |
| CN107920111A (zh) * | 2017-10-31 | 2018-04-17 | 厦门市谷玉信息技术有限公司 | 一种基于地面气象观测的一体化智能数据采集方法和平台 |
| KR20210053562A (ko) * | 2019-11-04 | 2021-05-12 | 세종대학교산학협력단 | 글로벌 기후 자료의 품질 관리 방법 및 장치 |
| CN114048055A (zh) * | 2021-11-09 | 2022-02-15 | 上海哔哩哔哩科技有限公司 | 时序数据异常根因分析方法及系统 |
| CN114153831A (zh) * | 2021-12-06 | 2022-03-08 | 国网湖南省电力有限公司 | 电力微气象监测数据的标准化转换方法及系统 |
| CN114564629A (zh) * | 2022-04-22 | 2022-05-31 | 国家海洋技术中心 | 异常数据处理方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 彭望琭，周冠华，江澄等: "《中国遥感卫星应用技术 上册》", 31 October 2021, 中国宇航出版社, pages: 76 - 77 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934515B (zh) | 一种作物精量灌溉决策方法及系统 | |
| CN111045117B (zh) | 一种气候监测预测平台 | |
| CN113358732A (zh) | 一种气体传感器的远程校准方法及系统 | |
| CN109034252B (zh) | 空气质量站点监测数据异常的自动化识别方法 | |
| CN110687619B (zh) | 一种用于农田气象站的气象数据校验方法及系统 | |
| CN113743013A (zh) | 一种基于XGBoost气温预测数据修正的方法 | |
| CN114240719A (zh) | 一种基于多元逐步回归的空气质量缺失数据填充方法及系统 | |
| CN112288597A (zh) | 一种基于层次聚类和直方图算法的能耗在线异常检测方法 | |
| CN116546431B (zh) | 一种基于北斗全网通多网融合数据采集通信系统及方法 | |
| CN113407524A (zh) | 气候系统模式多圈层耦合资料同化系统 | |
| CN116450700A (zh) | 极轨卫星地表温度时间归一化方法、装置及电子设备 | |
| CN113176420A (zh) | 一种针对电网杆塔点的风速预报订正系统 | |
| CN115575601A (zh) | 基于水汽通量散度的植被旱灾指数评估方法和系统 | |
| CN115454981A (zh) | 南极器测气象数据的数据清洗和标记方法、系统 | |
| CN113408112A (zh) | 基于本征正交分解的雨量站缺失处降雨获取方法及系统 | |
| CN113157684A (zh) | 一种水利海量数据的查错方法 | |
| CN116297058A (zh) | 基于遥感数据的10分钟级大气颗粒物监测方法及系统 | |
| CN107607474B (zh) | 一种自适应农业干旱的高精度遥感监测方法 | |
| CN113111270B (zh) | 基于物联网及3s技术的用于地质灾害预警的数据预处理方法 | |
| CN114723166A (zh) | 一种基于XGBoost模型的地表温度重建方法 | |
| CN114663781A (zh) | 一种城市多源环境数据的碳源反演方法 | |
| CN113961623A (zh) | 一种基于短历时数据的降雨特征指标统计方法 | |
| CN114169215A (zh) | 一种耦合遥感与区域气象模式的地表温度反演方法 | |
| CN110197442A (zh) | 一种结合质控的风资源评估系统 | |
| CN111426347A (zh) | 一种作物生长状况特征采集系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |