CN113536233A - 海洋浮标数据质量控制系统 - Google Patents

海洋浮标数据质量控制系统 Download PDF

Info

Publication number
CN113536233A
CN113536233A CN202110782920.3A CN202110782920A CN113536233A CN 113536233 A CN113536233 A CN 113536233A CN 202110782920 A CN202110782920 A CN 202110782920A CN 113536233 A CN113536233 A CN 113536233A
Authority
CN
China
Prior art keywords
data
quality control
ocean buoy
value
inspection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110782920.3A
Other languages
English (en)
Other versions
CN113536233B (zh
Inventor
任焕萍
张斌
李富超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Oceanology of CAS
Original Assignee
Institute of Oceanology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Oceanology of CAS filed Critical Institute of Oceanology of CAS
Priority to CN202110782920.3A priority Critical patent/CN113536233B/zh
Publication of CN113536233A publication Critical patent/CN113536233A/zh
Application granted granted Critical
Publication of CN113536233B publication Critical patent/CN113536233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Operations Research (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Computational Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Business, Economics & Management (AREA)
  • Algebra (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明属于数据处理系统领域，具体是针对海洋浮标观测数据的质量控制系统。本系统针对浮标原始数据实现了组件化、批量化、流程化、系统化的质量控制处理。系统提供6个要素的质控流程处理模块，对数据进行质量控制标记，完成数据质量控制。系统能批量处理，并在数据质量控制完成后输出质控数据、日均数据产品，同时可输出质控前后数据对比图像和日均数据图像，包括矢量图和标量图。本发明首次完善对具有定点、长时间序列的海洋浮标实测数据的精细化质量控制。实现多种质量控制检验方法，并能对各种方法进行组合形成质量控制流程。

Description

海洋浮标数据质量控制系统
技术领域
本发明属于数据处理系统领域，具体是针对海洋浮标观测数据的质量控制系统。本系统针对浮标原始数据实现了组件化、批量化、流程化、系统化的质量控制处理。
背景技术
海洋浮标观测数据包括温度、盐度、叶绿素浓度、浊度和pH值等要素，广泛应用于近海海洋科学研究。海洋浮标是一种较早开发并长期延续使用的观测设备，可以对海洋环境进行自动、连续、长期的同步监测，浮标观测数据对于海洋科学研究、海洋气象预报、海洋灾害预警以及渔业发展等具有重要意义。但由于种种原因，一些原始观测数据或多或少存在精度不高、质量欠佳等问题。海洋浮标及传感器长期受恶劣的海洋环境影响，包括海洋生物附着、海水腐蚀、盐雾侵袭、风浪袭击等，这些因素都会影响传感器的监测结果，造成数据异常。因此，数据在实际使用前，需要进行严谨而科学的质量控制(Quality Control；QC)。
不同类型的观测数据，其异常值都有不同外观特征及性质，很难通过普适性的异常值检测方法进行识别，因此在实际应用中需要根据不同场景具体分析、给出具体的质控方法。近年来，在海洋温盐数据质量控制方面已有很多研究成果，但大多是针对航次观测、Argo漂流浮标等剖面观测手段的质量控制理论方法探讨，而针对具有定点、长时间序列的海洋浮标实测数据的精细化质量控制方案尚有欠缺。
发明内容
本发明是一款能够批量处理海洋浮标原始观测数据并对其进行数据质量控制的系统。系统提供6个要素的质控流程处理模块，对数据进行质量控制标记，完成数据质量控制。系统能批量处理，并在数据质量控制完成后输出质控数据、日均数据产品，同时可输出质控前后数据对比图像和日均数据图像，包括矢量图和标量图。
本发明为实现上述目的所采用的技术方案是：
海洋浮标数据质量控制系统，包括：
数据预处理模块，用于对初始海洋浮标数据进行预处理，并对其进行核对检查，对异常数据进行标记；
数据导入模块，用于将预处理后海洋浮标数据导入数据质量控制模块；
数据质量控制模块，用于根据不同数据类别的海洋浮标数据，采用不同方法分别对其进行质量控制，并对其进行标记，得到质控后的结果数据；
计算模块，用于对质控后结果的数据分别进行三小时日平均和年平均计算，生成质控后的日均数据和年均数据；
质控结果数据输出模块，用于输出质控后的结果数据、质控后的日均数据和年均数据；
质控结果图像输出模块，用于根据初始海洋浮标数据和质控后的结果数据生成质控前后数据时间序列的对比图像，并输出。
所述数据质量控制模块包括：
水温、盐度数据质量控制模块，用于对海洋浮标数据中的水温数据依次通过范围检验法、尖峰莱茵达检验法和日均莱茵达检验法进行质量控制，并对其进行质控标记；对海洋浮标数据中的盐度数据依次通过范围检验法、尖峰检验法、梯度检验法和连续性检验法进行质量控制，并对其进行质控标记；
叶绿素浓度、浊度、溶解氧数据质量控制模块，用于分别对海洋浮标数据中的叶绿素浓度数据、浊度数据和溶解氧数据依次通过范围检验法、尖峰莱茵达检验法和日均莱茵达检验法进行质量控制，并对其进行标记；
pH值数据质量控制模块，用于对海洋浮标数据中的pH值数据依次通过范围检验法、尖峰莱茵达检验法和日均莱茵达检验法进行质量控制，并对其进行标记。
所述数据质量控制模块中，还包括连续质控标记校正组件，用于对质控标记为异常的连续多个数据进行质控标记校正。
海洋浮标数据质量控制方法，包括以下步骤：
数据预处理模块对初始海洋浮标数据进行预处理，并对其进行核对检查，对异常数据进行标记；
数据导入模块将预处理后海洋浮标数据导入数据质量控制模块；
数据质量控制模块根据不同数据类别的海洋浮标数据，采用不同方法分别对其进行质量控制，并对其进行标记，得到质控后的结果数据；
计算模块对质控后的结果数据分别进行三小时日平均计算和年平均计算，生成质控后的日均数据和年均数据；
质控结果数据输出模块输出质控后的结果数据、质控后的日均数据和年均数据；
质控结果图像输出模块根据初始海洋浮标数据和质控后的结果数据生成质控前后数据时间序列的对比图像，并输出。
所述数据质量控制模块执行以下步骤：
水温、盐度数据质量控制模块对海洋浮标数据中的水温数据依次通过范围检验法、尖峰莱茵达检验法和日均莱茵达检验法进行质量控制，并对其进行质控标记；对海洋浮标数据中的盐度数据依次通过范围检验法、尖峰检验法、梯度检验法和连续性检验法进行质量控制，并对其进行质控标记；
叶绿素浓度、浊度、溶解氧数据质量控制模块分别对海洋浮标数据中的叶绿素浓度数据、浊度数据和溶解氧数据依次通过范围检验法、尖峰莱茵达检验法和日均莱茵达检验法进行质量控制，并对其进行标记；
pH值数据质量控制模块对海洋浮标数据中的pH值数据依次通过范围检验法、尖峰莱茵达检验法和日均莱茵达检验法进行质量控制，并对其进行标记。
所述尖峰莱茵达检验法为：将传统莱茵达检验法中标准范围为固定值的方式，改变为通过莱因达准则计算的3倍标准差作为标准范围，即：根据莱因达准则，以天为单位，分别计算每日海洋浮标数据的均值及标准差，查找残差与均值差的绝对值大于3倍标准差的海洋浮标数据，并做异常标记。
所述尖峰莱茵达检测法具体为：
海洋浮标数据为X1、X2…Xn，其中Xi的前一邻居数据为Xi-1，i＝2～n，Vi＝|Xi-Xi-1|，Vi为邻差，X1的前一邻居数据没有，V1设为0，邻差序列值为V1、V2…Vn，当Vi和Vi+1的残差均大于3σ时，则判定Xi为异常数据，其中：Vi满足公式：|Vi-V|＞3σ，并且|Vi+1-V|＞3σ，n为相邻差值数据组的个数，V为均值，V＝(∑Vi)/n，σ为标准差，
Figure BDA0003157826690000041
所述数据质量控制模块中，还包括连续质控标记校正组件，执行对质控标记为异常的连续多个数据进行校正，校正的异常标记包括3类：尖峰莱因达法检出的标记为A、尖峰检验法检出的标记为B、梯度检验法检出的标记为C，具体校正方法为：
首先检索质控标记为连续异常的多个数据，针对所述连续异常数据逐个进行校正；
对每一个数据分别查找其前序和后序质控标记为0即质控后结果为正常的最近一条数据，作为前值和后值；
根据数据的质控标记重新计算，并根据计算结果校正质控标记：当质控标记为A时，计算该数据前一个邻居序列的邻差和后一个邻居序列的邻差，如果与前序邻差和后续邻差的残差均大于3σ，则标记不变，否则判定该数据不是异常数据，其质控标记校正为0；当质控标记为B时，计算其尖峰值，若尖峰值没有超出设定的尖峰标准范围，则判定该数据不是异常数据，其质控标记校正为0，否则标记不变；当质控标记为C时，计算该数据与前值平均值和后值平均值的差即梯度值，如果梯度值没有超出设定的梯度标准范围，则判定该数据不是异常数据，其质控标记校正为0，否则标记不变。
所述3小时日平均计算，具体为：将一天每3个小时分为一个时间段，如果在一个日期内，所有3小时时间段均有数据，则进一步计算每3小时平均值并基于每3小时平均值计算日平均值；如果存在至少一个3小时时间段内没有数据，则该日数据视为无效数据全部剔除。
所述质控前后数据时间序列的对比图像包括矢量图和标量图。
本发明具有以下有益效果及优点：
1.本发明首次完善对具有定点、长时间序列的海洋浮标实测数据的精细化质量控制。
2.本发明能批量导入浮标数据并进行数据质量控制。
3.本发明能实现多种质量控制检验方法，并能对各种方法进行组合形成质量控制流程。
4.本发明能自动输出质控后的数据同时可输出质控数据时间序列图像和日均数据、年均数据。
附图说明
图1本发明的核心浮标数据质量控制系统流程框架图；
图2本发明的水温、盐度数据质量控制模块流程图；
图3本发明的叶绿素浓度、浊度、溶解氧数据质量控制模块流程图；
图4本发明的质控结果数据示例图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本系统针对浮标原始数据实现了组件化、批量化、流程化、系统化的质量控制处理。系统根据相关数据质控资料及对数据的实际分析，开发了范围检验、尖峰莱茵达检验、日均莱因达检验、尖峰检验、梯度检验、连续性检验等一系列数据质量检验方法组件；可根据需要灵活配置，选择不同方法组件并结合数据预处理、采集信息核对法(人工质控)形成6个要素的质控流程；提供按需选择要素，实现批量化数据质控。整个质控系统包括多个模块：数据导入模块，海水水温、盐度数据质量控制模块，叶绿素浓度、浊度、溶解氧数据质量控制模块，pH值数据质量控制模块，三小时日均计算模块，质控结果数据输出模块，质控结果图像输出模块。本系统可批量导入需要进行数据质量控制的文件。
如图1所示，第一步做数据预处理。第二步对照《浮标维修记录》，核对检查数据(人工质控)，对维护期间的异常数据进行标记，设置质控标记为2(见表1)。第三步数据导入模块将第二步处理的带标记数据导入，并根据用户选择的观测要素，启动数据质量控制模块开始质控。数据质量模块分为：水温、盐度数据质量控制模块；叶绿素浓度、浊度、溶解氧数据质量控制模块；pH值数据质量控制模块。通过数据质量控制模块完成质量控制过程并对异常数据做出标记。3小时日均计算模块，是对质控后数据进行3小时日平均和年平均计算，生成质控后的日均数据和年均数据。最后，通过质控结果数据输出模块生成质控后数据文件并输出，包括：质控数据输出，3小时日均数据输出，年均数据输出。再通过质控结果图像输出模块输出质控前后数据时间序列对比图像，包括标量图和矢量图，并生成日均数据图像。
如图2所示，在水温、盐度数据质量控制模块中，海水水温数据和盐度数据根据数据自身特质分别进行数据质量控制。其中温度数据通过范围检验法(现有技术)，尖峰莱茵达检验法，日均莱茵达检验法(现有技术)三个检验进行质量控制和质控标记，最后完成质量控制，盐度数据通过范围检验法，尖峰检验法，梯度检验法，连续性检验法四个检验(均为现有技术)，质控标记分别为3，6，7，8，完成质控标记，最终完成质控。
本发明创新性首次使用尖峰检验莱因达法，将传统方法中标准范围为固定值的方式，改变为通过莱因达准则计算的3倍标准差作为标准范围。计算公式如下，假设有一组观测数据X1、X2…Xn，其中Xi的前一邻居数据为Xi-1，Vi＝|Xi-Xi-1|，Vi为邻差，邻差序列值为V1、V2…Vn。当Vi和Vi+1的残差均大于3σ时，则Vi为尖峰变化，Xi数据为异常。Vi满足公式：|Vi-V|＞3σ
并且|Vi+1-V|＞3σ
n为相邻差值数据组的个数
V为均值，V＝(∑Vi)/n
σ为标准差，
Figure BDA0003157826690000061
所述的日均莱茵达检验数据质控方法，根据莱因达准则，以天为单位，分别计算每日水温和盐度的均值及标准差，查找残差(与均值差的绝对值)大于3σ的数据，并做异常标记。通过该方法，剔除每日数据中偏离较大的数据。
如图3所示，在叶绿素浓度、浊度、溶解氧数据质量控制模块中，叶绿素数据、浊度、溶解氧数据分别通过范围检验法，尖峰莱茵达检验法，日均莱茵达检验法三个检验进行质量控制和质控标记，完成质量控制。
连续质控标记校正组件对质控标记为异常的连续多个数据进行质控标记校正，原因是因为在尖峰莱茵达检验、尖峰检验、梯度检验方法中，认定数据异常的前提是前序数据和后序数据均是正常数据，连续标记为异常的数据，因其前序数据和后序数据至少有一个是异常数据，不满足认定前提，所以需要校正。
校正方法是首先检索质控标记为连续异常的数据段，然后针对每个数据做校正，查找其24小时间隔内的前序和后序质控标记为0(质控结果为好)的最近一条数据，作为前值和后值，重新计算该数据的前序差和后序差、尖峰值或梯度值，并根据计算结果对质控标记进行校正，完成整个过程。
校正的异常标记包括3类：尖峰莱因达法检出的标记为4、尖峰检验法检出的标记为6、梯度检验法检出的标记为7。具体校正方法为：
1)首先检索质控标记为连续异常的多个数据，然后针对这些连续异常数据一个一个做校正。
2)对每一个数据(假设为Xi)查找其前序和后序质控标记为0即质控结果为正常数据的最近一条数据，作为前值和后值，这里最近是指时间接近的数据，系统缺省设置为24小时间隔内，如果其前序或后序相邻数据的时间差超过24小时，则认为没有前序或后序相邻数据，邻差设置为0。
3)根据该数据Xi的质控标记重新计算，并根据计算结果校正质控标记。当质控标记为4(尖峰莱因达法)时，计算该数据前一个邻居序列的邻差和后一个邻居序列的邻差，如果与前序邻差和后续邻差的残差均大于3σ，则标记不变，否则判定该数据正常，其质控标记校正为0；当质控标记为5(尖峰检验法)时，计算其尖峰值，若尖峰值没有超出尖峰标准范围，则判定该数据不是异常值，其质控标记校正为0；当质控标记为6(梯度检验法)时，则计算该数据与前值和后值平均值的差即梯度值，如果梯度值没有超出梯度标准范围，则判定该数据不是异常值，其质控标记校正为0。
三小时日均计算模块在一些时刻由于存在空记录或者被质控剔除的数据，因此一天之内不能保证所有观测时间点都有数据。如果直接用这些数据计算日平均，可能受到昼夜循环变率的影响，存在偏差。因此，我们先将一天每3个小时分为一个时间段，如果在一个日期内，所有3小时时间段均有数据，则进一步计算3小时平均值并基于3小时平均值计算日平均值；如果存在至少一个3小时时间段内没有数据，则该日数据视为无效数据全部剔除。
图4为质控结果数据示例。数据栏目包括：浮标号，日期时间，观测要素(如水温、盐度)，质控标记。
表1为数据质控标记符号说明。如表所示，数据质控后，根据不同的异常数据检测方法，标记不同的质控标记。
表1.浮标数据质控标记符号说明
Figure BDA0003157826690000081

Claims (10)

1.海洋浮标数据质量控制系统，其特征在于，包括：
数据预处理模块，用于对初始海洋浮标数据进行预处理，并对其进行核对检查，对异常数据进行标记；
数据导入模块，用于将预处理后海洋浮标数据导入数据质量控制模块；
数据质量控制模块，用于根据不同数据类别的海洋浮标数据，采用不同方法分别对其进行质量控制，并对其进行标记，得到质控后的结果数据；
计算模块，用于对质控后结果的数据分别进行三小时日平均和年平均计算，生成质控后的日均数据和年均数据；
质控结果数据输出模块，用于输出质控后的结果数据、质控后的日均数据和年均数据；
质控结果图像输出模块，用于根据初始海洋浮标数据和质控后的结果数据生成质控前后数据时间序列的对比图像，并输出。
2.根据权利要求1所述的海洋浮标数据质量控制系统，其特征在于，所述数据质量控制模块包括：
水温、盐度数据质量控制模块，用于对海洋浮标数据中的水温数据依次通过范围检验法、尖峰莱茵达检验法和日均莱茵达检验法进行质量控制，并对其进行质控标记；对海洋浮标数据中的盐度数据依次通过范围检验法、尖峰检验法、梯度检验法和连续性检验法进行质量控制，并对其进行质控标记；
叶绿素浓度、浊度、溶解氧数据质量控制模块，用于分别对海洋浮标数据中的叶绿素浓度数据、浊度数据和溶解氧数据依次通过范围检验法、尖峰莱茵达检验法和日均莱茵达检验法进行质量控制，并对其进行标记；
pH值数据质量控制模块，用于对海洋浮标数据中的pH值数据依次通过范围检验法、尖峰莱茵达检验法和日均莱茵达检验法进行质量控制，并对其进行标记。
3.根据权利要求1所述的海洋浮标数据质量控制系统，其特征在于，所述数据质量控制模块中，还包括连续质控标记校正组件，用于对质控标记为异常的连续多个数据进行质控标记校正。
4.海洋浮标数据质量控制方法，其特征在于，包括以下步骤：
数据预处理模块对初始海洋浮标数据进行预处理，并对其进行核对检查，对异常数据进行标记；
数据导入模块将预处理后海洋浮标数据导入数据质量控制模块；
数据质量控制模块根据不同数据类别的海洋浮标数据，采用不同方法分别对其进行质量控制，并对其进行标记，得到质控后的结果数据；
计算模块对质控后的结果数据分别进行三小时日平均计算和年平均计算，生成质控后的日均数据和年均数据；
质控结果数据输出模块输出质控后的结果数据、质控后的日均数据和年均数据；
质控结果图像输出模块根据初始海洋浮标数据和质控后的结果数据生成质控前后数据时间序列的对比图像，并输出。
5.根据权利要求4所述的海洋浮标数据质量控制方法，其特征在于，所述数据质量控制模块执行以下步骤：
水温、盐度数据质量控制模块对海洋浮标数据中的水温数据依次通过范围检验法、尖峰莱茵达检验法和日均莱茵达检验法进行质量控制，并对其进行质控标记；对海洋浮标数据中的盐度数据依次通过范围检验法、尖峰检验法、梯度检验法和连续性检验法进行质量控制，并对其进行质控标记；
叶绿素浓度、浊度、溶解氧数据质量控制模块分别对海洋浮标数据中的叶绿素浓度数据、浊度数据和溶解氧数据依次通过范围检验法、尖峰莱茵达检验法和日均莱茵达检验法进行质量控制，并对其进行标记；
pH值数据质量控制模块对海洋浮标数据中的pH值数据依次通过范围检验法、尖峰莱茵达检验法和日均莱茵达检验法进行质量控制，并对其进行标记。
6.根据权利要求5所述的海洋浮标数据质量控制方法，其特征在于，所述尖峰莱茵达检验法为：将传统莱茵达检验法中标准范围为固定值的方式，改变为通过莱因达准则计算的3倍标准差作为标准范围，即：根据莱因达准则，以天为单位，分别计算每日海洋浮标数据的均值及标准差，查找残差与均值差的绝对值大于3倍标准差的海洋浮标数据，并做异常标记。
7.根据权利要求6所述的海洋浮标数据质量控制方法，其特征在于，所述尖峰莱茵达检测法具体为：
海洋浮标数据为X1、X2…Xn，其中Xi的前一邻居数据为Xi-1，i＝2～n，Vi＝|Xi–Xi-1|，Vi为邻差，X1的前一邻居数据没有，V1设为0，邻差序列值为V1、V2…Vn，当Vi和Vi+1的残差均大于3σ时，则判定Xi为异常数据，其中：Vi满足公式：|Vi–V|＞3σ，并且|Vi+1–V|＞3σ，n为相邻差值数据组的个数，V为均值，V＝(∑Vi)/n，σ为标准差，
Figure FDA0003157826680000031
8.根据权利要求4所述的海洋浮标数据质量控制方法，其特征在于，所述数据质量控制模块中，还包括连续质控标记校正组件，执行对质控标记为异常的连续多个数据进行校正，校正的异常标记包括3类：尖峰莱因达法检出的标记为A、尖峰检验法检出的标记为B、梯度检验法检出的标记为C，具体校正方法为：
首先检索质控标记为连续异常的多个数据，针对所述连续异常数据逐个进行校正；
对每一个数据分别查找其前序和后序质控标记为0即质控后结果为正常的最近一条数据，作为前值和后值；
根据数据的质控标记重新计算，并根据计算结果校正质控标记：当质控标记为A时，计算该数据前一个邻居序列的邻差和后一个邻居序列的邻差，如果与前序邻差和后续邻差的残差均大于3σ，则标记不变，否则判定该数据不是异常数据，其质控标记校正为0；当质控标记为B时，计算其尖峰值，若尖峰值没有超出设定的尖峰标准范围，则判定该数据不是异常数据，其质控标记校正为0，否则标记不变；当质控标记为C时，计算该数据与前值平均值和后值平均值的差即梯度值，如果梯度值没有超出设定的梯度标准范围，则判定该数据不是异常数据，其质控标记校正为0，否则标记不变。
9.根据权利要求4所述的海洋浮标数据质量控制方法，其特征在于，所述3小时日平均计算，具体为：将一天每3个小时分为一个时间段，如果在一个日期内，所有3小时时间段均有数据，则进一步计算每3小时平均值并基于每3小时平均值计算日平均值；如果存在至少一个3小时时间段内没有数据，则该日数据视为无效数据全部剔除。
10.根据权利要求4所述的海洋浮标数据质量控制方法，其特征在于，所述质控前后数据时间序列的对比图像包括矢量图和标量图。
CN202110782920.3A 2021-07-12 2021-07-12 海洋浮标数据质量控制系统 Active CN113536233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110782920.3A CN113536233B (zh) 2021-07-12 2021-07-12 海洋浮标数据质量控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110782920.3A CN113536233B (zh) 2021-07-12 2021-07-12 海洋浮标数据质量控制系统

Publications (2)

Publication Number Publication Date
CN113536233A true CN113536233A (zh) 2021-10-22
CN113536233B CN113536233B (zh) 2023-05-30

Family

ID=78127405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110782920.3A Active CN113536233B (zh) 2021-07-12 2021-07-12 海洋浮标数据质量控制系统

Country Status (1)

Country Link
CN (1) CN113536233B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114490622A (zh) * 2022-03-10 2022-05-13 中国科学院大气物理研究所 基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法和系统
CN117408581A (zh) * 2023-12-15 2024-01-16 青岛海洋科技中心 潜浮标数据质量控制方法、系统、计算机及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081764A (zh) * 2011-01-11 2011-06-01 上海海洋大学 一种基于uldb的海洋环境监测数据管理系统
CN108830510A (zh) * 2018-07-16 2018-11-16 国网上海市电力公司 一种基于数理统计的电力数据预处理方法
CN109033037A (zh) * 2018-07-26 2018-12-18 厦门大学 浮标自动监测系统数据质量控制方法
CN109100813A (zh) * 2018-08-14 2018-12-28 吉林大学 一种基于协同滤波消除地面核磁共振数据中尖峰噪声的方法
CN110569912A (zh) * 2019-09-09 2019-12-13 自然资源部第一海洋研究所 一种海水剖面观测数据奇异值剔除方法
CN110989046A (zh) * 2019-12-25 2020-04-10 中国气象局气象探测中心 一种锚碇浮标站数据质量控制方法系统
CN111275307A (zh) * 2020-01-16 2020-06-12 生态环境部华南环境科学研究所 一种水质自动在线站高频连续观测数据质量控制方法
CN112050857A (zh) * 2020-09-09 2020-12-08 自然资源部第二海洋研究所 海洋水文观测浮标的观测数据处理方法、装置及服务器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081764A (zh) * 2011-01-11 2011-06-01 上海海洋大学 一种基于uldb的海洋环境监测数据管理系统
CN108830510A (zh) * 2018-07-16 2018-11-16 国网上海市电力公司 一种基于数理统计的电力数据预处理方法
CN109033037A (zh) * 2018-07-26 2018-12-18 厦门大学 浮标自动监测系统数据质量控制方法
CN109100813A (zh) * 2018-08-14 2018-12-28 吉林大学 一种基于协同滤波消除地面核磁共振数据中尖峰噪声的方法
CN110569912A (zh) * 2019-09-09 2019-12-13 自然资源部第一海洋研究所 一种海水剖面观测数据奇异值剔除方法
CN110989046A (zh) * 2019-12-25 2020-04-10 中国气象局气象探测中心 一种锚碇浮标站数据质量控制方法系统
CN111275307A (zh) * 2020-01-16 2020-06-12 生态环境部华南环境科学研究所 一种水质自动在线站高频连续观测数据质量控制方法
CN112050857A (zh) * 2020-09-09 2020-12-08 自然资源部第二海洋研究所 海洋水文观测浮标的观测数据处理方法、装置及服务器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BRUCE INGLEBY 等: "Quality control of ocean temperature and salnity profiles - historycal and real-time data", 《JOURNAL OF MARINE SYSTEMS》 *
刘首华 等: "一种实用海洋浮标数据异常值质控方法", 《海洋通报》 *
陈春满 等: "海洋水文气象资料质量控制方法", 《TA2014-001》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114490622A (zh) * 2022-03-10 2022-05-13 中国科学院大气物理研究所 基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法和系统
CN117408581A (zh) * 2023-12-15 2024-01-16 青岛海洋科技中心 潜浮标数据质量控制方法、系统、计算机及存储介质
CN117408581B (zh) * 2023-12-15 2024-03-26 青岛海洋科技中心 潜浮标数据质量控制方法、系统、计算机及存储介质

Also Published As

Publication number Publication date
CN113536233B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN113536233A (zh) 海洋浮标数据质量控制系统
CN107463633B (zh) 一种基于eemd-神经网络的实时数据异常值检测方法
CN116259005B (zh) 基于屋顶光伏消防的智能监控系统
CN111582551A (zh) 风电场短期风速预测方法、系统及电子设备
CN112418506B (zh) 基于机器学习的海岸带湿地生态安全格局优化方法、装置
CN108593005A (zh) 一种基于水下机器人的海洋环境监测系统
Grigorieva et al. Global historical archive of wind waves based on voluntary observing ship data
CN116012780A (zh) 一种基于图像识别的火灾监控方法及系统
CN116229052A (zh) 一种基于孪生网络的变电站设备状态变化检测方法
CN116304819A (zh) 一种基于LeNet-5算法的核反应堆运行工况判断方法
CN110728269A (zh) 一种高铁接触网支柱杆号牌识别方法
CN117390580A (zh) 一种综合多特征的海洋热浪遥感识别方法
CN115630326B (zh) 利用水听器监测海洋生态系统的健康状态的方法及装置
CN114943189B (zh) 一种基于XGboost的声速剖面反演方法及系统
Yang et al. An empirical study of fault diagnosis methods of a dissolved oxygen sensor based on ResNet-50
CN108170017A (zh) 一种钟表性能在线测试方法
CN111027852B (zh) 基于大数据处理和灰色理论分析风发电效益的方法
CN112651977A (zh) 一种海上船舶渔业养殖监测方法和系统
CN111680054B (zh) 基于多参数水质监测仪的时序数据存储方法及装置
Shin et al. Imputation of missing sst observation data using multivariate bidirectional rnn
CN116307361B (zh) 一种水产养殖环境因子快速调控方法
CN117172598B (zh) 一种基于云计算的流域水生态鱼类监测管理系统
CN117091565B (zh) 一种基于卫星定位的桥梁沉降检测方法、设备及系统
CN115203595B (zh) 一种通过生活特征对体征健康进行预测的系统及方法
CN112834194B (zh) 一种无故障样本下基于软目标度量的故障智能检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant