CN112597144B - 一种产地环境监测数据的自动化清洗方法 - Google Patents
一种产地环境监测数据的自动化清洗方法 Download PDFInfo
- Publication number
- CN112597144B CN112597144B CN202011593565.7A CN202011593565A CN112597144B CN 112597144 B CN112597144 B CN 112597144B CN 202011593565 A CN202011593565 A CN 202011593565A CN 112597144 B CN112597144 B CN 112597144B
- Authority
- CN
- China
- Prior art keywords
- data
- soil
- monitoring
- point
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种产地环境监测数据的自动化清洗方法,综合利用原入库数据与待入库数据,同时结合点位空间分布规律,提供了一种更准确挑选异常监测数据的方法;通过分位监测数据的选取可以将不同数据量的数据进行有效对比,提高异常数据筛查精度还降低了数据处理量,提高了数据清洗效率。
Description
技术领域
本发明属于农业环境技术领域,具体涉及一种产地环境监测数据的自动化清洗方法。
背景技术
农产品产地环境问题日趋严峻,随着长期监测数据的积累和应用,数据质量的保障及异常数据的挑选剔除已成为行业难题。监测数据是一个包含多来源多方向多指标的融合性数据库,目前主要依据莱茵达、格拉布斯、狄克逊、肖维勒等准则挑选异常监测数据,然后进行剔除。上述技术方法存在的主要问题有:(1)异常数据剔除多针对同批次监测数据进行;(2)异常数据的挑选剔除仅考虑现有数据值规律,忽略监测点位空间分布特征;(3)异常数据挑选准确度较低。
发明内容
本发明利用入库监测数据结合和待入库监测数据,通过t检验、空间差值、预测值提取、数据异常度计算等多方法,综合确定待入库数据是否为异常数据;以筛查单元为单位,确定监测点位数据是否入库融合。
为了解决上述技术问题,本发明公开了一种产地环境监测数据的自动化清洗方法,所述方法包括:
(1)异常数据定位
所述异常数据定位采用梯形收敛对位t检验方法,所述梯形收敛对位t检验方法包括:
(1.1)计算待入库数据土壤Cd数据中的一个的分位监测数据,同步计算研究区域内原数据库与待入库数据对应监测指标的分位监测数据;
所述原数据库的土壤Cd数据的分位监测数据数列记为W1,待入库数据的土壤Cd数据的分位监测数据数列记为W2,
(1.2)将所述W1、W2两个数列合并为一个数列组进行t检验,若检验结果在0.05水平下无显著性差异,则结束本步骤;若检验结果在0.05水平下存在显著性差异,则将待入库数据中的土壤Cd数据排序后,将前50%的数据记为小组1,将后50%的数据记为大组1,同时将原库数据的土壤Cd数据排序后,将前50%的数据记为小组2,将后50%的数据记为大组2,同时分别计算所述小组1、大组1、小组2、大组2的分位监测数据数列,分别记为W11、W12、W21、W22;
(1.3)分别将所述W11、W21和所述W12、W22分别合并为数列组,并对新合并形成的两个所述数列组分别做t检验,对于在0.05水平下无显著性差异的数列结束筛查,对应点位数据记为合格点位1;对于存在显著性差异的数列继续执行第(2)步操作,循环直至相邻分位值间点位数据不足3个;
(1.4)提取全部存在显著性差异的待入库土壤Cd数据的点位数据并记为不合格点位1;
(2)扰动性分析:
(2.1)计算所述不合格点位1中待入库土壤Cd数据每个点位数据的信息度,从大到小排序,选出信息度大于1/n的监测点位,其中n为待入库数据中具有所述土壤Cd数据指标检测结果的所有监测点位数量,所述信息度计算公式如下:
其中,i为待入库数据土壤Cd数据指标点位数据;
(2.1)随机选择原数据库中不少于n/2个对应监测指标的点位数据,利用空间插值算法计算第(2.1)步中筛查出的点位相应指标的预测值;所述空间差值算法选用一种或多种空间差值算法,所述空间差值算法计算过程中,针对差值算法中的参数进行不同随机调整,计算出5种或5种以上结果,基于所述结果计算预测值容差量,计算公式如下:
D=μX±2δX
其中,D为土壤Cd数据指标容差量,μx为土壤Cd数据指标预测值均值,δx为土壤Cd数据指标预测值的标准差;
若待入库数据超出容差量范围,则判定该点位数据扰动性过高,记为不合格点位2,不可入库;若待入库数据未超出容差量范围则记为合格点位2;
(3)边界差异合理性筛查:
(3.1)设置若干筛查单元,所述筛查单元面积不超过M2,且确保所述筛查单元内至少包括10个合格点位,计算公式如下:
其中,M2为筛查单元面积的最小值,S为待入库数据所在区域面积,亩;
结合筛查单元尺寸及单元内最少点位要求,确定筛查单元数量;
(3.2)计算所有筛查单元内土壤Cd数据指标的原数据库点位数据异常程度和待入库数据异常程度,异常程度计算步骤具体如下:
(3.2.1)分别确定土壤Cd数据指标的原数据库点位数据和待入库数据的平均值(记为μ1、μ2)和标准偏差(记为δ1、δ2);
(3.2.2)计算集合1(μ1-2δ1,μ1+2δ1),集合2(μ2-2δ2,μ2+2δ2);
(3.2.3)计算集合1与集合2的交集(记为集合3)和并集(记为集合4);
(3.2.4)计算集合3和集合4上下限差值的比值,若比值小于0.15,则该单元点位数据异常程度大,所有点位数据不得融合入库;若比值大于0.15,则该筛查单元点位数据异常程度小,所述异常程度小的筛查单元内的合格点位2对应的数据入库存储。
进一步地,所述空间插值算法包括但不限于克里金插值、反距离权重插值、多项式插值、自然邻域法、样条函数法、趋势面法;
进一步地,所述原数据库数据和待入库数据若非相同年份,则较远年份数据乘以累积系数后再进行t检验,累积系数计算公式如下:
其中J为累积系数,C普查为研究区域土壤Cd数据中的一个在普查时的点位均值,C背景值为研究区域土壤Cd数据中的一个背景值;
进一步地,按照等值梯度法获取所述分位监测数据:将所述土壤Cd数据的数据按等值梯度递增,提取各分位值对应的监测指标的监测结果,所述分位值按1%、2%、3%、4%或5%梯度递增;
进一步地,选取5%时,计算19个分位值Q,即5%、10%、15%、20%、25%、30%、35%、40%、45%、50%、55%、60%、65%、70%、75%、80%、85%、90%、95%;
本发明的一种产地环境监测数据的自动化清洗方法,具有以下优点:
1.本发明综合利用原入库数据与待入库数据,同时结合点位空间分布规律,提供了一种更准确挑选异常监测数据的方法;通过分位监测数据的选取可以将不同数据量的数据进行有效对比,提高异常数据筛查精度还降低了数据处理量,提高了数据清洗效率;
2.本发明以筛查单元为单位进行数据剔除,减少了因异常数据而导致的后续数据处理分析错误率;
3.本发明采用梯形收敛对位t检验,可以将数据分组进行筛查清洗,同时还引入了累计系数,进一步地提高了较远年份数据与现有待入库数据库的可对比性,提高了原数据库内数据的可利用性;
4.异常数据定位筛查后,对异常数据进行了进一步地的扰动性分析,可以进一步确认该异常数据是否能够入库,将可入库数据筛查出来,可以筛选出可以入库的数据,在保证数据质量的同时,提高了可入库数据量;
5.本发明还进行了边界差异合理性筛选,针对筛选出的合格点位2进行数据分析,进一步得到合格点位,防止不合格点位入库。
附图说明
图1为一种产地环境监测数据的自动化清洗方法技术流程图;
图2为t检验结果示意图;
图3为空间插值结果图;
图4为单元筛查结果图;
具体实施方式
下面通过实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”,“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例1
(1)选取某县为研究区域,确定该县面积约为20000亩,已知原数据库土壤Cd数据为357条,待入库土壤Cd数据299条,为同一年监测数据;
(2)计算原数据库土壤Cd数据的分位值与待入库土壤Cd数据的分位值,进行t检验,确定2组数据存在显著性;
(3)以50%分位值为界限,将原数据库土壤Cd数据和待入库土壤Cd数据各分为两组(Cd11,Cd12;Cd21,Cd22),分别计算4组数列分位值;将上组数据(Cd11、Cd21)和下组数据(Cd12、Cd22)分别进行t检验,确定2组数列均存在显著性;
(4)循环上步,直至数据第3次拆分时,各组数据相邻分位值间隔点位数据为2个,停止分组计算,进行t检验确定所有数据均具有显著性差异,见图1。
实施例2
(1)计算待入库所有点位信息度,选出信息度大于1/n的202个监测点位,获取点位信息;
(2)随机挑选原数据库的300条土壤Cd数据,使用Arcgis进行空间插值,选取反距离权重、克里金、自然领域、趋势面、样条函数等插值方法(图2);
(3)提取202个点位的预测值,并计算预测值容差量,确定所有点位均为合格点位,记为合格点位2;
边界差异合理性筛查
(4)依据研究区域面积计算出最小筛查单元最小面积为14平方米,共划分筛查单元10个,每个单元内合格点位均大于10个;
(5)分别计算10个单元内的数据异常程度,确定其中3个单元异常程度小于0.15,异常程度大,筛查单元内合格点位2共计7个,不可录入数据库(图3)。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的实施例。
Claims (5)
1.一种产地环境监测数据的自动化清洗方法,其特征在于,所述方法包括:
(1)异常数据定位
所述异常数据定位采用梯形收敛对位t检验方法,所述梯形收敛对位t检验方法包括:
(1.1)计算待入库土壤Cd数据的分位监测数据,同步计算研究区域内原数据库与待入库数据对应监测指标的分位监测数据;
所述原数据库的土壤Cd数据的分位监测数据数列记为W1,待入库数据的土壤Cd数据的分位监测数据数列记为W2,
(1.2)将所述W1、W2两个数列合并为一个数列组进行t检验,若检验结果在0.05水平下无显著性差异,则结束本步骤;若检验结果在0.05水平下存在显著性差异,则将待入库数据中的土壤Cd数据排序后,将前50%的数据记为小组1,将后50%的数据记为大组1,同时将原库数据的土壤Cd数据排序后,将前50%的数据记为小组2,将后50%的数据记为大组2,同时分别计算所述小组1、大组1、小组2、大组2的分位监测数据数列,分别记为W11、W12、W21、W22;
(1.3)分别将所述W11、W21和所述W12、W22分别合并为数列组,并对新合并形成的两个所述数列组分别做t检验,对于在0.05水平下无显著性差异的数列结束筛查,所述在0.05水平下无显著性差异的数列对应点位数据记为合格点位1;对于存在显著性差异的数列继续执行第(1.2)步操作,循环直至相邻分位值间点位数据不足3个;按照等值梯度法获取所述分位监测数据:将所述土壤Cd数据的数据按等值梯度递增,提取各分位值对应的监测指标的监测结果,所述分位值按1%-10%中的任意值梯度递增;
(1.4)提取全部存在显著性差异的待入库土壤Cd数据的点位数据并记为不合格点位1,所述不合格点位1对应的土壤Cd数据数据清洗;
(2)扰动性分析:
(2.1)获取异常数据,计算所述异常数据对应的不合格点位1中待入库土壤Cd数据每个点位数据的信息度,从大到小排序,选出信息度大于1/n的监测点位,其中n为待入库数据中具有所述土壤Cd数据检测结果的所有监测点位数量,所述信息度计算公式如下:
其中,i为待入库数据土壤Cd数据指标点位数据;
(2.2)随机选择原数据库中不少于n/2个对应监测指标的点位数据,利用空间插值算法计算第(2.1)步中筛查出的点位相应指标的预测值;所述空间插值算法选用一种或多种空间差值算法,所述空间差值算法计算过程中,针对插值算法中的参数进行不同随机调整,计算出5种或5种以上结果,基于所述结果计算预测值容差量,
计算预测值容差量,计算公式如下:D=μX±2δX
其中,D为土壤Cd数据指标容差量,μx为土壤Cd数据指标预测值均值,δx为土壤Cd数据指标预测值的标准差;
若待入库数据超出容差量范围,则判定该点位数据扰动性过高,记为不合格点位2,不可入库;若待入库数据未超出容差量范围则记为合格点位2;
(3)边界差异合理性筛查:
(3.1)设置若干筛查单元,所述筛查单元面积不超过M2,且确保所述筛查单元内至少包括10个合格点位,计算公式如下:
其中,M2为筛查单元面积的最小值,S为待入库数据所在区域面积,亩;
结合筛查单元尺寸及单元内最少点位要求,确定筛查单元数量;
(3.2)计算所有筛查单元内土壤Cd数据指标的原数据库点位数据异常程度和待入库数据异常程度,异常程度计算步骤具体如下:
(3.2.1)分别确定土壤Cd数据指标的原数据库点位数据和待入库数据的平均值(记为μ1、μ2)和标准偏差(记为δ1、δ2);
(3.2.2)计算集合1(μ1-2δ1,μ1+2δ1),集合2(μ2-2δ2,μ2+2δ2);
(3.2.3)计算集合1与集合2的交集和并集,分别记为集合3集合4;
(3.2.4)分别计算集合3和集合4上下限差值,比计算得到的差值的比值,若比值小于0.15,则该单元点位数据异常程度大,所述异常程度大的筛查单元内合格点位2对应土壤Cd数据指标检测数据不得融合入库;若比值大于0.15,则该筛查单元点位数据异常程度小,所述异常程度小的筛查单元内合格点位2对应土壤Cd数据指标检测数据入库存储。
3.如权利要求1所述的一种产地环境监测数据的自动化清洗方法,其特征在于,所属分位值选取5%时,计算19个分位值Q,即5%、10%、15%、20%、25%、30%、35%、40%、45%、50%、55%、60%、65%、70%、75%、80%、85%、90%、95%。
4.如权利要求1所述的一种产地环境监测数据的自动化清洗方法,其特征在于,所述空间插值算法包括但不限于克里金插值、反距离权重插值、多项式插值、自然邻域法、样条函数法、趋势面法。
5.如权利要求4所述的一种产地环境监测数据的自动化清洗方法,其特征在于,所述异常数据为人工剔除的待入库数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011593565.7A CN112597144B (zh) | 2020-12-29 | 2020-12-29 | 一种产地环境监测数据的自动化清洗方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011593565.7A CN112597144B (zh) | 2020-12-29 | 2020-12-29 | 一种产地环境监测数据的自动化清洗方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112597144A CN112597144A (zh) | 2021-04-02 |
CN112597144B true CN112597144B (zh) | 2022-11-08 |
Family
ID=75203292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011593565.7A Active CN112597144B (zh) | 2020-12-29 | 2020-12-29 | 一种产地环境监测数据的自动化清洗方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112597144B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116665197A (zh) * | 2023-05-31 | 2023-08-29 | 广东工业大学 | 一种基于双目视觉的停车场防逃费车牌识别方法及系统 |
CN117522632B (zh) * | 2023-12-25 | 2024-03-08 | 阳光学院 | 一种基于深度学习的水质指标预测方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016180599A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社島津製作所 | データ解析装置 |
CN106649579A (zh) * | 2016-11-17 | 2017-05-10 | 苏州航天系统工程有限公司 | 一种用于管网建模的时序数据清洗方法 |
CN106991145A (zh) * | 2017-03-23 | 2017-07-28 | 中国银联股份有限公司 | 一种监测数据的方法及装置 |
CN108334417A (zh) * | 2018-01-26 | 2018-07-27 | 阿里巴巴集团控股有限公司 | 确定数据异常的方法和装置 |
CN108701274A (zh) * | 2017-05-24 | 2018-10-23 | 北京质享科技有限公司 | 一种城市小尺度空气质量指数预测方法与系统 |
CN109726198A (zh) * | 2018-12-06 | 2019-05-07 | 中科恒运股份有限公司 | 异常数据处理方法及装置 |
CN110348683A (zh) * | 2019-06-06 | 2019-10-18 | 全球能源互联网研究院有限公司 | 电能质量扰动事件主成因分析方法、装置设备及存储介质 |
CN110377491A (zh) * | 2019-07-10 | 2019-10-25 | 中国银联股份有限公司 | 一种数据异常检测方法及装置 |
CN111080502A (zh) * | 2019-12-17 | 2020-04-28 | 清华苏州环境创新研究院 | 一种区域企业数据异常行为的大数据识别方法 |
CN111508216A (zh) * | 2020-04-28 | 2020-08-07 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种大坝安全监测数据智能预警方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106227640B (zh) * | 2016-07-27 | 2019-03-19 | 北京市环境保护监测中心 | 一种基于自动监测仪器的异常数据检测方法及系统 |
CN107092654B (zh) * | 2017-03-20 | 2019-02-15 | 山东科技大学 | 基于均值变化检测的报警正常与异常数据检测方法和装置 |
CN108921440B (zh) * | 2018-07-11 | 2022-08-05 | 平安科技(深圳)有限公司 | 污染物异常监测方法、系统、计算机设备和存储介质 |
CN109308548B (zh) * | 2018-09-12 | 2021-01-26 | 中科绿建(天津)科技发展有限公司 | 一种基于网格预测的设备安全管理方法及系统 |
CN111173565B (zh) * | 2020-01-07 | 2021-02-09 | 北京龙软科技股份有限公司 | 一种矿井监测数据异常波动预警方法和装置 |
-
2020
- 2020-12-29 CN CN202011593565.7A patent/CN112597144B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016180599A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社島津製作所 | データ解析装置 |
CN106649579A (zh) * | 2016-11-17 | 2017-05-10 | 苏州航天系统工程有限公司 | 一种用于管网建模的时序数据清洗方法 |
CN106991145A (zh) * | 2017-03-23 | 2017-07-28 | 中国银联股份有限公司 | 一种监测数据的方法及装置 |
CN108701274A (zh) * | 2017-05-24 | 2018-10-23 | 北京质享科技有限公司 | 一种城市小尺度空气质量指数预测方法与系统 |
CN108334417A (zh) * | 2018-01-26 | 2018-07-27 | 阿里巴巴集团控股有限公司 | 确定数据异常的方法和装置 |
CN109726198A (zh) * | 2018-12-06 | 2019-05-07 | 中科恒运股份有限公司 | 异常数据处理方法及装置 |
CN110348683A (zh) * | 2019-06-06 | 2019-10-18 | 全球能源互联网研究院有限公司 | 电能质量扰动事件主成因分析方法、装置设备及存储介质 |
CN110377491A (zh) * | 2019-07-10 | 2019-10-25 | 中国银联股份有限公司 | 一种数据异常检测方法及装置 |
CN111080502A (zh) * | 2019-12-17 | 2020-04-28 | 清华苏州环境创新研究院 | 一种区域企业数据异常行为的大数据识别方法 |
CN111508216A (zh) * | 2020-04-28 | 2020-08-07 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种大坝安全监测数据智能预警方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112597144A (zh) | 2021-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112597144B (zh) | 一种产地环境监测数据的自动化清洗方法 | |
US9916653B2 (en) | Detection of defects embedded in noise for inspection in semiconductor manufacturing | |
US5777901A (en) | Method and system for automated die yield prediction in semiconductor manufacturing | |
US5991699A (en) | Detecting groups of defects in semiconductor feature space | |
CN100394421C (zh) | 产品良率分析系统及方法 | |
KR101799603B1 (ko) | 플라즈마 프로세싱 시스템 내에서의 자동적인 결함 검출 및 분류와 그 방법 | |
US8081814B2 (en) | Linear pattern detection method and apparatus | |
CN108805501B (zh) | 一种基于相关性统计的粮仓储粮状态监管方法 | |
CN107679089B (zh) | 一种用于电力传感数据的清洗方法、装置和系统 | |
CN111598780B (zh) | 一种适用于机载LiDAR点云的地形自适应插值滤波方法 | |
CN101432864A (zh) | 缺陷分布分类方法及系统、故障源设备确定方法及系统、计算机程序、以及存储介质 | |
CN105990170A (zh) | 晶圆良率分析方法和装置 | |
CN111048435A (zh) | 缺陷监控方法 | |
KR101535419B1 (ko) | 불량 셀 클러스터링 방법 및 그 장치 | |
CN108229586B (zh) | 一种数据中的异常数据点的检测方法及系统 | |
TWI808595B (zh) | 分析缺陷的方法 | |
CN117010549A (zh) | 基于大数据管理体系的信息溯源方法及终端 | |
WO2023184281A9 (zh) | 一种检测参数分析方法及装置 | |
US6780656B2 (en) | Correction of overlay offset between inspection layers | |
CN113011325B (zh) | 一种基于孤立森林算法的堆垛机轨道损伤定位方法 | |
Craw et al. | Informed case base maintenance: A complexity profiling approach | |
CN116030274A (zh) | 基于自适应密度聚类的青花椒果序检测方法 | |
CN115631229A (zh) | 一种电池片定位方法、装置、电子设备及存储介质 | |
CN115378000A (zh) | 基于区间二型模糊聚类分析的配电网运行状态评估方法 | |
US7363098B2 (en) | Method to identify machines causing excursion in semiconductor manufacturing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |