CN106570073B - 地表水水质数据粗误差筛查方法及装置 - Google Patents
地表水水质数据粗误差筛查方法及装置 Download PDFInfo
- Publication number
- CN106570073B CN106570073B CN201610899743.6A CN201610899743A CN106570073B CN 106570073 B CN106570073 B CN 106570073B CN 201610899743 A CN201610899743 A CN 201610899743A CN 106570073 B CN106570073 B CN 106570073B
- Authority
- CN
- China
- Prior art keywords
- surface water
- monitoring data
- water monitoring
- time period
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000002352 surface water Substances 0.000 title claims abstract description 244
- 238000012216 screening Methods 0.000 title claims abstract description 187
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003071 parasitic effect Effects 0.000 title abstract 5
- 238000012544 monitoring process Methods 0.000 claims abstract description 228
- 238000012545 processing Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 3
- 241000876443 Varanus salvator Species 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Medicinal Chemistry (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Food Science & Technology (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本公开提供了一种地表水水质数据粗误差筛查方法及装置，所述方法包括以下步骤：获取预设的目标筛查时间段内的地表水监测数据；确定所述目标筛查时间段所属的预设时段，其中，各个所述预设时段具有各自相对应的筛查算法；根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据。本公开可以自动将地表水监测数据中的粗误差数据筛查出来，同时，本公开提供的方法的适用性更广，不仅能准确判断粗误差数据项，并且对大量数据的计算效率较高，增加地表水监测数据的可靠性。
Description
技术领域
本公开涉及误差数据筛查领域，具体地，涉及一种地表水水质数据粗误差筛查方法及装置。
背景技术
地表水水质的自动监测，实现了水质的实时连续监测和远程监控，有助于及时掌握主要流域重点断面水体的水质状况，预警预报重大或流域性水质污染事故，解决跨行政区域的水污染事故纠纷。
地表水水质自动监测的前端是数据的数据质量监控和粗误差筛查，进行合理、高效、准确的数据筛查可以为地表水水质监测提供更可靠的数据输入。在现有技术中，常规筛查方式可以筛查出因人为管理因素、仪器设备故障、自然灾害等异常条件导致的明显异常的监测数据或粗误差数据，但常规筛查方式得出的数据粗误差筛查准确率较低，处理大批量数据时效率较低，且存在筛选不准确，容易漏筛或者误判等情况。
发明内容
本公开的目的是提供一种地表水水质数据粗误差筛查方法和装置，以对地表水水质的自动监测数据进行准确、高效的数据粗误差筛查。
为了实现上述目的，根据本公开的第一方面，提供一种地表水水质数据粗误差筛查方法，所述方法包括以下步骤：
获取预设的目标筛查时间段内的地表水监测数据；
确定所述目标筛查时间段所属的预设时段，其中，各个所述预设时段具有各自相对应的筛查算法；
根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据。
可选地，在所述根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据的步骤之前，所述方法还包括：
通过常规筛查算法判断所述地表水监测数据是否是粗误差数据；
在通过常规筛查算法确定所述地表水监测数据不是粗误差数据时，再执行所述根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据的步骤。
可选地，所述预设时段包括第一预设时段、第二预设时段和第三预设时段，其中，所述第一预设时段为[t1,t2)，所述第二预设时段为[t2,t3)，所述第三预设时段为[t3,+∞)，t1为第一时间阈值，t2为第二时间阈值，t3为第三时间阈值，且t1<t2<t3。
可选地，与所述第一预设时段相对应的筛查算法包括：
从所述目标筛查时间段内的地表水监测数据中获取目标地表水监测数据，其中，所述目标地表水监测数据为所述目标筛查时间段内的任一地表水监测数据；
确定所述目标筛查时间段内的地表水监测数据中、除所述目标地表水监测数据之外的其他地表水监测数据的平均值和标准差；
判断所述目标地表水监测数据与所述平均值之间的差的绝对值是否大于第一阈值，其中，所述第一阈值为所述标准差与T分布检验数的乘积，所述T分布检验数由目标筛查时间段内的地表水监测数据的个数和第一预设显著度确定；
在所述绝对值大于第一阈值时，确定所述目标地表水监测数据是粗误差数据；
在所述绝对值小于或等于第一阈值时，确定所述目标地表水监测数据不是粗误差数据。
可选地，与所述第二预设时段相对应的筛查算法包括：
将所述目标筛查时间段内的地表水监测数据按照由小到大的顺序排列，形成监测数据序列；
确定所述监测数据序列的中位数和标准差；
从所述目标筛查时间段内的地表水监测数据中获取目标地表水监测数据，其中，所述目标地表水监测数据为所述目标筛查时间段内的任一地表水监测数据；
判断所述目标地表水监测数据和所述中位数之间的差的绝对值、与所述标准差之间的比值是否大于第二阈值，其中，所述第二阈值为由目标筛查时间段内的地表水监测数据的个数和第二预设显著度确定的格拉布斯临界值；
在所述比值大于第二阈值时，确定所述目标地表水监测数据是粗误差数据；
在所述比值小于或等于第二阈值时，确定所述目标地表水监测数据不是粗误差数据。
可选地，与所述第三预设时段相对应的筛查算法包括：
确定所述目标筛查时间段内的地表水监测数据的平均值和标准差；
从所述目标筛查时间段内的地表水监测数据中获取目标地表水监测数据，其中，所述目标地表水监测数据为所述目标筛查时间段内的任一地表水监测数据；
判断所述目标地表水监测数据和所述平均值之间的差的绝对值是否大于第三阈值，其中，所述第三阈值为所述标准差的预定倍数；
在所述绝对值大于第三阈值时，确定所述目标地表水监测数据是粗误差数据；
在所述绝对值小于或等于第三阈值时，确定所述目标地表水监测数据不是粗误差数据。
可选地，所述方法还包括：在确定所述地表水监测数据是粗误差数据时，执行以下处理操作中的至少一者：
输出报警提示信息；
删除确定为粗误差数据的地表水监测数据。
可选地，在所述执行所述处理操作中的至少一者的步骤之前，所述方法还包括：
输出确认信息，所述确认信息用于用户对被确定为是粗误差数据的地表水监测数据进行人工核查；
接收用户响应消息；
在所述用户响应消息表示用户确认所述地表水监测数据是粗误差数据时，再执行所述处理操作中的至少一者的步骤。
根据本公开的第二方面，还提供一种地表水水质数据粗误差筛查装置，所述装置包括：
数据获取模块，用于获取预设的目标筛查时间段内的地表水监测数据；
预设时段确定模块，用于确定所述目标筛查时间段所属的预设时段，其中，各个所述预设时段具有各自相对应的筛查算法；
第一判断模块，用于根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据。
可选地，所述装置还包括：
第二判断模块，用于通过常规筛查算法判断所述地表水监测数据是否是粗误差数据；
所述第一判断模块用于在通过常规筛查算法确定所述地表水监测数据不是粗误差数据时，再执行所述根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据的步骤。
通过上述技术方案，可以自动将地表水监测数据中的粗误差数据筛查出来，同时，本公开提供的方法的适用性更广，不仅能准确判断粗误差数据项，并且对大量数据的计算效率较高，增加地表水监测数据的可靠性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开的一种实施方式提供的地表水水质粗误差筛查方法的流程图；
图2是根据本公开的另一种实施方式提供的地表水水质粗误差筛查方法的流程图；
图3-图5分别是与所述第一预设时段、第二预设时段和第三预设时段相对应的筛查算法的流程图；
图6是根据本公开的另一种实施方式提供的地表水水质粗误差筛查方法的流程图；
图7是根据本公开的另一种实施方式提供的地表水水质粗误差筛查方法的流程图；
图8是根据本公开的一种实施方式提供的地表水水质粗误差筛查装置的框图；
图9是根据本公开的另一种实施方式提供的地表水水质粗误差筛查装置的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
根据本公开的第一方面，本公开提供一种地表水水质数据粗误差筛查方法，图1所示，是根据本公开的一种实施方式提供的地表水水质粗误差筛查方法的流程图。如图1所示，所述方法包括以下步骤：
在步骤S11中，获取预设的目标筛查时间段内的地表水监测数据，所述预设的目标筛查时间段为技术人员根据经验和地域环境的类型等综合设定的时间段；
在步骤S12中，确定所述目标筛查时间段所属的预设时段，其中，各个所述预设时段具有各自相对应的筛查算法；
在步骤S13中，根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据。
通过上述技术方案，可以自动将地表水监测数据中的粗误差数据筛查出来，同时，本公开提供的方法的适用性更广泛，不仅能准确判断粗误差数据项，并且对大量数据的计算效率较高，增加地表水监测数据的可靠性。
图2所示，是根据本公开的另一种实施方式提供的地表水水质粗误差筛查方法的流程图。如图2所示，在图1的基础上，所述方法包括以下步骤：
在步骤S21中，通过常规筛查算法判断所述地表水监测数据是否是粗误差数据，如果判断所述地表水监测数据是粗误差数据，转入步骤S22，否则，如果判断所述地表水监测数据不是粗误差数据，转入步骤S13，其中常规筛查算法可以是仪器状态导致的粗误差筛查方法，根据对应监测站点所用的自动监测仪器所标定的检出限值，若当前的地表水监测数据的值超过该限制，则判断当前的地表水监测数据为粗误差数据，也可以是通过多年检测结果进行粗误差筛查方法，例如，提取出当前的地表水监测数据对应的监测项5年内的最高值，将当前地表水监测数据的监测项与5年内的最高值进行对比，将超过最高值10％的监测项列为粗误差数据；
在步骤S22中，确定所述地表水监测数据是粗误差数据。
在该实施例中，在执行所述根据与所述目标筛查时间段所属的预设时段相对应的筛查算法之前先执行常规筛查算法，可以将明显的粗误差数据筛查出来，避免对明显误差数据执行本公开的筛查算法，可以减少本公开中筛查算法中筛查的地表水监测数据的数据量，提高地表水监测数据的粗误差筛查方法的效率。
可选地，所述预设时段包括第一预设时段、第二预设时段和第三预设时段，所述第一预设时段为[t1,t2)，所述第二预设时段为[t2,t3)，所述第三预设时段为[t3,+∞)，t1为第一时间阈值，t2为第二时间阈值，t3为第三时间阈值，且t1<t2<t3，例如，t1＝8，t2＝56，t3＝736。
图3-图5所示，分别是与所述第一预设时段、第二预设时段和第三预设时段相对应的筛查算法的流程图。如图3所示，为与所述第一预设时段相对应的筛查算法的流程图，所述筛查算法包括以下步骤：
在步骤S31中，从所述目标筛查时间段内的地表水监测数据中获取目标地表水监测数据，其中，所述目标地表水监测数据为所述目标筛查时间段内的任一地表水监测数据；
在步骤S32中，计算所述目标筛查时间段内的地表水监测数据中、除所述目标地表水监测数据之外的其他地表水监测数据的平均值和标准差，其中，计算所述平均值的公式为：
计算所述标准差时计算时不包含公式为：
其中，
是所述目标筛查时间段内的地表水监测数据中、除所述目标地表水监测数据之外的其他地表水监测数据的平均值，
N是所述目标筛查时间段内的地表水监测数据的个数，
Xi是所述目标筛查时间段内的第i个地表水监测数据，i是1～N中的任一整数，并且i≠j，
Xj是目标地表水监测数据，
σ是所述目标筛查时间段内的地表水监测数据中、除所述目标地表水监测数据之外的其他地表水监测数据的标准差；
在步骤S33中，判断所述目标地表水监测数据与所述平均值之间的差的绝对值是否大于第一阈值，如果所述目标地表水监测数据与所述平均值之间的差的绝对值大于第一阈值，转入步骤S34，否则，如果所述目标地表水监测数据与所述平均值之间的差的绝对值不大于第一阈值，转入步骤S35；其中，所述第一阈值为所述标准差与T分布检验数的乘积，所述T分布检验数由目标筛查时间段内的地表水监测数据的个数和第一预设显著度确定，例如，目标筛查时间段内的地表水监测数据的个数为5，设定第一预设显著度为0.01，由此得出所述T分布检验数为3.365；
在步骤S34中，确定所述目标地表水监测数据是粗误差数据；
在步骤S35中，确定所述目标地表水监测数据不是粗误差数据。
图4所示，为与所述第二预设时段相对应的筛查算法的流程图，所述筛查算法包括以下步骤：
在步骤S41中，将所述目标筛查时间段内的地表水监测数据按照由小到大的顺序排列，形成监测数据序列；
在步骤S42中，计算所述监测数据序列的中位数和标准差，其中，所述中位数的计算方式为：
Xmed＝med(X1,X2,…XN)
所述标准差的计算公式为：
其中，
Xmed是所述目标筛查时间段内的地表水监测数据的中位数，
X是所述目标筛查时间段内的地表水监测数据的平均值，
N是所述目标筛查时间段内的地表水监测数据的个数，
Xi是所述目标筛查时间段内的第i个地表水监测数据，i是1～N中的任一整数，
σ是所述目标筛查时间段内的地表水监测数据的标准差；
在步骤S43中，从所述目标筛查时间段内的地表水监测数据中获取目标地表水监测数据，其中，所述目标地表水监测数据为所述目标筛查时间段内的任一地表水监测数据；
在步骤S44中，判断所述目标地表水监测数据和所述中位数之间的差的绝对值、与所述标准差之间的比值是否大于第二阈值，如果所述目标地表水监测数据和所述中位数之间的差的绝对值、与所述标准差之间的比值大于第二阈值，则转入步骤S45，如果所述目标地表水监测数据和所述中位数之间的差的绝对值、与所述标准差之间的比值不大于第二阈值，则转入步骤S46；
其中，所述目标地表水监测数据和所述中位数之间的差的绝对值、与所述标准差之间的比值g(i)的计算公式为：
所述第二阈值为由目标筛查时间段内的地表水监测数据的个数和第二预设显著度确定的格拉布斯临界值，例如，目标筛查时间段内的地表水监测数据的个数为10，设定的第二预设显著度为0.01，由此得出格拉布斯临界值为2.410；
在步骤S45中，确定所述目标地表水监测数据是粗误差数据；
在步骤S46中，确定所述目标地表水监测数据不是粗误差数据。
图5所示，为与所述第三预设时段相对应的筛查算法的流程图，所述筛查算法包括以下步骤：
在步骤S51中，计算所述目标筛查时间段内的地表水监测数据的平均值和标准差，其中，所述平均值的计算公式为：
所述标准差的计算公式为：
其中，
是所述目标筛查时间段内的地表水监测数据的平均值，
N是所述目标筛查时间段内的地表水监测数据的个数，
Xi是所述目标筛查时间段内的第i个地表水监测数据，i是1～N中的任一整数，
σ是所述目标筛查时间段内的地表水监测数据的标准差；
在步骤S52中，从所述目标筛查时间段内的地表水监测数据中获取目标地表水监测数据，其中，所述目标地表水监测数据为所述目标筛查时间段内的任一地表水监测数据；
在步骤S53中，判断所述目标地表水监测数据和所述平均值之间的差的绝对值是否大于第三阈值，如果所述目标地表水监测数据和所述平均值之间的差的绝对值大于第三阈值，则转入步骤S54，否则，如果所述目标地表水监测数据和所述平均值之间的差的绝对值不大于第三阈值，则转入步骤S55；其中，所述第三阈值为所述标准差的预定倍数，例如，预定倍数可以是3，也可以是其他可以筛查出粗误差数据的倍数；
在步骤S54中，确定所述目标地表水监测数据是粗误差数据；
在步骤S55中，确定所述目标地表水监测数据不是粗误差数据。
在该实施例中，根据目标筛查时间段所属的预设时段执行所属预设时段相对应的筛查算法，不同预设时段相应的筛查算法对不同目标筛查时间段内的地表水监测数据，基于历史监测序列的常规统计特征进行判断，使得地表水监测数据的筛查更具有数据针对性，从而可以有效降低对粗误差数据漏报、误报的可能，提高粗误差数据筛查的准确率和筛查效率。
图6所示，是根据本公开的另一种实施方式提供的地表水水质粗误差筛查方法的流程图。如图6所示，在图1的基础上，所述方法包括以下步骤：
在步骤S61中，在确定所述地表水监测数据是粗误差数据时，执行处理操作，其中，所述处理操作包括以下操作中的至少一者：输出报警提示信息；删除确定为粗误差数据的地表水监测数据。
在该实施例中，对于通过所述筛查算法确定为粗误差数据的地表水监测数据执行处理操作，所述处理操作可以是输出报警提示信息，例如，在确定所述地表水监测数据是粗误差数据时，输出文字提示信息，指示当前的地表水监测数据为粗误差数据，可以对用户进行提示，以便于用户对粗误差数据进行处理；也可以是删除确定为粗误差数据的地表水监测数据，例如，在确定所述地表水监测数据是粗误差数据时，自动删除确定为粗误差数据的地表水监测数据，从而使得地表水监测数据更加准确，为后端的地表水水质监测提供更准确的数据输入；也可以是既输出报警提示信息，也删除确定为粗误差数据的地表水监测数据，既可以提示用户当前的地表水监测数据为粗误差数据，又可以删除确定为粗误差数据的地表水监测数据，可以提高地表水监测数据的整体准确性和可靠性，同时也可以提高用户使用体验。
图7所示，是根据本公开的另一种实施方式提供的地表水水质粗误差筛查方法的流程图。如图7所示，在图6的基础上，所述方法包括以下步骤：
在步骤S71中，在确定所述地表水监测数据是粗误差数据时，输出确认信息；
在步骤S72中，接收用户响应消息；
在步骤S73中，在所述用户响应消息表示用户确认所述地表水监测数据是粗误差数据时，再执行所述处理操作。
在该实施例中，在执行所述处理操作之前先执行人工核查的步骤，通过人工核查步骤确定为当前的地表水监测数据为粗误差数据时，再执行所述处理操作。增加人工核查的步骤可以提高地表水监测数据的准确性，避免将水质异常的地表水监测数据错误地判断为粗误差数据，从而影响后端的地表水水质异常监测。
根据本公开的第二方面，提供一种地表水水质粗误差筛查装置。图8所示，是根据本公开的另一种实施方式提供的地表水水质粗误差筛查装置的框图，如图8所示，该地表水水质粗误差筛查装置10包括：
数据获取模块101，用于获取预设的目标筛查时间段内的地表水监测数据；
预设时段确定模块102，用于确定所述目标筛查时间段所属的预设时段，其中，各个所述预设时段具有各自相对应的筛查算法；
第一判断模块103，用于根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据。
图9所示，是根据本公开的另一种实施方式提供的地表水水质粗误差筛查装置的框图，如图9所示，该地表水水质粗误差筛查装置10还包括：
第二判断模块201，用于通过常规筛查算法判断所述地表水监测数据是否是粗误差数据；
所述第一判断模块103用于在通过常规筛查算法确定所述地表水监测数据不是粗误差数据时，再执行所述根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据的步骤。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (6)
1.一种地表水水质数据粗误差筛查方法，其特征在于，所述方法包括以下步骤：
获取预设的目标筛查时间段内的地表水监测数据；
确定所述目标筛查时间段所属的预设时段，其中，各个所述预设时段具有各自相对应的筛查算法；
根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据；
所述预设时段包括第一预设时段、第二预设时段和第三预设时段，其中，所述第一预设时段为[t1,t2)，所述第二预设时段为[t2,t3)，所述第三预设时段为[t3,+∞)，t1为第一时间阈值，t2为第二时间阈值，t3为第三时间阈值，且t1<t2<t3；
与所述第一预设时段相对应的筛查算法包括：
从所述目标筛查时间段内的地表水监测数据中获取目标地表水监测数据，其中，所述目标地表水监测数据为所述目标筛查时间段内的任一地表水监测数据；
确定所述目标筛查时间段内的地表水监测数据中、除所述目标地表水监测数据之外的其他地表水监测数据的平均值和标准差；
判断所述目标地表水监测数据与所述平均值之间的差的绝对值是否大于第一阈值，其中，所述第一阈值为所述标准差与T分布检验数的乘积，所述T分布检验数由目标筛查时间段内的地表水监测数据的个数和第一预设显著度确定；
在所述绝对值大于第一阈值时，确定所述目标地表水监测数据是粗误差数据；
在所述绝对值小于或等于第一阈值时，确定所述目标地表水监测数据不是粗误差数据；
与所述第二预设时段相对应的筛查算法包括：
将所述目标筛查时间段内的地表水监测数据按照由小到大的顺序排列，形成监测数据序列；
确定所述监测数据序列的中位数和标准差；
从所述目标筛查时间段内的地表水监测数据中获取目标地表水监测数据，其中，所述目标地表水监测数据为所述目标筛查时间段内的任一地表水监测数据；
判断所述目标地表水监测数据和所述中位数之间的差的绝对值、与所述标准差之间的比值是否大于第二阈值，其中，所述第二阈值为由目标筛查时间段内的地表水监测数据的个数和第二预设显著度确定的格拉布斯临界值；
在所述比值大于第二阈值时，确定所述目标地表水监测数据是粗误差数据；
在所述比值小于或等于第二阈值时，确定所述目标地表水监测数据不是粗误差数据；
与所述第三预设时段相对应的筛查算法包括：
确定所述目标筛查时间段内的地表水监测数据的平均值和标准差；
从所述目标筛查时间段内的地表水监测数据中获取目标地表水监测数据，其中，所述目标地表水监测数据为所述目标筛查时间段内的任一地表水监测数据；
判断所述目标地表水监测数据和所述平均值之间的差的绝对值是否大于第三阈值，其中，所述第三阈值为所述标准差的预定倍数；
在所述绝对值大于第三阈值时，确定所述目标地表水监测数据是粗误差数据；
在所述绝对值小于或等于第三阈值时，确定所述目标地表水监测数据不是粗误差数据。
2.根据权利要求1所述的方法，其特征在于，在所述根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据的步骤之前，所述方法还包括：
通过常规筛查算法判断所述地表水监测数据是否是粗误差数据；
在通过常规筛查算法确定所述地表水监测数据不是粗误差数据时，再执行所述根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据的步骤。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：在确定所述地表水监测数据是粗误差数据时，执行以下处理操作中的至少一者：
输出报警提示信息；
删除确定为粗误差数据的地表水监测数据。
4.根据权利要求3所述的方法，其特征在于，在所述执行所述处理操作中的至少一者的步骤之前，所述方法还包括：
输出确认信息，所述确认信息用于用户对被确定为是粗误差数据的地表水监测数据进行人工核查；
接收用户响应消息；
在所述用户响应消息表示用户确认所述地表水监测数据是粗误差数据时，再执行所述处理操作中的至少一者的步骤。
5.一种地表水水质数据粗误差筛查装置，其特征在于，所述装置包括：
数据获取模块，用于获取预设的目标筛查时间段内的地表水监测数据；
预设时段确定模块，用于确定所述目标筛查时间段所属的预设时段，其中，各个所述预设时段具有各自相对应的筛查算法；
第一判断模块，用于根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据；
所述预设时段包括第一预设时段、第二预设时段和第三预设时段，其中，所述第一预设时段为[t1,t2)，所述第二预设时段为[t2,t3)，所述第三预设时段为[t3,+∞)，t1为第一时间阈值，t2为第二时间阈值，t3为第三时间阈值，且t1<t2<t3；
与所述第一预设时段相对应的筛查算法包括：
从所述目标筛查时间段内的地表水监测数据中获取目标地表水监测数据，其中，所述目标地表水监测数据为所述目标筛查时间段内的任一地表水监测数据；
确定所述目标筛查时间段内的地表水监测数据中、除所述目标地表水监测数据之外的其他地表水监测数据的平均值和标准差；
判断所述目标地表水监测数据与所述平均值之间的差的绝对值是否大于第一阈值，其中，所述第一阈值为所述标准差与T分布检验数的乘积，所述T分布检验数由目标筛查时间段内的地表水监测数据的个数和第一预设显著度确定；
在所述绝对值大于第一阈值时，确定所述目标地表水监测数据是粗误差数据；
在所述绝对值小于或等于第一阈值时，确定所述目标地表水监测数据不是粗误差数据；
与所述第二预设时段相对应的筛查算法包括：
将所述目标筛查时间段内的地表水监测数据按照由小到大的顺序排列，形成监测数据序列；
确定所述监测数据序列的中位数和标准差；
从所述目标筛查时间段内的地表水监测数据中获取目标地表水监测数据，其中，所述目标地表水监测数据为所述目标筛查时间段内的任一地表水监测数据；
判断所述目标地表水监测数据和所述中位数之间的差的绝对值、与所述标准差之间的比值是否大于第二阈值，其中，所述第二阈值为由目标筛查时间段内的地表水监测数据的个数和第二预设显著度确定的格拉布斯临界值；
在所述比值大于第二阈值时，确定所述目标地表水监测数据是粗误差数据；
在所述比值小于或等于第二阈值时，确定所述目标地表水监测数据不是粗误差数据；
与所述第三预设时段相对应的筛查算法包括：
确定所述目标筛查时间段内的地表水监测数据的平均值和标准差；
从所述目标筛查时间段内的地表水监测数据中获取目标地表水监测数据，其中，所述目标地表水监测数据为所述目标筛查时间段内的任一地表水监测数据；
判断所述目标地表水监测数据和所述平均值之间的差的绝对值是否大于第三阈值，其中，所述第三阈值为所述标准差的预定倍数；
在所述绝对值大于第三阈值时，确定所述目标地表水监测数据是粗误差数据；
在所述绝对值小于或等于第三阈值时，确定所述目标地表水监测数据不是粗误差数据。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
第二判断模块，用于通过常规筛查算法判断所述地表水监测数据是否是粗误差数据；
所述第一判断模块用于在通过常规筛查算法确定所述地表水监测数据不是粗误差数据时，再执行所述根据与所述目标筛查时间段所属的预设时段相对应的筛查算法判断所述地表水监测数据是否是粗误差数据的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610899743.6A CN106570073B (zh) | 2016-10-14 | 2016-10-14 | 地表水水质数据粗误差筛查方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610899743.6A CN106570073B (zh) | 2016-10-14 | 2016-10-14 | 地表水水质数据粗误差筛查方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106570073A CN106570073A (zh) | 2017-04-19 |
| CN106570073B true CN106570073B (zh) | 2019-11-15 |
Family
ID=58531993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610899743.6A Expired - Fee Related CN106570073B (zh) | 2016-10-14 | 2016-10-14 | 地表水水质数据粗误差筛查方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106570073B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109186813B (zh) * | 2018-10-23 | 2020-07-24 | 株洲中车时代电气股份有限公司 | 一种温度传感器自检装置及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104135521A (zh) * | 2014-07-29 | 2014-11-05 | 广东省环境监测中心 | 环境自动监测网络的数据异常值标识方法及系统 |
| CN104408143A (zh) * | 2014-12-01 | 2015-03-11 | 北京国双科技有限公司 | 网页数据的监测方法和装置 |
| CN104462794A (zh) * | 2014-11-26 | 2015-03-25 | 北京金水永利科技有限公司 | 一种基于对比统计分析发现环境监测异常数据的算法 |
| CN104931669A (zh) * | 2015-06-02 | 2015-09-23 | 苏州高新区、虎丘区环境监测站 | 一种地表水水质自动监测集成系统 |
-
2016
- 2016-10-14 CN CN201610899743.6A patent/CN106570073B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104135521A (zh) * | 2014-07-29 | 2014-11-05 | 广东省环境监测中心 | 环境自动监测网络的数据异常值标识方法及系统 |
| CN104462794A (zh) * | 2014-11-26 | 2015-03-25 | 北京金水永利科技有限公司 | 一种基于对比统计分析发现环境监测异常数据的算法 |
| CN104408143A (zh) * | 2014-12-01 | 2015-03-11 | 北京国双科技有限公司 | 网页数据的监测方法和装置 |
| CN104931669A (zh) * | 2015-06-02 | 2015-09-23 | 苏州高新区、虎丘区环境监测站 | 一种地表水水质自动监测集成系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106570073A (zh) | 2017-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110880984B (zh) | 基于模型的流量异常监测方法、装置、设备及存储介质 | |
| CN112068065B (zh) | 一种电压互感器状态预警方法、装置及存储介质 | |
| WO2020215721A1 (zh) | 一种激光雷达的寿命预测方法 | |
| CN107478455B (zh) | 一种适用于威布尔分布型产品的定时截尾可靠性试验方法 | |
| CN106645934B (zh) | 基于动态网格离群点的用电行为反窃电诊断方法和装置 | |
| JP5238455B2 (ja) | 電気設備の絶縁異常診断方法および絶縁異常診断装置 | |
| JP2003526859A5 (zh) | ||
| WO2008024399B1 (en) | Water quality monitoring device and method | |
| JP6164311B1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| CN107426013A (zh) | 设备信息监测方法、装置及系统 | |
| CN108921305B (zh) | 一种部件生命期监测方法 | |
| CN112650608A (zh) | 异常根因定位方法以及相关装置、设备 | |
| CN117115937B (zh) | 设备运行状态监测方法、装置、云端设备及存储介质 | |
| CN113815464A (zh) | 充电桩的推荐方法、装置、车辆以及存储介质 | |
| CN117367533A (zh) | 一种物联网智能水表故障诊断方法、装置及设备 | |
| CN106570073B (zh) | 地表水水质数据粗误差筛查方法及装置 | |
| CN108333443A (zh) | 电力设备间歇性缺陷的报警方法 | |
| CN117171366A (zh) | 用于电网调度运行态势的知识图谱构建方法及系统 | |
| CN112150851B (zh) | 地磁检测器的测试方法和装置 | |
| JP2011215806A (ja) | 煙検出装置 | |
| CN114691668A (zh) | 适用于多维计量资产管理的稽查数据自动处理方法 | |
| CN101923605B (zh) | 铁路防灾风预警方法 | |
| CN114938339A (zh) | 一种数据处理方法和相关装置 | |
| JP2014063617A (ja) | 蓄電池の残存価値格付け装置およびプログラム | |
| CN112787883A (zh) | 一种设备nat故障检测方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhou Lei Inventor after: Chen Yuanhang Inventor after: Yu Yang Inventor after: Jingchang peak Inventor after: Du Mingyi Inventor before: Zhou Lei |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170920 Address after: 100044 Xicheng District Exhibition Hall Road, Beijing, No. 1 Applicant after: Beijing University of Civil Engineering and Architecture Address before: 100012 Beijing, Chaoyang District Anwai Dayangfang Hospital No. 8 (b) Applicant before: Zhou Lei |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191115 |