CN114580945A - 一种水环境数据的分析方法、装置、设备以及存储介质 - Google Patents

一种水环境数据的分析方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN114580945A
CN114580945A CN202210246156.2A CN202210246156A CN114580945A CN 114580945 A CN114580945 A CN 114580945A CN 202210246156 A CN202210246156 A CN 202210246156A CN 114580945 A CN114580945 A CN 114580945A
Authority
CN
China
Prior art keywords
section
water quality
data
water
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210246156.2A
Other languages
English (en)
Inventor
陆楠
胡昊
石壮
范丽娜
贾红霞
马力
许雪洁
辛传好
邹悦
钟恩锋
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute Of Technology Software Engineering Co ltd
Information Center Of Ministry Of Ecological Environment
Original Assignee
Harbin Institute Of Technology Software Engineering Co ltd
Information Center Of Ministry Of Ecological Environment
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute Of Technology Software Engineering Co ltd, Information Center Of Ministry Of Ecological Environment filed Critical Harbin Institute Of Technology Software Engineering Co ltd
Priority to CN202210246156.2A priority Critical patent/CN114580945A/zh
Publication of CN114580945A publication Critical patent/CN114580945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06Electricity, gas or water supply
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152Water filtration

Abstract

本发明公开了一种水环境数据的分析方法、装置、设备以及存储介质。具体实现方案为对目标断面进行水环境数据解析,得到所述目标断面的水质分析结果;根据所述目标断面的水质分析结果,生成未达标断面的水质预警信息;根据所述水质预警信息和所述未达标断面的位置信息,确定所述未达标断面的水环境污染成因。该方案能够更为精准的确定水环境的污染成因。

Description

一种水环境数据的分析方法、装置、设备以及存储介质
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种水环境数据的分析方法、装置、设备以及存储介质。
背景技术
水环境是指自然界中水的形成、分布和转化所处空间的环境。水环境是构成环境的基本要素之一,是人类社会赖以生存和发展的重要场所,但随着人口增长及经济的快速发展,也是受人类干扰和破坏最严重的领域。为了更好的保护水环境,需要对环境污染成因进行分析。但是由于影响水环境的因素具有多样性和不确定性,所以,如何准确分析水环境的污染成因是当前亟需解决的问题。
发明内容
本发明提供了一种水环境数据的分析方法、装置、设备以及存储介质,能够更为精准的确定水环境的污染成因。
第一方面,本发明实施例提供了一种水环境数据的分析方法,包括:
对目标断面进行水环境数据解析,得到所述目标断面的水质分析结果;
根据所述目标断面的水质分析结果,生成未达标断面的水质预警信息;
根据所述水质预警信息和所述未达标断面的位置信息,确定所述未达标断面的水环境污染成因。
第二方面,本发明实施例还提供了一种水环境数据的分析装置,该装置包括:
水质分析模块,用于对目标断面进行水环境数据解析,得到所述目标断面的水质分析结果;
水质预警模块,用于根据所述目标断面的水质分析结果,生成未达标断面的水质预警信息;
污染成因确定模块,用于根据所述水质预警信息和所述未达标断面的位置信息,确定所述未达标断面的水环境污染成因。
第三方面,本发明实施例还提供了一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任一实施例所述的水环境数据的分析方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如本发明任一实施例所述的水环境数据的分析方法。
本发明通过对目标断面进行水环境数据解析,得到目标断面的水质分析结果,根据水质分析结果来生成未达标断面的水质预警信息,进而根据未达标断面的水质预警信息和位置信息,确定未达标断面的水环境污染成因。本方案给出了一种通过对水环境进行水质分析和水质预警来定位水环境污染成因的优选方式,该方式能够更为精准的确定水环境的污染成因。
附图说明
图1是本发明实施例一提供的一种水环境数据的分析方法的流程图;
图2是本发明实施例二提供的一种水环境数据的分析方法的流程图;
图3A是本发明实施例三提供的一种水环境数据的分析方法的流程图;
图3B是本发明实施例三提供的水环境数据处理系统的架构图;
图4是本发明实施例四提供的一种水环境数据的分析装置的结构示意图;
图5是本发明实施例五提供的一种电子设备的结构示意。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种水环境数据的分析方法的流程图,本实施例可适用于对水环境污染成因进行分析的情况,该方法可以由水环境数据的分析装置来执行,该装置可以采用软件和/或硬件的方式实现。具体包括如下步骤:
S101,对目标断面进行水环境数据解析,得到目标断面的水质分析结果。
其中,本实施例的断面是河流断面,即垂直地面剖切的河流的切断面。本实施例的目标断面优选为预设区域内的所有河流断面或重点流域或区域的河流断面,具体为国考断面水质类别为Ⅰ类、Ⅱ类、Ⅲ类、Ⅳ类、Ⅴ类、劣Ⅴ类的断面。其中,预设区域可以是某一行政区域,如某一国家。
水环境数据可以是针对目标断面位置采集的水环境相关数据,具体的,本实施例的水环境数据是多源异构数据,集成结构化、半结构化和非结构化等涉水数据。包括实时采集的水环境数据和历史采集的水环境数据。示例性的,本实施例的水环境数据可以包括:手工监测数据、不同区域的控制单元采集的数据、流域断面基础清单数据、水质占比数据、流域水质指数数据、流域干流基础数据清单、流域1-5级水系数据、行政辖区水质占比数据、行政辖区水质指数数据、行政辖区基础信息数据、重点湖库名称数据、重点湖库水质指数数据、湖内断面以及入湖断面总磷或总氮浓度数据、重点湖库水文气象数据、入海河流清单数据、入海河流水质占比断面数据、重点区域基础清单数据、重点区域水质占比数据以及重点区域水质指数数据等。另外,本实施例的水环境数据还可以包括:水资源总量数据、人均用水量数据、降雨量数据、供水量数据、耗水量数据和废水量数据等水资源数据,以及生态系统面积数据,湿地、森林、草地面积数据等水生态数据。
其中,本实施例的水质分析结果的内容也可以有很多,例如,可以包括但不限于:水质类别、水质占比、水质同比变化情况、污染指标浓度、污染指标变化趋势以及主要污染指标等。
可选的,本实施例对预设区域(如某一国家范围)内的目标断面的水环境数据进行综合分析可以包括两部分,首先,可以对目标断面的水环境数据进行总体情况分析,动态分析各类水质占比的逐年变化情况,并对优良水体及劣Ⅴ类水体的变化情况进行趋势分析,包括目标断面中,Ⅰ-Ⅲ类水质占比、劣Ⅴ类水质占比、预设区域内的水质指数逐月变化及年均值逐年变化情况。以当前月及累计月维度对预设区域的水质目标达标情况、水质指数、各类别水质占比及同比变化等情况进行分析。利用总氮、总磷、氨氮、高锰酸盐等污染指标浓度绘制预设区域内的四项指标插值分析,动态分析历年四项指标趋势变化情况等。其次,对预设区域内的重点流域或区域内的目标断面进行终点分析,分析了重点流域、重点区域、重点湖库、入海河流等区域维度的水质情况,其中重点流域尺度以流域总体情况为出发点,分析流域整体水质情况。
S102,根据目标断面的水质分析结果,生成未达标断面的水质预警信息。
可选的,本实施可以基于预警值算法,从断面水质和预警值等角度对断面进行分析预警,具体可通过如下三个子步骤来实现:
S1021,根据目标断面的水质分析结果中,主要污染指标在目标断面的实际浓度值、主要污染指标的目标浓度值和月份信息,确定目标断面的预警值。
其中,主要污染指标可以是影响目标断面水质量的最终的一个或多个指标,也可以是目标断面处的水源中,严重超标的污染指标,例如,当目标断面处水源中,氰化物或铅、铬等重金属超标时,优先将这些重金属指标作为主要污染指标。实际浓度值可以是目标断面处的水源中实际含有的主要污染指标的浓度值;目标浓度值可以是指水质达标标准中规定的,水源中最高可允许含有的主要污染指标的浓度值。月份信息包括:当前月份和年度总月份(即12)。
具体的,本子步骤可以通过如下公式计算目标断面的预警值:
Figure BDA0003545180570000051
其中,断面平均定类因子浓度即为从1月到当前月份下主要污染指标在目标断面的实际浓度值的平均浓度值;断面水质目标对应定类因子浓度即为本实施例中主要污染指标的目标浓度值。
S1022,根据目标断面的预警值,从目标断面中确定未达标断面。
通常情况下,通过S1021步骤计算的目标断面的预警值范围为0-10。本实施例中可以将预警值超过预设数值,如超过1的目标断面作为无达标可能的断面,即未达标断面。优选的,本实施例可以在确定出目标断面中所有无达标可能的断面(即全部未达标断面)之后,再进一步对未达标断面进行划分。例如,进一步确定出未达标且同比恶化断面(即未达标且同比恶化断面筛选行政区划/流域,同时支持筛选同比恶化N个及以上水质类别的断面)、持续不达标断面(即在预设时段内连续不达标的断面)和上年未达标断面等。
S1023,根据未达标断面的水环境数据、水质分析结果和预警值,生成未达标断面的水质预警信息。
可选的,本实施例可以将未达标断面的水环境数据、水质分析结果和预警值进行汇总或筛选汇总后,得到未达标断面的水质预警信息。
具体的,可以针对不同种类的未达标断面确定不同的水质预警信息,例如,针对未达标且同比恶化断面,其水质预警信息可以包括:序号、断面名称、断面属性、地区、所属流域、所在水体、同比水质、水质目标、累计月水质类别(指从1月到当前月进行累计计算得出的水质类别,如一类到劣五类)、累计月水质月历(指利用日历形式进行展示累计月的水质类别)、累计月主要污染物(即定类因子)、同比恶化水质类别个数以及后续的成因分析结果。
针对持续不达标断面,其水质预警信息可以包括:序号、断面名称、断面属性、地区、所属流域、所在水体、当前年水质目标、累计月水质类别、累计月水质月历、累计主要污染物、预警值以及后续的成因分析结果。
针对上年未达标断面,其水质预警信息可以包括:序号、断面名称、断面属性、省份、地市、所属流域、所在水体、去年水质、水质目标、累计月水质类别、累计月水质月历、累计主要污染物、预警值以及后续的成因分析结果。
另外,对于水质达标的目标断面,其水质预警信息可以包括:序号、断面名称、断面属性、地区、所属流域、所在水体、某年水质目标、累计月水质类别、累计月水质月历、累计主要污染物、预警值以及后续的成因分析结果。
S103,根据水质预警信息和未达标断面的位置信息,确定未达标断面的水环境污染成因。
其中,本实施例确定的未达标断面的水环境污染成因是指导致水环境污染的主要原因。
可选的,本实施可以优选构建污染成因溯源关系模型,并基于构建的污染成因溯源关系模型,结合未达标断面的水质预警信息和位置信息,确定未达标断面的水环境污染成因。例如,将未达标断面的水质预警信息和位置信息输入到构建的污染成因溯源关系模型中,该模型即可对输入的信息进行解析,输出未达标断面的水环境污染成因。
可选的,本实施例需要从如下几个维度来构建污染成因溯源关系模型:
(1)建立目标断面与水文站的关联关系,利用断面与水文站所在河流信息建立断面与水文站的归属关系,利用断面与水文站经纬度,从近到远分为第一、第二、第三关联水文站。(2)利用目标断面与气象站经纬度信息,选取距离目标断面最近的气象站作为关联气象站。(3)利用目标断面经纬度与汇水分区面域范围的点面的位置关系,建立目标断面与汇水分区关联。(4)利用污染源经纬度与汇水分区面域范围的点面的位置关系,对于落入汇水分区的污染企业、污水处理厂、排污出口建立同汇水分区的关联关系。(5)利用污染源(如污染企业和污水处理厂)、排污口,与汇水分区唯一关联关系,目标断面与汇水分区的唯一关联关系,建立污染源和排污口,与目标断面的关联关系。
基于通过上述关系建立的污染成因溯源关系模型,确定未达标断面的水环境污染成因的具体过程可以包括如下三个子步骤:
S1031,根据未达标断面的位置信息,确定未达标断面的水环境污染关联的水文数据、气象数据、排污口和污染源。其中,污染源可以是任意造成环境污染的污染物发生源,例如,可以包括但不限于:污染企业和污水处理厂等。
具体的,通过上述关联关系(1)可以基于未达标断面的位置信息,确定未达标断面的水环境污染关联的目标水文站,并将目标水文站采集的未达标断面的相关数据作为未达标断面的水环境污染关联的水文数据。通过上述关联关系(2)可以基于未达标断面的位置信息,确定未达标断面的水环境污染关联的目标气象站,并将目标气象站采集的未达标断面的相关数据作为未达标断面的水环境污染关联的气象数据。通过上述关联关系(3)可以基于未达标断面的位置信息,确定未达标断面的水环境污染关联的目标汇水区,进一步通过上述关联关系(4),获取目标汇水区关联的排污口和污染源作为未达标断面的水环境污染关联的、排污口和污染源。还可以直接通过上述关联关系(5)确定未达标断面的水环境污染关联的、排污口和污染源。
S1032,根据水质未达标预警信息,确定未达标断面的水环境污染关联的主要污染指标。具体的,可以从未达标断面的水质未达标预警信息中获取未达标断面的水环境污染关联的主要污染指标。
S1033,根据主要污染指标和水文数据、气象数据、排污口和污染源,确定未达标断面的水环境污染成因。具体的,根据导致断面水体恶化的主要污染指标,结合气象、水文、排污口和污染源排放情况,综合判定水质变化成因。
本发明通过对目标断面进行水环境数据解析,得到目标断面的水质分析结果,根据水质分析结果来生成未达标断面的水质预警信息,进而根据未达标断面的水质预警信息和位置信息,确定未达标断面的水环境污染成因。本方案给出了一种通过对水环境进行水质分析和水质预警来定位水环境污染成因的优选方式,该方式能够更为精准的确定水环境的污染成因。
可选的,本发明在上述实施例的基础上,还包括:可视化展示目标断面的水质分析结果、未达标断面的水质预警信息和未达标断面的水环境污染成因中的至少一项。具体的,可以利用可视化技术进行结果展示,同时支持分析结果以表格、条形图、柱状图、折线图或饼状图等形式展示目标断面的水质分析结果、未达标断面的水质预警信息和未达标断面的水环境污染成因中的至少一项。
实施例二
图2是本发明实施例二提供的一种水环境数据的分析方法的流程图,本公开实施例在上述实施例的基础上,进一步对如何对目标断面进行水环境数据解析,得到目标断面的水质分析结果进行详细解释说明,如图2所示,具体包括如下步骤:
S201,对目标断面的水环境数据进行解析,得到候选污染指标在目标断面的实际浓度值。
其中,候选污染指标可以是所有可能影响水环境质量的监测指标。
可选的,目标断面的水环境数据中可以包含候选污染指标的浓度参数,所以本步骤可以直接对目标断面的水环境数据进行解析,从水环境数据中提取候选污染指标的浓度值,作为候选污染指标在目标断面的实际浓度值
S202,根据候选污染指标在目标断面的实际浓度值,确定目标断面的水质类别。
具体的,水质类别可以是预先按照预定的标准设置的,包括Ⅰ-Ⅲ类,以及劣Ⅴ类。针对每一类,其都关联有候选污染物对应范围。本实施例可以基于各种水质类别关联的候选污染物对应范围,根据各候选污染指标在目标断面的实际浓度值,来确定目标断面的水质类别。
S203,根据目标断面的水质类别,确定目标断面的水质分析结果。
其中,水质分析结果包括水质类别占比、水质类别同比变化趋势和主要污染指标中的至少一项。
具体的,在分析水质类别占比时,可以是先统计各水质类别对应的目标断面的个数,然后将每一水质类别对应的目标断面的个数除以目标断面总个数,即可得到该水质类别对应的水质类别占比。
在分析水质类别同比变化趋势时,可以采用下述公式:
Figure BDA0003545180570000101
其中,断面指Ⅰ-Ⅲ类、劣Ⅴ类断面,Ⅰ-Ⅲ类水质同比变化上升说明水质变好;劣Ⅴ类水质同比变化下降说明水质变好。
需要说明的是,在断面地表水的下面有矿,导致某一指标物过多的情况下,为了保证分析结果的准确性,需要将该类断面从目标断面中剔除,即不对该类目标断面进行水质分析结果以及后续操作。
通常情况下,对于水质类别超过Ⅲ类标准的目标断面,需要分析主要污染指标。具体的,可以先按照不同污染指标对应水质类别的优劣,选择水质类别最差的几项(如三项)指标作为主要污染指标。当不同指标对应的水质类别相同时,可以通过计算超标倍数来确定主要污染指标,具体实现方式包括:根据目标断面的水质类别,从目标断面中确定污染超标断面;根据候选污染指标在污染超标断面的超标倍数,确定目标断面的主要污染指标。
具体的,可以将水质类别超过Ⅲ类标准的目标断面作为污染超标断面,然后按照如下公式,计算候选污染指标在污染超标断面的超标倍数,并将超标倍数排名考靠前的几项(如三项)指标作为主要污染指标。
Figure BDA0003545180570000111
优选的,本实施例可以对预设区域的所有目标断面,进行水质类别占比和水质类别同比变化趋势分析,对预设区域中的重点流域或区域的目标断面进行主要污染指标分析。
S204,根据目标断面的水质分析结果,生成未达标断面的水质预警信息。
S205,根据水质预警信息和所述未达标断面的位置信息,确定未达标断面的水环境污染成因。
本发明通过对目标断面进行水环境数据解析,确定候选污染指标在目标断面的实际浓度值,进而基于该实际浓度值确定目标断面的水质类别,根据目标断面的水质类别确定目标断面的水质分析结果。根据水质分析结果来生成未达标断面的水质预警信息,进而根据未达标断面的水质预警信息和位置信息,确定未达标断面的水环境污染成因。本方案为解析目标断面的水质分析结果提供了一种优选方式,提高了水质分析结果的全面性和准确性,为候选解析水质预警信息和水环境污染成因提供了保障。
实施例三
图3A是本发明实施例三提供的一种水环境数据的分析方法的流程图,图3B是本发明实施例三提供的水环境数据处理系统的架构图。本公开实施例在上述实施例的基础上,进一步对如何对目标断面进行水环境数据解析,得到目标断面的水质分析结果进行详细解释说明,如图3A-3B所示,具体包括如下步骤:
S301,采集目标断面的水环境数据。
可选的,如图3B所示,本实施例可以通过水环境数据集成模块来进行数据接入和数据抽取操作,从而实现采集目标断面的水环境数据。
优选的,本实施例可以针对不同数据格式,采用不同的数据接入方式,通过全可视化配置、拖拽方式降低用户的使用难度,节约人力成本。
例如,接入方式(1)数据库数据接入:对于业务系统产生的结构化数据,通过数据库同步方式接入。根据源系统的数据存储、更新方式不同,接入到系统的方式也不同。通过灵活界面配置的方式达到数据按需同步的目的,配置数据同步时,配置人员不需要底层的技术实现方式,只需要梳理清楚数据源、数据同步的目标、数据的更新方式。数据支持分表、分区数据定期增量、全量导入。接入方式(2)FTP(文件传输协议)数据接入:FTP接入可以连接到远程机器,将某个目录下的文件全部或者选择性传输到指定存储路径,FTP接入不限定文件格式,可以接入txt、word、PDF、csv、图片、视频等结构化或者非结构化、半结构化数据。从源系统中同步结构化数据时,可以将以FTP服务器作为中转服务,源系统定期或不定期将业务数据推送至指定的FTP目录,同时可以按日期创建动态目录以支持增量数据同步。接入方式(3)本地数据接入:系统支持将本地数据上传到已有的表中,文件类型支持CSV、TXT等格式。
在进行数据抽取时,可以采用接口的方式对源数据进行抽取,同时系统具备对结构化数据库、半结构化文件以及非结构化的数据抽取能力。其中,抽取范围分为全量、增量、差异三种模式,根据不同的场景可以灵活选择。
例如,抽取方式(1)接口抽取:针对已测试通过的接口将注册到系统中,系统自动定期调用接口将数据抽取到系统中,并可对注册的接口提供定期抽取管理和调用管理。抽取方式(2)结构化数据库抽取:结构化数据,一般为数据中间库,分传统关系型数据库和非关系型数据库(NoSql),分别使用各数据库相应的采集组件抽取,经过后续组件的简单处理后入系统。常见的关系型数据库如MySql、Oracle、PostgreSql、SqlServer等,以及常见的NoSql数据库如MongoDB、Cassandra、Redis等均支持。抽取方式(3)半结构化文件抽取:针对半结构化数据,系统支持Excel、Xml、Json等格式的文件进行抽取数据,分别使用相应的解析组件适当配置后抽取并转换为标准的数据结构后入系统。抽取方式(4)非结构化数据抽取:针对非结构化数据,主要是互联网上的数据,通过网络爬虫进行互联网数据的采集、获取,并按照一定的规则提取关键信息,将其抽取到系统。
S302,对目标断面的水环境数据进行预处理,得到处理后的水环境数据。
可选的,如图3B所示,本实施例可以通过水环境数据处理模块来进行数据清洗、数据加工转换和数据处理规则定义操作,从而实现对目标断面的水环境数据的预处理操作。
由于集成后的水环境数据质量参差不齐,格式多种多样,避免不了有的数据是错误数据,有的数据相互之间有冲突,需要根据预先定义的数据处理规则中的清洗规则,对水环境数据进行数据清洗、加工和转换预处理,以保证数据的正常使用。
可选的,对水环境数据进行数据清洗是对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性,从而保证数据的质量。需要清洗的数据主要有残缺数据、错误的数据、重复的数据三大类。其中,残缺数据主要是一些应该有的信息缺失,如流域编码缺失、重点河流的区域信息缺失等。错误数据是因业务系统不够健全,在接收输入后没有进行判断直接写入后台数据库造成的,比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。重复数据是因各个业务系统数据不连通,而出现的同一个数据多次填写,造成重复。
具体的,数据清洗有数据过滤、数据去重、数据补缺、数据替换和格式规范化等方式。其中,数据过滤是按一定的规则过滤非法数据。数据去重是去除重复数据以保证数据唯一性需求。数据补缺是对空数据、缺失数据进行数据补缺操作,无法处理的做标记。数据替换是对无效数据进行数据的替换。格式规范化是将源数据格式转换成为便于进入目标库处理的目标数据格式。
在采用上述方式对数据进行清洗之后,可以根据预先定义的数据处理规则中的加工转换规则,对清洗后的数据进行字段的添加、删除、名称修改、类型转换、格式转换、值修改等在内的一系列加工转换操作。具体的包括:(1)根据加工转换规则,筛选满足规则定义的数据,为后续处理做准备。(2)根据加工转换规则,调度执行数据加工转换任务。按照加工转换规则将不符合规则的数据进行加工转换,加工转换的原则是不能改变数据本身所表示的意义。(3)根据加工转换规则,调度执行数据加载任务。将处理后加载的数据与源数据进行比对,将相应的信息插入或更新至目标表中。
需要说明的是,本实施例进行数据加工转换过程中所涉及的相关规则,可以通过水环境数据处理模块的数据处理规则定义功能来预先设置,例如,针对不同业务的数据特点,定义不同的数据处理规则,通过可视化界面查看、新增、修改、删除以及应用基础数据的处理规则。规则内容包括:规则名称、规则描述、应用状态(如规则是否过期)等基本信息,处理目标数据表的标识信息,目标数据的筛选条件,目标数据的转化规则等。
S303,对处理后的水环境数据进行解析,得到目标断面的水质分析结果。
具体的,本实施例可以采用上述实施例介绍的方式来对处理后的水环境数据进行解析,得到目标断面的水质分析结果。上述实施方式采用对预设区域(如某一国家范围)内的目标断面的水环境数据进行综合分析,消除业务数据孤岛,构建预设区域内的水质总体情况、重点流域/区域等维度,通过总览及对比可以直观发现、分析数据中所隐藏的问题,及时应对水环境中的风险。根据分析场景,设置了区域对比、趋势分析、城市排名等综合分析角度,从行政区域、流域角度出发,充分发挥生态环境大数据在污染防治中的优势,打造洞察微观数据变化、释放数据潜能的综合分析。
S304,根据目标断面的水质分析结果,生成未达标断面的水质预警信息。
具体的,本实施例可以采用上述实施例介绍的方式来对根据目标断面的水质分析结果,生成未达标断面的水质预警信息。上述实施方式基于预警值算法,从断面水质和预警值等角度对断面进行分析预警,整合了断面水质达标预警、达标无望断面、未达标且同比恶化断面、持续不达标断面及上年未达标断面,为决策者提供了多角度的不达标断面分析。
S305,根据水质预警信息和未达标断面的位置信息,确定未达标断面的水环境污染成因。
具体的,本实施例可以采用上述实施例介绍的方式根据水质预警信息和未达标断面的位置信息,确定未达标断面的水环境污染成因。上述实施方式对水环境污染源监测的现状及水环境质量变化特征,基于污染源自动监控、地表水水质自动监测、水文监测等监测信息,可利用污染物溯源关系模型,实现对各类水质问题进行智能溯源分析,辅助确定污染源所属区域、排污出口,进而确定具体所属行业甚至具体企业,对水环境隐患污染源进行管理。根据目标断面水质恶化情况,分析与断面关联的水文、气象数据,判别断面污染物来源;结合主控断面与汇水分区的业务关联关系,分析影响主控断面所在水体的水质的污染源行业及类别,对比相应时间内的企业出厂水质监测数据及超标情况,判别导致断面水体恶化的污染源,结合气象、水文、污染源排放情况,综合判定水质变化成因分析。
如图3B所示,本实施例可以通过水环境数据分析模块来进行水质量结果分析、水质预警分析和水环境污染成因分析。
本发明基于大数据的水环境数据处理系统,是以服务决策者宏观研判预设区域内水生态环境形势为目标,结合可视化显示功能,从全区域、重点流域/区域等方面进行全景式、全局性、微观化、预测性、可视化的水生态环境形势分析研判。通过集成与处理涉水相关数据资源,加强水生态环境大数据集成分析和综合应用,并且通过建立水环境数据分析体系,对水资源相关数据进行综合分析,同时,对水质变化成因及涉水断面不达标情况进行研判预测,从而帮助决策者从宏观上及时识别水环境水形势情况,发现水环境薄弱之处,及时做到判断准确、资源分配合理和措施有效,为水生态环境精准、科学、依法治理提供有力支撑,不断推进水生态环境治理体系和治理能力现代化。
实施例四
图4是本发明实施例六提供的一种水环境数据的分析装置的结构示意图,本公开实施例适用于对水环境污染成因进行分析的情况。该装置可以采用软件和/或硬件来实现,该装置可以实现本公开任意实施例的水环境数据的分析方法。如图4所示,该装置包括:
水质分析模块401,用于对目标断面进行水环境数据解析,得到所述目标断面的水质分析结果;
水质预警模块402,用于根据所述目标断面的水质分析结果,生成未达标断面的水质预警信息;
污染成因确定模块403,用于根据所述水质预警信息和所述未达标断面的位置信息,确定所述未达标断面的水环境污染成因。
本发明通过对目标断面进行水环境数据解析,得到目标断面的水质分析结果,根据水质分析结果来生成未达标断面的水质预警信息,进而根据未达标断面的水质预警信息和位置信息,确定未达标断面的水环境污染成因。本方案给出了一种通过对水环境进行水质分析和水质预警来定位水环境污染成因的优选方式,该方式能够更为精准的确定水环境的污染成因。
进一步的,所述水质分析模块401,包括:
污染指标解析单元,用于对目标断面的水环境数据进行解析,得到候选污染指标在目标断面的实际浓度值;
水质类别确定单元,用于根据所述候选污染指标在目标断面的实际浓度值,确定所述目标断面的水质类别;
水质类别分析单元,用于根据所述目标断面的水质类别,确定所述目标断面的水质分析结果;其中,所述水质分析结果包括水质类别占比、水质类别同比变化趋势和主要污染指标中的至少一项。
进一步的,所述水质类别分析单元具体用于:
根据所述目标断面的水质类别,从所述目标断面中确定污染超标断面;
根据候选污染指标在所述污染超标断面的超标倍数,确定所述目标断面的主要污染指标。
进一步的,所述水质预警模块402具体用于:
根据所述目标断面的水质分析结果中,主要污染指标在所述目标断面的实际浓度值、所述主要污染指标的目标浓度值和月份信息,确定所述目标断面的预警值;
根据所述目标断面的预警值,从所述目标断面中确定未达标断面;
根据所述未达标断面的水环境数据、水质分析结果和预警值,生成未达标断面的水质预警信息。
进一步的,所述污染成因确定模块403具体用于:
根据未达标断面的位置信息,确定所述未达标断面的水环境污染关联的水文数据、气象数据、排污口和污染源;
根据所述水质未达标预警信息,确定所述未达标断面的水环境污染关联的主要污染指标;
根据所述主要污染指标和所述水文数据、所述气象数据、所述排污口和所述污染源,确定所述未达标断面的水环境污染成因。
进一步的,所述水质分析模块401具体用于:
对目标断面的水环境数据进行预处理,得到处理后的水环境数据;
对处理后的水环境数据进行解析,得到所述目标断面的水质分析结果。
进一步的,所述装置还包括:
信息展示模块,用于可视化展示所述目标断面的水质分析结果、未达标断面的水质预警信息和所述未达标断面的水环境污染成因中的至少一项。
上述产品可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例七提供的一种电子设备的结构示意图,图5示出了适于用来实现本发明实施例实施方式的示例性设备的框图。图5显示的设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器(高速缓存32)。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明实施例各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如系统存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明实施例所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的水环境数据的分析方法。
实施例六
本发明实施例六还提供一种计算机可读存储介质,其上存储有计算机程序(或称为计算机可执行指令),该程序被处理器执行时用于执行本发明实施例所提供的水环境数据的分析方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明实施例进行了较为详细的说明,但是本发明实施例不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种水环境数据的分析方法,其特征在于,包括:
对目标断面进行水环境数据解析,得到所述目标断面的水质分析结果;
根据所述目标断面的水质分析结果,生成未达标断面的水质预警信息;
根据所述水质预警信息和所述未达标断面的位置信息,确定所述未达标断面的水环境污染成因。
2.根据权利要求1所述的方法,其特征在于,所述对目标断面进行水环境数据解析,得到所述目标断面的水质分析结果,包括:
对目标断面的水环境数据进行解析,得到候选污染指标在目标断面的实际浓度值;
根据所述候选污染指标在目标断面的实际浓度值,确定所述目标断面的水质类别;
根据所述目标断面的水质类别,确定所述目标断面的水质分析结果;其中,所述水质分析结果包括水质类别占比、水质类别同比变化趋势和主要污染指标中的至少一项。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标断面的水质类别,确定所述目标断面的主要污染指标,包括:
根据所述目标断面的水质类别,从所述目标断面中确定污染超标断面;
根据候选污染指标在所述污染超标断面的超标倍数,确定所述目标断面的主要污染指标。
4.根据权利要求1所述的方法,其特征在于,所述根据所述目标断面的水质分析结果,生成未达标断面的水质预警信息,包括:
根据所述目标断面的水质分析结果中,主要污染指标在所述目标断面的实际浓度值、所述主要污染指标的目标浓度值和月份信息,确定所述目标断面的预警值;
根据所述目标断面的预警值,从所述目标断面中确定未达标断面;
根据所述未达标断面的水环境数据、水质分析结果和预警值,生成未达标断面的水质预警信息。
5.根据权利要求1所述的方法,其特征在于,所述根据所述水质预警信息和所述未达标断面的位置信息,确定所述未达标断面的水环境污染成因,包括:
根据未达标断面的位置信息,确定所述未达标断面的水环境污染关联的水文数据、气象数据、排污口和污染源;
根据所述水质未达标预警信息,确定所述未达标断面的主要污染指标;
根据所述主要污染指标和所述水文数据、所述气象数据、所述排污口和所述污染源,确定所述未达标断面的水环境污染成因。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述对目标断面进行水环境数据解析,得到所述目标断面的水质分析结果,包括:
对目标断面的水环境数据进行预处理,得到处理后的水环境数据;
对处理后的水环境数据进行解析,得到所述目标断面的水质分析结果。
7.根据权利要求1-5中任一项所述的方法,还包括:
可视化展示所述目标断面的水质分析结果、未达标断面的水质预警信息和所述未达标断面的水环境污染成因中的至少一项。
8.一种水环境数据的分析装置,其特征在于,包括:
水质分析模块,用于对目标断面进行水环境数据解析,得到所述目标断面的水质分析结果;
水质预警模块,用于根据所述目标断面的水质分析结果,生成未达标断面的水质预警信息;
污染成因确定模块,用于根据所述水质预警信息和所述未达标断面的位置信息,确定所述未达标断面的水环境污染成因。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的水环境数据的分析方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的水环境数据的分析方法。
CN202210246156.2A 2022-03-14 2022-03-14 一种水环境数据的分析方法、装置、设备以及存储介质 Pending CN114580945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210246156.2A CN114580945A (zh) 2022-03-14 2022-03-14 一种水环境数据的分析方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210246156.2A CN114580945A (zh) 2022-03-14 2022-03-14 一种水环境数据的分析方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN114580945A true CN114580945A (zh) 2022-06-03

Family

ID=81780596

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210246156.2A Pending CN114580945A (zh) 2022-03-14 2022-03-14 一种水环境数据的分析方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN114580945A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116739386A (zh) * 2023-08-10 2023-09-12 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 多指标融合污染溯源方法、设备和可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116739386A (zh) * 2023-08-10 2023-09-12 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 多指标融合污染溯源方法、设备和可读存储介质
CN116739386B (zh) * 2023-08-10 2024-03-08 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 多指标融合污染溯源方法、设备和可读存储介质

Similar Documents

Publication Publication Date Title
Colmer et al. Disparities in PM2. 5 air pollution in the United States
Hallema et al. Burned forests impact water supplies
Appling et al. The metabolic regimes of 356 rivers in the United States
CN113778967B (zh) 长江流域数据采集处理与资源共享系统
Ray et al. Geolocated dataset of Chinese overseas development finance
Wickham et al. Spatial patterns of the United States National Land Cover Dataset (NLCD) land-cover change thematic accuracy (2001–2011)
Steyaert et al. ResOpsUS, a dataset of historical reservoir operations in the contiguous United States
CN110990445B (zh) 一种数据处理方法、装置、设备和介质
Hassan et al. Comparison of urbanization, climate change, and drainage design impacts on urban flashfloods in an arid region: case study, New Cairo, Egypt
CN112288247A (zh) 一种基于空间交互关系的土壤重金属风险识别方法
Seebens et al.  DASCO: A workflow to downscale alien species checklists using occurrence records and to re-allocate species distributions across realms
CN114580945A (zh) 一种水环境数据的分析方法、装置、设备以及存储介质
Díaz et al. aiRe-A web-based R application for simple, accessible and repeatable analysis of urban air quality data
Walker et al. Estimating groundwater-river connectivity factor for quantifying changes in irrigation return flows in the Murray–Darling Basin
CN114611626A (zh) 一种水环境信息处理方法、装置、设备和存储介质
CN109614543A (zh) 利用大数据推广农险业务的方法、装置和计算机设备
Lomax Internal migration: Census data as a gold standard for insight and visualisation
Weller et al. Inexpensive spot sampling provides unexpectedly effective indicators of watershed nitrogen status
US10042902B2 (en) Business rules influenced quasi-cubes with higher diligence of data optimization
CN111161121B (zh) 确定河流水质对流域土地利用组成响应突变的方法及系统
CN111737217A (zh) 旅游数据管理系统和方法
Bruggeman et al. Meteorological Tower Network Expansion Pilot Project Siting Considerations to Ensure Data Quality and Representativeness of Three New Meteorological Towers at Los Alamos National Laboratory
Carleton et al. A relational database for the monitoring and analysis of watershed hydrologic functions: II. Data manipulation and retrieval programs
Zarei et al. Visualization of Local Municipal Satisfaction by Twitter Data Analysis
Fry et al. Hydrological data management systems within a national river flow archive

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination