CN112085241B - 一种基于机器学习的环境大数据分析和决策平台 - Google Patents

一种基于机器学习的环境大数据分析和决策平台 Download PDF

Info

Publication number
CN112085241B
CN112085241B CN201910507433.9A CN201910507433A CN112085241B CN 112085241 B CN112085241 B CN 112085241B CN 201910507433 A CN201910507433 A CN 201910507433A CN 112085241 B CN112085241 B CN 112085241B
Authority
CN
China
Prior art keywords
data
environmental
analysis
pollutant
enterprise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910507433.9A
Other languages
English (en)
Other versions
CN112085241A (zh
Inventor
戴庆武
陆进
赵书娴
唐春雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU HUIHUAN ENVIRONMENTAL PROTECTION TECHNOLOGY CO LTD
Original Assignee
JIANGSU HUIHUAN ENVIRONMENTAL PROTECTION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU HUIHUAN ENVIRONMENTAL PROTECTION TECHNOLOGY CO LTD filed Critical JIANGSU HUIHUAN ENVIRONMENTAL PROTECTION TECHNOLOGY CO LTD
Priority to CN201910507433.9A priority Critical patent/CN112085241B/zh
Publication of CN112085241A publication Critical patent/CN112085241A/zh
Application granted granted Critical
Publication of CN112085241B publication Critical patent/CN112085241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0637Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152Water filtration

Abstract

本发明公开了一种基于机器学习的环境大数据分析和决策平台,给出了水环境污染物大数据分析综合评价指数、环境生态损益大数据分析算法和环保舆情监测预测大数据分析模型;平台支持基础数据、业务数据、政务数据、监测数据、视频数据、遥感数据等环境数据的异地化接入;通过数据采集过滤、数据挖掘、多维分析,分布式计算框架、全文检索服务引擎、物联网+云计算等方式,采用MPPDB+Hadoop技术实现对海量的结构化、半结构化及非结构化数据存储、分析、呈现,实现数据全生命周期管理。可以实现生态环境大数据的采集、整合、分析、呈现,协助环保部门全面掌握辖区内水环境污染物综合情况,环境生态损益情况及环保舆情信息,辅助决策者决策。

Description

一种基于机器学习的环境大数据分析和决策平台
技术领域
本发明涉及一种基于机器学习的环境大数据分析和决策平台。
背景技术
随着科学技术的快速发展,大数据在很多领域应用的越来越广泛,数据挖掘和云计算技术的应用,数据的有效管理和利用给人们的工作和生活带来巨大的影响。现在环保越来越成为热门话题,如何使用大数据技术来更好的保护环境是我们一直研究的课题。虽然现在环境类数据比较多,但是这些数据都是相对零散的,相互独立的,像一个个孤岛一样没有互联互通,对环境决策的帮助不是很大。传统的环境管理类信息平台对采集到的各种数据只是简单的呈现,没有深入挖掘和大数据分析,并且各系统间数据分散,数据资源共享差、质量差,缺少独立的平台能深入地把所有数据整合分析呈现等。
目前与环境大数据综合应用平台类似的系统,主要有环境信息发布系统、环境监控监测系统、环境管理业务系统、视频监控系统、指挥中心系统等等。现有系统之间相互独立,没有相关的接口进行数据交互和共享,应用烟囱和数据孤岛林立,业务协同和信息资源开发利用水平低,采集到的数据无法进行有效的信息共享、综合决策分析等。
现有市场上环境大数据分析和决策平台软件应用较少,有些平台沦为“僵尸平台”或“摆设平台”,对采集到的各种数据只是简单的呈现,缺乏有效的基于机器学习的算法模型等技术深入挖掘、分析、可视化展示等。
发明内容
本发明要解决的技术问题是针对现有市场上环境大数据分析和决策平台软件应用较少,有些平台沦为“僵尸平台”或“摆设平台”,对采集到的各种数据只是简单的呈现,没有深入挖掘、分析等。各系统间数据分散,数据资源共享差、质量差,缺少独立的平台能深入的把所有数据整合呈现等。本发明要解决的是利用物联网、数据建模、机器学习、大数据分析、云计算等技术实现从元数据、主数据、数据标准、数据质量再到数据处理、数据资产、数据交换模块和数据安全,打通数据治理全流程,实现数据全生命周期管理,为决策者提供一站式解决方案,全面辅助决策。
为了解决上述技术问题,本发明提供了如下的技术方案:
一种基于机器学习的环境大数据分析和决策平台,包含数据统计模块、数据交换模块、元数据管理及支持中心和访问控制平台;所述元数据管理及支持中心通过对数据统计模块的抓取采集和数据管理生成建模数据;建模分析的数据用于为决策者提供辅助决策:
1)、水环境污染物大数据分析综合评价指数
式中:H:一条河的污染物综合评价指数;Ci:第i个污染因子实际浓度;Coi:第i个污染因子评价标准浓度;Wi:第i项污染因子指标的权重;n:共有n个污染因子;m:为一条河上的评价断面数量;污染物加权平均指数;fj:第j个断面对应的流量系数;
式中:H:一个湖库的污染物综合评价指数;Ci:第i个污染因子实际浓度;Coi:第i个污染因子评价标准浓度;Wi:第i项污染因子指标的权重;n:共有n个污染因子;m:为一个湖库上的评价断面数量;fs:第s个断面对应的流量系数;
W=SH·SH
式中:
W:水环境污染物综合评价指数;SH:河流污染物水环境评价指数;SH:湖库污染物水环境评价指数;ρt:为第t条河的评价指数权重;ρc:为第c个湖库的评价指数权重;K:为区域内待评价河的数量;X为区域内待评价湖库的数量;
2)、环保舆情监测预测大数据分析模型
使用人工神经网络方法、Force-direct力引导算法、根因分析方法、决策树方法及二次指数平滑预测算法,建立环保舆情监测预测大数据分析模型
其中,二次指数平滑预测算法的公式为:
式中:
--第t周期的二次指数平滑值;
--第t周期的一次指数平滑值;
--第t-1周期的二次指数平滑值;
α--加权系数(也称为平滑系数)。
数据统计模块包括水环境数据统计、气环境数据统计、土壤环境数据统计、扬尘噪声数据统计、污染源数据统计、自然生态数据统计、固废危废数据统计、道路机动车数据统计和环境舆情数据统计;还包括污染源监测数据、总量与IC卡排污收费数据、空气质量数据、生态环境监察执法数据、各站房管理数据、预警预测数据、超标报警数据、用户权限管理数据等;涉及的系统有:生态环境大数据中心云平台、污染源在线监控系统、总量与IC卡排污收费系统、环境设备运维系统、大气网格化管理系统、河长制综合信息管理系统、固废危废管理平台、环境质量在线监测系统、安全生产管理系统、360全景地理信息系统、视频监控管理系统、生态环境监察执法系统、机动车在线监控系统、生态环境舆情管理系统、环境应急与指挥调度系统、生态环境大数据分析系统、生态环境预警预测平台、污染物生态环境评估系统、生态环境大数据科学决策平台、领导驾驶舱及大屏一张图展示平台等。
所述水环境数据统计分析,包括以下步骤:
采集废水、地表水(包含雨水、河流、湖泊、引用水源等)、地下水基础数据及监测数据,数据源包含工业源、农业源、生活源、集中式等,对采集的数据清洗、加工、处理。
通过大数据分析,机器模型算法,计算污染物排放量及排放趋势,结合区域内水污染物环境容量计算公式,并根据特定区域的环保特点自动生成适合本区域的水污染电子减排参考预案,有效控制区域内污染物排放指标,节能减排。
利用基于GIS及大数据分析的污染物水扩散模型,结合水流方向、流速、岸线距离、河流断面宽度、水浊度等水文地理因素、污染物特性,自动推算污染物扩散到某地的时间以及扩散影响范围。
利用基于机器学习的污染物水溯源算法,自动推算某个超标污染物是由哪个企业排放的,精确定位,重点治理。
其中所述污染物包含但不限于:化学需氧量、氨氮、总磷、总氮、铜、铬、镍、汞、大肠菌群和细菌总数等。
所述气环境数据统计分析,包括以下步骤:
采集废气、大气基础数据及监测数据,对采集的数据清洗、加工、处理。所述废气包含:烟气、VOCs等;所述大气数据主要指大气监测数据及空气质量数据。
通过大数据分析,机器模型算法,计算污染物排放量及排放趋势,结合区域内气污染物环境容量计算公式,并根据特定区域的环保特点自动生成适合本区域的气污染电子减排参考预案,有效控制区域内污染物排放指标,节能减排。
利用基于机器学习的污染物气溯源算法,自动推算某个超标污染物是由哪个企业排放的,精确定位,重点治理。
其中所述污染物包含但不限于:废气、二氧化硫、一氧化碳、氮氧化物、臭氧、烟粉尘、PM2.5、PM10、苯、甲苯、二甲苯、苯系物等。
所述基于GIS及大数据分析的智能模拟预测扩散分析模型,主要是结合风向、风速、温度、气压等气象因素、污染物特性,自动推算污染物扩散到某地的时间以及扩散影响范围,如出现危险气体泄露等应急事故时,可以提前做好人员疏散的准备。
该模型利用了机器算法与GIS地图完美结合呈现,把影响因素输入该模型中,通过计算,根据时间维度、空间维度、污染等级维度,利用不同的颜色在GIS地图上描点绘制扩散模型,同时结合扩散区域与给定距离中心圆重合的方式以及中心圆内敏感信息展示的方式,为领导科学决策做数据支撑。
1.污染源数据统计分析,包括以下步骤:
采集污染源基础数据、监测数据及业务数据,对采集的数据清洗、加工、处理。所述污染源基础数据包含:一企一档、一站一档、一源一档、移动污染源信息、人员信息等等;污染源监测数据包含:企业废水监测数据、企业废气监测数据、企业油烟监测数据、企业扬尘噪声监测数据、企业设备监测数据、企业产废数据、企业能耗数据等。其中所属企业能耗数据包含:企业用水量、企业用电量、企业用煤量、企业用气量、企业原材料消耗量等。
企业产耗多参数拟合物料平衡模型
式中:
∑生产单位产品产生的废物量=生产单位产品产生的产废量(危废、固废)+生产单位产品排放的废水量+生产单位产品排放的废气量+生产单位产品产生的其他废物量;
∑生产单位产品能耗量=生产单位产品消耗的用水量+生产单位产品消耗的用电量+生产单位产品消耗的用气量+生产单位产品消耗的其他量;
说明:
单位产品产耗平衡比需在给定的范围内,通过企业产耗多参数拟合物料平衡算法,系统自动推算企业是否存在偷排漏排行为,趋势分析提前预警,出现异常自动报警,有效提高执法人员决策分析的能力,从源头上遏制违法排污行为。
所述污染物生态环境评估系统,包括以下步骤:
区域内引入某企业,采集该企业的产废信息,通过污染物环境生态损益大数据分析算法,计算该污染物的环境生态损益值,从环保的角度给相关部门提供是否引入该企业做数据参考。
污染物环境生态损益大数据分析算法计算公式:
式中:
S为生态环境损益值;p:产品的价格;Cvi:单位产品的可变成本;Ci:生产i件产品的成本;Cgr:环境治理r个污染物需要的成本;q:产量Q的每一单位,通常为1;ΔQ:产量的增加量;Ch:环境污染引起的健康成本;β:健康成本加权系数;ΔCδ:环境质量消耗的其他成本;n:产品数量;m:污染物数量。
所述生态环境大数据科学决策平台、领导驾驶舱及大屏一张图展示平台,
包括以下步骤:
利用基于SCADA及RTU技术的可视化报文接收转发平台,把原始数据采集、清洗、加工、存储。
数据整合、采集、提取元数据及业务数据,利用机器学习的各种模型算法进行多维度计算分析,分析结果以饼图、环形图、柱状图、雷达图、散点图、玫瑰图、趋势图、面积图、数据表等各种图表的方式在一张图上可视化展示,同时结合百度地图、天地图等电子地图上展示污染物扩散模型、污染物溯源轨迹模型、污染物热力分布图等。
现有技术方案未能充分实现数据资源的共享、集成、挖掘和分析,管理者查询数据需要分散到各子系统中查看(效率低)。本方案充分将各业务系统数据在技术上实现互联互通,集中呈现,提高数据查看分析效率。本系统同时支持环境污染源、环境质量等基础数据、环境业务数据、环境政务数据、环境监测数据、环境视频数据、环境遥感数据等环境数据的接入,可以基于本系统对各类数据进行全生命周期管理。现有技术方案未能为环境决策者提供有效的决策支持,目前决策分析需要加入人工操作(成本高)。本方案自动采集数据,并基于机器学习的环境大数据“EAM”综合解决方案实现数据的深入挖掘、分析、预测、呈现,提高决策效率,节省人力成本。
本发明给出了基于机器学习的环境大数据“EAM”综合解决方案:
1)、水环境污染物大数据分析综合评价指数
2)、环境生态损益大数据分析算法
3)、环保舆情监测预测大数据分析模型
基于机器学习的环境大数据“EAM”综合解决方案,实现生态环境大数据的采集、整合、分析、呈现,协助环保部门全面掌握辖区内水环境污染物综合情况,环境生态损益情况及环保舆情信息,辅助决策者决策。
本发明公开了一种基于机器学习的环境大数据分析和决策平台,打破现有环保多部门之间的数据孤岛问题,利用物联网、大数据分析、机器学习等技术建立多个模拟算法、扩散模型、溯源模型、趋势分析模型等,另外给出了基于GIS及大数据分析的智能模拟预测扩散分析模型、基于机器学习的污染物溯源算法、水环境污染物大数据分析综合评价算法、污染物环境生态损益大数据分析算法、企业产耗多参数拟合物料平衡模型和环保舆情监测预测大数据分析模型等;平台支持基础数据、业务数据、政务数据、监测数据、视频数据、遥感数据等环境数据的异地化接入;通过数据采集过滤、数据挖掘、多维分析,分布式计算框架、全文检索服务引擎、物联网+云计算等方式,采用MPPDB+Hadoop技术实现对海量的结构化、半结构化及非结构化数据存储、分析、呈现,实现数据全生命周期管理,同时结合GIS地理信息技术、数据可视化技术把计算分析结果以多种图形及数据表的形式直观展现在一张图上,为决策者提供一站式解决方案,为环保部门提供辅助决策。
本发明所达到的有益效果是:
1)、系统支持环境基础数据、环境业务数据、环境政务数据、环境监测数据、环境视频数据、环境遥感数据等环境数据的异地化接入。
2)、数据采集过滤、数据挖掘、多维分析等,通过分布式计算框架、全文检索服务引擎、物联网+云计算等方式,采用MPPDB+Hadoop技术实现对海量的结构化、半结构化及非结构化数据存储、分析、呈现,实现数据全生命周期管理。
3)、环境大数据挖掘,基于机器学习的环境大数据“EAM”综合解决方案的运用,为环境决策提供可靠支撑。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明的基于机器学习的环境大数据分析和决策平台的流程图;
图2是本发明实施例建立的环保舆情监测预测大数据分析模型。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1
如图1-2所示
一种基于机器学习的环境大数据分析和决策平台,包含数据统计模块、数据交换模块、元数据管理、信息处理、数据支撑中心、应用中心、访问控制平台等。
(1)数据统计模块
包含污染源数据、环境质量相关数据和其他系统数据,分为三类:
a.污染源数据:由工业源、农业源、辐射源、机动车尾气、危险废物等数据组成,其中包含基础数据(如:一企一档,一厂一档,机动车信息、人员信息等等)和业务数据。
b.环境质量:由空气质量、废水、废气、土壤、扬尘、噪声、地表水等系统数据组成,其中包含基础数据(如设备信息)、设备监测数据、遥感监测数据、业务操作数据等。
设备监测数据主要包含:
空气质量:空气监测站、PM2.5分析仪、PM10分析仪、臭氧分析仪、气象五参数分析仪、工控机等上传的监测数据。
废水:由各类水质在线分析仪、pH计、流量计、自动采样仪等上传的监测数据。
废气:由CEMS烟气连续监测分析仪、污染源挥发性有机物VOCs在线监测系统、工控机等上传的监测数据。
扬尘噪声:由噪声分析仪、扬尘监控仪等上传的监测数据。
地表水:由各类水质在线分析仪上传的监测数据。
c.其他:由12369投诉网站、环保政府网站等外部数据和文档数据组成。
(2)数据交换模块
包含操作数据存储ODS、数据仓库DW、数据集市。平台采用MPPDB+Hadoop技术实现对海量的结构化、半结构化及非结构化数据存储、分析。
(3)元数据管理
包含数据统计模块元数据管理、ETL/OLAP元数据管理、数据仓库元数据管理、服务元数据管理。根据统一的数据标准规范,对海量数据抽取、转换、清洗、加载,元数据整合加工处理,注重数据质量,通过技术手段保障数据的安全性。
(4)信息处理及支持中心
包含数据采集过滤、数据挖掘、水质模型、大气模型、多维分析、大气模型、分析预测、多元数据融合、数据地图、数据交互展现和全链分析等,生成建模数据,通过数据整合与集成、推荐算法、可视化应用、云计算、中间件、存储云、监控维护、分布式搜索引擎、分布式计算框架、全文检索服务引擎、接口API、推荐算法、物联网+云计算等方式,实现关系图建模,并且实现数据全生命周期管理及可视化展示,辅助分析师、决策者分析决策。
a.源数据抓取采集阶段
实现对污染源、环境质量、其他系统设备上传的监测数据及业务操作数据抓取采集,用于对环境大数据分析挖掘的基础,污染因子设备在线监测数据、污染源基础设施数据、环保投诉及处理数据、固体废物、大气、水、扬尘噪声等监测数据,作为环境大数据分析和决策平台的初始输入。
b.数据管理阶段
数据清洗筛选:使用ETL/OLAP方法对海量数据清洗筛选。
数据加工处理:根据操作指令对数据进行加工处理,数据在加工处理的过程中要满足统一的标准,保证数据质量和数据的安全性。
数据管理包括数据质量管理、数据标准规范、主数据管理、元数据管理、数据资产管理和数据安全保障;
c.数据建模阶段
生成建模数据:根据需求利用数据挖掘及云计算等技术,生成建模数据。
关系图建模:
基于机器学习的环境大数据“EAM”综合解决方案:
1.水环境污染物大数据分析综合评价指数
2.环境生态损益大数据分析算法
3.环保舆情监测预测大数据分析模型
基于机器学习的环境大数据“EAM”综合解决方案,实现生态环境大数据的采集、整合、分析、呈现,协助环保部门全面掌握辖区内水环境污染物综合情况,环境生态损益情况及环保舆情信息,辅助决策者决策。
1、水环境污染物大数据分析综合评价指数
式中:
H:一条河的污染物综合评价指数;Ci:第i个污染因子实际浓度;Coi:第i个污染因子评价标准浓度;Wi:第i项污染因子指标的权重;n:共有n个污染因子;m:为一条河上的评价断面数量;污染物加权平均指数;fj:第j个断面对应的流量系数。
式中:
H:一个湖库的污染物综合评价指数;Ci:第i个污染因子实际浓度;Coi:第i个污染因子评价标准浓度;Wi:第i项污染因子指标的权重;n:共有n个污染因子;m:为一个湖库上的评价断面数量;fs:第s个断面对应的流量系数。
W=SH·SH
式中:
W:水环境污染物综合评价指数;SH:河流污染物水环境评价指数;SH:湖库污染物水环境评价指数;ρt:为第t条河的评价指数权重;ρc:为第c个湖库的评价指数权重;K:为区域内待评价河的数量;X为区域内待评价湖库的数量。
2、环境生态损益大数据分析算法
式中:
S为生态环境损益值;p:产品的价格;Cvi:单位产品的可变成本;Ci:生产i件产品的成本;Cgr:环境治理r个污染物需要的成本;q:产量Q的每一单位,通常为1;ΔQ:产量的增加量;Ch:环境污染引起的健康成本;β:健康成本加权系数;ΔCδ:环境质量消耗的其他成本;n:产品数量;m:污染无数量。
3、环保舆情监测预测大数据分析模型
环保舆情监测预测大数据分析模型使用了人工神经网络方法、Force-direct力引导算法、根因分析方法、决策树方法及二次指数平滑预测算法,解析舆情热点问题引发的脉络,追寻问题的根因,帮助环保部门早发现早预防早解决,模型图如图2所示。
二次指数平滑预测算法:
式中:
--第t周期的二次指数平滑值;
--第t周期的一次指数平滑值;
--第t-1周期的二次指数平滑值;
α--加权系数(也称为平滑系数)。
d.数据可视化展现阶段
利用丰富的二维及三维图形展示。具有数据门户、资源共享、决策支持、GIS专题图和智能检索功能;访问控制可采用WEB、手机客户端、平板端、大屏或智能专业设备进行。
本发明提供的基于机器学习的环境大数据“EAM”综合解决方案,实现生态环境大数据的采集、整合、分析、呈现,协助环保部门全面掌握辖区内水环境污染物综合情况,环境生态损益情况及环保舆情信息,辅助决策者决策。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于机器学习的环境大数据分析和决策平台,其特征在于,包含数据统计模块、数据交换模块、元数据管理、信息处理及数据支持中心和访问控制平台;所述的元数据管理包含数据源元数据管理、ETL/OLAP元数据管理、数据仓库元数据管理和服务元数据管理;所述信息处理及数据支持中心通过对数据统计模块的抓取采集和数据管理生成建模数据;建模分析的数据用于为决策者提供辅助决策:
1)、水环境污染物大数据分析综合评价指数
式中:H:一条河的污染物综合评价指数;Ci:第i个污染因子实际浓度;Coi:第i个污染因子评价标准浓度;Wi:第i项污染因子指标的权重;n:共有n个污染因子;m:为一条河上的评价断面数量;污染物加权平均指数;fj:第j个断面对应的流量系数;
式中:H:一个湖库的污染物综合评价指数;Ci:第i个污染因子实际浓度;Coi:第i个污染因子评价标准浓度;Wi:第i项污染因子指标的权重;n:共有n个污染因子;m:为一个湖库上的评价断面数量;fs:第s个断面对应的流量系数;
W=SH河·SH湖
式中:
W:水环境污染物综合评价指数;SH:河流污染物水环境评价指数;SH:湖库污染物水环境评价指数;ρt:为第t条河的评价指数权重;ρc:为第c个湖库的评价指数权重;K:为区域内待评价河的数量;X为区域内待评价湖库的数量;
2)、环保舆情监测预测大数据分析模型
使用人工神经网络方法、Force-direct力引导算法、根因分析方法、决策树方法及二次指数平滑预测算法,建立环保舆情监测预测大数据分析模型;
其中,二次指数平滑预测算法的公式为:
式中:
--第t周期的二次指数平滑值;
--第t周期的一次指数平滑值;
--第t-1周期的二次指数平滑值;
α--加权系数,即平滑系数;
建模分析的数据分别与生态环境大数据中心云平台、污染源在线监控系统、总量与IC卡排污收费系统、环境设备运维系统、大气网格化管理系统、河长制综合信息管理系统、固废危废管理平台、环境质量在线监测系统、安全生产管理系统、360全景地理信息系统、视频监控管理系统、生态环境监察执法系统、机动车在线监控系统、生态环境舆情管理系统、环境应急与指挥调度系统、生态环境大数据分析系统、生态环境预警预测平台、污染物生态环境评估系统、生态环境大数据科学决策平台和领导驾驶舱及大屏一张图展示平台进行数据通信;
数据统计模块统计水环境数据的方法,包括以下步骤:
1)、采集废水、地表水、地下水基础数据及监测数据,污染源数据包括工业源、农业源、辐射源、机动车尾气和危险废物数据;
环境质量相关数据包括空气质量、废水、废气、土壤、扬尘、噪声和地表水环境数据,系统数据包含设备信息、设备监测数据、遥感监测数据、业务操作数据;
其他系统数据为由12369投诉网站和环保政府网站外部数据和文档数据组成;
2)、通过大数据分析,机器模型算法,计算污染物排放量及排放趋势,结合区域内水污染物环境容量计算公式,并根据特定区域的环保特点自动生成适合本区域的水污染电子减排参考预案,有效控制区域内污染物排放指标,节能减排;
3)、利用基于GIS及大数据分析的污染物水扩散模型,结合水文地理因素、污染物特性,自动推算污染物扩散到某地的时间以及扩散影响范围;
4)、利用基于机器学习的污染物水溯源算法,自动推算某个超标污染物是由哪个企业排放,精确定位,重点治理;
其中所述污染物包含但不限于化学需氧量、氨氮、总磷、总氮、铜、铬、镍、汞、大肠菌群和细菌总数;
基于GIS及大数据分析的污染物水扩散模型是结合气象因素和污染物特性,自动推算污染物扩散到某地的时间以及扩散影响范围,利用不同的颜色在GIS地图上描点绘制扩散模型,同时结合扩散区域与给定距离中心圆重合的方式以及中心圆内敏感信息展示的方式,为领导科学决策做数据支撑,出现急事故时,提前做好人员疏散的准备;
数据交换模块包含操作数据存储ODS、数据仓库DW和数据集市;采用MPPDB+Hadoop技术实现对海量的结构化、半结构化及非结构化数据存储、分析;
污染物生态环境评估系统,包括以下步骤:
区域内引入某企业,采集该企业的产废信息,通过污染物环境生态损益大数据分析算法,计算该污染物的环境生态损益值;
污染物环境生态损益大数据分析算法计算公式:
式中:
S为生态环境损益值;p:产品的价格;Cvi:单位产品的可变成本;Ci:生产i件产品的成本;Cgr:环境治理r个污染物需要的成本;q:产量Q的每一单位;△Q:产量的增加量;Ch:环境污染引起的健康成本;β:健康成本加权系数;△Cδ:环境质量消耗的其他成本;n:产品数量;m:污染物数量。
2.如权利要求1所述的基于机器学习的环境大数据分析和决策平台,其特征在于,所述的数据统计模块统计的数据包括水环境数据、气环境数据、土壤环境数据、扬尘噪声数据、污染源数据、自然生态数据、固废危废数据、道路机动车数据和环境舆情数据、污染源监测数据、总量与IC卡排污收费数据、空气质量数据、生态环境监察执法数据、各站房管理数据、预警预测数据、超标报警数据和用户权限管理数据。
3.如权利要求1所述的基于机器学习的环境大数据分析和决策平台,其特征在于,数据统计模块统计气环境数据的方法,包括以下步骤:
1)、采集废气、大气基础数据及监测数据,对采集的数据清洗、加工、处理;所述废气包含烟气和VOCs;所述大气基础数据指大气监测数据及空气质量数据;
2)、通过大数据分析,机器模型算法,计算污染物排放量及排放趋势,结合区域内气污染物环境容量计算公式,并根据特定区域的环保特点自动生成适合本区域的气污染电子减排参考预案;
3)、利用基于机器学习的污染物气溯源算法,自动推算某个超标污染物是由哪个企业排放的,精确定位,重点治理;
其中所述污染物包含但不限于:废气、二氧化硫、一氧化碳、氮氧化物、臭氧、烟粉尘、PM2.5、PM10、苯、甲苯、二甲苯和苯系物。
4.如权利要求1所述的基于机器学习的环境大数据分析和决策平台,其特征在于,污染源数据统计分析的方法,包括以下步骤:
采集污染源基础数据、监测数据及业务数据,对采集的数据清洗、加工、处理;
所述污染源基础数据包含:一企一档、一站一档、一源一档、移动污染源信息和人员信息;
污染源监测数据包含:企业废水监测数据、企业废气监测数据、企业油烟监测数据、企业扬尘噪声监测数据、企业设备监测数据、企业产废数据和企业能耗数据;
其中所述企业能耗数据包含:企业用水量、企业用电量、企业用煤量、企业用气量和企业原材料消耗量;
企业产耗多参数拟合物料平衡模型:
式中:
∑生产单位产品产生的废物量=生产单位产品产生的产废量+生产单位产品排放的废水量+生产单位产品排放的废气量+生产单位产品产生的其他废物量,所述生产单位产品产生的产废量包括危废和固废;
∑生产单位产品能耗量=生产单位产品消耗的用水量+生产单位产品消耗的用电量+生产单位产品消耗的用气量+生产单位产品消耗的其他量;
单位产品产耗平衡比需在给定的范围内,通过企业产耗多参数拟合物料平衡算法,系统自动推算企业是否存在偷排漏排行为,趋势分析提前预警,出现异常自动报警。
5.如权利要求1所述的基于机器学习的环境大数据分析和决策平台,其特征在于,所述生态环境大数据科学决策平台、领导驾驶舱及大屏一张图展示平台,包括利用基于SCADA及RTU技术的可视化报文接收转发平台,把原始数据采集、清洗、加工、存储;数据整合、采集、提取元数据及业务数据,利用机器学习的各种模型算法进行多维度计算分析,分析结果以各种图表的方式在一张图上可视化展示,同时结合百度地图、天地图展示污染物扩散模型、污染物溯源轨迹模型和污染物热力分布图。
6.如权利要求1所述的基于机器学习的环境大数据分析和决策平台,其特征在于,所述的信息处理及数据支持中心使用ETL/OLAP方法对海量数据清洗筛选。
CN201910507433.9A 2019-06-12 2019-06-12 一种基于机器学习的环境大数据分析和决策平台 Active CN112085241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910507433.9A CN112085241B (zh) 2019-06-12 2019-06-12 一种基于机器学习的环境大数据分析和决策平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910507433.9A CN112085241B (zh) 2019-06-12 2019-06-12 一种基于机器学习的环境大数据分析和决策平台

Publications (2)

Publication Number Publication Date
CN112085241A CN112085241A (zh) 2020-12-15
CN112085241B true CN112085241B (zh) 2024-03-22

Family

ID=73733577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910507433.9A Active CN112085241B (zh) 2019-06-12 2019-06-12 一种基于机器学习的环境大数据分析和决策平台

Country Status (1)

Country Link
CN (1) CN112085241B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127464B (zh) * 2021-03-24 2022-11-18 防城港市动物疫病预防控制中心 农业大数据环境特征处理方法、装置及电子设备
CN113068144B (zh) * 2021-03-30 2023-07-18 上海浦喆信息技术有限公司 一种环境监控物联网系统
CN113065051B (zh) * 2021-04-02 2022-04-15 西南石油大学 一种可视化农业大数据分析交互系统
CN112765254B (zh) * 2021-04-08 2021-07-20 北京三维天地科技股份有限公司 实现数据可视化及数据整合etl的解决方法及系统
CN112990111B (zh) * 2021-04-20 2021-08-31 北京英视睿达科技有限公司 臭氧生成高值区的识别方法、装置、存储介质及设备
CN112986503B (zh) * 2021-04-20 2021-08-27 深圳市儒翰基因科技有限公司 一种量化的病原体微生物安全风险指标的监测系统及方法
CN113361914B (zh) * 2021-06-04 2021-12-28 南京大学 一种危险废物运输风险管控预警的方法与系统
CN114625725A (zh) * 2021-07-23 2022-06-14 重庆亿森动力环境科技有限公司 一种空气监测数据的可视化方法、系统、设备及介质
CN113609779B (zh) * 2021-08-16 2024-04-09 深圳力维智联技术有限公司 分布式机器学习的建模方法、装置及设备
CN113900420A (zh) * 2021-10-22 2022-01-07 中国恩菲工程技术有限公司 冶金企业水生态数字化管控系统及方法
CN113901043B (zh) * 2021-12-13 2022-03-29 西安中电环通数字科技有限公司 污染源智能监管和数据融合分析方法和系统
CN114266404B (zh) * 2021-12-24 2023-07-14 江苏省环境科学研究院 一种化工园区场地污染预警系统
CN114386422B (zh) * 2022-01-14 2023-09-15 淮安市创新创业科技服务中心 基于企业污染舆情抽取的智能辅助决策方法及装置
CN114693493B (zh) * 2022-03-31 2023-04-18 无锡生量环境工程有限公司 一种基于IoT的污染河流水生态修复系统
CN114860816A (zh) * 2022-07-11 2022-08-05 广东盈峰科技有限公司 一种水质污染智能预警体系集成方法、装置及相关设备
CN115495499B (zh) * 2022-09-22 2023-05-30 生态环境部南京环境科学研究所 一种基于污染场地同介质多批次海量数据的整合统计方法
CN116564431B (zh) * 2023-06-02 2024-01-09 江苏捷利达环保科技有限公司 一种基于大数据处理的污染源在线分析系统及方法
CN116579659A (zh) * 2023-06-06 2023-08-11 中国标准化研究院 一种基于元数据实体信息集的生态修复监测方法
CN117034041B (zh) * 2023-10-08 2024-01-26 山东智云信息科技有限公司 一种基于大数据的企业污染等级评估系统及处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040083979A (ko) * 2003-03-26 2004-10-06 농업기반공사 지아이에스를 이용한 담수호관리 시스템 및 방법
KR20060092420A (ko) * 2005-02-17 2006-08-23 인하대학교 산학협력단 연안해역의 수질 관리 시스템
JP2008210362A (ja) * 2007-02-27 2008-09-11 Inha-Industry Partnership Inst Gisを利用した水質汚染負荷算定用の意思決定支援システム及びその運営方法
CN107145611A (zh) * 2017-06-15 2017-09-08 阿克苏地区环境保护局 重点工业污染源实时监控动态管理信息平台
CN107609742A (zh) * 2017-08-14 2018-01-19 环境保护部华南环境科学研究所 一种水环境预警综合管理平台
CN109242291A (zh) * 2018-08-28 2019-01-18 天津大学 河湖流域水环境智慧管理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040083979A (ko) * 2003-03-26 2004-10-06 농업기반공사 지아이에스를 이용한 담수호관리 시스템 및 방법
KR20060092420A (ko) * 2005-02-17 2006-08-23 인하대학교 산학협력단 연안해역의 수질 관리 시스템
JP2008210362A (ja) * 2007-02-27 2008-09-11 Inha-Industry Partnership Inst Gisを利用した水質汚染負荷算定用の意思決定支援システム及びその運営方法
CN107145611A (zh) * 2017-06-15 2017-09-08 阿克苏地区环境保护局 重点工业污染源实时监控动态管理信息平台
CN107609742A (zh) * 2017-08-14 2018-01-19 环境保护部华南环境科学研究所 一种水环境预警综合管理平台
CN109242291A (zh) * 2018-08-28 2019-01-18 天津大学 河湖流域水环境智慧管理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
区域地下水环境风险评价技术方法;滕彦国 等;《环境科学研究》;20141215;第12卷(第27期);1532-1539 *
大数据技术在环境监测中的应用;解辉;《环境监控与预警》;20160815;第8卷(第4期);62-66 *
大数据时代的"环境智理";郭少青;《电子政务》;20171020(第10期);54-61 *
环保群体性事件中政府网络舆情治理能力研究;刘涛;《中国优秀硕士学位论文全文数据库——社会科学Ⅰ辑》;20161215(第12期);G113-32 *

Also Published As

Publication number Publication date
CN112085241A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN112085241B (zh) 一种基于机器学习的环境大数据分析和决策平台
CN110085281B (zh) 一种基于特征污染因子源解析的环境污染溯源系统及方法
CN107945081B (zh) 城市运行展现与监测预警系统
CN111882235B (zh) 一种网格化的企业管理服务监测方法
CN111784140A (zh) 一种基于物联网技术的智慧水务管控调度平台
CN104424527A (zh) 一种城市污水处理运行绩效评估云计算系统
CN114066211B (zh) 一种流域水环境管理大数据平台
CN116503226A (zh) 基于物联网的化工园区环境监测管理系统
CN105388826A (zh) 一种混合型稀土矿区水环境质量监控预警系统的建立方法
CN112446549A (zh) 基于大数据的城市垃圾智慧监管平台
CN113901350A (zh) 污染源挂图调度系统及终端
CN116467366A (zh) 一种基于区块链的碳足迹监测分析与评估系统
Lei et al. Emergency monitoring and disposal decision support system for sudden pollution accidents based on multimedia information system
Wan et al. Construction of ecological environment information system based on big data: a case study on Dongting Lake ecological area
Jacimovski et al. Analysis of the emission of SO2, NOx, and suspended particles from the thermal power plants Kostolac (Serbia)
Ayoub et al. A planning support system for biomass-based power generation
Shi et al. A research on the Design and Construction of Smart Environmental Protection Information Platform in Nanjing
CN111027893A (zh) 一种河湖水环境健康智能评估预警系统及方法
Liu Urban groundwater quality monitoring and state-owned assets management optimization based on spatial information processing
Duan et al. Exploration and practice of intelligent engineering in Dadu River hydropower construction
Du Application of traceability system for dumping garbage of north canal embankment based on ai artificial intelligence recognition
Zhao et al. Smart environmental protection: The new pathway for the application of the internet of things in environmental management
Zhu et al. Research on multi-perception data analysis model for power grid emergency services
Wang et al. Research on Key Technologies of big data analysis in smart irrigation area
Wang et al. “BDS+ IOT” and Industry Reform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant