CN111310803A - 环境数据处理方法和装置 - Google Patents

环境数据处理方法和装置 Download PDF

Info

Publication number
CN111310803A
CN111310803A CN202010067362.8A CN202010067362A CN111310803A CN 111310803 A CN111310803 A CN 111310803A CN 202010067362 A CN202010067362 A CN 202010067362A CN 111310803 A CN111310803 A CN 111310803A
Authority
CN
China
Prior art keywords
data
enterprise
environmental
pollution
pollution discharge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010067362.8A
Other languages
English (en)
Other versions
CN111310803B (zh
Inventor
徐伟
张�浩
毛佳茗
许义军
祖启航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shencai Technology Co ltd
Original Assignee
Jiangsu Shencai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Shencai Technology Co ltd filed Critical Jiangsu Shencai Technology Co ltd
Priority to CN202010067362.8A priority Critical patent/CN111310803B/zh
Publication of CN111310803A publication Critical patent/CN111310803A/zh
Application granted granted Critical
Publication of CN111310803B publication Critical patent/CN111310803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种环境数据处理方法和装置。该方法包括:采集目标企业的环境行为数据,其中,环境行为数据至少包括企业生产活动中与环境具有关联关系的数据;对环境行为数据进行分类和特征提取,得到特征数据;将特征数据输入到预设的算法模型中进行计算,得到计算结果,其中,预设的算法模型是通过预设数量的样本数据训练得到的,每条样本数据包含特征数据和对应的排污数据;根据计算结果确定目标企业的排污数据。通过本发明,达到了提高污染情况检查效率的效果。

Description

环境数据处理方法和装置
技术领域
本发明涉及数据处理领域,具体而言,涉及一种环境数据处理方法和装置。
背景技术
为加大对企业环保措施的监管,多部门投入了大量的资金到污染在线监测网络的建设,可以对各网络点的污染源因子进行实时监控。面对众多的污染企业,监管部门无法在短时间内进行全方位的排查,无法及时发现企业数据造假行为。目前仅仅从在线监测数据去分析污染源企业环境行为,一方面数据质量不能保证,数据来源过于单一,另一方面传统分析方法无法及时发现企业异常行为。因此需要根据企业基本属性、在线监测数据、社会属性和运营行为等多方面进行综合分析评价。
建立健全一套完整的企业环境行为指标评价体系,及时发现不同风险等级的企业,对加强企业环境行为监管具有重要意义。
相关技术中,确定企业是否存在排污不符合规定的情况,都是要人工去检查,无法通过自动化监控方法主动获得企业排污不符合规定的情况,因而检查效率低。
针对相关技术中企业污染情况检查效率低的问题,目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种环境数据处理方法和装置,以解决企业污染情况检查效率低的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种环境数据处理方法,该方法包括:采集目标企业的环境行为数据,其中,所述环境行为数据至少包括企业生产活动中与环境具有关联关系的数据;对所述环境行为数据进行分类和特征提取,得到特征数据;将所述特征数据输入到预设的算法模型中进行计算,得到计算结果,其中,所述预设的算法模型是通过预设数量的样本数据训练得到的,每条样本数据包含特征数据和对应的排污数据;根据所述计算结果确定所述目标企业的排污数据。
进一步地,所述目标企业的排污数据包括所述环境行为数据采集时间对应的排污数据。
进一步地,所述环境行为数据还包括政务系统中记录的企业环境行为数据。
进一步地,根据所述计算结果确定所述目标企业的排污数据之后,所述方法还包括:获取预设的等级划分规则;根据所述预设的等级划分规则对所述排污数据进行污染等级划分,得到所述目标企业的污染等级。
进一步地,在根据所述预设的等级划分规则对所述排污数据进行污染等级划分,得到所述目标企业的污染等级之后,所述方法还包括:在所述污染等级超过预设阈值时,发出报警信息,其中,所述报警信息用于指示所述目标企业的污染等级超标。
为了实现上述目的,根据本发明的另一方面,还提供了一种环境数据处理装置,该装置包括:采集单元,用于采集目标企业的环境行为数据,其中,所述环境行为数据至少包括企业生产活动中与环境具有关联关系的数据;提取单元,用于对所述环境行为数据进行分类和特征提取,得到特征数据;输入单元,用于将所述特征数据输入到预设的算法模型中进行计算,得到计算结果,其中,所述预设的算法模型是通过预设数量的样本数据训练得到的,每条样本数据包含特征数据和对应的排污数据;确定单元,用于根据所述计算结果确定所述目标企业的排污数据。
进一步地,所述目标企业的排污数据包括所述环境行为数据采集时间对应的排污数据。
进一步地,所述环境行为数据还包括政务系统中记录的企业环境行为数据。
为了实现上述目的,根据本发明的另一方面,还提供了一种存储介质,包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行本发明所述的环境数据处理方法。
为了实现上述目的,根据本发明的另一方面,还提供了一种设备,至少包括一个处理器,以及与所述处理器连接的至少一个存储器、总线,其中,所述处理器、所述存储器通过所述总线完成相互间的通信,所述处理器用于调用所述存储器中的程序指令,以执行本发明所述的环境数据处理方法。
本发明通过采集目标企业的环境行为数据,其中,环境行为数据至少包括企业生产活动中与环境具有关联关系的数据;对环境行为数据进行分类和特征提取,得到特征数据;将特征数据输入到预设的算法模型中进行计算,得到计算结果,其中,预设的算法模型是通过预设数量的样本数据训练得到的,每条样本数据包含特征数据和对应的排污数据;根据计算结果确定目标企业的排污数据,解决了企业污染情况检查效率低的问题,进而达到了提高污染情况检查效率的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的环境数据处理方法的流程图;
图2是根据本发明实施例的企业环境行为评价的示意图;以及
图3是根据本发明实施例的环境数据处理装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供了一种环境数据处理方法。
图1是根据本发明实施例的环境数据处理方法的流程图,如图1所示,该方法包括以下步骤:
步骤S102:采集目标企业的环境行为数据,其中,环境行为数据至少包括企业生产活动中与环境具有关联关系的数据;
步骤S104:对环境行为数据进行分类和特征提取,得到特征数据;
步骤S106:将特征数据输入到预设的算法模型中进行计算,得到计算结果,其中,预设的算法模型是通过预设数量的样本数据训练得到的,每条样本数据包含特征数据和对应的排污数据;
步骤S108:根据计算结果确定目标企业的排污数据。
该实施例通过采集目标企业的环境行为数据,其中,环境行为数据至少包括企业生产活动中与环境具有关联关系的数据;对环境行为数据进行分类和特征提取,得到特征数据;将特征数据输入到预设的算法模型中进行计算,得到计算结果,其中,预设的算法模型是通过预设数量的样本数据训练得到的,每条样本数据包含特征数据和对应的排污数据;根据计算结果确定目标企业的排污数据,解决了企业污染情况检查效率低的问题,进而达到了提高污染情况检查效率的效果。
企业的环境行为数据可以包括政务系统中记录的企业环境行为数据,例如信访数据,执法,处罚,用电,工商,税务等相关数据,如果企业存在超量排污行为,则可能会受到举报、处罚等,因此可以采集这些数据来判断企业的排污数据,还可以包括等。
可选地,所述目标企业的排污数据包括所述环境行为数据采集时间对应的排污数据。
通过这些排污数据可以判断企业在这段时间内的排污数据,由于通过设置的检测装置检测到的排污数据可能被人为影响或修改,因而可以通过环境行为数据来反向判断企业实际的排污情况,排污数据包括排污的各类参数以及基于这些参数确定的该企业排污风险等级。
可选地,所述环境行为数据还包括政务系统中记录的企业环境行为数据。政务系统中记录的企业环境行为数据包括各个政务系统中记录的该企业的环境行为数据,还包括与该企业类似的企业的环境行为数据,例如A企业的相关工商注册信息等与B企业相似,A企业被查出具有违规排放污水等违法行为,则可以认为B企业也有较大概率违规排放污水,如果类似情况达到一定程度,则可以对目标企业的污染情况进行评估预测。
可选地,根据所述计算结果确定所述目标企业的排污数据之后,获取预设的等级划分规则;根据所述预设的等级划分规则对所述排污数据进行污染等级划分,得到所述目标企业的污染等级。
可选地,在根据所述预设的等级划分规则对所述排污数据进行污染等级划分,得到所述目标企业的污染等级之后,在所述污染等级超过预设阈值时,发出报警信息,其中,所述报警信息用于指示所述目标企业的污染等级超标。
因此需要根据企业基本属性、在线监测数据、社会属性和运营行为等多方面进行综合分析评价。
本实施例中,企业的环境行为数据的来源不仅仅依靠各个政务系统(例如生态环境部门)的在线监测数据,而且使用到生态环境部门的审批监管等数据,如企业建设项目环评信息、排污许可证信息、信访投诉信息、生态环境部门对企业的执法信息、环境处罚信息、环境信用信息、监督性监测信息、污染源企业自行监测信息。同时针对正在试点的部分企业,还获取到环境治理设施和企业生产线的电能使用信息。此外,对企业的环境行为还需用到其他政务部门的数据满足多源分析的需求,从市场监管部门获取企业的工商信息、处罚信息;从发改部门获取企业的信用信息;从税务部门获取企业纳税信息;从水务部门获取企业的用水信息等。
建立健全一套完整的企业环境行为指标评价体系,及时发现不同风险等级的企业,对加强企业环境行为监管具有重要意义。本实施例结合目前大数据分析技术,采用多种机器学习算法,构建多维度指标体系,从企业自身横向动态分析,同规模企业纵向对比分析建立整体认识,形成多维度的风险综合识别方法。
企业监控数据经过质量分析后,根据行业维度进行汇总,以表格、图表、地图等多种可视化的方式,展现重点企业监控数据的质量现状以满足业务人员查询需要。展示内容包括企业综合评分及指标项等得分。为协助业务人员快速了解指标算法及发现企业运行问题,系统提供对综合评分概况说明,具体阐述该企业在哪个维度的不足或者待改进之处,通过点击分数项即可获得该分数计算方法以及计算过程。
为方便使用人员快速检索,系统提供关键字、评估时间、企业类型、所在区域、指标排序、数据质量指标分类查询等功能。根据环境监察对象智能推荐系统,通过生成的隐患企业名单,用于监察执法部门的现场检查。监察部门可以依据任务类型、名单范围、企业评价评结果、历史检查记录等,快速筛选出问题企业或者存在环境隐患的企业,科学精准地进行目的性检查,从而摆脱现阶段的随机检查以及定期巡查,节约人力成本,提升执法效率。
本实施例结合目前大数据分析技术,采用多种机器学习算法,构建多维度指标体系,从企业自身横向动态分析,同规模企业纵向对比分析建立整体认识,形成多维度的风险综合识别方法。
企业监控数据经过质量分析后,根据行业维度进行汇总,以表格、图表、地图等多种可视化的方式,展现重点企业监控数据的质量现状以满足业务人员查询需要。展示内容包括企业综合评分及指标项等得分。为协助业务人员快速了解指标算法及发现企业运行问题,系统提供对综合评分概况说明,具体阐述该企业在哪个维度的不足或者待改进之处,通过点击分数项即可获得该分数计算方法以及计算过程。
为方便使用人员快速检索,系统提供关键字、评估时间、企业类型、所在区域、指标排序、数据质量指标分类查询等功能。根据环境监察对象智能推荐系统,通过生成的隐患企业名单,用于监察执法部门的现场检查。监察部门可以依据任务类型、名单范围、企业评价评结果、历史检查记录等,快速筛选出问题企业或者存在环境隐患的企业,科学精准地进行目的性检查,从而摆脱现阶段的随机检查以及定期巡查,节约人力成本,提升执法效率。
本发明还提供了一种优选实施方式。
本实施例不仅从环保部门实时采集企业排污数据,还包括各政务系统收集的大量的污染企业关联数据,包括工商局、国土局、水务公司、供电公司、统计局、财政局、信访办税务局等多个部门。采集各维度企业环境行为实时数据,可以存储至云梦大数据集群中,提取企业多维度特征库,利用客观赋权法熵权法进行合理赋权,调用自研的算法模型库进行分布式实时计算,对企业环境行为进行动态综合评分。根据评分结果进行智能推送,协助监管人员进行环境管理。
虽然各个部门积累了大量数据,但是由于信息保密和网络环境安全问题,各政务系统自成体系,信息数据标准还不统一,数据很难对接,无法及时共享污染企业所有关联数据,为数据应用实践带来了诸多困难。本实施例综合采集了企业的各政务行为数据,经过自研的模型算法指标库计算,动态地对企业进行综合评分,发现潜在问题企业名单,预判异常环境行为,并针对分析评价的结果,提供消息通知功能,将综合评分过低,或者某个维度明显有待改进之处的企业名单以及整改建议推送至监管人员,实现环境监管服务的有力支撑。
图2是根据本发明实施例的企业环境行为评价的示意图,如图2所示,首先使用层次分析法将本技术的最终目标——企业环境行为评价按企业行为维度拆解为各目标子层,再将各目标子层按提取的各维度特征工程拆解为因素层,也就是各维度的特征变量。
利用熵权法赋予各目标子层、因素层合理的权重。熵权法是一种客观赋权方法。熵这个概念是信息论里的信息熵,在这里表示信息的离散程度,在具体操作过程中,熵权法根据各特征的变化程度,计算出各指标的熵权,再通过熵权对各特征的权重进行计算,从而计算出各特征的客观权重。在熵权法中,熵越大,越无序,信息越少,效用值越小,所以权重就小;熵越小,越有序,信息越多,效用值越大,所以权重也就越大。
熵权法的基本原理介绍如下:
根据信息论的基本原理,信息是用来度量系统有序程度的,而熵是用来度量系统无序程度的。
如果系统处于很多不同的状态。令每种状态出现的概率为pi=(i=1,2,…,m)时,则系统的熵就定义为:
Figure BDA0002376373740000071
显然,各种状态出现的概率相同时,即当)pi=1/m(i=1,2,…,m)时,熵可以取到最大值,为:
emax=ln m
假设现在有n个评价指标,m个待评项目,可以组成评价矩阵R=(rij)m×n,针对于某个特征rj,它的信息熵如下:
Figure BDA0002376373740000072
从上述信息熵的公式可以得出如下结论:
如果某个特征提供的信息量越多,则说明其特征的变化程度越大,则此特征的熵值越小,在评价模型中此特征的作用越大,那么它的权重就应该越大。
如果某个特征提供的信息量越少,则说明其特征的变化程度越小,则此特征的熵值越大,在评价模型中此特征的作用越小,那么它的权重就应该越小。
本模型中利用熵权法计算权重的具体步骤如下:
首先计算第j个特征下第i个项目的特征值的比重pij
Figure BDA0002376373740000073
其次计算第j个特征的熵值ej
Figure BDA0002376373740000074
其中,k=1/ln m
然后计算第j个特征的熵权wj
Figure BDA0002376373740000081
最后可以确定特征的综合权数βj
假设将特征重要性的权重确定为αj,j=1,2,…,n结合特征的熵权wj就可以得到特征j的综合权数:
Figure BDA0002376373740000082
各因素层分别进入模型算法库进行计算,将计算结果乘以其对应的权重,加上目标子层多对应的其他因素层的加权得分即为该目标子层的初步得分。类似地,各目标子层的得分乘以其权重再相加即为最终企业环境行为总得分。
其中,所有目标子层对应的权重总和为1,各目标子层对应的因素层权重总和也为1。
各目标子层计算分析方法:
在线监测:
基于污染源在线监控系统的上线,经过一定时间的积累,已经存在的大量的历史数据;同时将企业的发展情况与排污的相关性纳入分析中,通过时间线上数据的比较和挖掘,确认环境的变化随企业发展的情况。
超标检验,通过检查监测数据中超标数据的比例,判断是否存在长期不超标;该指标反应的是对在线监测分析仪或数采仪发送的数据进行分析,发现是否存在有长期不超标的情况。
波动检验,该指标反映的是通过分析数据是否存在异常波动,比如短暂超标,在超标后数据立即变化为正常的情况。
零值检验指标该指标反映的是通过分析正常生产中监测数据中零值出现的合理性,根据零值出现的次数按比例。
工况检验,该指标通过对设备的运维及运行数据分析,判断数采仪、分析仪等设备是否存在修正数据等风险性。
规律性检验,该指标分析在线监测的数据,反映数据是否呈有规律的变化。用傅立叶变换获得时间序列周期图,基于周期图法的Fisher g统计量检测周期图峰值,并判断序列是否存在周期成分。
箱体检验指标该指标通过分析在线监测的小时数据,判断在线监测的数据是否处于区间波动,且波动区间较小。
企业对比:
在相同产品,或者相同细分行业,或者相同工艺的情况下,或者对于排污许可限值相同等,企业的排污情况具有一定的可比性,通过选取可比对象;从而比较企业之间的趋势和排污情况是否一致。
排放因子比例一致性,该指标反应的是的排放浓度值比例是否趋于一致性。
单个企业排放因子的浓度的相关性,该指标反映的是污染源排放的污染物因子之间的相关性,通过确认排污因子之间的相关性系数来确认排污处理设备的运行情况,从而确认排放风险。
同行业同规模的企业可比比较,企业与可比企业的排污总量存在一致性,该指标反应的是企业与规模相当的可比企业之间的排污总量是否保持一致。
同行业同排放限值的可比企业分析,该指标反应的是对于监管要求一致的同行业的企业之间,是否部分企业背离监管区间。
同行业企业排放因子浓度分析,该指标通过提取排放因子浓度的数据特征值反应同行业的企业聚群情况。基于统计量特征进行时间序列聚类分析,选取的特征包括方差、均值、偏度、峰度。采用K-means的聚类方法对这些特征进行聚类,找出有离群现象的排污企业。
辅助检验:
环境监管人员在日常的对污染源的监管中,形成了大量的监管数据;从环境监管职责看,从污染源的诞生即产生数据;如建设项目环评,日常执法,信访投诉,处罚信用等。通过分析这些监管数据,从而确认污染源企业的排污风险性。
排污许可证限值对比分析,该指标比较在线监测的要求上限与排污许可证上限的一致性。
排污总量控制对比分析,该指标比较在线监测的实际年度排放与排污许可总量的许可上限的一致性。
治理设施运行对比分析,该指标通过获取治理设施的电能情况,分析企业的治理设施运行与排放是否是一致性变化。
环境税对比排放分析,该指标通过比较季度环境税的申报情况,分析企业的真实排放与环境税申报的一致性。
信访投诉分析,通过分析被投诉企业的投诉频数、最近两次投诉时间度量、重复投诉情况、累计重复投诉次数、被投诉属实情况等分析企业的日常生产和排放运行的真实性。
执法情况分析,通过分析被执法企业的执法频数、最近两次被执法的时间度量、累计执法次数、被非随机、常规执法的情况、执法确认违法的情况等分析企业被监管的情况。
环境处罚分析,通过分析被处罚企业的频数、最近两次处罚的时间度量、最近处罚金额、处罚金额的增长率等得到对企业处罚指标的评价。
监督性监测对比分析,通过分析企业的监督性监测的数据和在线监控的监控情况,比较监督性监测与排放上限、在线监控的监测数据之间的关系,最终评价企业的排放情况。
信用评价分析,通过分析企业的环保信用的评分和扣分项、加分项等最企业做信用评价。
专用检验:
在环境治理和污染源在线监控的过程中,许多专家积累了较多的常见问题及分析经验,组织专家讨论,将行业专家的经验值融入到算法中,将经验信息化,建立各场景下的分析经验规则库。
化工废水COD专用检验,判断化工废水中COD浓度是否长期处于35mg/L以下。
印染废水COD专用检验,判断印染废水中COD浓度是否长期处于30mg/L以下。
制革废水COD专用检验,判断制革废水中COD浓度是否长期处于25mg/L以下。
工业污水厂COD专用检验,判断工业污水厂中COD浓度是否长期处于30mg/L以下。
二氧化硫排放规律性反吹检验,当烟温大于特定温度时,判断烟温与二氧化硫浓度是否成正相关。
氮氧化物排放规律性反吹检验,当含氧量小于特定浓度时,判断二氧化硫与氮氧化物是否成负相关。
综合评分后续处理:
企业监控数据经过质量分析后,根据行业维度进行汇总,以表格、图表、地图等多种可视化的方式,展现重点企业监控数据的质量现状以满足业务人员查询需要。展示内容包括企业综合评分及指标项等得分。为协助业务人员快速了解指标算法及发现企业运行问题,系统提供对综合评分概况说明,具体阐述该企业在哪个维度的不足或者待改进之处,通过点击分数项即可获得该分数计算方法以及计算过程。
为方便使用人员快速检索,系统提供关键字、评估时间、企业类型、所在区域、指标排序、数据质量指标分类查询等功能。根据环境监察对象智能推荐系统,通过生成的隐患企业名单,用于监察执法部门的现场检查。监察部门可以依据任务类型、名单范围、企业评价评结果、历史检查记录等,快速筛选出问题企业或者存在环境隐患的企业,科学精准地进行目的性检查,从而摆脱现阶段的随机检查以及定期巡查,节约人力成本,提升执法效率。
在本发明的实施过程中,充分利用了hadoop分布式文件系统,spark分布式计算框架及开发语言python的优势,使得此发明中的模型算法环节能够满足数据高通量存储,高运算效率的要求。通过使用pyspark计算框架,以dataframe的形式处理数据,将数据加载在分布式的内存中,通过不同的实时变换计算,计算结果并验证算法,大大缩短算法模型的构建及运行周期。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例可以作为一种企业环境行为指标体系建立方法,通过对多源数据的融合,构建基于污染源企业的环境行为分析数据仓库,从而将污染源的全生命周期的数据进行串联,满足污染源环境行为分析指标模型的需要。以污染源的基础信息为中心,各类监管及监测数据为星型节点,建设成污染源的星型数据模型。经过对各行业数据的采集处理,建立健全综合评价的指标体系。指标体系模型建立过程中,采用传统统计学、机器学习等方法,从单因子和多因子角度,直接和间接影响因素建立各指标。完成了从在线监测、企业对比、辅助检验、专用指标4个角度,全方位建立了对企业环境行为的综合评价指标。
本发明实施例提供了一种环境数据处理装置,该装置可以用于执行本发明实施例的环境数据处理方法。
图3是根据本发明实施例的环境数据处理装置的示意图,如图3所示,该装置包括:
采集单元10,用于采集目标企业的环境行为数据,其中,环境行为数据至少包括企业生产活动中与环境具有关联关系的数据;
提取单元20,用于对环境行为数据进行分类和特征提取,得到特征数据;
输入单元30,用于将特征数据输入到预设的算法模型中进行计算,得到计算结果,其中,预设的算法模型是通过预设数量的样本数据训练得到的,每条样本数据包含特征数据和对应的排污数据;
确定单元40,用于根据计算结果确定目标企业的排污数据。
可选地,目标企业的排污数据包括环境行为数据采集时间对应的排污数据。
可选地,环境行为数据还包括政务系统中记录的企业环境行为数据。
环境数据处理装置包括处理器和存储器,上述采集单元、提取单元均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提高污染情况检查效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述环境数据处理方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述环境数据处理方法。
本发明实施例提供了一种设备,设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行上述的环境数据处理方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:采集目标企业的环境行为数据,其中,环境行为数据至少包括企业生产活动中与环境具有关联关系的数据;对环境行为数据进行分类和特征提取,得到特征数据;将特征数据输入到预设的算法模型中进行计算,得到计算结果,其中,预设的算法模型是通过预设数量的样本数据训练得到的,每条样本数据包含特征数据和对应的排污数据;根据计算结果确定目标企业的排污数据。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种环境数据处理方法,其特征在于,包括:
采集目标企业的环境行为数据,其中,所述环境行为数据至少包括企业生产活动中与环境具有关联关系的数据;
对所述环境行为数据进行分类和特征提取,得到特征数据;
将所述特征数据输入到预设的算法模型中进行计算,得到计算结果,其中,所述预设的算法模型是通过预设数量的样本数据训练得到的,每条样本数据包含特征数据和对应的排污数据;
根据所述计算结果确定所述目标企业的排污数据。
2.根据权利要求1所述的方法,其特征在于,所述目标企业的排污数据包括所述环境行为数据采集时间对应的排污数据。
3.根据权利要求1所述的方法,其特征在于,所述环境行为数据还包括政务系统中记录的企业环境行为数据。
4.根据权利要求1所述的方法,其特征在于,根据所述计算结果确定所述目标企业的排污数据之后,所述方法还包括:
获取预设的等级划分规则;
根据所述预设的等级划分规则对所述排污数据进行污染等级划分,得到所述目标企业的污染等级。
5.根据权利要求4所述的方法,其特征在于,在根据所述预设的等级划分规则对所述排污数据进行污染等级划分,得到所述目标企业的污染等级之后,所述方法还包括:
在所述污染等级超过预设阈值时,发出报警信息,其中,所述报警信息用于指示所述目标企业的污染等级超标。
6.一种环境数据处理装置,其特征在于,包括:
采集单元,用于采集目标企业的环境行为数据,其中,所述环境行为数据至少包括企业生产活动中与环境具有关联关系的数据;
提取单元,用于对所述环境行为数据进行分类和特征提取,得到特征数据;
输入单元,用于将所述特征数据输入到预设的算法模型中进行计算,得到计算结果,其中,所述预设的算法模型是通过预设数量的样本数据训练得到的,每条样本数据包含特征数据和对应的排污数据;
确定单元,用于根据所述计算结果确定所述目标企业的排污数据。
7.根据权利要求6所述的装置,其特征在于,所述目标企业的排污数据包括所述环境行为数据采集时间对应的排污数据。
8.根据权利要求6所述的装置,其特征在于,所述环境行为数据还包括政务系统中记录的企业环境行为数据。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的环境数据处理方法。
10.一种设备,其特征在于,所述设备至少包括一个处理器,以及与所述处理器连接的至少一个存储器、总线,其中,所述处理器、所述存储器通过所述总线完成相互间的通信,所述处理器用于调用所述存储器中的程序指令,以执行权利要求1至5中任意一项所述的环境数据处理方法。
CN202010067362.8A 2020-01-20 2020-01-20 环境数据处理方法和装置 Active CN111310803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010067362.8A CN111310803B (zh) 2020-01-20 2020-01-20 环境数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010067362.8A CN111310803B (zh) 2020-01-20 2020-01-20 环境数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN111310803A true CN111310803A (zh) 2020-06-19
CN111310803B CN111310803B (zh) 2021-06-01

Family

ID=71160547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010067362.8A Active CN111310803B (zh) 2020-01-20 2020-01-20 环境数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN111310803B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561337A (zh) * 2020-12-16 2021-03-26 北京明略软件系统有限公司 一种对象类型的确定方法和装置
CN113435738A (zh) * 2021-06-24 2021-09-24 平安国际智慧城市科技股份有限公司 环境污染溯源方法、装置、设备及计算机可读存储介质
CN114219279A (zh) * 2021-12-14 2022-03-22 北京软通智慧科技有限公司 环境数据处理方法、装置、设备和存储介质
CN116883755A (zh) * 2023-07-20 2023-10-13 广州新城建筑设计院有限公司 一种乡村建设环境监测方法、系统、设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3838533B2 (ja) * 1998-07-03 2006-10-25 株式会社前川製作所 食品機械の自動汚染度判定・洗浄システム
CN104020730A (zh) * 2014-04-11 2014-09-03 华电国际电力股份有限公司技术服务中心 一种环保监控平台
CN105095997A (zh) * 2015-07-30 2015-11-25 浙江大学 基于蒙特卡洛和层次分析法的突发性水污染事故预警方法
CN205991980U (zh) * 2016-08-31 2017-03-01 淮阴师范学院 一种岩盐矿工业污水水质在线监测系统
CN106600509A (zh) * 2016-12-28 2017-04-26 北京航空航天大学 一种基于基础数据分析判断企业兑水排污行为的方法
CN107203842A (zh) * 2017-05-18 2017-09-26 西南交通大学 基于扩展云相似度与逼近理想解的谐波污染水平评估方法
CN107274056A (zh) * 2017-05-04 2017-10-20 国家电网公司 一种电网节能降损方案综合评价方法
CN107410034A (zh) * 2011-03-17 2017-12-01 生物联盟有限公司 筛选方法
CN108595414A (zh) * 2018-03-22 2018-09-28 浙江大学 基于源汇空间变量推理的土壤重金属企业污染源识别方法
CN109272231A (zh) * 2018-09-19 2019-01-25 朱明华 一种污水评估数据处理方法及装置
CN109376210A (zh) * 2018-10-24 2019-02-22 海口金政信息科技有限公司 一种智能污染源动态管理系统及方法
CN109377436A (zh) * 2018-11-02 2019-02-22 深圳市博安达信息技术股份有限公司 一种环境精准监管方法与装置、终端设备及存储介质
CN109377094A (zh) * 2018-11-23 2019-02-22 福建省绿行者环境保护公益中心 企业环境风险计算方法和装置
CN109543935A (zh) * 2018-10-09 2019-03-29 北京英视睿达科技有限公司 基于热点网格的环境数据处理方法
CN110033201A (zh) * 2019-04-22 2019-07-19 浙江中烟工业有限责任公司 一种烟草工业批次全过程数据质量评价和改进的方法和装置
CN110490486A (zh) * 2019-08-27 2019-11-22 北京远舢智能科技有限公司 一种企业大数据管理系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3838533B2 (ja) * 1998-07-03 2006-10-25 株式会社前川製作所 食品機械の自動汚染度判定・洗浄システム
CN107410034A (zh) * 2011-03-17 2017-12-01 生物联盟有限公司 筛选方法
CN104020730A (zh) * 2014-04-11 2014-09-03 华电国际电力股份有限公司技术服务中心 一种环保监控平台
CN105095997A (zh) * 2015-07-30 2015-11-25 浙江大学 基于蒙特卡洛和层次分析法的突发性水污染事故预警方法
CN205991980U (zh) * 2016-08-31 2017-03-01 淮阴师范学院 一种岩盐矿工业污水水质在线监测系统
CN106600509A (zh) * 2016-12-28 2017-04-26 北京航空航天大学 一种基于基础数据分析判断企业兑水排污行为的方法
CN107274056A (zh) * 2017-05-04 2017-10-20 国家电网公司 一种电网节能降损方案综合评价方法
CN107203842A (zh) * 2017-05-18 2017-09-26 西南交通大学 基于扩展云相似度与逼近理想解的谐波污染水平评估方法
CN108595414A (zh) * 2018-03-22 2018-09-28 浙江大学 基于源汇空间变量推理的土壤重金属企业污染源识别方法
CN109272231A (zh) * 2018-09-19 2019-01-25 朱明华 一种污水评估数据处理方法及装置
CN109543935A (zh) * 2018-10-09 2019-03-29 北京英视睿达科技有限公司 基于热点网格的环境数据处理方法
CN109376210A (zh) * 2018-10-24 2019-02-22 海口金政信息科技有限公司 一种智能污染源动态管理系统及方法
CN109377436A (zh) * 2018-11-02 2019-02-22 深圳市博安达信息技术股份有限公司 一种环境精准监管方法与装置、终端设备及存储介质
CN109377094A (zh) * 2018-11-23 2019-02-22 福建省绿行者环境保护公益中心 企业环境风险计算方法和装置
CN110033201A (zh) * 2019-04-22 2019-07-19 浙江中烟工业有限责任公司 一种烟草工业批次全过程数据质量评价和改进的方法和装置
CN110490486A (zh) * 2019-08-27 2019-11-22 北京远舢智能科技有限公司 一种企业大数据管理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王朝晖等: "虚拟人自适应行为的多目标模糊评估与仿真", 《计算机辅助设计与图形学报》 *
胡秀芳 等: "基于Fuzzy与熵权法的南通城市生态安全评价与预测研究", 《江苏科技大学学报(自然科学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561337A (zh) * 2020-12-16 2021-03-26 北京明略软件系统有限公司 一种对象类型的确定方法和装置
CN113435738A (zh) * 2021-06-24 2021-09-24 平安国际智慧城市科技股份有限公司 环境污染溯源方法、装置、设备及计算机可读存储介质
CN114219279A (zh) * 2021-12-14 2022-03-22 北京软通智慧科技有限公司 环境数据处理方法、装置、设备和存储介质
CN116883755A (zh) * 2023-07-20 2023-10-13 广州新城建筑设计院有限公司 一种乡村建设环境监测方法、系统、设备及存储介质
CN116883755B (zh) * 2023-07-20 2024-03-26 广州新城建筑设计院有限公司 一种乡村建设环境监测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN111310803B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN111310803B (zh) 环境数据处理方法和装置
CN111275333B (zh) 污染数据处理方法和装置
WO2021184630A1 (zh) 基于知识图谱定位排污对象的方法及相关设备
CN108510248B (zh) 一种全面监控的建设项目环境审批系统
WO2021232588A1 (zh) 食品安全风险评估方法、装置、设备及存储介质
CN105868373B (zh) 电力业务信息系统关键数据处理方法及装置
CN109767084A (zh) 一种企业环境行为分析处理的方法及设备
CN107886235A (zh) 一种耦合确定性与不确定分析的火灾风险评估方法
CN111223027A (zh) 一种城市地震灾害风险评估方法及系统
US11906112B2 (en) Methods for safety management of compressors in smart gas pipeline network and internet of things systems thereof
CN114841660B (zh) 一种基于现场信息的企业智慧安全管控云平台
CN111583033A (zh) 基于上市公司和股东之间联系的关联分析方法及装置
CN111222784A (zh) 一种基于人口大数据的安防监控方法和系统
CN113112375A (zh) 一种水资源去中心化管理系统
CN115296933B (zh) 一种工业生产数据风险等级评估方法及系统
CN106713267A (zh) 一种网络安全评估方法及系统
CN117670028A (zh) 基于物联网监测的除尘系统风险动态评估及分级预警方法
CN117575334A (zh) 公路施工安全监测系统
CN115358522A (zh) 一种企业在线监测系统和方法
CN117151478B (zh) 一种基于卷积神经网络的化工企业风险预警方法及系统
CN113807751A (zh) 一种基于知识图谱的安全风险等级评定方法及系统
CN117474523A (zh) 一种智能污水处理厂的管理方法
CN113537681A (zh) 用于炼化企业设备管理信息化的方法及系统
Wang et al. Research of the early warning analysis of crop diseases and insect pests
CN114358514A (zh) 消防安全风险量化方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 215024 No.12 Louyang Road, Suzhou Industrial Park, Jiangsu Province

Patentee after: Shencai Technology Co.,Ltd.

Address before: 215024 No.12 Louyang Road, Suzhou Industrial Park, Jiangsu Province

Patentee before: JIANGSU SHENCAI TECHNOLOGY Co.,Ltd.