CN112926852A - 一种基于数据融合的大气生态环境分析方法 - Google Patents
一种基于数据融合的大气生态环境分析方法 Download PDFInfo
- Publication number
- CN112926852A CN112926852A CN202110195157.4A CN202110195157A CN112926852A CN 112926852 A CN112926852 A CN 112926852A CN 202110195157 A CN202110195157 A CN 202110195157A CN 112926852 A CN112926852 A CN 112926852A
- Authority
- CN
- China
- Prior art keywords
- data
- management
- service
- atmospheric environment
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 33
- 230000004927 fusion Effects 0.000 title claims abstract description 11
- 238000007726 management method Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012544 monitoring process Methods 0.000 claims abstract description 29
- 238000011161 development Methods 0.000 claims abstract description 13
- 230000036541 health Effects 0.000 claims abstract description 7
- 238000003745 diagnosis Methods 0.000 claims abstract description 6
- 238000013523 data management Methods 0.000 claims abstract description 5
- 238000012795 verification Methods 0.000 claims description 10
- 239000003344 environmental pollutant Substances 0.000 claims description 9
- 231100000719 pollutant Toxicity 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 239000008280 blood Substances 0.000 claims description 4
- 210000004369 blood Anatomy 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000005538 encapsulation Methods 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 claims description 2
- 238000007619 statistical method Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract description 7
- 238000007405 data analysis Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种基于数据融合的大气生态环境分析方法，包括对大气环境的大气环境数据的采集、治理的方法和任务监控模式；信息资源目录的分类编制管理，公共属性、元数据、标准表的管理；数据资源的管理模式，质量监控规则设计方法；大气环境数据健康度的诊断，数据集市的设计，数据分析研判方案。本发明融合业务系统数据库、数据中心、网络、应用系统、终端、传感器的数据源数据，通过数据治理，数据目录、数据资源的管理，生成大气环境数据的展示云图和未来发展趋势的分析研判报告，帮助生态环境部门及时有效掌握城市大气生态现状。
Description
技术领域
本发明属于大气生态环境保护技术领域，特别涉及一种基于数据融合的大气生态环境分析方法。
背景技术
随着社会经济的快速发展，人口急剧增加，能源消耗飞速增长，大气环境形势日趋严峻，当大气环境中的污染物呈现足够浓度、达到足够时间，就会对人体健康、工农业生产、大气和气候带来严重危害。
为了使有关生态环境部门对将来可能的环境质量发展趋势做出准确的判断和预测，采用有效的大气生态环境监测及分析方法势在必行，不但可以大气环境数据监测节点的重复建设，使环境信息资源能够被有效利用，还可以为城域物联感知平台提供环境信息资源的信息共享，以利于政府各部门对环境状况及时做出合理的决策。
发明内容
发明目的：为了解决数据标准不统一、数据源分散、数据融合性低的问题，提供一种基于数据融合的大气生态环境分析方法。
技术方案：一种基于数据融合的大气生态环境分析方法，包括以下步骤：
包括以下步骤：
步骤1，进行大气环境数据的采集、治理和任务的监控；
步骤2，进行数据资源目录分类，以及公共属性、元数据、标准表管理；
步骤3，进行数据资源管理与质量监控；
步骤4，进行大气环境数据的分析研判。
步骤1包括：
步骤1-1，配置大气生态各各业务系统表的源数据，制定如下规则抽取大气环境质量业务数据：通过数据交换区和批量导入的方式，上传时效性要求较低的数据；通过数据实时接入接口，实时同步时效性要求较高的数据；通过关系型数据采集集群采集数据源中的结构化数据，通过业务系统ETL(数据仓库技术，Extract-Transform-Load) 技术采集数据源中的非结构化数据；
步骤1-2，将需要校验的源数据字段注册到唯一性校验规则表中，使用shell脚本md5校验方法对抽取的源数据接口文件、相关记录进行唯一性检查；对字段类型、字段长度、数字精度、取值范围、可否为空、忽略字符、正则表达式一致性等内容开展记录级校验；
步骤1-3，定义异构数据源的处理流程，设置统一类型格式、完整性规则、准确性规则，将源数据转换为目标数据，并录入大气环境信息资源库，包括：将来源于不同业务系统的相同类型的数据进行统一处理，如时间、数值、字符、计量单位等内容，确保类型格式统一；按照数据仓库粒度对数据进行统一归整、对空值进行替换配置，确保数据完整性；将源数据转换为目标数据，并录入大气环境信息资源库，确保数据准确性；
步骤1-4，展示当前自定义数据处理流程的实时监控情况，包括完成、运行中、运行失败状态，当状态异常时自动报警。
步骤2包括：
步骤2-1，进行分类编目和分级管理；
步骤2-2，进行环境信息公共属性管理；
步骤2-3，进行元数据管理；
步骤2-4，进行标准表管理。
步骤2-1包括：按照环境信息资源分类编码规则对大气环境信息资源库中的数据资源和服务资源进行提取，建设项目信息资源采集目录，根据目录名称、资源分类名称、资源分类上下级信息开展资源分类管理，将非规范化数据转为规范化数据或半规范化数据(参考文献：GB/T 21063.4-2007《政务信息资源目录体系第4部分：政务信息资源分类》)。分类编目依托目录分类、共享属性分类、层级属性分类、涉密属性分类；分级管理具体包括资源编目、资源注册、资源发布、资源访问和资源目录管理。
步骤2-2包括：大气环境信息公共实体指跨部门共用的信息实体，大气环境信息公共属性是指公共实体间的关键检索属性，通过关联关键检索信息，实现公共实体间的关联、支持不同实体间的汇总、统计、分析，关键检索信息包括自动站信息、污染源信息。设置大气环境信息公共属性的管理流程，即属性查询、属性注册、属性更新、属性发布、属性维护，展现大气环境公共实体数据表(包括但不限于自动站信息、污染源信息、断面信息等)之间的血缘关系。
步骤2-3包括：通过对大气环境信息资源库结构的管理维护，实现大气环境信息资源元数据和数据字典的提取和定义，并以目录的形式进行组织和管理，并构建元数据中心，在此基础上形成可视化的大气环境数据地图、血缘分析；通过元数据新增、元数据保存提交、元数据修改、元数据审核、元数据注册至资源目录、注册审核、资源目录元数据视图等七项功能，实现分类、资源名称、信息资源代码、信息资源提供方、信息资源摘要、信息资源格式、信息项信息、共享属性、开放属性、更新周期、发布日期等十一项元数据模型的管理。
将元数据中心存储的信息资源发布到专项应用库中，同时从专项应用库中采集元数据内容进行稽核，提供元数据服务，元数据服务包括数据质量、维护管理。
步骤2-4包括：梳理和整合业务系统中的数据资源，在标准表中形成空气质量预报、环境信用评价、空气自动监测、大气污染防治等大气质量分类类别，抽取各业务系统数据库中的报表，将报表中的字段与梳理出的标准表类别进行对比，并最终形成标准表数据。
步骤3包括：
步骤3-1，利用大气环境数据资源库统一的数据标准及数据管理、交互机制，对数据资源进行管理，包括注册数据源、表管理、字段管理、E-R(实体-联系，EntityRelationship)关系管理、管理数据源；本发明支持MYSQL、SQLSERVER、ORACLE (mangodb、Nosql)三种类型数据源，对数据表的完整性、及时性、有效性，字段的值域范围等信息进行管理。
步骤3-2，设计包括数据到达时间及时性、字段阈值有效性、关键属性空值的数据质量监控规则；通过设计的数据质量监控规则捕捉大气环境质量的现状指标及发展趋势。本发明中设置的数据质量规则主要包含监控规则、告警规则，围绕数据的及时性、完整性、有效性进行展开，提供数据质量综合指数排名分析。
步骤4包括：
步骤4-1，进行数据健康度诊断，诊断内容包括数据波动异常和数据缺失，数据波动异常的捕捉内容为在一个时间段通过折线图反映出异常的一次性波动、周期性波动和持续性波动情况，或者本该有波动的数据无波动；通过折线图发现一个时间段数据丢失或者通过柱状图诊断显示数据为0反应出来的数据缺失情况，即数据缺失的捕捉；
步骤4-2，构建数据集市：构建空气质量小时报、省控站点空气质量指数日报、国控站点空气质量指数日报、城市空气质量指数小时报、首要污染物统计报表共五类数据集市报表，通过空气质量指数展示空气质量指数、首要污染物、空气质量指数级别；
步骤4-3，数据服务管理：基于大气环境数据资源库，以REST(表现层状态转移，REpresentational State Transfer)方式提供数据服务，对用户申请的服务的服务名称、申请人、申请时间信息进行审核，通过token(令牌)认证调用数据服务过程，数据服务管理包含服务开发、数据服务视图、服务申请审核，服务开发完成服务地址或自定义 SQL的填写并创建数据封装服务，数据服务视图提供浏览及申请数据功能，服务申请审核对服务内容信息进行审查；
步骤4-4，数据分析研判。
步骤4-4包括：以大气环境信息资源库数据信息为基础，实现对大气环境污染物、大气环境污染源、监测站业务信息的统计分析，以数据云图的形式展现大气环境实况分析情况、数据采集分析情况、趋势研判分析情况，实时展现大气污染环境事件定位和预警。
进一步的，所述步骤1还包括：
(11)获取大气生态环境源数据
制定规则抽取大气环境质量业务数据，包括但不限于实时、非实时数据，批量、增量数据，结构化数据、半结构化数据、非结构化数据。
(12)开展数据清洗校验
对抽取的数据开展文件级、记录级校验，数据唯一性检查、外键完整性检查，数据抽取任务完成后，通过对数据源与目标数据库之间的数据进行对比分析，从而进一步来分析、发现与解决在数据抽取过程可能产生的异常错误信息。
(13)数据转换
将来源于不同业务系统的相同类型的数据进行统一处理，如时间、数值、字符、计量单位等内容，确保类型格式统一；按照数据仓库粒度对数据进行统一归整、对空值进行替换配置，确保数据完整性；将源数据转换为目标数据，并录入大气环境信息资源库，确保数据准确性。
(14)进行任务监控
对Job(任务)的运行状态、代理节点的任务执行情况、任务执行结果、任务集群、节点资源状况开展监控。
有益效果：本发明提供了一种基于数据融合的大气生态环境分析方法，对异构数据源中的数据进行治理，最终构建具备数据健康度诊断、数据集市、数据管理服务、数据分析研判为一体的大气生态环境分析体系，可实现大气生态环境变化的快速溯源和未来发展趋势的实时预测。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/ 或其他方面的优点将会变得更加清楚。
图1是大气环境质量检测整体流程图；
图2是大气环境信息资源分类编码规则图；
图3是大气环境信息资源目录总体架构图；
图4是大气环境数据加工流程图。
具体实施方式
如图1所示，本发明提供了一种基于数据融合的大气生态环境分析方法，包括以下步骤：
(1)大气环境数据的采集、治理和任务的监控；
(11)制定规则对大气环境数据进行采集校验
从不同业务系统的多种数据源(SQL Server、MySQL、ORACLE、DB2、Hadoop、 MPP等)中进行指定规则的数据提取/抽取作业，并根据制定的规则、基础数据、数据映射关系，执行数据校验。
(12)开展数据清洗
配置管理数据任务(Job)涉及的逻辑和处理流程，使用统一调度来驱动数据处理过程来完成对业务数据处理计算操作。
(13)数据转换
将来源于不同业务系统的相同类型的数据进行统一处理，如时间、数值、字符、计量单位等内容，确保类型格式统一；按照数据仓库粒度对数据进行统一归整、对空值进行替换配置，确保数据完整性；将源数据转换为目标数据，并录入大气环境信息资源库，确保数据准确性。
(14)进行任务监控
Job组监控和查询是通过对某一正在运行的Job中node指针的运行状态及node详细信息展现的，方便管理员监控node的运行情况。Job组中展现该Job所在的Job组中所有的调度信息，就完成了所执行监控任务的标注。
(2)数据资源目录分类，公共属性、元数据、标准表管理；
(21)分类编目和分级管理
如图2、图3所示，按照大气环境信息资源分类编码规则对大气环境信息资源库中的数据资源和服务资源进行提取，对共享资源进行核心元数据管理，包括目录注册、目录发布、目录查询、目录管理、目录服务等，将非规范化数据按要求转为规范化数据或半规范化数据，并提供目录及其描述。
(22)公共属性管理
环境信息公共属性是指公共实体间的关键检索属性，通过关联各业务系统之间的公共属性，实现实体间的关联、支持不同实体间的汇总、统计、分析。
(23)元数据管理
在构建元数据中心基础上，提供数据地图、影响分析、血缘分析、生命周期分析、主数据分布等信息查询；通过开发管理过程，将产生的信息存储到元数据中心。在上线的时候，将元数据中的生产要素信息发布到生产平台，进行生产运行；同时从生产平台采集元数据内容来进行稽核元数据的质量和一致性；元数据通过元数据服务向数据质量、维护管理等提供元数据的服务。
(24)标准表管理
如图4所示，经过加工后的标准数据会形成新的数据结构，并和公共属性进行关联。
(3)数据资源管理与质量监控；
(31)数据资源管理
利用大气环境数据资源库统一的数据标准及数据管理、交互机制，对应用资源进行管理，包括注册数据源、表管理、字段管理、ER关系管理、管理数据源等功能。
(32)数据质量监控规则设计
设置的质量监控规则可有效捕捉大气环境质量的现状指标及发展趋势。根据实际需求从及时性、有效性、完整性设计告警项算法，如表1所示。
表1
数据质量监控分析围绕数据的及时性、完整性、有效性进行展开，通过设置质量指标并完成综合指数排名分析，如：
及时性指数：监控时间点，更新数据>0，则得100分，否则得0分。
完整性指数：根据配置的更新数量来算占比，如配置了100条，本周期更新了80条，则得80分。如果超过配置的更新数量，得100分。
有效性指数：分成空值校验(40％)和字段值域校验(60％)。空值校验按照非空的占比来计算，如100条记录，有10条是空的，则得90分。字段值域校验，根据在值域范围内的数据记录占比来计算。如100条记录，有20条某字段的值不在值域范围内，则得80分。空值校验得分*40％+字段值域得分*60％，则为有效性得分。
综合指数：依据以上计算出的及时性指数、完整性指数、有效性指数，分别按照40％，30％，30％的权重，计算得出数据质量综合指数。
(4)大气环境数据的分析研判。
(41)数据健康度诊断
数据健康度是对数据业务KPI考核体系的完善，诊断内容主要包括数据波动异常和数据缺失。如数据波动异常的主要捕捉内容为在某个时间段通过折线图反应数据波动比较大，或者本该有波动的数据无波动；通过折线图发现某个时间段数据丢失或者柱状图显示数据为0等情况造成的数据缺失都能够通过系统反应出来，即数据缺失的捕捉。
(42)构建数据集市
构建空气质量小时报、省控站点空气质量指数日报、国控站点空气质量指数日报、城市空气质量指数小时报、首要污染物统计报表等五类数据集市报表。主要影响指标有SO2、NO、NO2、NOx，PM10、PM2.5、O3和CO等。通过AQI(空气质量指数) 展示空气质量指数、首要污染物、空气质量指数级别等数据信息。
(43)数据服务管理
基于数据中心数据提供数据服务，服务以REST方式提供，需进行审核操作，并且调用服务过程需经过token认证，有效拦截不合法的数据请求。数据服务管理包含服务开发、数据服务视图、服务申请审核等内容。
(44)数据分析研判
通过对大气环境主题数据库的分析和研判，以云图形式展现大气环境实况分析、数据采集分析、趋势研判分析，并实时展现大气污染环境事件定位和预警。
本发明提供了一种基于数据融合的大气生态环境分析方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (10)
1.一种基于数据融合的大气生态环境分析方法，其特征在于，包括以下步骤：
步骤1，进行大气环境数据的采集、治理和任务的监控；
步骤2，进行数据资源目录分类，以及公共属性、元数据、标准表管理；
步骤3，进行数据资源管理与质量监控；
步骤4，进行大气环境数据的分析研判。
2.根据权利要求1所述的方法，其特征在于，步骤1包括：
步骤1-1，配置大气生态各各业务系统表的源数据，通过数据交换区和Excel批量数据导入抽取低时效源数据，通过数据实时接口接入抽取高时效数据；
步骤1-2，使用shell脚本md5校验方法对抽取的源数据接口文件、相关记录进行检查，将需要唯一性校验的源数据字段注册到唯一性校验规则表中；
步骤1-3，定义异构数据源的处理流程，设置统一类型格式、完整性规则、准确性规则，将源数据转换为目标数据，并录入大气环境信息资源库；
步骤1-4，展示当前自定义数据处理流程的实时监控情况，包括完成、运行中、运行失败状态，当状态异常时自动报警。
3.根据权利要求2所述的方法，其特征在于，步骤2包括：
步骤2-1，进行分类编目和分级管理；
步骤2-2，进行环境信息公共属性管理；
步骤2-3，进行元数据管理；
步骤2-4，进行标准表管理。
4.根据权利要求3所述的方法，其特征在于，步骤2-1包括：按照环境信息资源分类编码规则对大气环境信息资源库中的数据资源和服务资源进行提取，建设项目信息资源采集目录，根据目录名称、资源分类名称、资源分类上下级信息开展资源分类管理，将非规范化数据转为规范化数据或半规范化数据。
5.根据权利要求4所述的方法，其特征在于，步骤2-2包括：大气环境信息公共实体指跨部门共用的信息实体，大气环境信息公共属性是指公共实体间的关键检索属性，通过关联关键检索信息，实现公共实体间的关联、支持不同实体间的汇总、统计、分析，关键检索信息包括自动站信息、污染源信息。
6.根据权利要求5所述的方法，其特征在于，步骤2-3包括：通过对大气环境信息资源库结构的管理维护，实现大气环境信息资源元数据和数据字典的提取和定义，并以目录的形式进行组织和管理，并构建元数据中心，在此基础上形成可视化的大气环境数据地图、血缘分析；
将元数据中心存储的信息资源发布到专项应用库中，同时从专项应用库中采集元数据内容进行稽核，提供元数据服务，元数据服务包括数据质量、维护管理。
7.根据权利要求6所述的方法，其特征在于，步骤2-4包括：梳理和整合业务系统中的数据资源，在标准表中形成大气质量分类类别，抽取各业务系统数据库中的报表，将报表中的字段与梳理出的标准表类别进行对比，并最终形成标准表数据。
8.根据权利要求7所述的方法，其特征在于，步骤3包括：
步骤3-1，利用大气环境数据资源库统一的数据标准及数据管理、交互机制，对数据资源进行管理，包括注册数据源、表管理、字段管理、E-R关系管理、管理数据源；
步骤3-2，设计包括数据到达时间及时性、字段阈值有效性、关键属性空值的数据质量监控规则；通过设计的数据质量监控规则捕捉大气环境质量的现状指标及发展趋势。
9.根据权利要求8所述的方法，其特征在于，步骤4包括：
步骤4-1，进行数据健康度诊断，诊断内容包括数据波动异常和数据缺失，数据波动异常的捕捉内容为在一个时间段通过折线图反映出异常的一次性波动、周期性波动和持续性波动情况，或者本该有波动的数据无波动；通过折线图发现一个时间段数据丢失或者通过柱状图诊断显示数据为0反应出来的数据缺失情况，即数据缺失的捕捉；
步骤4-2，构建数据集市：构建空气质量小时报、省控站点空气质量指数日报、国控站点空气质量指数日报、城市空气质量指数小时报、首要污染物统计报表共五类数据集市报表，通过空气质量指数展示空气质量指数、首要污染物、空气质量指数级别；
步骤4-3，数据服务管理：基于大气环境数据资源库，以REST方式提供数据服务，对用户申请的服务的服务名称、申请人、申请时间信息进行审核，通过token令牌认证调用数据服务过程，数据服务管理包含服务开发、数据服务视图、服务申请审核，服务开发完成服务地址或自定义SQL的填写并创建数据封装服务，数据服务视图提供浏览及申请数据功能，服务申请审核对服务内容信息进行审查；
步骤4-4，数据分析研判。
10.根据权利要求9所述的方法，其特征在于，步骤4-4包括：以大气环境信息资源库数据信息为基础，实现对大气环境污染物、大气环境污染源、监测站业务信息的统计分析，以数据云图的形式展现大气环境实况分析情况、数据采集分析情况、趋势研判分析情况，实时展现大气污染环境事件定位和预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110195157.4A CN112926852A (zh) | 2021-02-19 | 2021-02-19 | 一种基于数据融合的大气生态环境分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110195157.4A CN112926852A (zh) | 2021-02-19 | 2021-02-19 | 一种基于数据融合的大气生态环境分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112926852A true CN112926852A (zh) | 2021-06-08 |
Family
ID=76169955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110195157.4A Pending CN112926852A (zh) | 2021-02-19 | 2021-02-19 | 一种基于数据融合的大气生态环境分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112926852A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435765A (zh) * | 2021-07-06 | 2021-09-24 | 南京莱斯信息技术股份有限公司 | 一种公共信用信息归集质量考核方法 |
| CN113658669A (zh) * | 2021-07-30 | 2021-11-16 | 深圳市联影医疗数据服务有限公司 | 公众健康地图生成应用方法、系统、终端及存储介质 |
| CN113704336A (zh) * | 2021-08-17 | 2021-11-26 | 内蒙古申科国土技术有限责任公司 | 基于地理信息大数据的生态环境监测分析方法及系统 |
| CN113901042A (zh) * | 2021-12-10 | 2022-01-07 | 西安中电环通数字科技有限公司 | 生态环境数据动态活动水平库及终端 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070299828A1 (en) * | 2006-06-05 | 2007-12-27 | Digital Mountain, Inc. | Method and Apparatus for Processing Heterogeneous Data |
| CN101576893A (zh) * | 2008-05-09 | 2009-11-11 | 北京世纪拓远软件科技发展有限公司 | 数据质量分析方法及系统 |
| US20100174693A1 (en) * | 2009-01-08 | 2010-07-08 | Fluid Operations Gmbh | Collaborative workbench for managing data from heterogeneous sources |
| CN110069479A (zh) * | 2018-12-11 | 2019-07-30 | 珠海市新德汇信息技术有限公司 | 一种公安大数据治理方法 |
| CN110161183A (zh) * | 2019-05-30 | 2019-08-23 | 广东柯内特环境科技有限公司 | 一种空气质量监测方法 |
| CN110765337A (zh) * | 2019-11-15 | 2020-02-07 | 中科院计算技术研究所大数据研究院 | 一种基于互联网大数据的服务提供方法 |
| CN110968629A (zh) * | 2019-11-27 | 2020-04-07 | 开普云信息科技股份有限公司 | 一种基于跨层级、异构数据汇聚的统一信息资源管理方法及系统 |
| CN111241176A (zh) * | 2019-12-30 | 2020-06-05 | 天津浪淘科技股份有限公司 | 一种数据治理管理系统 |
| CN112163724A (zh) * | 2020-08-05 | 2021-01-01 | 宁夏无线互通信息技术有限公司 | 环境信息数据资源整合集成系统 |
| CN112231333A (zh) * | 2020-11-09 | 2021-01-15 | 南京莱斯网信技术研究院有限公司 | 一种生态环境数据共享交换方法和系统 |
-
2021
- 2021-02-19 CN CN202110195157.4A patent/CN112926852A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070299828A1 (en) * | 2006-06-05 | 2007-12-27 | Digital Mountain, Inc. | Method and Apparatus for Processing Heterogeneous Data |
| CN101576893A (zh) * | 2008-05-09 | 2009-11-11 | 北京世纪拓远软件科技发展有限公司 | 数据质量分析方法及系统 |
| US20100174693A1 (en) * | 2009-01-08 | 2010-07-08 | Fluid Operations Gmbh | Collaborative workbench for managing data from heterogeneous sources |
| CN110069479A (zh) * | 2018-12-11 | 2019-07-30 | 珠海市新德汇信息技术有限公司 | 一种公安大数据治理方法 |
| CN110161183A (zh) * | 2019-05-30 | 2019-08-23 | 广东柯内特环境科技有限公司 | 一种空气质量监测方法 |
| CN110765337A (zh) * | 2019-11-15 | 2020-02-07 | 中科院计算技术研究所大数据研究院 | 一种基于互联网大数据的服务提供方法 |
| CN110968629A (zh) * | 2019-11-27 | 2020-04-07 | 开普云信息科技股份有限公司 | 一种基于跨层级、异构数据汇聚的统一信息资源管理方法及系统 |
| CN111241176A (zh) * | 2019-12-30 | 2020-06-05 | 天津浪淘科技股份有限公司 | 一种数据治理管理系统 |
| CN112163724A (zh) * | 2020-08-05 | 2021-01-01 | 宁夏无线互通信息技术有限公司 | 环境信息数据资源整合集成系统 |
| CN112231333A (zh) * | 2020-11-09 | 2021-01-15 | 南京莱斯网信技术研究院有限公司 | 一种生态环境数据共享交换方法和系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435765A (zh) * | 2021-07-06 | 2021-09-24 | 南京莱斯信息技术股份有限公司 | 一种公共信用信息归集质量考核方法 |
| CN113658669A (zh) * | 2021-07-30 | 2021-11-16 | 深圳市联影医疗数据服务有限公司 | 公众健康地图生成应用方法、系统、终端及存储介质 |
| CN113704336A (zh) * | 2021-08-17 | 2021-11-26 | 内蒙古申科国土技术有限责任公司 | 基于地理信息大数据的生态环境监测分析方法及系统 |
| CN113901042A (zh) * | 2021-12-10 | 2022-01-07 | 西安中电环通数字科技有限公司 | 生态环境数据动态活动水平库及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112926852A (zh) | 一种基于数据融合的大气生态环境分析方法 | |
| CN107103025B (zh) | 一种数据处理方法及数据处理平台 | |
| CN112163724A (zh) | 环境信息数据资源整合集成系统 | |
| CN105868373B (zh) | 电力业务信息系统关键数据处理方法及装置 | |
| CN112699175A (zh) | 一种数据治理系统及其方法 | |
| CN111324602A (zh) | 一种实现面向金融大数据分析可视化方法 | |
| Dai et al. | Data profiling technology of data governance regarding big data: review and rethinking | |
| CN108717456A (zh) | 一种数据源无关的数据全生命周期管理平台及方法 | |
| CN104036365A (zh) | 一种企业级数据服务平台建设方法 | |
| CN103605651A (zh) | 一种基于olap多维分析的数据处理展现方法 | |
| KR20150057322A (ko) | 빅데이터 분석 기반의 위크시그널 도출 시스템 및 그 방법 | |
| CN110851667A (zh) | 一种多源头大量数据的整合分析方法及工具 | |
| CN112231333A (zh) | 一种生态环境数据共享交换方法和系统 | |
| CN114880405A (zh) | 一种基于数据湖的数据处理方法及系统 | |
| CN112817958A (zh) | 电力规划数据采集方法、装置及智能终端 | |
| CN113590607A (zh) | 一种基于报表因子的电力营销报表实现方法和系统 | |
| CN113485989A (zh) | 一种监管数据的综合分析方法、系统、介质和设备 | |
| KR101829198B1 (ko) | 보고서의 중요도를 분석하는 메타 데이터 기반 온라인 분석 프로세싱 시스템 | |
| CN111651432A (zh) | 一种疑似污染场地时空信息识别方法 | |
| Goasdoué et al. | An Evaluation Framework For Data Quality Tools. | |
| Dong et al. | Scene-based big data quality management framework | |
| CN115309724A (zh) | 一种用于产业分析的数据仓库设计及数据分析加速系统 | |
| CN115168474A (zh) | 一种基于大数据模型的物联中台系统搭建方法 | |
| CN113934796A (zh) | 用于地下水应用服务系统的数据库子系统及数据查询方法 | |
| CN112784129A (zh) | 一种泵站设备运维数据监管平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |