CN113778967B - 长江流域数据采集处理与资源共享系统 - Google Patents

Abstract

长江流域数据采集处理与资源共享系统，包括数据采集单元、数据治理单元、数据存储单元、数据服务单元；所述数据采集单元用于采集各类多源数据；所述数据治理模块是对汇聚后的多源数据进行标准统一、规范整理，梳理数据间的逻辑关系；所述数据存储模块将所述数据采集单元采集的多源数据、所述数据治理单元处理后规范化的目标数据进行统一存储和管理；所述数据服务单元将数据从存储层中提取出来，经过处理分析标准化，形成供各业务应用系统可调用的服务。通过将采集的多源数据进行定义、规范后将长江流域污染治理相关数据进行分析处理，对问题数据提出示警，为后续的数据挖掘分析提供高质量的数据基础，对污染治理需求数据进行定制。

Description

长江流域数据采集处理与资源共享系统

技术领域

本发明涉及数据采集和共享领域，更具体的说，特别涉及长江流域数据采集处理与资源共享系统。

背景技术

长江流域内自然资源和生态资源类型丰富，规模较大，资源整合与监测不足，多年来，长江流域各级环保、水利、自然资源、林业、气象等部门积累了大量数据，并建设了各自的数据平台，存在数据资源分散、管理数据难整合、标准不统一、数据互通共享困难、数据利用困难等问题，平台接口多元化，造成各部门、各机构信息孤岛和数据共享壁垒，重复研究和投入建设现象突出，缺乏流域层面的数据与信息共享机制。由于环境管理部门众多，缺乏统筹协调，以往的信息化建设由各个部门分散独立进行，形成了众多的数据“孤岛”。因此，建设长江流域数据采集与资源共享系统，实现跨部门、多学科的数据共享与信息互通，是长江流域生态环境保护的必要前提。

传统的ETL根据不同的数据来源，采用定制化编写开发数据处理脚本方式，进行各类数据的提取、转换、加载。提取是从不同类型的数据源读取数据，转换是将提取的数据通过各类转换、清洗，将不完整数据、错误数据、重复数据进行处理，统一数据格式、单位等，并进行数据替换、关联、汇总等。加载是将清洗过后的数据按照数据模型定义的结构装入目标数据库中。

对于水文、水质、气象等实时监测数据，传统的ETL脚本方式并不适合处理实时数据。同时处理效率低，耗时，需要消耗大量资源。对于数据质量的检查完全依赖于编写的脚本内容，不够灵活，数据质量得不到保障。新技术的不断发展，数据源更多样化，需要考虑新需求的可维护性。

因此，现有技术存在的问题，有待于进一步改进和发展。

发明内容

(一)发明目的：为解决上述现有技术中存在的问题，本发明的目的是提供长江流域数据采集处理与资源共享系统，针对长江流域污染治理存在的“九龙治水”、生态环境相关数据分散、研究成果碎片化等现象，亟需在共抓长江大保护的背景下，建立统一的数据采集平台和共享机制，以此为突破口，汇聚各部门、各单位的数据，建立自动化的流域数据采集处理流程，对长江流域水文、环境、气象、遥感、社会、经济等各类数据进行汇集处理，构建长江流域数据采集与资源共享系统，打破跨部门、跨行业、跨地区的数据壁垒，实现长江流域数据采集的多样化和数据共享便捷化，实现资源整合与共享数据利用最大化，为长江大保护决策支持提供数据及工具支撑。

(二)技术方案：为了解决上述技术问题，本技术方案提供长江流域数据采集处理与资源共享系统，包括数据采集单元、数据治理单元、数据存储单元、数据服务单元；

所述数据采集单元用于采集各类多源数据；所述数据治理模块是对汇聚后的多源数据进行标准统一、规范整理，梳理数据间的逻辑关系，；所述数据存储模块将所述数据采集单元采集的多源数据、所述数据治理单元处理后规范化的目标数据进行统一存储和管理；所述数据服务单元将数据从存储层中提取出来，经过处理分析标准化，形成供各业务应用系统可调用的服务。

所述长江流域数据采集处理与资源共享系统，其中，包括物联感知模块、遥感监测模块、人工填报模块、网络爬取模块、共享交换模块；

所述物联感知模块用于获取实时采集的数据；所述遥感监测模块获取不同空间分辨率、不同时间分辨率的遥感影像数据；所述网络爬取模块用于获取目标网站的数据；所述共享交换模块从相关部门的目标系统中获取共享数据。

所述长江流域数据采集处理与资源共享系统，其中，所述物联感知模块获取实时采集的数据包括：水质监测数据、水文监测数据、污染源监测数据、排污口监测数据、视频监测数据；所述物联感知模块获取实时数据的接入方式包括：Socket、WebSocket协议、TCP协议、HTTP(S)协议、REST协议以及Kafka协议。

所述长江流域数据采集处理与资源共享系统，其中，所述遥感监测模块获取的影像数据的接入方式为文件传输方式。

所述长江流域数据采集处理与资源共享系统，其中，所述数据治理单元包括元数据管理模块、数据标准管理模块、数据质量管理模块、数据ETL处理模块；

所述元数据管理模块采集汇总长江流域各类数据的数据字典、数据血缘、数据特征、数据地图，并进行统一得到标准数据，帮助用户获得更好的数据洞察力，通过元数据之间的关系和影响挖掘隐藏在资源中的价值；所述数据标准管理模块将分散在各不同来源的数据提供统一的定义基准，进行标准统一、规范整理，获得规范化的目标数据；所述数据质量管理模块用于识别各类数据质量问题，建立数据监管，形成数据质量管理体系，监控并揭示数据质量问题，并提供问题明细查询和质量改进建议，全面提升数据的完整性、准确性、及时性、一致性以及合法性，降低数据管理成本，减少因数据不可靠导致的决策偏差和损失；所述数据ETL处理模块对原始非结构化数据以可视化形式，通过封装ETL算法进行提取、清洗、转换、整合、加载处理，获得语义一致、完整的数据模型。

所述长江流域数据采集处理与资源共享系统，其中，数据字典是指数据的结构信息，包括表名、表注释、表字段信息等；数据血缘是指一个表是直接通过哪些表加工而来，可以用来做影响分析和故障溯源；数据特征是指数据的属性信息；数据地图是指各类数据的信息及关系。

所述长江流域数据采集处理与资源共享系统，其中，所述数据标准管理模块设置有各个不同来源数据的标准定义、不同数据对应的数据资源目录、版本管理和评估监测；

标准定义包括：统一数据命名、数据定义、数据类型、赋值规则的定义基准，所述数据标准管理模块根据标准定义将所述数据采集单元采集的各类多源数据进行标准统一、规范整理，获得规范化的目标数据；

数据资源目录将经过标准定义的规范化目标数据，进行规范整理；

版本管理用于更改所述数据资源目录的框架，保证数据资源目录的准确性；

评估监测将数据资源目录中评估类型和监测类型数据进行评估，确保数据在复杂数据环境中维持数据模型的一致性、规范性。

所述长江流域数据采集处理与资源共享系统，其中，所述数据质量管理模块预设有数据质量规则、数据智能预警、稽核校验任务、数据质量报告；

所述数据质量管理模块根据数据质量规则有效识别、监控数据资源目录中各类数据质量问题；数据智能预警对质量问题数据进行提示预警；稽核校验任务对修改后重新上报的数据进行检验；数据质量报告对数据资源目录中每份数据做出评估，获得数据可信度的数据质量报告。

所述长江流域数据采集处理与资源共享系统，其中，所述数据ETL处理模块包括数据抽取模块、数据清洗模块、数据转换模块、数据加载模块；

所述数据抽取模块用于在原始非结构化原始数据中抽取目标数据，实现数据的结构化；数据清洗模块将所述数据抽取模块抽取获得的数据进行核对，确认数据的正确性；所述数据转换模块是将原始非结构化数据中文字转化为具体的数字数据；所述数据加载模块是将清洗转换处理后的数据按照预先设置定义的数据模型装入目标数据表/数据库中，得到数据模型。

所述长江流域数据采集处理与资源共享系统，其中，所述数据转换模块常用的转换处理方式包括空值处理、数据拆分、数据去重、格式规范、数据过滤、列选择、数据替换、数据关联、数据聚合、数据派生。

所述长江流域数据采集处理与资源共享系统，其中，所述数据ETL处理模块对于非结构化数据的处理方式包括批量处理、实时处理、采集统计处理和传输监控处理。

所述长江流域数据采集处理与资源共享系统，其中，所述数据存储单元包括，用于存储所述数据采集单元采集各类多源数据原始数据的原始数据库、对各类多源的原始数据进行数据综合、归类并进行分析的数据主题库、作为共享接口的中间数据库：外部交换数据库。

所述长江流域数据采集处理与资源共享系统，其中，所述原始数据库包括，关系数据库、非关系数据库、空间数据库、分布式文件系统、内存数据库。

所述长江流域数据采集处理与资源共享系统，其中，所述数据主题库包括，基础数据库、水环境数据库、污染排放数据库、模型知识数据库、环境管理数据库和其他数据库。

所述长江流域数据采集处理与资源共享系统，其中，所述外部交换数据库包括，对内共享数据库、对外共享数据库和其他对接数据库。

所述长江流域数据采集处理与资源共享系统，其中，所述数据服务单元包括服务资源目录模块、数据分析服务模块、服务发布模块、服务消费模块和服务监控模块；

所述服务资源目录模块为可提供数据的详细目录；所述数据分析服务模块为用户提供分析服务；服务发布模块将所述服务资源目录模块、所述数据分析服务模块提取的目标数据通过显示单元进行发布(显示)；所述服务消费模块依据用户权限提供分级、分类的数据下载与业务结果查询，确保数据安全与用户体验效果；所述服务监控模块对数据的消费使用进行监控，保证数据和系统的安全性。

所述长江流域数据采集处理与资源共享系统，其中，所述服务资源目录模块包括数据目录、模型目录、图件目录、服务目录。

所述长江流域数据采集处理与资源共享系统，其中，所述数据分析服务模块包括关联分析、多维分析、水质在线计算分析、周边分析。

所述长江流域数据采集处理与资源共享系统，其中，所述数据分析服务模块还包括众包服务，包括任务申请模块、任务审核模块、数据分析处理模块、数据成果上传模块；所述任务申请模块用于提交用户的任务需求，所述任务审核模块对任务需求进行审核，审核通过后调用后台数据分析处理模块进行数据处理，最后通过数据成果上传模块上传处理好的数据成果。

所述长江流域数据采集处理与资源共享系统，其中，所述服务发布模块进行发布(显示)的方式包括实时传输服务和批量作业服务。

所述长江流域数据采集处理与资源共享系统，其中，服务消费模块包括服务浏览、服务申请、服务审批和数据使用。

所述长江流域数据采集处理与资源共享系统，其中，服务消费模块在服务申请中可以设置数据提取时间，服务发布模块设置批量作业服务的结束时间，实现数据定时任务。

所述长江流域数据采集处理与资源共享系统，其中，所述服务监控模块包括链路监控、安全监控、状态监控和故障告警，通过对各类服务的状态、全链路生命周期、用户使用情况进行监控，及监控数据的日、周、月更新情况，用户数据访问次数，用户数据下载次数，对数据更新异常、用户访问异常、下载异常等情况进行告警。

所述长江流域数据采集处理与资源共享系统，其中，还包括角色设置单元，所述角色单元用于设置/添加新的登陆账号，并设置对应账号的权限，所述角色设置单元设置对应账号的权限。

(三)有益效果：本发明提供长江流域数据采集处理与资源共享系统，通过将采集的多源数据进行定义、规范后将长江流域污染治理相关数据进行分析处理，不仅可以对问题数据提出示警，达到高质量数据，为后续的数据挖掘分析提供高质量的数据基础，并且还可对污染治理需求数据进行定制，有效提升数据治理工作效率。

附图说明

图1是本发明长江流域数据采集处理与资源共享系统总体结构图；

图2是本发明长江流域数据采集处理与资源共享系统数据目录框架图；

图3是本发明长江流域数据采集处理与资源共享系统数据申请流程图。

具体实施方式

下面结合优选的实施例对本发明做进一步详细说明，在以下的描述中阐述了更多的细节以便于充分理解本发明，但是，本发明显然能够以多种不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下根据实际应用情况作类似推广、演绎，因此不应以此具体实施例的内容限制本发明的保护范围。

附图是本发明的实施例的示意图，需要注意的是，此附图仅作为示例，并非是按照等比例的条件绘制的，并且不应该以此作为对本发明的实际要求保护范围构成限制。

长江流域数据采集处理与资源共享系统包括，数据采集单元、数据治理单元、数据存储单元、数据服务单元；

所述数据采集单元用于采集各类多源数据，支持多种数据采集方式。所述数据采集单元采集的数据包括基础地理数据、水环境数据、水文气象数据、污染排放数据、生态系统数据、环境知识与模型数据、环境管理数据等。基础地理数据至少包括遥感影像、地形地貌、河流水系；水环境数据至少包括水质监测、水生态监测、饮用水源地；水文气象数据至少包括水文监测、气象观测、水资源监测；污染排放数据至少包括工业源、农业源、生活源、集中源、移动源、排污口；生态系统数据至少包括土地利用、土壤植被、功能分区；环境知识与模型数据至少包括政策法规、规划方案、水环境模型；环境管理数据至少包括驻点成果、联合研究、环境舆情、环境问题、修复工程、督察项目。

所述数据治理单元是对所述数据采集单元采集的各类多源数据进行标准统一、规范整理，获得统一规范化的目标数据，对于不同的数据对象如水质、水文、气象、污染源、排污口、土地利用分类、植被指数等对象建立空间关系模型，并且将不同领域的数据进行连接，挖掘数据的内涵，主要包括不同对象间的属性及空间相关性，分布特性等；所述数据存储单元将所述数据采集单元采集的多源数据、所述数据治理单元处理后规范化的目标数据进行统一存储和管理；

所述数据服务单元将所述数据存储单元存储的数据提取后，进行处理分析标准化，形成统一格式的待服务数据，用以实现可调用服务，满足了用户对于不同类型的数据资源的需求。

所述数据采集单元包括物联感知模块、遥感监测模块、人工填报模块、网络爬取模块、共享交换模块。

所述物联感知模块获取实时采集的水质监测数据、水文监测数据、污染源监测数据、排污口监测数据、视频监测数据；所述物联感知模块获取实时数据的接入方式包括：Socket、WebSocket协议、TCP协议、HTTP(S)协议、REST协议以及Kafka协议；

所述遥感监测模块获取不同空间分辨率、不同时间分辨率的遥感影像数据，包括遥感影像数据、地形地貌(长江流域航天、航空遥感影像数据)；所述遥感监测模块获取的影像数据的接入方式为文件传输方式；所述遥感监测模块获取的长江流域航天、航空遥感影像数据通过航天、航空手段采集，可以是卫星收集的影像数据、航拍(有人机、无人机)收集的影像数据，也可以是其它航天、航空手段采集的影像数据。

所述人工填报模块用于输入收集的数据包括定期调查数据、督察项目数据、修复项目数据、驻点及联合研究成果数据；管理员可以将定期调查数据、督察项目数据、修复项目数据、驻点及联合研究成果数据定期通过输入单元输入所述人工填报模块，也可以是管理员实时将获取的数据通过输入单元输入所述人工填报模块。

所述网络爬取模块用于获取目标网站的数据，包括网络舆情数据、新闻资讯数据、政策法规数据、导航位置数据，如百度指数、长江中心公众号、各部委官网等；

所述共享交换模块从相关部门的目标系统中获取共享数据，实现数据共享，共享数据的数据包括土壤类型数据、土地利用数据、流域水系数据、水环境监测数据、污染源监测数据、水环境模型数据。

所述数据采集单元还可以包括其他的资源，并设置对应资源的获取模块。

所述数据治理单元对汇聚后的多源数据进行标准统一、规范整理，主要包括梳理数据间的逻辑关系，提升数据的规范性、可用性，避免数据冗余和重复，规避数据不一致性。面向长江生态环境保护数据，主要是基于既定处理规则，实时、批量地完成空间坐标、数据格式、数据编码等方面的统一、规范转换。同时建立对象实体概念，依据时空一致性原则按对象将不同数据进行关联。通过对抽取、清洗、规范、除重、重构等操作，连接不同领域的数据，挖掘数据内涵。

所述数据治理单元包括元数据管理模块、数据标准管理模块、数据质量管理模块、数据ETL处理模块。

所述元数据管理模块将采集的长江流域中结构化数据的数据字典、数据血缘、数据特征信息进行定义、汇集得到标准数据，并在前端显示单元通过图表可视化方式进行显示，保证数据可溯源可追踪，同时帮助用户获得更好的数据洞察力，实现资源中的价值。

数据字典是指数据的结构信息，包括表名、表注释、表字段信息等。数据血缘是指一个表是直接通过哪些表加工而来，可以用来做影响分析和故障溯源。数据特征是指数据的属性信息，如数据所属的主题，表关联的指标等。数据地图是指各类数据的信息及关系。例如，污染数据的总磷总氮中，定义总氮是指具体拿什么来测量获得，定义天气是什么等。

所述数据标准管理模块设置有各个不同来源数据的标准定义、不同数据对应的数据资源目录、版本管理和评估监测。

标准定义包括：统一数据命名、数据定义、数据类型、赋值规则的定义基准，所述数据标准管理模块根据标准定义将所述数据采集单元采集的各类多源数据进行标准统一、规范整理，获得规范化的目标数据。例如污染数据包括国家调查或普查数据、地方上报、监测采样等数据，不同渠道获得数据的时间尺度不同，根据元数据管理模块中对于污染数据的要求，对污染数据进行规范，使所有污染数据均规范到同一时间尺度(具体可以根据赋值规则来进行计算获得)，使数据具有可比性。

数据资源目录将经过标准定义的规范化目标数据，根据数据的初步分类进行标注，包括数据类型、更新频率、更新时间、数据来源、数据内容、存储位置等，记录在对应目录下，便于数据查询、检索。其中数据资源目录中结构化数据是经过元数据管理模块定义、汇集得到标准数据，非结构化数据是直接通过数据采集单元采集的数据。

版本管理用于更改所述数据资源目录的框架，例如：添加或删除指定分类名称，将数据资源目录进行版本更新。

评估监测将数据资源目录中评估类型和监测类型数据(在线数据)进行评估，经过评估后的数据也可以将评估结果标记的在对应数据上。

所述数据标准管理模块对所述标准数据进行标准评估，确保数据在复杂数据环境中维持数据模型的一致性、规范性，从源头确保数据的正确性及质量，提升开发和数据管理的一贯性和效率性。

所述数据质量管理模块预设有数据质量规则、数据智能预警、稽核校验任务、数据质量报告。

所述数据质量管理模块根据数据质量规则有效识别、监控数据资源目录中各类数据质量问题，并对质量问题数据进行提示预警，可以将该问题数据进行标红提示，也可以是提取该数据时，出现弹框提示，避免数据使用的人员使用到问题数据，实现数据智能预警。所述数据质量规则对所述共享系统的各类数据进行规范，即对内提供系统支撑、对外提供服务业务数据，保证数据的正确性，完整性，有效性，实时性，可扩展性。

所述数据质量管理模块可以将根据数据质量规则识别的质量问题数据、数据使用中发现的问题数据返回上报单位，要求核对修改，当上报单位再次上报时，对数据进行检验，实现数据的稽核校验任务。

所述数据质量管理模块根据对数据质量的识别、监控对数据资源目录中每份数据做出评估，获得数据可信度的数据质量报告。

所述数据质量管理模块通过有效识别各类数据质量问题，建立数据监管，形成数据质量管理体系，监控并揭示数据质量问题，提供问题明细查询和质量改进建议，全面提升数据的完整性、准确性、及时性、一致性以及合法性，降低数据管理成本，减少因数据不可靠导致的决策偏差和损失。数据质量规则包括空间精度、属性精度、时间精度、数据完整性、表达合理性、逻辑一致性等方面要求。

所述数据ETL处理模块对原始文档类数据进行提取、清洗、转换、整合、加载处理，获得语义一致、完整的数据模型，既可以用于问题数据的修正，也可以用于为数据应用提供可靠的数据模型。所述数据ETL处理模块对原始文档类数据处理是以可视化工作流的形式，通过封装ETL算法实现。可视化工作流基于AntV X6图编辑引擎进行开发，方便定制数据流程。所述数据ETL处理模块不仅可以对问题数据进行修正，还可以为数据应用提供可靠的数据模型。所述数据ETL处理模块通过数据筛选、数据关联、数据聚合等方式构建数据视图，提高数据质量，统一实体定义，简化改进流程并提高业务的响应速度。相关业务人员可直接通过系统进行ETL操作而无需开发人员进行繁重的代码编写。

所述数据ETL处理模块包括数据抽取模块、数据清洗模块、数据转换模块、数据加载模块。

所述数据抽取模块用于在原始非结构化原始数据中抽取目标数据，实现数据的结构化。用户可以通过输入单元输入不同数据来源原始数据的抽取时间，目的是提供给用户的数据具有最高时效性。例如：水质实时数据1小时抽取一次，水文数据1天抽取一次，根据数据时间戳采用增量抽取形式。

数据清洗模块将所述数据抽取模块抽取获得的数据进行核对，确认数据的正确性。

所述数据转换模块是将原始非结构化数据中文字转化为具体的数字数据，例如原始非结构化数据中包含文字经纬度，所述数据转换模块将其转换为数字数据。并且根据对应的业务规则对不完整、错误、重复等异常数据进行处理，保证数据的准确性。常用的转换处理方式包括空值处理、数据拆分、数据去重、格式规范、数据过滤、列选择、数据替换、数据关联、数据聚合、数据派生。

空值处理是将空值替换为均值、中位数或用户通过输入单元输入的自定义值；数据拆分是根据业务要求将原本合并的字段进行字段拆分；数据去重是将重复的数据进行删除过滤；格式规范是按照一定的格式要求将数据进行格式化转换，对于空间数据需要进行坐标及投影转换；数据过滤是按照实际需求如一定的时间规则、业务规则等对特定字段进行过滤；列选择是从输入的数据集中选择需要的字段；数据替换是根据业务需求对无效和缺失数据进行替换；数据关联是基于特定字段，关联已有数据字段信息并进行填充；数据聚合是按照某种聚合规则(求和、最大值、最小值等)进行聚合运算；数据派生是按照预设的计算规则(如两个列相加或相乘等)，生成新的计算列。

所述数据加载模块是将清洗转换处理后的数据按照预先设置定义的数据模型装入目标数据表/数据库中。

所述数据ETL处理模块对于非结构化数据的处理还包括批量处理、实时处理、采集统计处理和传输监控处理。

批量处理是指批量处理文档数据，例如批量推送非结构化的文档数据，所述数据ETL处理模块自动读取目标数据。

实时处理是指非结构化数据送达后，即时对非结构化数据进行处理读取目标数据。

采集统计处理是指读数类非结构化数据送达后，对数据进行处理读取目标数据。

传输监控处理是指视频/音频类非结构化数据送达后，对数据进行处理读取目标数据。

所述数据存储单元将所述数据采集单元采集的各类多源数据、所述数据治理单元处理后的规范化目标数据进行分类存储、管理。所述数据存储单元包括，用于存储所述数据采集单元采集各类多源数据原始数据的关系数据库、非关系数据库、空间数据库、分布式文件系统、内存数据库；数据存储是将来源广泛、结构异质的长江流域大数据进行统一存储和管理，根据数据特性分别存储到不同类型数据库：环境管理业务数据存储到MySQL、Oracle等关系数据库，气象监测、水文监测、水质监测等长时序、高频次监测数据存储到HBase数据库，业务系统需要高频访问的内容存储到Redis内存数据库，栅格数据、矢量数据等存储到PostGIS、EV-Server等空间数据库。

还包括对各类多源的原始数据进行数据综合、归类并进行分析的数据主题库，所述数据主题库根据具体宏观分析领域所涉及的分析对象，形成对应主题的综合数据支持库，对决策形成支持；所述数据主题库包括基础数据库、水环境数据库、污染排放数据库、模型知识数据库、环境管理数据库和其他数据库。

外部交换数据库为其它合作单位共享接口数据，如气象共享数据、水专项共享数据，通过API接口的方式进行定时获取并存储到数据库中，经过安全处理后再转存在数据主题数据库或关系数据库、非关系数据库、空间数据库、分布式文件系统、内存数据库。

所述外部交换数据库包括对内共享数据库、对外共享数据库和其他对接数据库。所述对内共享数据库存储有指定项目组成员可以共享的数据资料；所述对外共享数据库存储有项目组成员外的公众成员或其他部门成员共享的数据资料；所述其他对接数据库存储有其他单位(包括合作单位或其他单位)共享的数据资料。共享的数据资料包括，其它合作单位共享接收的数据、内部数据库(数据主题数据库或关系数据库、非关系数据库、空间数据库、分布式文件系统、内存数据库)共享发出的数据。

所述的共享系统还包括角色设置单元，管理员通过角色设置单元添加新的登陆账号，并设置对应账号的权限。角色设置单元设置对应账号的权限包括共享数据权限(可以查看数据范围)。

所述数据服务单元将数据从存储层中提取出来，经过处理分析标准化，形成供各业务应用系统可调用的服务，包括服务资源目录模块、数据分析服务模块、服务发布模块、服务消费模块和服务监控模块。

所述服务资源目录模块是也可以说是二次产品资源目录，具体说，所述服务资源目录模块包括可提供数据的详细目录，用户通过输入单元输入要查看获取的目标数据，所述服务资源目录模块根据对应的服务资源目录查找目标数据，供用户查看使用。

所述服务资源目录模块包括数据目录、模型目录、图件目录、服务目录。用户通过输入单元输入将想要获取的目标数据后，调取所述服务资源目录模块下对应目录的数据，通过服务发布模块将用户输入的想要获取的目标数据发送至用户账号，并在显示单元进行显示。所述服务资源目录模块还对应有不同用户可查看数据的权限，即每个目录对应有可查看用户，不在目录查看用户内，用户无法读取对应的数据。

所述数据目录为数据资源目录，数据目录提供了相关的元数据描述，使资源更容易被发现搜索。数据目录涵盖基础数据、环境知识、驻点成果、联合研究成果等方面。基础数据包括水污染排放、水质监测、生态系统、气象水文、水利水务、社会经济以及遥感影像、河流水系、地形地貌、基础矢量等基础地理数据。环境知识包括水专项技术、规划方案、政策法规、技术汇编等。驻点成果包括驻点研究提交的各类成果内容包括污染源、水质监测、社会经济、饮用水源地、供水/用水量、入河排污口、水系图、中央储备库项目、生态环境问题等。联合研究成果涵盖联合研究项目提交的各类成果包括解决方案、问题清单、成果报告等，如图2所示。

模型目录涵盖水动力模型、水质模型、水生态模型、流域模型、地下水模型、海洋模型等方面。

所述图件目录为成果图件目录，成果图件目录包括水资源分区图、水系分布图、行政区划图、数据高程图、遥感影像图、土地利用图、片区分布图、驻点城市分布图、降水量分布图、十三五水质变化图等。

所述服务目录为API服务目录，API服务目录包括水质实时数据、气象实时数据、水位实时数据、水质历史数据、气象历史数据、水文历史数据等。

所述数据分析服务模块包括关联分析、多维分析、水质在线计算分析、周边分析等服务。关联分析是采用关联挖掘算法，发现目标对象之间的关系。多维分析是将数据放到二维以上的空间坐标进行分析。水质在线计算分析是依据地表水环境质量标准对用户上传的数据进行河流及湖库评价。周边分析是基于空间分析算法对某个区域的水质、污染源、水文气象数据等进行空间查询统计。

所述数据分析服务模块还可以在关联分析、多维分析、水质在线计算分析、周边分析之外的分析要求下，根据用户定制任务需求对公众发布众包服务，公众对目标成果的关联数据进行分析处理，进而得到用户需求的目标数据成果，再反馈给用户。所述数据分析服务模块包括任务申请模块、任务审核模块、数据分析处理模块、数据成果上传模块。所述任务申请模块用于提交用户的任务需求，管理员通过所述任务审核模块对任务需求进行审核，审核通过后调用后台数据分析处理模块进行数据处理，最后通过数据成果上传模块上传处理好的数据成果。

所述数据分析服务模块可以通过模型运算对运算结果进行分析，所述数据分析服务模块包括核对模块，所述核对模块对模型运算的运算结果进行核对，避免使用问题模型运算后得到错误的运算结果，进而影响最后获得的分析结果。

所述数据分析服务模块根据计算任务进行模型运算，进而得到最后的分析结果。所述核对模块根据计算任务的运算结果，反向推算该计算任务的计算参数，并将反向推算的计算参数与计算任务的初始参数进行核对；所述核对模块预设有参数核对阈值，所述核对模块计算反向推算的计算参数与计算任务的初始参数的差值得到第一核对值，取第一核对值的绝对值为第二核对值，将第二核对值与参数核对阈值进行比较，当第二核对值小于等于参数核对阈值时，所述数据分析服务模块获得分析结果；当第二核对值大于参数核对阈值时，所述数据分析服务模块对分析结果附加预警，以提示用户使用该分析结果的错误风险。

所述数据分析服务模块还设置孪生模型训练模块，所述孪生模型训练模块获取问题模型的原始模型，为原始模型生成对应的原始对抗模型；采用原始模型与所述原始对抗模型对所述原始模型进行重新训练，得到原始模型的孪生模型，所述数据分析服务模块将问题模型替换为所述孪生模型，避免了问题模型对后续计算任务的影响。

长江流域数据采集处理与资源共享系统的所述数据分析服务模块还可以包括配置模块、查找模块和创建模块，以加快目标数据获取的速度。

所述配置模块用于接收对目标数据的第一开关及第二开关的配置操作，其中所述第一开关用于配置目标数据的源数据参数，所述第二开关控制数据处理管线的查找规则。

所述查找模块依据所述源数据参数及所述第二开关确定的查找规则，从所述服务资源目录模块或数据资源目录中查找目标数据；

所述创建模块利用目标数据对应服务资源目录模块或数据资源目录的位置信息，创建目标数据的提取管线；

所述查找模块，还可以确定所述目标数据采用的数据提取方式，通过目标数据的应用方式，从数据应用模板中查找目标数据应用方式对应的管线变体；所述管线变体为管线描述集合，所述管线描述包括数据应用方式对应提取方式的集合，以及每个提取方式对应的文件类型。

所述服务发布模块将所述服务资源目录模块、所述数据分析服务模块提取的目标数据通过显示单元进行发布(显示)。

管理员通过所述服务发布模块将各类资源目录服务及数据分析服务进行管理发布。发布的服务按照数据处理时间分为实时传输服务和批量作业服务，实时传输服务是指，用户想要获取的目标数据为所述服务资源目录模块直接可以获取的数据，用户通过输入单元输入想要获取的目标数据后，目标数据实时输出；批量作业服务是指，用户想要获取的目标数据需要所述数据分析服务模块，或者众包服务才能获取的数据，目标数据经过作业后批量输出。

所述服务消费模块包括服务浏览、服务申请、服务审批和数据使用。用过对目标需求数据通过输入单元进行搜索，用户通过服务浏览服务资源目录。

若目标需求数据为公开数据或者查看权限内数据，用户可以直接对需求的目标数据进行下载。此时数据下载分为免费直接下载和积分下载，免费下载可以直接下载需求的目标数据，用户使用数据；积分下载需要所述服务消费模块核实用户积分是否满足下载积分数量，当用户积分大于等于所需下载积分时，所述服务消费模块消减用户下载需求的目标数据积分后，下载对应数据；当用户积分小于所需下载积分时，用户可以通过积分充值或者资源贡献，增加积分后，下载需求的目标数据，用户使用数据。

若目标需求数据用户查看权限外数据，用户提出服务申请(在先申请数据)；服务审批对用户查看或下载需求数据进行审批，审批通过后，用户下载数据或为用户提供离线数据，用户此时可以通过显示单元查看需求数据，用户使用数据。若审批不通过，所述服务消费模块通过显示单元反馈审核未通过原因。

用过对需要的目标数据进行下载或查看后还可以对提供的数据或数据申请过程进行评价，以促进数据或数据申请流程的完善。

所述服务消费模块根据用户实际业务需求与数据需求，完成数据分级共享方式设计，使系统可依据用户权限提供分级、分类的数据下载与业务结果查询功能，确保数据安全与用户体验效果。制定数据共享的权限划分与业务化运行机制，所述业务化运行机制即制定数据共享的规范与细则，比如什么权限下哪些人可以访问，即数据访问的权限，数据管理的规范，更好实现多种数据共享服务。平台提供的数据资源包括可直接下载资源和需要在线申请的资源。直接下载资源下载时需要根据资源所需积分进行抵扣，无积分的为免费资源。若用户积分不满足下载条件，可通过积分充值或贡献上传资源获取积分。限制共享数据需要用户进行在线申请，用户首先通过服务浏览查看数据预览信息，然后进行相应的服务申请，审核用户通过服务审批后，可使用相应数据服务，如图2所示。

服务监控具体包括链路监控、安全监控、状态监控和故障告警，是通过数据服务后台对各类服务的状态、全链路生命周期、用户使用情况进行监控，及监控数据的日、周、月更新情况，用户数据访问次数，用户数据下载次数等，对数据更新异常、用户访问异常、下载异常等情况进行告警，保证数据和系统的安全性。

长江流域数据采集处理与资源共享系统，提供了可定制化的数据采集流程编辑工具，通过用户在显示单元的界面进行拖拽实现，可对不同类型数据提取、转化、加载过程进行可视化流程化处理，并可设置对应的定时计划任务，便于任务按时完成，实现空值处理、数据拆分、数据去重、格式规范、数据过滤、列选择、数据替换、数据关联、数据聚合等过程自动处理；采用自动化的流域数据采集与资源共享技术，保障长江平台数据采集、汇聚、存储、处理的全面、高效与高质量，形成数据处理标准化闭环。能够将多源异构来源的数据，封装相关数据处理算法，通过可视化工作流程进行规范化处理，最后得到完整、一致的高质量数据，有效提升数据治理工作效率，为平台后续的数据挖掘分析提供高质量的数据基础。

以上内容是对本发明创造的优选的实施例的说明，可以帮助本领域技术人员更充分地理解本发明创造的技术方案。但是，这些实施例仅仅是举例说明，不能认定本发明创造的具体实施方式仅限于这些实施例的说明。对本发明创造所属技术领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干简单推演和变换，都应当视为属于本发明创造的保护范围。

Claims (10)

1.长江流域数据采集处理与资源共享系统，其特征在于，包括数据采集单元、数据治理单元、数据存储单元、数据服务单元；

所述数据采集单元用于采集各类多源数据；所述数据治理单元是对汇聚后的多源数据进行标准统一、规范整理，梳理数据间的逻辑关系；所述数据存储单元将所述数据采集单元采集的多源数据、所述数据治理单元处理后规范化的目标数据进行统一存储和管理；所述数据服务单元将数据从存储层中提取出来，经过处理分析标准化，形成供各业务应用系统可调用的服务；

所述数据服务单元包括服务资源目录模块、数据分析服务模块、服务发布模块、服务消费模块和服务监控模块；所述服务资源目录模块为可提供数据的详细目录；所述数据分析服务模块为用户提供分析服务；服务发布模块将所述服务资源目录模块、所述数据分析服务模块提取的目标数据通过显示单元进行发布显示；所述服务消费模块依据用户权限提供分级、分类的数据下载与业务结果查询；所述服务监控模块对数据的消费使用进行监控，保证数据和系统的安全性；

所述数据分析服务模块包括核对模块，所述核对模块根据计算任务的运算结果，反向推算该计算任务的计算参数，并将反向推算的计算参数与计算任务的初始参数进行核对；所述核对模块预设有参数核对阈值，所述核对模块计算反向推算的计算参数与计算任务的初始参数的差值得到第一核对值，取第一核对值的绝对值为第二核对值，将第二核对值与参数核对阈值进行比较，当第二核对值小于等于参数核对阈值时，所述数据分析服务模块获得分析结果；当第二核对值大于参数核对阈值时，所述数据分析服务模块对分析结果附加预警，提示用户使用该分析结果的错误风险；

所述数据分析服务模块还设置孪生模型训练模块，所述孪生模型训练模块获取问题模型的原始模型，为原始模型生成对应的原始对抗模型；采用原始模型与所述原始对抗模型对所述原始模型进行重新训练，得到原始模型的孪生模型，所述数据分析服务模块将问题模型替换为所述孪生模型；

所述数据分析服务模块还包括配置模块、查找模块和创建模块，以加快目标数据获取的速度；

所述配置模块用于接收对目标数据的第一开关及第二开关的配置操作，其中所述第一开关用于配置目标数据的源数据参数，所述第二开关控制数据处理管线的查找规则；

所述查找模块用于依据所述源数据参数及所述第二开关确定的查找规则，从所述服务资源目录模块或数据资源目录中查找目标数据；

所述创建模块用于利用目标数据对应服务资源目录模块或数据资源目录的位置信息，创建目标数据的提取管线；

所述查找模块还用于确定所述目标数据采用的数据提取方式，通过目标数据的应用方式，从数据应用模板中查找目标数据应用方式对应的管线变体；所述管线变体为管线描述集合，所述管线描述集合包括数据应用方式对应提取方式的集合，以及每个提取方式对应的文件类型。

2.根据权利要求1所述长江流域数据采集处理与资源共享系统，其特征在于，还包括物联感知模块、遥感监测模块、人工填报模块、网络爬取模块、共享交换模块；

所述物联感知模块用于获取实时采集的数据；所述遥感监测模块用于获取不同空间分辨率、不同时间分辨率的遥感影像数据；所述网络爬取模块用于获取目标网站的数据；所述共享交换模块用于从相关部门的目标系统中获取共享数据。

3.根据权利要求1所述长江流域数据采集处理与资源共享系统，其特征在于，所述数据治理单元包括元数据管理模块、数据标准管理模块、数据质量管理模块、数据ETL处理模块；

所述元数据管理模块采集汇总长江流域各类数据的数据字典、数据血缘、数据特征、数据地图，并进行统一得到标准数据；所述数据标准管理模块将分散在各不同来源的数据提供统一的定义基准，进行标准统一、规范整理，获得规范化的目标数据；所述数据质量管理模块用于识别各类数据质量问题，建立数据监管，形成数据质量管理体系，监控并揭示数据质量问题，并提供问题明细查询和质量改进建议；所述数据ETL处理模块对原始非结构化数据以可视化形式，通过封装ETL算法进行提取、清洗、转换、整合、加载处理，获得语义一致、完整的数据模型。

4.根据权利要求3所述长江流域数据采集处理与资源共享系统，其特征在于，所述数据ETL处理模块包括数据抽取模块、数据清洗模块、数据转换模块、数据加载模块；

所述数据抽取模块用于在原始非结构化原始数据中抽取目标数据，实现数据的结构化；数据清洗模块将所述数据抽取模块抽取获得的数据进行核对，确认数据的正确性；所述数据转换模块是将原始非结构化数据中文字转化为具体的数字数据；所述数据加载模块是将清洗转换处理后的数据按照预先设置定义的数据模型装入目标数据表/数据库中，得到数据模型。

5.根据权利要求1所述长江流域数据采集处理与资源共享系统，其特征在于，所述数据存储单元包括，用于存储所述数据采集单元采集各类多源数据原始数据的原始数据库、对各类多源的原始数据进行数据综合、归类并进行分析的数据主题库、作为共享接口的中间数据库：外部交换数据库。

6.根据权利要求1所述长江流域数据采集处理与资源共享系统，其特征在于，所述数据分析服务模块还包括众包服务，所述众包服务包括任务申请模块、任务审核模块、数据分析处理模块、数据成果上传模块；

所述任务申请模块用于提交用户的任务需求，所述任务审核模块对任务需求进行审核，审核通过后调用后台数据分析处理模块进行数据处理，最后通过数据成果上传模块上传处理好的数据成果。

7.根据权利要求1所述长江流域数据采集处理与资源共享系统，其特征在于，所述服务发布模块进行发布显示的方式包括实时传输服务和批量作业服务。

8.根据权利要求1所述长江流域数据采集处理与资源共享系统，其特征在于，服务消费模块包括服务浏览、服务申请、服务审批和数据使用。

9.根据权利要求7或8所述长江流域数据采集处理与资源共享系统，其特征在于，服务消费模块在服务申请中设置数据提取时间，服务发布模块设置批量作业服务的结束时间，实现数据定时任务。

10.根据权利要求1所述长江流域数据采集处理与资源共享系统，其特征在于，还包括角色设置单元，所述角色设置单元用于设置/添加新的登陆账号，并设置对应账号的权限，所述角色设置单元设置对应账号的权限。