CN115392855B - 流域水环境大数据挖掘与业务决策支持系统 - Google Patents

流域水环境大数据挖掘与业务决策支持系统 Download PDF

Info

Publication number
CN115392855B
CN115392855B CN202210957566.8A CN202210957566A CN115392855B CN 115392855 B CN115392855 B CN 115392855B CN 202210957566 A CN202210957566 A CN 202210957566A CN 115392855 B CN115392855 B CN 115392855B
Authority
CN
China
Prior art keywords
data
water environment
interface
watershed
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210957566.8A
Other languages
English (en)
Other versions
CN115392855A (zh
Inventor
王国强
张庆竹
王溥泽
薛宝林
王运涛
任世龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Shandong University
Original Assignee
Beijing Normal University
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University, Shandong University filed Critical Beijing Normal University
Priority to CN202210957566.8A priority Critical patent/CN115392855B/zh
Publication of CN115392855A publication Critical patent/CN115392855A/zh
Application granted granted Critical
Publication of CN115392855B publication Critical patent/CN115392855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/35—Utilities, e.g. electricity, gas or water
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152—Water filtration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种流域水环境大数据挖掘与业务决策支持系统，包括：数据资源分类模块，用于利用树状信息分类方法及网状信息分类方法对流域水环境数据进行分类；数据存储与交换模块，用于对流域水环境数据进行存储以及对不同网络来源的数据进行交换；接口模块，用于提供各种类型的数据接口和服务接口；数据挖掘与分析模块，用于利用数据分析技术和人工智能技术对流域水环境数据进行数据挖掘与分析，以实现水质预测和污染预警；集成模块，用于进行应用系统集成、界面集成、功能集成和数据集成，以实现统一的开放性可扩展水环境信息平台。本发明涉及流域水环境数据处理技术领域，可实现数据、功能、应用系统的汇集、分析、展示的成套支持体系。

Description

流域水环境大数据挖掘与业务决策支持系统
技术领域
本发明涉及流域水环境数据处理技术领域，特别涉及一种流域水环境大数据挖掘与业务决策支持系统。
背景技术
近年来，随着物联网与大数据技术的发展，为流域水环境数据处理与决策带来新的机遇与挑战。水环境行业在积攒了丰富数据信息资源的同时，相关的数据应用软件、信息系统及交互平台也大量涌现。然而，源于互联网、物联网、跨部门共享的各类水环境数据资源并未得到有效梳理和整合，导致大量流域水环境数据资源难以得到合理利用，严重制约了各类数据资源在水环境业务决策中发挥的作用。
发明内容
针对上述问题，本发明的目的在于提供一种流域水环境大数据挖掘与业务决策支持系统，通过流域水生态环境数据的收集、传输、整合、交换和集成，结合分布式存储技术、大数据分析挖掘技术与人工智能技术，实现数据、功能、应用系统的汇集、分析、展示的成套支持体系。
为解决上述技术问题，本发明的实施例提供如下方案：
一种流域水环境大数据挖掘与业务决策支持系统，包括：
数据资源分类模块，用于利用树状信息分类方法及网状信息分类方法对流域水环境数据进行分类；
数据存储与交换模块，用于对流域水环境数据进行存储以及对不同网络来源的数据进行交换；
接口模块，用于提供各种类型的数据接口和服务接口；
数据挖掘与分析模块，用于利用数据分析技术和人工智能技术对流域水环境数据进行数据挖掘与分析，以实现水质预测和污染预警；
集成模块，用于进行应用系统集成、界面集成、功能集成和数据集成，以实现统一的开放性可扩展水环境信息平台。
优选地，所述数据资源分类模块根据流域水环境数据的特点，利用树状信息分类方法从流域水环境业务的多个维度对流域水环境数据进行分类，并利用网状信息分类方法将多维树状的流域水环境数据进行联结。
优选地，所述流域水环境业务的维度包括：水环境质量、污染源与排污口、流域生态环境、水文气象与水模型参数、水环境管理业务、环境政策法规标准、流域水环境空间数据。
优选地，所述数据存储与交换模块以物联网、互联网、电子政务网来源的数据为基础，通过包括离线计算、流式计算的处理技术对数据进行整理与初始化，并根据流域水环境业务分主题进行数据库建设。
优选地，所述数据存储与交换模块中，数据的存储模式分为以下三类：
分布式存储：将数据分散存储在多台独立的计算机上，并通过管理系统对数据进行管理，从而形成数据统一集中管理的模式；
集中式存储：由一台或多台主计算机组成中心节点，数据集中存储于这个中心节点中，并且所有业务系统都集中部署在这个中心节点上，所有的功能均由其集中处理；
内存存储：将数据存储在计算机内存中，适用于对数据有高读写要求的系统。
优选地，所述数据存储与交换模块中，流域水环境数据的存储包括：
资源目录存储存储：数据按照预定的资源目录进行组织，并按照不同的媒体类型归类存储；
关系型资源存储：以二维表结构对数据进行组织和存储，当数据存储于关系数据库中时，每个数据作为独立的单元存储于关系数据库表中；
非关系型资源存储：完整的非关系型数据单独进行存储。
优选地，所述数据存储与交换模块中，数据来源分为互联网来源和电子政务网来源，数据交换模式分为三种：互联网交换、互联网与电子政务网交换、电子政务网内交换。
优选地，所述接口模块中，根据数据采集方式和数据特征，数据接口包括水环境监测监控的物联网采集数据接口，水环境管理业务相关的结构化和非结构化数据接口，以及流域水环境模型数据接口；数据接口提供数据类的支持，包括对数据的增删改查；服务接口是功能和数据的集合体，用于完成预定功能的运算和展示。
优选地，所述数据挖掘与分析模块中，采用的数据分析技术包括实时数据分析技术、准实时数据分析技术、离线数据分析技术、模型分析技术，采用的人工智能技术包括图片识别技术、语音识别技术、机器学习技术。
优选地，所述集成模块中，应用系统集成包括：按照多层结构，设计可扩展、开放的系统体系结构，其中，多层结构至少包括：用户界面层、业务逻辑层、数据存储层，可根据实际需要增加业务支撑层；
界面集成包括：针对被接入对象展现的逻辑关系进行界面接入设计，为用户提供与水环境信息平台进行交互的统一界面和访问入口；
功能集成包括：在业务逻辑层面上进行接入，通过对功能进行不同粒度的封装，提供标准化的功能组件或服务；部署到网络环境中，可作为不同应用系统间的标准接口，用于所有接受这个标准的应用系统的调用请求；
数据集成包括：将应用系统的业务数据与业务流程的逻辑分离，使业务流程的改变不会引起应用系统的改变，实现松耦合的数据接入。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，数据资源分类模块利用树状信息分类方法及网状信息分类方法对流域水环境数据进行分类；数据存储与交换模块对流域水环境数据进行存储以及对不同网络来源的数据进行交换；接口模块提供各种类型的数据接口和服务接口；数据挖掘与分析模块利用数据分析技术和人工智能技术对流域水环境数据进行数据挖掘与分析，以实现水质预测和污染预警；集成模块，用于进行应用系统集成、界面集成、功能集成和数据集成，以实现统一的开放性可扩展水环境信息平台。本发明通过流域水生态环境数据的收集、传输、整合、交换和集成，结合分布式存储技术、大数据分析挖掘技术与人工智能技术，实现数据、功能、应用系统的汇集、分析、展示的成套支持体系，为流域水环境大数据挖掘与业务决策提供有效的支撑。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的流域水环境大数据挖掘与业务决策支持系统的结构示意图；
图2是本发明实施例提供的流域水环境大数据组成示意图；
图3是本发明实施例提供的流域水环境大数据存储体系结构图；
图4是本发明实施例提供的模型与数据源关系示意图；
图5是本发明实施例提供的模型数据接口描述要素示意图；
图6是本发明实施例提供的OpenMI标准接口原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例提供了一种流域水环境大数据挖掘与业务决策支持系统，如图1所示，所述系统包括：
数据资源分类模块，用于利用树状信息分类方法及网状信息分类方法对流域水环境数据进行分类；
数据存储与交换模块，用于对流域水环境数据进行存储以及对不同网络来源的数据进行交换；
接口模块，用于提供各种类型的数据接口和服务接口；
数据挖掘与分析模块，用于利用数据分析技术和人工智能技术对流域水环境数据进行数据挖掘与分析，以实现水质预测和污染预警；
集成模块，用于进行应用系统集成、界面集成、功能集成和数据集成，以实现统一的开放性可扩展水环境信息平台。
进一步地，所述数据资源分类模块根据流域水环境数据的特点，利用树状信息分类方法从流域水环境业务的多个维度对流域水环境数据进行分类，并利用网状信息分类方法将多维树状的流域水环境数据进行联结。
所述流域水环境业务的维度包括：水环境质量、污染源与排污口、流域生态环境、水文气象与水模型参数、水环境管理业务、环境政策法规标准、流域水环境空间数据。
其中，水环境质量数据分为四级目录，详情见下表。
表1水环境质量数据资源目录
污染源与排污口数据分为三级目录，详情见下表。
表2污染源与排污口数据资源目录
流域生态环境数据分为三级目录，详情见下表。
表3流域生态环境数据资源目录
水文气象与水模型参数数据分为三级目录，详情见下表。
表4水文气象与水模型参数数据资源目录
水环境管理业务数据分为四级目录，详情见下表。
表5水环境管理业务数据资源目录
环境政策法规标准数据分为四级目录，详情见下表。
表6环境政策法规标准数据资源目录
流域水环境空间数据分为三级目录，详情见下表。
表7流域水环境空间数据资源目录
此外，流域水环境业务还包括其他的维度，例如社会经济、环境政务管理、与流域水环境管理业务关联或无关联的非官方数据，包括：非官方组织或正规性的机构组织互联网发布的水环境相关信息等，此处不再赘述。
数据存储方面，流域水环境大数据从数据形式上分为水环境空间数据和水环境非空间数据，水环境空间数据包含了基础空间数据和专题空间数据；水环境非空间数据包含了水环境业务数据和水环境非业务数据，且两类数据都可以以结构化和非结构化的形式进行存储，如图2所示。需要说明的是，图中的流域水环境管理大数据与文中的流域水环境大数据表示同样的含义。
所述数据存储与交换模块的体系结构如图3所示，以物联网、互联网、电子政务网来源的数据为基础，通过包括离线计算、流式计算的处理技术对数据进行整理与初始化，并根据流域水环境业务分主题进行数据库建设。
本发明实施例中，数据的存储模式分为以下三类：
分布式存储：将数据分散存储在多台独立的计算机上，并通过管理系统对数据进行管理，从而形成数据统一集中管理的模式；
集中式存储：由一台或多台主计算机组成中心节点，数据集中存储于这个中心节点中，并且所有业务系统都集中部署在这个中心节点上，所有的功能均由其集中处理；
内存存储：将数据存储在计算机内存中，适用于对数据有高读写要求的系统。
所述数据存储与交换模块的基本要求如下：
1)应支持数据上传、数据下载、目录查看、目录创建、目录删除、权限修改等操作；
2)应支持标准、开放的数据访问API对数据进行操作；
3)应提供数据加载工具的功能，满足大数据存储与处理系统和传统关系型数据库其他文件系统之间交换数据和文件；
4)应具备关键节点(部件)高可用性设计与要求；
5)宜提供流域水环境管理核心业务数据自动备份和手动备份的功能；
6)宜支持流域水环境管理核心业务数据的批量更新、删除等数据管理功能；
7)宜支持流域水环境管理视频监控流式数据的实时入库，支持实时查询；
8)流域水环境管理核心业务数据宜采用集中式存储方式，对于分级上报、审核、汇集的业务数据可采用分布式存储方式。
所述数据存储与交换模块中，流域水环境数据的存储包括：
资源目录存储存储：数据按照预定的资源目录进行组织，并按照不同的媒体类型归类存储；基本结构如下表所示：
表8资源目录基本结构
关系型资源存储：以二维表结构对数据进行组织和存储，当数据存储于关系数据库中时，每个数据作为独立的单元存储于关系数据库表中；结构如下表所示：
表9资源索引表
序号 字段名 说明 类型 非空 备注
1 ID 当前资源本地标识 字符串型 是 主键
2 Code 当前资源编码 字符串型 是 唯一键
3 Description 资源描述 长文本型 是
资源索引与实体资源表结构见下表所示。
表10资源关系表
非关系型资源存储：完整的非关系型数据单独进行存储。如果文件中涉及媒体对象相关数据文件的具体存储位置时，该存储位置可以是当前实体文件存储位置的相对路径，也可以是其他路径。
示例：当前非关系型资源文件存储为“/BssePath/ObjectInfo.xml"("BssePath"为存储文件的基础存储路径)。该文件中涉及的媒体对象相关数据文件可存储于同一路径下,其表达形式为XML。
本发明实施例中，数据来源主要分为互联网来源和电子政务网来源。数据交换模式主要分为三种：互联网交换、互联网与电子政务网交换、电子政务网内交换。其中，互联网与电子政务网交换、电子政务网内交换宜采用前置机模式。
流域水环境大数据交换应遵循以下要求：
1)涉及接入的业务流程较简单且稳定。
2)接入的数据相应数据结构明确清晰。
3)数据能够独立体现数据的业务性。
4)具备支持多种异构数据的接收和整合能力。
交换资源包用以封装资源对象及其所包含的单一媒体对象(及相关数据文件)信息，其结构如下：
Object_LocaL_Code.zip/
mimetype
CONTAINER/
doc_rdf_intance.xml(实体文件)
dataFile/
[media_type_label]/
某一媒体类型数据文件
“Object_LocaL_Code.zip”为资源对象的本地标识符；交换信息包以“Object_LocaL_Code.zip”命名,采用ZIP压缩格式对信息包进行压缩。
“mimetype”资源的类型。
为了支持资源对象的交换与复用，资源对象应用系统之间可通过FTP/SFTP、接口等方式进行数字内容对象的交换。
应用系统之间可直接传送“交换资源包"文件来进行交换。
流域水环境数据交换宜参照接口交换方式的接口分类规定，可提供以下4个方面的接口，以供第三方(外部系统)从该系统中获取资源对象内容信息(包括元数据、数据文件等)。
1)资源列表获取接口(ListObject)：获取符合查询条件的资源列表。
资源列表获取接口定义见下表。
表11资源列表获取接口定义
2)资源数据获取接口(getMetadata)：获取指定资源的数据，支持多种元数据格式。
资源数据获取接口定义见下表。
表12资源数据获取接口定义
3)数据流获取接口(getDataStream)：获取数据文件对应的数字内容的字节流。
数据流获取接口定义见下表。
表13数据流获取接口定义
项名 说明
名称 getDataStream
描述 通过数据文件的内容链接获取其对应的数字内容的字节流
句法 http://hostname:port/getDataStream？url＝contentURL
参数 url：必填，数据文件的内容链接
4)资源上传接口(uploadZIP)：将资源包及交换信息包上传至资源存储系统。
资源上传接口定义见下表。
表14资源上传接口定义
本发明实施例中，根据数据采集方式和数据特征，数据接口包括水环境监测监控的物联网采集数据接口，水环境管理业务相关的结构化和非结构化数据接口，以及流域水环境模型数据接口；数据接口提供数据类的支持，包括对数据的增删改查；服务接口是功能和数据的集合体，用于完成预定功能的运算和展示。
接口描述基于如下基本格式：
WebService::＝<METHOD><ENTRY>[<PARAM>][<HEADER>][<STREAM>]
各字段的含义如下表所示。HTTP请求的返回结果包含两部分：一部分为HTTP消息的状态码(StatusCode)，表示响应的状态；另一部分为HTTP请求的消息体，消息体采用JSON格式进行封装。
[]为接口中可选项。
表15接口描述基本格式说明
所有接口定义格式说明如下：
1)接口名：接口的名称；
2)说明：对接口内容的描述；
3)调用格式:：调用Web服务时的语法格式；
4)语义：对调用格式的解释；
5)调用结果：Web服务调用结果，包括成功状态和失败状态的下的响应信息。
如无特殊说明，所有Web服务接口调用时都应加上下表中的HTTP请求头。
表16服务接口调用请求说明
物联网采集数据接口(或称物联网传感器接口)常用的HTTP状态码表示及含义见下表，未列举状态码的名称及含义参考HTTP协议的定义。
表17 HTTP状态码表
物联网传感器接口规定了平台管理传感器及数据接入的相关要求，接口名为：BsTable，如下表所示。
表18物联网传感器接口规范
根据物联网传感器所处的物理位置和网络环境，本发明设计了三种接口及要求，如下表所示。
表19物联网数据实时接入接口规范
物联网传感器数据批量导入时，通过RESTful架构导入文件，导入文件应符合下列要求：
1)文件编码为UTF-8；
2)文件为CSV格式(以单竖线作为列分隔符，回车作为行分隔符)；
3)一行一条数据记录；
4)数据涉及的传感器数据模型需在平台中完成注册；
5)每条数据记录中数据列数应与传感器数据模型定义的传感器相同且取值一一对应。
传感器数据批量导入接口规定了新建导入任务、上传传感器数据文件、获取导入任务列表、获取任务详情、获取单个任务状态的要求，具体如下表所示。
表20传感器数据批量导入接口
物联网传感器数据查询接口，规定了流数据、行数据、点数据、聚合数据的查询要求，具体如下表所示。
表21传感器数据查询接口
对于非结构化数据接口，创建非结构化类型的数据模型附加流<STREAM>指定该类型数据所涉及的相关信息，包括但不限于对象类型名称、属性列表。接口服务功能应当包括但不限于创建、修改、删除、查询、搜索和导出。接口返回状态应参考表21。
流域水环境业务系统大数据分析组件包括但不限于以下四种：UDF API、MRAPI、数据导入导出API和数据质量检查API。流域水环境大数据业务系统服务接口的开发宜集成上述组件，并应遵循GB/T 35295-2017和GB/T35589-2017的规定。
流域水环境大数据业务系统耦合集成水文、水动力、水环境等模型过程中，通常模型与可为之提供输入数据的数据源之间并不具备相同的数据定义，两者之间进行数据交换需要转换数据源数据至满足模型输入数据要求的形式，模型与数据源之间的一般关系如图4所示。
一个完整的模型数据接口描述要素集包含两大部分内容：模型输入输出数据项集和数据源与模型之间的数据映射关系集，如图5所示。
模型输入输出数据项集描述如下表所示。
表22模型数据项集
约束/条件说明：必选(Mandatory，M)、条件必选(Conditional，C)、可选(Optional，O)。
流域水环境模型的接口调用，主要体现在模型间的接口调用和模型与系统间的接口调用。模型间的数据接口宜采用OpenMI Standard 2 Specification forthe OpenMI要求，其原理如图6所示。
图中A和B表示按OpenMI技术要求标准化的模型组件。OpenMI采用“请求－响应”机制，运行时根据预定义的交互模式实现模型组件间的数据请求与返回。
1)单向数据请求：组件A单向地从组件B中请求数据，如果B已完成对A所需数据的计算，它将直接返回所需数据；如果计算尚未完成，提出需求的模型将等待所需数据的返回。
2)双向数据交互：组件A需要从组件B中获得数据，而组件B完成计算需从组件A中获取某种物理量数据。
若组件A请求的数据在时间与空间上与B模型的计算值不匹配，要求模型做相应处理后返回请求值，对返回的数据在数据格式与科学语意上必须相匹配。
进一步地，所述数据挖掘与分析模块采用的数据分析技术包括实时数据分析技术、准实时数据分析技术、离线数据分析技术、模型分析技术，采用的人工智能技术包括图片识别技术、语音识别技术、机器学习技术。
对于实时数据、准实时数据、离线数据，本发明实施例中采用Kafka+Storm的架构对监测数据等数据进行实时接收和处理，对于非结构化、半结构化数据、复杂的ETL流程、复杂的数据挖掘和计算模型，利用Hadoop平台，实现采用MPP架构的新型数据库集群，重点面向行业大数据，采用SharedNothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对数据分析类应用的支撑。
所述模型分析技术，以流域水环境演变为解析对象，通过嵌套多种陆域水文、水质模型，构建流域水文、水质模型集合模拟工具，进而耦合适用于不同类型水体的水动力模型，形成流域水环境模拟的核心模块框架，建立模型数据转化接口标准，达成耦合模拟中的嵌套、调用等功能及不同模型间数据的快速传输，从而实现从流域到水体的动态模拟，并为流域水环境大数据平台的评估决策与业务化管理提供支撑。
所述人工智能技术，利用流域水环境大数据平台的数据，挖掘图谱中潜在的特征关联，建立多维对多维的复杂映射关系，进而通过数据变化对引发水质状况的异常波动以及对点源污染进行监控及示警。本发明利用大数据平台的数据资源优势，同时将人工智能领域的图片识别技术、语音识别技术、机器学习技术转换为水环境领域可应用的预测模型，实现了对影响未来短期水质变化的点源的预测示警。
基于人工智能的水环境污染预测技术是利用大数据平台实时更新的数据资源(生态、环境、气象、水文、资源、社会经济和网络)，通过引入智能语音识别和智能视觉识别，从多维视角识别水环境问题与特征，实现了对高危点源污染示警和短期水质预测。本发明克服了AI算法与水环境管理目标不适应、在线数据的即时处理分析难等问题，突破了以往机理模型对点源污染和短期水质预测的技术短板，解决了水环境管理潜在风险管控难的问题。
进一步地，水环境信息平台建设基于大数据存储的模式，应尽量减少非标准数据的出现，降低数据及数据流通管理的难度，新构建应用系统在设计时应做到在数据使用上尽量统一，且具有良好的开放性和可扩展性。
所述集成模块用于进行应用系统集成、界面集成、功能集成和数据集成等，以提供统一的开放性可扩展水环境信息平台。
其中，应用系统集成包括：按照多层结构，设计可扩展、开放的系统体系结构。对应用系统集成的基本要求如下：
1)应按照多层体系结构进行设计，至少包括：用户界面层、业务逻辑层、数据存储层；
2)可根据实际需要增加业务支撑层；
3)安全保障体系中与应用安全相关的信任和授权管理，应遵循国家信息安全相关标准。
对新建应用系统技术实现的基本要求是：
①设计和开发时展现逻辑与业务逻辑相分离；
②采用组件模式，保持业务逻辑层或业务支撑层功能组件的“松耦合”，且具有被封装为不同粒度“服务”的可能；
③对涉及业务流程的应用系统，采用工作流技术开发，确保具有灵活的业务流程管理功能；
④采用数据持久化技术，且能够支持多种结构的数据存储管理系统；
⑤在考虑数据存储层的水环境数据库建设时，需要依据(水环境大数据设计及运行管理规范)的要求。
界面集成包括：针对被接入对象展现的逻辑关系进行界面接入设计，为用户提供与水环境信息平台进行交互的统一界面和访问入口，从而使用户能够与人、内容、应用和流程进行个性化的、安全的、单点式的互动交流。
界面集成的要求如下:
1)界面接入采用平台界面集成技术实现。
2)至少应具备灵活的个性化定制功能，用户可将业务模块界面接入到平台系统中。
3)至少应具备单点登录功能，用户无需进行多次身份验证。
4)界面接入后，另外开发相对应的有效数据的调取接口，保证界面的有效数据能够进入到大数据的数据存储系统。
功能集成包括：在业务逻辑层面上进行接入，通过对功能进行不同粒度的封装，提供标准化的功能组件或服务；部署到网络环境中，可作为不同应用系统间的标准接口，用于所有接受这个标准的应用系统的调用请求。
功能集成的要求如下：
1)进行功能组件化封装，对外提供良好的接口。
2)接口的定义要具有硬件平台、操作系统和编程语言无关性。
3)接口的粒度：重用性较高的组件或服务，封装的粒度较细；提供一项特定的业务功能；重用性较低的组件或服务，封装的粒度较粗。
4)被封装的功能组件或服务以统一和通用的方式进行交互。
5)一个组件或服务中产生变化，不会导致所链接的组件或服务也发生变化。
进一步地，为了满足复杂多变的业务活动的要求，进行数据集成时，需要将应用系统的业务数据与业务流程逻辑分离，使业务流程的改变不会引起应用系统的改变，实现松耦合的数据接入。
数据接入要求如下：
1)涉及接入的业务流程较简单且稳定。
2)接入的业务数据相应的数据结构明确清晰。
3)业务数据能够独立体现数据的业务性。
综上所述，本发明实施例中，通过建立流域水生态环境数据的收集、传输、整合、交换和集成通用标准，设计水环境管理大数据信息资源目录，建立涉水多领域的大数据挖掘、汇集与融合技术；搭建流域水环境的核心模型框架，构建多模集合模拟系统，实现水量、水质、水生态的模块化模拟，完成模型之间的耦合以及与水环境数据仓库的集成，形成平台应用的核心模型库支撑；结合计算机的分布式存储及大数据分析挖掘技术，实现数据、功能、系统的汇集、分析、展示的成套技术体系，为流域水生态环境大数据挖掘与业务决策提供有效的支撑。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
在说明书中提到“一个实施例”、“实施例”、“示例性实施例”、“一些实施例”等指示所述的实施例可以包括特定特征、结构或特性，但未必每个实施例都包括该特定特征、结构或特性。另外，在结合实施例描述特定特征、结构或特性时，结合其它实施例(无论是否明确描述)实现这种特征、结构或特性应在相关领域技术人员的知识范围内。
本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外，为了避免对本发明的实质造成不必要的混淆，并没有详细说明众所周知的方法、过程、流程、元件和电路等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读取存储介质中，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种流域水环境大数据挖掘与业务决策支持系统，其特征在于，包括：
数据资源分类模块，用于利用树状信息分类方法及网状信息分类方法对流域水环境数据进行分类；
所述数据资源分类模块根据流域水环境数据的特点，利用树状信息分类方法从流域水环境业务的多个维度对流域水环境数据进行分类，并利用网状信息分类方法将多维树状的流域水环境数据进行联结；
所述流域水环境业务的维度包括：水环境质量、污染源与排污口、流域生态环境、水文气象与水模型参数、水环境管理业务、环境政策法规标准、流域水环境空间数据；
数据存储与交换模块，用于对流域水环境数据进行存储以及对不同网络来源的数据进行交换；
所述数据存储与交换模块以物联网、互联网、电子政务网来源的数据为基础，通过包括离线计算、流式计算的处理技术对数据进行整理与初始化，并根据流域水环境业务分主题进行数据库建设；
所述数据存储与交换模块中，流域水环境数据的存储包括：
资源目录存储存储：数据按照预定的资源目录进行组织，并按照不同的媒体类型归类存储；
关系型资源存储：以二维表结构对数据进行组织和存储，当数据存储于关系数据库中时，每个数据作为独立的单元存储于关系数据库表中；
非关系型资源存储：完整的非关系型数据单独进行存储；
接口模块，用于提供各种类型的数据接口和服务接口；
所述接口模块中，根据数据采集方式和数据特征，数据接口包括水环境监测监控的物联网采集数据接口，水环境管理业务相关的结构化和非结构化数据接口，以及流域水环境模型数据接口；数据接口提供数据类的支持，包括对数据的增删改查；服务接口是功能和数据的集合体，用于完成预定功能的运算和展示；
数据挖掘与分析模块，用于利用数据分析技术和人工智能技术对流域水环境数据进行数据挖掘与分析，以实现水质预测和污染预警；
所述数据挖掘与分析模块中，采用的数据分析技术包括实时数据分析技术、准实时数据分析技术、离线数据分析技术、模型分析技术，采用的人工智能技术包括图片识别技术、语音识别技术、机器学习技术；
对于实时数据、准实时数据、离线数据，采用Kafka+Storm的架构对监测数据进行实时接收和处理，对于非结构化、半结构化数据、ETL流程、数据挖掘和计算模型，利用Hadoop平台，实现采用MPP架构的数据库集群，面向行业大数据，采用SharedNothing架构，通过列存储、粗粒度索引大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对数据分析类应用的支撑；
所述模型分析技术，以流域水环境演变为解析对象，通过嵌套多种陆域水文、水质模型，构建流域水文、水质模型集合模拟工具，进而耦合适用于不同类型水体的水动力模型，形成流域水环境模拟的核心模块框架，建立模型数据转化接口标准，达成耦合模拟中的嵌套、调用功能及不同模型间数据的传输，从而实现从流域到水体的动态模拟，并为流域水环境大数据平台的评估决策与业务化管理提供支撑；
所述人工智能技术，利用流域水环境大数据平台的数据，挖掘图谱中潜在的特征关联，建立多维对多维的复杂映射关系，进而通过数据变化对引发水质状况的异常波动以及对点源污染进行监控及示警；
集成模块，用于进行应用系统集成、界面集成、功能集成和数据集成，以实现统一的开放性可扩展水环境信息平台；
所述集成模块中，应用系统集成包括：按照多层结构，设计可扩展、开放的系统体系结构，其中，多层结构至少包括：用户界面层、业务逻辑层、数据存储层，可根据实际需要增加业务支撑层；
界面集成包括：针对被接入对象展现的逻辑关系进行界面接入设计，为用户提供与水环境信息平台进行交互的统一界面和访问入口；
功能集成包括：在业务逻辑层面上进行接入，通过对功能进行不同粒度的封装，提供标准化的功能组件或服务；部署到网络环境中，可作为不同应用系统间的标准接口，用于所有接受这个标准的应用系统的调用请求；
数据集成包括：将应用系统的业务数据与业务流程的逻辑分离，使业务流程的改变不会引起应用系统的改变，实现松耦合的数据接入。
2.根据权利要求1所述的流域水环境大数据挖掘与业务决策支持系统，其特征在于，所述数据存储与交换模块中，数据的存储模式分为以下三类：
分布式存储：将数据分散存储在多台独立的计算机上，并通过管理系统对数据进行管理，从而形成数据统一集中管理的模式；
集中式存储：由一台或多台主计算机组成中心节点，数据集中存储于这个中心节点中，并且所有业务系统都集中部署在这个中心节点上，所有的功能均由其集中处理；
内存存储：将数据存储在计算机内存中，适用于对数据有高读写要求的系统。
3.根据权利要求1所述的流域水环境大数据挖掘与业务决策支持系统，其特征在于，所述数据存储与交换模块中，数据来源分为互联网来源和电子政务网来源，数据交换模式分为三种：互联网交换、互联网与电子政务网交换、电子政务网内交换。
CN202210957566.8A 2022-08-10 2022-08-10 流域水环境大数据挖掘与业务决策支持系统 Active CN115392855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210957566.8A CN115392855B (zh) 2022-08-10 2022-08-10 流域水环境大数据挖掘与业务决策支持系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210957566.8A CN115392855B (zh) 2022-08-10 2022-08-10 流域水环境大数据挖掘与业务决策支持系统

Publications (2)

Publication Number Publication Date
CN115392855A CN115392855A (zh) 2022-11-25
CN115392855B true CN115392855B (zh) 2023-10-24

Family

ID=84118020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210957566.8A Active CN115392855B (zh) 2022-08-10 2022-08-10 流域水环境大数据挖掘与业务决策支持系统

Country Status (1)

Country Link
CN (1) CN115392855B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778551A (zh) * 2015-04-15 2015-07-15 国网湖南省电力公司 一种可视化电网设计与分析方法
CN106251251A (zh) * 2016-07-20 2016-12-21 华北水利水电大学 一种基于云平台的多租户集成项目管理信息系统
CN109255529A (zh) * 2018-08-23 2019-01-22 山东电力建设第三工程有限公司 一种火电物资编码平台
CN112699162A (zh) * 2020-12-15 2021-04-23 中国电力科学研究院有限公司 一种用于源网荷多元数据处理的系统
CN113177698A (zh) * 2021-04-12 2021-07-27 北京科技大学 一种工业大数据分析辅助决策平台系统
CN114066211A (zh) * 2021-11-11 2022-02-18 北京师范大学 一种流域水环境管理大数据平台

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778551A (zh) * 2015-04-15 2015-07-15 国网湖南省电力公司 一种可视化电网设计与分析方法
CN106251251A (zh) * 2016-07-20 2016-12-21 华北水利水电大学 一种基于云平台的多租户集成项目管理信息系统
CN109255529A (zh) * 2018-08-23 2019-01-22 山东电力建设第三工程有限公司 一种火电物资编码平台
CN112699162A (zh) * 2020-12-15 2021-04-23 中国电力科学研究院有限公司 一种用于源网荷多元数据处理的系统
CN113177698A (zh) * 2021-04-12 2021-07-27 北京科技大学 一种工业大数据分析辅助决策平台系统
CN114066211A (zh) * 2021-11-11 2022-02-18 北京师范大学 一种流域水环境管理大数据平台

Also Published As

Publication number Publication date
CN115392855A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN111435344B (zh) 一种基于大数据的钻井提速影响因素分析模型
CN110688348B (zh) 档案管理系统
US5845270A (en) Multidimensional input-output modeling for organizing information
CN105653691B (zh) 信息资源管理方法及管理装置
CN103336813B (zh) 一种基于中间件架构的物联网数据集成管理方案
CN108964996B (zh) 城乡一体化信息栅格系统及基于其的信息共享方法
CN109388637A (zh) 数据仓库信息处理方法、装置、系统、介质
CN112231917B (zh) 空间数字孪生建模方法、装置、计算机设备及存储介质
CN101482875A (zh) 信息查询方法及其装置
CN113868306A (zh) 一种基于opc-ua规范的数据建模系统和方法
Mythily et al. Clustering models for data stream mining
Mesiti et al. Towards a user-friendly loading system for the analysis of big data in the internet of things
CN111209323A (zh) 一种空间地理信息大数据处理系统
CN110706125A (zh) 水利大数据分析信息服务系统和平台服务系统
CN115858829A (zh) 一种基于算力网络的多源异构环境数据资产构建方法
CN115630172A (zh) 针对流程行业的数字主线构建方法及系统
CN115827797A (zh) 一种基于大数据的环境数据分析整合方法及系统
Rehman et al. Building socially-enabled event-enriched maps
CN115392855B (zh) 流域水环境大数据挖掘与业务决策支持系统
CN110781430B (zh) 互联网新型虚拟数据中心系统及其构造方法
CN112800054A (zh) 数据模型的确定方法、装置、设备及存储介质
CN116680090A (zh) 一种基于大数据的边缘计算网络管理方法及平台
Rajugan et al. Conceptual design of an XML FACT repository for dispersed XML document warehouses and XML marts
CN108280790A (zh) 基于大数据分析的政策信息服务系统
Zhang et al. Design of Offline Analysis System for Remote Sensing Data Service Based on Hive

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant