CN113051323A - 一种水环境大数据交换方法 - Google Patents

Abstract

本发明提供的水环境大数据交换方法，涉及计算机技术领域，包括：建立水环境监测数据收集交换的目录体系，用于实现各监测要素数据的顺序交换；构建水环境监测数据采集交换系统，用于收集数据提供方提供的水环境数据在数据交换平台中心端共享，并根据数据使用方或数据提供方的需求分发其目标水环境数据至其对应服务器；建立水环境数据传输与评价电子系统，用于水环境数据的及时性、完整性和准确性传递；建立水环境数据采集传输网络与安全保障体系，用于水环境数据的安全传输；本发明支持NoSQL数据库及关系型的数据库，可有效扩展可存储的数据类型，同时采用分布式的技术显著提升数据读取与写入的效率。

Description

一种水环境大数据交换方法

技术领域

本发明涉及计算机技术领域，具体涉及一种水环境大数据交换方法。

背景技术

数据交换指在多个数据终端设备(DTE)之间，为任意两个终端设备建立数据通信临时互连通路的过程。信息发送方的数据在发送前，首先进行加密、压缩并按规则封装成一个个的数据包，然后进行发送；接收方收到消息后，首先对数据进行初步的校验和解析，确定数据没问题后按规则整编，最后保存到相应数据库内完成数据交换的一个单方向传输。

在传统的数据交换平台实现数据交换时，一般包含中心节点、前置交换节点、桥接程序，每一个交换节点包括了一组输入接口和输出接口，通过接口可以向交换节点写入数据或读取数据，在每一个端节点前置机上带有一个前置交换库，用于存放交换数据；前置交换过程一条数据的交换会有3次写入与3次读取的过程，同时这个过程也会受载体(服务器资源)或系统性能(数据库的IO速度)因素的影响，当数据量不多时，多次的写入与读取不会对数据交换的效率产生明显影响，但当数据交换量到了一定的级别，如单次交换上亿条数据，那么就会直接影响到交换效率，而这种交换效率的影响不能单纯通过硬件的升级进行优化提升，需要架构进行调整优化。

随着物联网的发展，各种物联网设备实时采集的数据量在不断提升，传统的技术已无法满足对海量数据处理的需求，例如，现有政务数据交换平台主要是基于ETL技术实现，在数据的抽取、转换及加载过程中会因软硬件资源的配置而受影响，另外数据交换平台在建设初期数据交换量不多的情况下，一般都是采用单节点的设计，这种设计在数据量及数据交换任务不多的情况下可正常运行，然而随着国家把大数据上升为国家战略层面，生态环境部要求各省市都需要实现数据的共享、交换与开放，导致业务系统数据量激增，数据交换越来越频繁。这种单节点设计的弊端逐渐暴露出来，在数据交换高峰时，由于单台服务器或传统技术性能的限制，许多数据交换任务来不及处理，造成大量数据交换任务的积压，使数据交换平台逐渐成为信息化建设的瓶颈。

面对越来越多的数据存量及交换场景，数据交换平台迫切需要寻找一个可提供交换效率的数据交换方法。

发明内容

本发明目的在于提供一种水环境大数据交换方法，该方法基于流式计算可有效对海量任务进行及时处理和分配，通过有效提高对海量数据交换的处理效率，提高数据交换方法的整体效率。

为达成上述目的，本发明提出如下技术方案：一种水环境大数据交换方法，包括如下步骤：

1)建立水环境监测数据收集交换的目录体系，包括预设水环境监测要素、预设各监测要素的动态管理目标，并确定各监测要素监测数据的交换顺序；

2)构建水环境监测数据采集交换系统，所述水环境监测数据采集交换系统包括数据交换平台中心端、若干数据提供方和若干数据使用方，所述数据交换平台中心端、任一数据提供方和任一数据使用方均配置有一数据共享与交换服务器，所述水环境监测数据采集交换系统用于收集各数据提供方提供的水环境数据在数据交换平台中心端共享，并根据数据使用方或数据提供方的需求分发其目标水环境数据至其对应服务器，实现多数据提供方水环境数据在多数据使用方的交换与共享；

3)建立水环境数据传输与评价电子系统，包括预设水环境数据采集规范、水环境数据传输流程、水环境数据交换流程、水环境数据审核标准和水环境数据评价标准，水环境数据传输与评价电子系统用于确保水环境数据的及时性、完整性和准确性传递；

4)基于各数据使用方现有的网络基础，建立统一的水环境数据采集传输网络与安全保障体系；所述水环境数据采集传输网络与安全保障体系为预设水环境监测数据采集交换系统的安全权限，包括基于数字证书的安全连接认证、允许DES、3DES、RC4加密算法、预设应用程序认证机制，用于确保水环境数据的安全传输。

进一步的，所述数据交换平台中心端由数据交换平台中心端和连接于数据交换平台中心端的第一桥接接口构建；所述数据交换平台中心端包括基于RDBMS的基础信息库和基于HDFS的交换数据库，所述第一桥接接口包括基于Flume和Kafka系统的采集服务程序、分发服务程序；Flume用于收集各种来源、形式的数据，并把数据传给Kafka集群，由Kafka集群统一分发给大数据集群进行处理；所述采集服务程序和分发服务程序均包括数据加密、数据压缩和数据分段传输。

进一步的，所述数据提供方的构建过程包括建立第一业务系统、连接于第一业务系统的第一业务库和第一前置机；所述第一前置机包括第一缓存数据库和连接于所述采集服务程序的第二桥接接口，第二桥接接口连接于第一缓存数据库；所述数据提供方还包括第一桥接程序，第一业务系统和第一业务库分别经第一桥接程序连接于第二桥接接口。

进一步的，所述数据使用方的构建过程包括建立第二业务系统、连接于第二业务系统的第二业务库和第二前置机；所述第二前置机包括第二缓存数据库和连接于所述分发服务程序的第三桥接接口，第三桥接接口连接于第二缓存数据库；所述数据使用方还包括第二桥接程序，第二业务系统和第二业务库分别经第二桥接程序连接于第三桥接接口。

进一步的，所述基础信息库为基于MySQL关系型数据库，所述交换数据库为基于HBase非关系型数据库。

进一步的，所述第一桥接接口、第二桥接接口和第三桥接接口均包括文件、数据库、RestAPI和消息队列。

进一步的，所述水环境监测数据采集交换系统采集并交换的水环境数据包括水位、水流量、水质、工情、气象和预警信息。

本发明还提供一种水环境大数据交换装置，该装置包括如下模块：

第一建立模块，用于建立水环境监测数据收集交换的目录体系，包括预设水环境监测要素、预设各监测要素的动态管理目标，并确定各监测要素监测数据的交换顺序；

第一构建模块，用于构建水环境监测数据采集交换系统，所述水环境监测数据采集交换系统包括数据交换平台中心端、若干数据提供方和若干数据使用方，所述数据交换平台中心端、任一数据提供方和任一数据使用方均配置有一数据共享与交换服务器；所述水环境监测数据采集交换系统用于收集各数据提供方提供的水环境数据在数据交换平台中心端共享，并根据数据使用方或数据提供方的需求分发其目标水环境数据至其对应服务器，实现多数据提供方水环境数据在多数据使用方的交换与共享；

第二建立模块，用于建立水环境数据传输与评价电子系统，包括预设水环境数据采集规范、水环境数据传输流程、水环境数据交换流程、水环境数据审核标准和水环境数据评价标准，水环境数据传输与评价电子系统用于确保水环境数据的及时性、完整性和准确性传递；

第三建立模块，用于根据各数据使用方现有的网络基础，建立统一的水环境数据采集传输网络与安全保障体系；所述水环境数据采集传输网络与安全保障体系为预设水环境监测数据采集交换系统的安全权限，包括基于数字证书的安全连接认证、允许DES、3DES、RC4加密算法、预设应用程序认证机制，用于确保水环境数据的安全传输。

本发明提供一种计算设备，该设备包括：处理器、存储器、通信接口和通信总线，所述处理器、存储器和通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述的水环境大数据交换方法。

本发明还提供一种计算机存储介质，该存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行上述的水环境大数据交换方法。

由以上技术方案可知，本发明的技术方案提供的水环境大数据交换方法，获得了如下有益效果：

本发明提供的水环境大数据交换方法，涉及计算机技术领域，包括：建立水环境监测数据收集交换的目录体系，用于实现各监测要素监测数据的顺序交换；构建水环境监测数据采集交换系统，用于收集各数据提供方提供的水环境数据在数据交换平台中心端共享，并根据数据使用方或数据提供方的需求分发其目标水环境数据至其对应服务器；建立水环境数据传输与评价电子系统，用于水环境数据的及时性、完整性和准确性传递；建立水环境数据采集传输网络与安全保障体系，用于水环境数据的安全传输。本发明基于大数据的数据交换模式在数据交换平台中心端上采用分布式的技术，支持NoSQL数据库及关系型的数据库，可有效扩展可存储的数据类型，同时分布式的技术可大大提升数据读取与写入的效率。在数据提供方及数据使用方，将通过接口程序可直接与数据交换平台中心端进行对接，数据交换平台中心端提供Flume及Kafka的方式进行数据的交换对接，整个数据交换的过程只有1次读取和1次写入的操作，可有效提高整体的数据交换效率，使平台得到较高的吞吐量和可靠性，从而可处理海量的数据及数据交换任务，整体交换效率是传统基于ETL交换平台的2倍以上，同时本技术还具有以下的优势：

1)高性能：分布式技术、Flume、Kafka等大数据的应用技术可为水环境监测数据采集交换系统提供高吞吐量和高可靠性，有效支撑海量数据的处理；

2)易扩展：可预估并且弹性扩展计算、存储容量和性能；

3)低成本：分布式存储只需要IP网络，几台X86服务器加内置硬盘就可以组建起来，初期成本比较低。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1为本发明水环境监测数据采集交换系统示意图；

图2为本发明数据交换流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。

本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，除非上下文清楚地指明其它情况，否则单数形式的“一个”“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的特征、整体、步骤、操作、元素和/或组件，并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。“上”“下”“左”“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

基于现有技术中普遍使用的单节点的设计数据交换平台仅适用于数据量及数据交换任务不多的情况下正常运行，但随着国家大数据信息的发展要求，需要各类数据进行共享、交换与开放，使得如水环境业务系统数据量激增，数据交换越来越频繁，导致现有的数据交换平台不再适用于大数据交换；本发明基于流式计算提出一种可有效对海量任务进行及时处理和分配的大数据交换方法，显著提升数据读取与写入的效率。

下面结合附图所示的实施例，对本发明的水环境大数据交换方法作进一步具体介绍。

结合图1和图2所示，水环境大数据交换方法，包括如下步骤：1)建立水环境监测数据收集交换的目录体系，包括预设水环境监测要素、预设各监测要素的动态管理目标，并确定各监测要素监测数据的交换顺序；2)构建水环境监测数据采集交换系统，所述水环境监测数据采集交换系统包括数据交换平台中心端、若干数据提供方和若干数据使用方，所述数据交换平台中心端、任一数据提供方和任一数据使用方均配置有一数据共享与交换服务器，所述水环境监测数据采集交换系统用于收集各数据提供方提供的水环境数据在数据交换平台中心端共享，并根据数据使用方或数据提供方的需求分发其目标水环境数据至其对应服务器，实现多数据提供方水环境数据在多数据使用方的交换与共享；3)建立水环境数据传输与评价电子系统，包括预设水环境数据采集规范、水环境数据传输流程、水环境数据交换流程、水环境数据审核标准和水环境数据评价标准，水环境数据传输与评价电子系统用于确保水环境数据的及时性、完整性和准确性传递；4)基于各数据使用方现有的网络基础，建立统一的水环境数据采集传输网络与安全保障体系；所述水环境数据采集传输网络与安全保障体系为预设水环境监测数据采集交换系统的安全权限，包括基于数字证书的安全连接认证、允许DES、3DES、RC4加密算法、预设应用程序认证机制，用于确保水环境数据的安全传输。

结合图2所示的具体流程，各数据提供方将其应用系统的水环境数据包括水位、水流量、水质、工情、气象和预警信息等上传至水环境监测数据采集交换系统，水环境监测数据采集交换系统对数据提供方提供的数据进行加密，并依次按照队列管理器预设传输顺序进行传输，该过程主要是集中在数据交换平台中心端，实现数据提供方数据在数据交换平台中心端的共享，任一数据使用方或数据提供方可按其适用目标进行数据获取；当数据使用方或数据提供方向数据交换平台中心端要求获取数据时，数据交换平台中心端根据要求发出时间的先后等信息形成本地接收队列，依次解密后向各数据使用方或数据提供方反馈其要求获取的数据，完成数据交换。

如图1所示，本申请公开的数据交换平台中心端由数据交换平台中心端和连接于数据交换平台中心端的第一桥接接口构建，数据交换平台中心端包括基于RDBMS的基础信息库和基于HDFS的交换数据库，第一桥接接口包括基于Flume和Kafka系统的采集服务程序、分发服务程序；采集服务程序和分发服务程序均包括数据加密、数据压缩和数据分段传输，还可以包括其他的数据处理方法。此外，基础信息库具体为基于MySQL关系型数据库，所述交换数据库为基于HBase非关系型数据库；在数据库技术上，本发明采用关系型数据库及NoSQL数据库相结合的方式，可有效扩展可存储的数据类型，NoSQL数据库主要采用HDSF+HBase+Mango DB的方式，可有效解决大数据存储及快速读取的需求。

数据提供方的构建过程包括建立第一业务系统、连接于第一业务系统的第一业务库和第一前置机；所述第一前置机包括第一缓存数据库和连接于所述采集服务程序的第二桥接接口，第二桥接接口连接于第一缓存数据库；所述数据提供方还包括第一桥接程序，第一业务系统和第一业务库分别经第一桥接程序连接于第二桥接接口。数据使用方的构建过程包括建立第二业务系统、连接于第二业务系统的第二业务库和第二前置机；所述第二前置机包括第二缓存数据库和连接于所述分发服务程序的第三桥接接口，第三桥接接口连接于第二缓存数据库；所述数据使用方还包括第二桥接程序，第二业务系统和第二业务库分别经第二桥接程序连接于第三桥接接口。其中，第一桥接接口、第二桥接接口和第三桥接接口均包括文件、数据库、RestAPI和消息队列，一些实施例中还包括其他的数据。

在数据信息处理上，本发明采用Flume结合Kafka的方式，Flume用于收集各种来源、形式的数据，并把数据传给Kafka集群，由Kafka集群统一分发给大数据集群进行处理；在本申请水环境监测数据采集交换系统中，采用Flume结合Kafka的组合方式一是因为Flume可支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力；二是Kafka实际上作为消息发布订阅系统，发布者发布关于某话题的消息，而订阅者订阅某话题的消息，一旦有新的关于某个话题的消息，管理器会传递给订阅它的所有订阅者。在实际使用中采用Flume作为数据的生产者，这样可以不用编程就实现数据源的引入，并采用Kafka作为数据的消费者，这样可以得到较高的吞吐量和可靠性。通过上述两种核心技术的实现，一是可有效对海量任务的及时处理及分配，二是可有效提高对海量数据交换的处理效率，从而提高数据交换的整体效率。

基于同一发明构思，本发明另一实施例还提供了一种水环境大数据交换装置，通过该水环境大数据交换装置执行上述水环境大数据交换方法；由于该装置解决问题的原理与上述方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。

本公开实施例提供的水环境大数据交换装置包括如下功能模块：第一建立模块，用于建立水环境监测数据收集交换的目录体系，包括预设水环境监测要素、预设各监测要素的动态管理目标，并确定各监测要素监测数据的交换顺序；第一构建模块，用于构建水环境监测数据采集交换系统，所述水环境监测数据采集交换系统包括数据交换平台中心端、若干数据提供方和若干数据使用方，所述数据交换平台中心端、任一数据提供方和任一数据使用方均配置有一数据共享与交换服务器；所述水环境监测数据采集交换系统用于收集各数据提供方提供的水环境数据在数据交换平台中心端共享，并根据数据使用方或数据提供方的需求分发其目标水环境数据至其对应服务器，实现多数据提供方水环境数据在多数据使用方的交换与共享；第二建立模块，用于建立水环境数据传输与评价电子系统，包括预设水环境数据采集规范、水环境数据传输流程、水环境数据交换流程、水环境数据审核标准和水环境数据评价标准，水环境数据传输与评价电子系统用于确保水环境数据的及时性、完整性和准确性传递；第三建立模块，用于根据各数据使用方现有的网络基础，建立统一的水环境数据采集传输网络与安全保障体系；所述水环境数据采集传输网络与安全保障体系为预设水环境监测数据采集交换系统的安全权限，包括基于数字证书的安全连接认证、允许DES、3DES、RC4加密算法、预设应用程序认证机制，用于确保水环境数据的安全传输。

基于同一发明构思，本发明另一实施例公开了一种计算设备，该计算机设备包括：处理器、存储器、通信接口和通信总线，所述处理器、存储器和通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述的水环境大数据交换方法。

其中，处理器优选但不限于是中央处理器(Central Processing Unit，CPU)。例如，处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的水环境大数据交换方法对应的程序指令/模块，处理器通过运行存储在存储器的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的一种水环境大数据交换方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器优选但不限于高速随机存取存储器，例如，还可以是非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器还可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在实施例公开中水环境大数据交换装置的各功能模块可以集成在一个处理单元中，或者各个模块也可以均是独立的物理模块。所述集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机存储介质中。基于这样的理解，本公开实施例的技术方案的全部或部分可以软件产品的形式体现出来，该计算机软件产品存储在一个计算机存储介质中，该存储介质中存储有至少一可执行指令，该可执行指令使得一台计算机设备，例如可以是个人计算机，服务器，或者网络设备等，或处理器执行本发明上述实施例公开的水环境大数据交换方法的全部或部分步骤。

本领域内的技术人员应明白，本公开的实施例提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器，使得通过该计算机或其他可编程数据处理设备的处理器执行的指令可实现流程图中的一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的步骤。

本公开实施例提供的水环境大数据交换方法，基于大数据技术的数据交换模式支持NoSQL数据库及关系型的数据库，可有效扩展可存储的数据类型；同时在数据交换平台中心端上采用分布式的技术大大提升数据读取与写入的效率；并且通过接口程序将数据提供方及使用方与数据交换平台中心端进行对接，数据交换平台中心端提供Flume及Kafka的方式进行数据的交换对接，数据交换的过程只有1次读取和1次写入的操作，可有效提高整体的数据交换效率，使平台得到较高的吞吐量和可靠性，从而可处理海量的数据及数据交换任务，整体交换效率是传统基于ETL交换平台的2倍以上。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种水环境大数据交换方法，其特征在于，包括如下步骤：

1)建立水环境监测数据收集交换的目录体系，包括预设水环境监测要素、预设各监测要素的动态管理目标，并确定各监测要素监测数据的交换顺序；

2)构建水环境监测数据采集交换系统，所述水环境监测数据采集交换系统包括数据交换平台中心端、若干数据提供方和若干数据使用方，所述数据交换平台中心端、任一数据提供方和任一数据使用方均配置有一数据共享与交换服务器，所述水环境监测数据采集交换系统用于收集各数据提供方提供的水环境数据在数据交换平台中心端共享，并根据数据使用方或数据提供方的需求分发其目标水环境数据至其对应服务器，实现多数据提供方水环境数据在多数据使用方的交换与共享；

3)建立水环境数据传输与评价电子系统，包括预设水环境数据采集规范、水环境数据传输流程、水环境数据交换流程、水环境数据审核标准和水环境数据评价标准，水环境数据传输与评价电子系统用于确保水环境数据的及时性、完整性和准确性传递；

4)基于各数据使用方现有的网络基础，建立统一的水环境数据采集传输网络与安全保障体系；所述水环境数据采集传输网络与安全保障体系为预设水环境监测数据采集交换系统的安全权限，包括基于数字证书的安全连接认证、允许DES、3DES、RC4加密算法、预设应用程序认证机制，用于确保水环境数据的安全传输。

2.根据权利要求1所述的水环境大数据交换方法，其特征在于，所述数据交换平台中心端由数据交换平台中心端和连接于数据交换平台中心端的第一桥接接口构建；所述数据交换平台中心端包括基于RDBMS的基础信息库和基于HDFS的交换数据库，所述第一桥接接口包括基于Flume和Kafka系统的采集服务程序、分发服务程序；Flume用于收集各种来源、形式的数据，并把数据传给Kafka集群，由Kafka集群统一分发给大数据集群进行处理；所述采集服务程序和分发服务程序均包括数据加密、数据压缩和数据分段传输。

3.根据权利要求2所述的水环境大数据交换方法，其特征在于，所述数据提供方的构建过程包括建立第一业务系统、连接于第一业务系统的第一业务库和第一前置机；所述第一前置机包括第一缓存数据库和连接于所述采集服务程序的第二桥接接口，第二桥接接口连接于第一缓存数据库；所述数据提供方还包括第一桥接程序，第一业务系统和第一业务库分别经第一桥接程序连接于第二桥接接口。

4.根据权利要求2所述的水环境大数据交换方法，其特征在于，所述数据使用方的构建过程包括建立第二业务系统、连接于第二业务系统的第二业务库和第二前置机；所述第二前置机包括第二缓存数据库和连接于所述分发服务程序的第三桥接接口，第三桥接接口连接于第二缓存数据库；所述数据使用方还包括第二桥接程序，第二业务系统和第二业务库分别经第二桥接程序连接于第三桥接接口。

5.根据权利要求4所述的水环境大数据交换方法，其特征在于，所述基础信息库为基于MySQL关系型数据库，所述交换数据库为基于HBase非关系型数据库。

6.根据权利要求5所述的水环境大数据交换方法，其特征在于，所述第一桥接接口、第二桥接接口和第三桥接接口均包括文件、数据库、RestAPI和消息队列。

7.根据权利要求2所述的水环境大数据交换方法，其特征在于，所述水环境监测数据采集交换系统采集并交换的水环境数据包括水位、水流量、水质、工情、气象和预警信息。

8.一种水环境大数据交换装置，其特征在于，包括

第一建立模块，用于建立水环境监测数据收集交换的目录体系，包括预设水环境监测要素、预设各监测要素的动态管理目标，并确定各监测要素监测数据的交换顺序；

第一构建模块，用于构建水环境监测数据采集交换系统，所述水环境监测数据采集交换系统包括数据交换平台中心端、若干数据提供方和若干数据使用方，所述数据交换平台中心端、任一数据提供方和任一数据使用方均配置有一数据共享与交换服务器；所述水环境监测数据采集交换系统用于收集各数据提供方提供的水环境数据在数据交换平台中心端共享，并根据数据使用方或数据提供方的需求分发其目标水环境数据至其对应服务器，实现多数据提供方水环境数据在多数据使用方的交换与共享；

第二建立模块，用于建立水环境数据传输与评价电子系统，包括预设水环境数据采集规范、水环境数据传输流程、水环境数据交换流程、水环境数据审核标准和水环境数据评价标准，水环境数据传输与评价电子系统用于确保水环境数据的及时性、完整性和准确性传递；

第三建立模块，用于根据各数据使用方现有的网络基础，建立统一的水环境数据采集传输网络与安全保障体系；所述水环境数据采集传输网络与安全保障体系为预设水环境监测数据采集交换系统的安全权限，包括基于数字证书的安全连接认证、允许DES、3DES、RC4加密算法、预设应用程序认证机制，用于确保水环境数据的安全传输。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、存储器和通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的水环境大数据交换方法。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的水环境大数据交换方法。

Images