CN108275759A - 基于神经网络的水处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于神经网络的水处理方法及相关产品，所述方法包括如下步骤：构建BP神经网络预测模型，所述BP神经网络预测模型包括：输入层、隐藏层和输出层。将城市水厂真实数据作为训练数据对该BP神经网络预测模型执行正向运算以及反向运算得到训练后的BP神经网络预测模型；通过训练后的BP神经网络预测模型对水源的水质进行预测处理得到处理方案。本发明提供的技术方案具有精度高的优点。

Description

基于神经网络的水处理方法及系统

技术领域

本发明涉及数据处理领域，尤其涉及一种基于神经网络的水处理方法及系 统。

背景技术

水是生命的源泉，是人类生活不可缺少的成分，随着工业迅速发展，水资 源的污染问题日益严重。如何有效地对水进行净化处理，成为国内外学者研究 的热点问题。

絮凝沉淀是水净化处理中重要一环，目前主要通过混凝剂投加来在保证并 满足出厂水浊度要求。目前混凝投药控制方法存在一些不足之处：例如采用烧 杯实验法需要每天或每周进行频繁实验，会增加大量的人力成本并且影响输出 水质；采用流动电流法中的流动电流检测器会在使用过程中出现精度梯度下降 的问题，并且不能适用于高浊度水或污染较为严重的水质；而采用数学模型法 例如Matlab建模与多元线性回归建模等由于混凝投药过程高复杂度与不确定 性，难以建立高精度与高可靠性的数学模型来适应混凝投药控制过程的变化。 由于混凝投药过程是一个复杂的物理、化学反应过程，并且受多个条件影响与 约束，具有时滞性与非线性特性，因此在保证满足出厂水浊度要求的前提下， 研究最佳投加混凝剂量，可以有效地减轻过滤、消毒设备的负担，产生良好的 经济效益和社会效益。

城市水厂中积累下来的海量真实数据常常会达到GB甚至TB级别，而数据 的数量级与质量将直接影响预测模型的精度与准确度。传统的单机与串行的数 据建模与训练方式常常会达到数天甚至数周，因此如何采用先进的大数据处理 方法与分布式并行技术，也是净水处理过程所面临的另一重大挑战。

发明内容

本申请提供一种基于神经网络的水处理方法。可以有效的提高预测的精度 和准确度。

一方面，提供一种基于神经网络的水处理方法，所述方法包括如下步骤：

构建BP神经网络预测模型，所述BP神经网络预测模型包括：输入层、隐 藏层和输出层。

将城市水厂真实数据作为训练数据对该BP神经网络预测模型执行正向运 算以及反向运算得到训练后的BP神经网络预测模型；

通过训练后的BP神经网络预测模型对水源的水质进行预测处理得到处理 方案。

可选的，所述构建BP神经网络预测模型，包括：

通过均方误差公式计算预测值与真实值之间的误差，并采用梯度斜率下降 算法迭代更新BP神经网络预测模型各层的权值以及偏置。

可选的，显示BP神经网络预测模型与真实数据的拟合程度，并统计模型训 练的相关系数以及误差与迭代次数的关系。

第二方面，提供一种终端，所述终端包括：

构建单元，用于构建BP神经网络预测模型，所述BP神经网络预测模型包 括：输入层、隐藏层和输出层。

训练单元，用于将城市水厂真实数据作为训练数据对该BP神经网络预测模 型执行正向运算以及反向运算得到训练后的BP神经网络预测模型；

处理单元，用于通过训练后的BP神经网络预测模型对水源的水质进行预测 处理得到处理方案。

可选的，所述构建单元，具体用于通过均方误差公式计算预测值与真实值 之间的误差，并采用梯度斜率下降算法迭代更新BP神经网络预测模型各层的权 值以及偏置。

可选的，所述处理单元，具体用于显示BP神经网络预测模型与真实数据的 拟合程度，并统计模型训练的相关系数以及误差与迭代次数的关系。

第三方面，提供一种终端设备，包括：处理器、无线收发器、存储器和总 线，所述处理器、无线收发器、存储器通过总线连接，

处理器，用于构建BP神经网络预测模型，所述BP神经网络预测模型包括： 输入层、隐藏层和输出层。

处理器，用于将城市水厂真实数据作为训练数据对该BP神经网络预测模型 执行正向运算以及反向运算得到训练后的BP神经网络预测模型；

处理器，用于通过训练后的BP神经网络预测模型对水源的水质进行预测处 理得到处理方案。

可选的，所述处理单元，具体用于通过均方误差公式计算预测值与真实值 之间的误差，并采用梯度斜率下降算法迭代更新BP神经网络预测模型各层的权 值以及偏置。

可选的，所述处理单元，具体用于通过均方误差公式计算预测值与真实值 之间的误差，并采用梯度斜率下降算法迭代更新BP神经网络预测模型各层的权 值以及偏置。

第四方面，提供一种计算机可读存储介质，其存储用于电子数据交换的计 算机程序，其中，所述计算机程序使得计算机执行第一方面提供的方法。

本发明提供的智慧水务预测平台非常适合非线性规律的混凝投药控制的精 确拟合，并且针对大规模输入样本预测精度高，能够灵活地扩展至多输入输出 场景。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需 要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些 实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可 以根据这些附图获得其他的附图。

图1为本发明第一较佳实施方式提供的一种基于神经网络的水处理方法流 程图；

图2a为本发明提供的智慧水务预测平台BP神经网络模型结构图。

图2b为本发明提供的BP神经网络模型激活函数输出过程示意图。

图2c为本发明提供的预测模型可视化平台示意图。

图2d为基于Spark的并行计算框架架构示意图。

图2e基于BP神经网络的混凝投药预测模型的并行训练技术线路示意图。

图3为本发明第二较佳实施方式提供的一种基于神经网络的水处理系统的 结构图。

图4为本发明第二较佳实施方式提供的一种设备的硬件结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部 的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第 三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术 语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如 包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出 的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对 于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可 以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不 一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。 本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实 施例相结合。

本申请中的设备可以包括：智能车载终端、智能手机(如Android手机、iOS 手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联 网设备(MID，MobileInternet Devices)或穿戴式设备等，上述设备仅是举例， 而非穷举，包含但不限于上述设备，为了描述的方便，下面实施例中将上述设 备称为用户设备(User equipment，UE)。当然在实际应用中，上述用户设备也 不限于上述变现形式，例如还可以包括：计算机设备等等。

请参考图1，图1是本发明第一较佳实施方式提出的一种基于神经网络的水 处理方法，该方法由设备执行，该设备可以为智能车载终端、智能终端等等设 备，具体的，可以为智能车载设备、手机等等设备，该方法如图1所示，包括 如下步骤：

步骤S101、构建BP神经网络预测模型，该BP神经网络预测模型包括：输 入层、隐藏层和输出层。

具体的，实现步骤S101的方法具体可以为：

通过均方误差公式计算预测值与真实值之间的误差，并采用梯度斜率下降 算法迭代更新BP神经网络预测模型各层的权值以及偏置。

步骤S102、将城市水厂真实数据作为训练数据对该BP神经网络预测模型 执行正向运算以及反向运算得到训练后的BP神经网络预测模型。

步骤S103、通过训练后的BP神经网络预测模型对水源的水质进行预测处 理得到处理方案。

可选的，上述方法在步骤S103之后还可以包括：

显示BP神经网络预测模型与真实数据的拟合程度，并统计模型训练的相关 系数以及误差与迭代次数的关系。

由于城市水厂的原始数据是以天为单位的excel格式的数据，在进行统一的 训练前，需要对数据进行整合，首先将天为单位的水厂投药数据按照小时为单 位进行划分，并通过数据过滤与格式转换最终生成完整的基于时间序列的混凝 投药数据集。并在此基础上，对取水量，供水量和混凝剂投药量等变量进行统 一数据去噪，以过滤缺失值与异常值。

BP神经网络预测模型

建立BP神经网络预测模型，该模型主要由3层组成，分别是输入层，隐藏 层和输出层。首先处于输入层的输入信号xi通过加权求和得到隐藏层的输入信 号zj，并经过非线性变换，产生隐藏层输出信号aj，再通过一次加权求和得到 最终输出层的输出信号。在模型中，通过均方误差公式计算预测值与真实值之 间的误差，并采用梯度斜率下降算法迭代更新各层的权值以及偏置。智慧水务 预测平台所采用的BP神经网络预测模型，如图2a所示。

通过反复实验验证与基于城市水厂真实数据的学习，在BP神经网络模型中 集成sigmod(logistic)函数作为正向传播中的激活函数来处理混凝投药过程中 所存在的非线性逼近问题。基于sigmod的激活函数输出过程如图2b所示，

接着在逆向反馈过程中，通过梯度斜率下降算法更新输入层与隐藏层的权 值和偏置。

基于Spark的并行计算框架

由于水厂混凝投药数据量与预测模型的准确率呈正相关关系，而串行执行 的BP神经网络训练方式存在收敛过慢，训练时耗长，内存开销巨大等问题。智 慧水务预测平台通过集成Spark并行计算框架，并设计自动分区算法与并行处理 算法，提高对大规模混凝投药数据的处理效率与可扩展性。

预测模型可视化平台

提供一个交互式的可视化平台自动化显示预测模型与真实数据的拟合程 度，并统计模型训练的相关系数以及误差与迭代次数的关系。

智慧水务预测平台。能够为水务及水利行业的领域科学家提供一个基于BP 神经网络与Spark计算框架的并行混凝投药预测平台，可以根据不同格式的混凝 投药数据，高效预测实时的投药量。水利行业领域科学家无需熟悉与编写机器 学习与特定领域算法即可通过可视化界面获取相关的混凝投药参数。

智慧水务预测平台在BP神经网络训练算法中通过Widrow方法为连接权值 和偏置随机初始化增加限制以加快收敛速度，在权值更新时引入冲量系数减少 抖动次数，并且通过计算误差平方和的下降速率自适应学习速率。参阅图2c所 示，通过对真实场景(黄阁水厂生产日报表)的训练，预测结果的准确率达到 94.5％以上。

智慧水务预测平台非常适合非线性规律的混凝投药控制的精确拟合，并且 针对大规模输入样本预测精度高，能够灵活地扩展至多输入输出场景。

接着在逆向反馈过程中，通过梯度斜率下降算法更新输入层与隐藏层的权 值和偏置。

智慧水务预测系统根据城市水厂真实数据的数据相关性特点，通过采用为 连接权值和偏置随机初始化增加限制条件(Widrow方法初始化权值和偏置来优 化BP神经网络训练模型，同时隐藏层神经元个数遵从++的随机取样 方法，并在此基础上引入冲量系数减少抖动次数，最后通过计算误差平方和的 下降速率来自适应学习速率，在模型测试结果中，达到与水厂数据中投药量数 据的良好拟合效果。

基于Spark的并行计算框架

由于水厂混凝投药数据量与预测模型的准确率呈正相关关系，而串行执行 的BP神经网络训练方式存在收敛过慢，训练时耗长，内存开销巨大等问题。多 诺智慧水务预测平台通过集成Spark并行计算框架，并设计自动分区算法与并行 处理算法，提高对大规模混凝投药数据的处理效率与可扩展性。基于Spark的并 行计算框架架构如图2d所示

在Master节点中安装并配置了Spark 2.0.0并行计算框架与Jupyter交互式集 成开发环境，并通过YARN管理与统一调度集群资源。每个运算节点分配8个 CPU(Inter E5-2620v4)，并分配16GB RAM。在多诺智慧水务预测系统，基于 BP神经网络的混凝投药预测模型的并行训练技术路线如图2e所示。

首先通过分布式文件系统HDFS读取通过系统导入的经过预处理的处理， 整个训练模型采用Map-Reduce执行方式，采取数据分区策略将输入训练数据平 均分配到各个运算节点，并在运算节点中执行BP神经网络训练程序，通过 Reduce操作累加训练结果更新模型的权值与偏置。经过反复迭代达到预设阙值 后，将模型训练结果写回HDFS，完成并行训练过程。

参阅图3，图3提供了一种基于神经网络的水处理系统的结构示意图，如图 3所示，包括：

构建单元201，用于构建BP神经网络预测模型，所述BP神经网络预测模 型包括：输入层、隐藏层和输出层。

训练单元202，用于将城市水厂真实数据作为训练数据对该BP神经网络预 测模型执行正向运算以及反向运算得到训练后的BP神经网络预测模型；

处理单元203，用于通过训练后的BP神经网络预测模型对水源的水质进行 预测处理得到处理方案。

可选的，

构建单元201，具体用于通过均方误差公式计算预测值与真实值之间的误 差，并采用梯度斜率下降算法迭代更新BP神经网络预测模型各层的权值以及偏 置。

可选的，

处理单元203，具体用于显示BP神经网络预测模型与真实数据的拟合程度， 并统计模型训练的相关系数以及误差与迭代次数的关系。

参阅图4，图4为一种终端设备30，包括：处理器301、无线收发器302、 存储器303和总线304，无线收发器302用于与外部设备之间收发数据。处理器 301的数量可以是一个或多个。本申请的一些实施例中，处理器301、存储器302 和收发器303可通过总线304或其他方式连接。终端设备30可以用于执行图1 的步骤。关于本实施例涉及的术语的含义以及举例，可以参考图1对应的实施 例。此处不再赘述。

处理器，用于构建BP神经网络预测模型，所述BP神经网络预测模型包括： 输入层、隐藏层和输出层。

处理器，用于将城市水厂真实数据作为训练数据对该BP神经网络预测模型 执行正向运算以及反向运算得到训练后的BP神经网络预测模型；

处理器，用于通过训练后的BP神经网络预测模型对水源的水质进行预测处 理得到处理方案。

可选的，所述处理单元，具体用于通过均方误差公式计算预测值与真实值 之间的误差，并采用梯度斜率下降算法迭代更新BP神经网络预测模型各层的权 值以及偏置。

可选的，所述处理单元，具体用于通过均方误差公式计算预测值与真实值 之间的误差，并采用梯度斜率下降算法迭代更新BP神经网络预测模型各层的权 值以及偏置。

其中，存储器303中存储程序代码。处理器901用于调用存储器903中存 储的程序代码，用于执行以下操作：

处理器301，用于确定第一终端到目的ID之间的所有n个链路，从n个链 路中选择转发次数最少的第一链路确定为对应的链路向目的终端发送信息。

需要说明的是，这里的处理器301可以是一个处理元件，也可以是多个处 理元件的统称。例如，该处理元件可以是中央处理器(Central Processing Unit， CPU)，也可以是特定集成电路(Application Specific Integrated Circuit，ASIC)， 或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个 微处理器(digital singnalprocessor，DSP)，或，一个或者多个现场可编程门阵 列(Field Programmable GateArray，FPGA)。

存储器303可以是一个存储装置，也可以是多个存储元件的统称，且用于 存储可执行程序代码或应用程序运行装置运行所需要参数、数据等。且存储器 303可以包括随机存储器(RAM)，也可以包括非易失性存储器(non-volatile memory)，例如磁盘存储器，闪存(Flash)等。

总线304可以是工业标准体系结构(Industry Standard Architecture，ISA) 总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结 构(ExtendedIndustry Standard Architecture，EISA)总线等。该总线可以分为地 址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但 并不表示仅有一根总线或一种类型的总线。

该终端还可以包括输入输出装置，连接于总线304，以通过总线与处理器301 等其它部分连接。该输入输出装置可以为操作人员提供一输入界面，以便操作 人员通过该输入界面选择布控项，还可以是其它接口，可通过该接口外接其它 设备。

需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表 述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述 的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时 进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优 选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 细描述的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤 是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存 储介质中，存储介质可以包括：闪存盘、只读存储器(英文：Read-Only Memory， 简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁 盘或光盘等。

以上对本发明实施例所提供的内容下载方法及相关设备、系统进行了详细 介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实 施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域 的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改 变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于神经网络的水处理方法，其特征在于，所述方法包括如下步骤：

构建BP神经网络预测模型，所述BP神经网络预测模型包括：输入层、隐藏层和输出层。

将城市水厂真实数据作为训练数据对该BP神经网络预测模型执行正向运算以及反向运算得到训练后的BP神经网络预测模型；

通过训练后的BP神经网络预测模型对水源的水质进行预测处理得到处理方案。

2.根据权利要求1所述的方法，其特征在于，所述构建BP神经网络预测模型，包括：

通过均方误差公式计算预测值与真实值之间的误差，并采用梯度斜率下降算法迭代更新BP神经网络预测模型各层的权值以及偏置。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

显示BP神经网络预测模型与真实数据的拟合程度，并统计模型训练的相关系数以及误差与迭代次数的关系。

4.根据权利要求1所述的方法，其特征在于，所述通过训练后的BP神经网络预测模型对水源的水质进行预测处理得到处理方案，包括：

通过分布式文件系统HDFS读取导入的水源的水质数据，将该数值数据采取数据分区策略将输入训练数据平均分配到各个运算节点，并在运算节点中执行BP神经网络训练程序，通过Reduce操作累加训练结果更新模型的权值与偏置。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在BP神经网络训练算法中通过Widrow方法为连接权值和偏置随机初始化增加限制以加快收敛速度，在权值更新时引入冲量系数减少抖动次数，并且通过计算误差平方和的下降速率自适应学习速率。

6.根据权利要求1所述的方法，其特征在于，所述方法在通过训练后的BP神经网络预测模型对水源的水质进行预测处理之前还包括：

将天为单位的水厂投药数据按照小时为单位进行划分，并通过数据过滤与格式转换最终生成完整的基于时间序列的混凝投药数据集，并在此基础上，对取水量，供水量和混凝剂投药量等变量进行统一数据去噪，以过滤缺失值与异常值，将处理后的数据作为BP神经网络训练算法的输入数据。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在逆向反馈过程中，通过梯度斜率下降算法更新输入层与隐藏层的权值和偏置。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过YARN管理与统一调度集群资源。

9.一种计算机产品，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-8任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-8任一项所述的方法。