CN111311874A - 一种基于浮标监测并联合机器学习进行科学预警方法 - Google Patents

Abstract

本发明公开了一种基于浮标监测并联合机器学习进行科学预警方法，包括步骤如下：步骤一：从数据库提取过去的数据，时间为1‑2年，从里面对半筛选出发生赤潮和没发生赤潮的每日数据。本发明方法对历史数据预处理，并基于IBM SPSS Modeler中神经网络模块找出关键因子；利用Apriori关联算法确定相关指标范围与阈值；利用三条条件发送水质变化警告；满足水质变化警告的前提下触发赤潮预警模块，筛选三种分类回归法进行分类并通过袋装的方式进一步提高预测准确率；全程实时且自动化预警，无需人工干预，且能在手机端通过datav随时随地的提供监测预警展示。

Description

一种基于浮标监测并联合机器学习进行科学预警方法

技术领域

本发明涉及预警方法，特别涉及一种基于浮标监测并联合机器学习进行科学预警方法。

背景技术

赤潮是一种在特定的环境条件下，海水中某些浮游植物、原生动物或细菌爆发性增殖或高度聚集而使水体变色，影响和危害其他海洋生物正常生存的灾害性海洋生态现象。与本发明相关的现有技术有，数值预测法，遥感技术与GIS，细胞密度法。数值预测通过各种物理-化学-生物耦合生态动力学数值模型模拟赤潮发生、发展、高潮、维持和消亡的整个过程而对赤潮进行预测，但实际操作起来比较困难成本也较高。细胞密度法通过分析赤潮生物密度是否达到发生阈值来判断是否发生赤潮，可用于小范围预测，实际操作受天气及现场采样条件限制。遥感技术与GIS，因GIS能从大量复杂数据中提取简单信息、遥感可利用高空和远距离操作提供航拍照片、数码图像和卫星图像，可用于大范围预测，但往往属于赤潮发生后预测，预测机理复杂且预测难度大。叶绿素a作为与藻类最为相关的赤潮特征因子，其浓度在赤潮爆发前会出现明显的异常波动，在暴发过程中波动幅度达到高峰，而随着赤潮的消亡又会逐渐趋于平稳，现有的赤潮预测方法大都是利用叶绿素、温度或光谱的一两个特征变量的经验统计模型，没有考虑到各因子之间的复杂关系，有着很大的局限性。

结合各种监测方法的实践效果发明人发现现有常规的赤潮监测预报方法有着明确的物理意义，但实际操作起来比较困难成本也较高。水质浮标在线监测是唯一能够实时连续的提供各类监测数据，并且传输稳定的方式，不仅弥补了传统检测手段（如考察船测试，人工采样）无法获取长时间序列数据的不足，节省了人力成本的基础上达到了简单高效方便的效果。随着近年来人工智能的发展，机器学习的在海洋科研所属的生态领域中也开始大量应用，为海洋数据分析和海洋决策提供了有力的科学支撑。对于小范围水域来说，少量的浮标即可覆盖到整个水域并获取到较全面的水质信息。基于浮标监测并辅以机器学习方法对小范围水域进行广义的自动化赤潮预警研究（即只判断是否发生赤潮，不研究具体生化指标和种类），所需设备较少，数据量可控，且避开了复杂的赤潮生化机理，客观的从数据角度去挖掘，据此开展赤潮发生的短期预测，不仅经济实用而且效率最高。并且对于未来继续深入研究区域化的赤潮发生机理，提高预警预报精度和实时性有着重要作用。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于浮标监测并联合机器学习进行科学预警方法。

为了解决上述技术问题，本发明提供了如下的技术方案：

1.本发明一种基于浮标监测并联合机器学习进行科学预警方法，包括步骤如下：

步骤一：从数据库提取过去的数据，时间为1-2年，从里面对半筛选出发生赤潮和没发生赤潮的每日数据；以每日10点的各指标数据，当日是否发生赤潮（0或1），当日10点到前日22点12个小时内关键指标的最大值，最大差值（例如pH最大值，pH最大差值）作为神经网络输入数据，基于IBM SPSS Modeler中神经网络模块对数据进行处理，经多次调整与验证找出最优模型，根据变量重要性找出前12个影响赤潮爆发的关键因子（包含赤潮特征因子和环境因子），如图1 所示，影响赤潮的除了常用的赤潮特征因子（叶绿素a、pH、溶解氧）之外，还有12小时内的叶绿素a最大值，叶绿素a最大差值，溶解氧最大差值，pH最大差值，风速，总悬浮固体，空气湿度；

步骤二：基于赤潮特征因子（叶绿素a、pH、溶解氧）以及影响赤潮爆发的环境因子（盐度，温度）对每日10点的数据进行统计和深度离散化处理，形成适合关联规则的挖掘的赤潮事物数据库，其中A、B、C、D、E分别代表数据类名，利用Apriori关联算法挖掘强关联规则，并从中筛选出合适的规则：

规则1：Chl-a∈[16.57，151]→发生赤潮

规则2：Chl-a∈[16.57，151]，pH∈[8.77，10.3]→发生赤潮

规则3：Chl-a∈[0，3.435]，pH∈[7.99，8.35]→不发生赤潮

关联规则的结果表明，当Chl-a、Ph、DO处于较高浓度时（Chl-a>16.57、pH>8.77、DO>9.09）赤潮发生的可能性较高，以此来确定赤潮关键因子的阈值；

步骤三：浮标以半个小时一次的频率采集数据，按照时间序列提取当前最新数据，以及连续12小时的目标水域叶绿素a，pH，溶解氧监测数据，根据三个指标的当前状态和历史变化趋势进行初步的水质水况预警：

条件一：当前叶绿素a超过阈值，阈值为16.57或当前12小时内连续4次及以上超过阈值；

条件二：当前溶解氧超过阈值，阈值为9.09，且当前12小时内连续4次及以上超过阈值；

条件三：当前pH超过阈值，阈值为8.77，且当前12小时内连续4次及以上超过阈值；

满足任何一条时，后台获取到信息后自动发出水质水况警告信息，提醒相关人员密切关注水质变化，其余情况不发出警告信息；

步骤四：根据步骤一中神经网络挖掘出的关键因子的历史数据和当前数据生成训练样本，和测试样本（和训练样本一样的数据格式和类别），系统导入训练样本在赤潮预警模型里进行训练并生成训练模型。每日上午10点和12点，在满足步骤三中初步水质水况预警的前提下，触发赤潮预警算法模块，然后将测试样本导入训练模型进行数据验证和赤潮分类预测，最后根据预测结果决定是否需要发送正式的赤潮警报。

赤潮预警模型主要实现方法是：从多种分类预测模型中选择较合适的三种模型，即KNN近邻、SVM分类预测、BP神经网络线性预测（神经网络预测结果为[0.0，1.0]之间的实值，大于0.5判为1，否则为0），然后综合三个分类器的分类预测结果，通过装袋的方式（简单选举法）来判定最终结果；

步骤五：所有的程序都是通过后台自动化处理，不需要人为干涉，后台自动从浮标获取数据，根据条件进行计算和判断，符合警告和预警条件则向相关负责人发送邮件和短信提醒，后台将当前浮标数据，赤潮状态数据更新到数据库，并通过datav进行手机端界面展示，以便随时随地的查看进行水质状况和赤潮情况。

与现有技术相比，本发明的有益效果如下：

本发明方法对历史数据预处理，并基于IBM SPSS Modeler中神经网络模块找出关键因子；利用Apriori关联算法确定相关指标范围与阈值；利用三条条件发送水质变化警告；满足水质变化警告的前提下触发赤潮预警模块，筛选三种分类回归法进行分类并通过袋装的方式进一步提高预测准确率；全程实时且自动化预警，无需人工干预，且能在手机端通过datav随时随地的提供监测预警展示。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明赤潮关键因子示意图；

图2是本发明的赤潮事物数据库示意图；

图3是本发明的初步水质警告判断条件示意图；

图4是本发明的赤潮自动化预警流程示意图；

图5是本发明的历史数据测试与验证示意图；

图6是本发明的赤潮特征因子变化示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

如图1-6所示，本发明提供一种基于浮标监测并联合机器学习进行科学预警方法，包括步骤如下：

步骤一：从数据库提取过去的数据，时间为1-2年，从里面对半筛选出发生赤潮和没发生赤潮的每日数据；以每日10点的各指标数据，当日是否发生赤潮（0或1），当日10点到前日22点12个小时内关键指标的最大值，最大差值（例如pH最大值，pH最大差值）作为神经网络输入数据，基于IBM SPSS Modeler中神经网络模块对数据进行处理，经多次调整与验证找出最优模型，根据变量重要性找出前12个影响赤潮爆发的关键因子（包含赤潮特征因子和环境因子），如图1 所示，影响赤潮的除了常用的赤潮特征因子（叶绿素a、pH、溶解氧）之外，还有12小时内的叶绿素a最大值，叶绿素a最大差值，溶解氧最大差值，pH最大差值，风速，总悬浮固体，空气湿度；

步骤二：基于赤潮特征因子（叶绿素a、pH、溶解氧）以及影响赤潮爆发的环境因子（盐度，温度）对每日10点的数据进行统计和深度离散化处理，形成适合关联规则的挖掘的赤潮事物数据库，其中A、B、C、D、E分别代表数据类名，利用Apriori关联算法挖掘强关联规则，并从中筛选出合适的规则：

规则1：Chl-a∈[16.57，151]→发生赤潮

规则2：Chl-a∈[16.57，151]，pH∈[8.77，10.3]→发生赤潮

规则3：Chl-a∈[0，3.435]，pH∈[7.99，8.35]→不发生赤潮

关联规则的结果表明，当Chl-a、Ph、DO处于较高浓度时（Chl-a>16.57、pH>8.77、DO>9.09）赤潮发生的可能性较高，以此来确定赤潮关键因子的阈值；

步骤三：浮标以半个小时一次的频率采集数据，按照时间序列提取当前最新数据，以及连续12小时的目标水域叶绿素a，pH，溶解氧监测数据，根据三个指标的当前状态和历史变化趋势进行初步的水质水况预警：

条件一：当前叶绿素a超过阈值，阈值为16.57或当前12小时内连续4次及以上超过阈值；

条件二：当前溶解氧超过阈值，阈值为9.09，且当前12小时内连续4次及以上超过阈值；

条件三：当前pH超过阈值，阈值为8.77，且当前12小时内连续4次及以上超过阈值；

满足任何一条时，后台获取到信息后自动发出水质水况警告信息，提醒相关人员密切关注水质变化，其余情况不发出警告信息；

步骤四：根据步骤一中神经网络挖掘出的关键因子的历史数据和当前数据生成训练样本，和测试样本（和训练样本一样的数据格式和类别），系统导入训练样本在赤潮预警模型里进行训练并生成训练模型。每日上午10点和12点，在满足步骤三中初步水质水况预警的前提下，触发赤潮预警算法模块，然后将测试样本导入训练模型进行数据验证和赤潮分类预测，最后根据预测结果决定是否需要发送正式的赤潮警报。

赤潮预警模型主要实现方法是：从多种分类预测模型中选择较合适的三种模型，即KNN近邻、SVM分类预测、BP神经网络线性预测（神经网络预测结果为[0.0，1.0]之间的实值，大于0.5判为1，否则为0），然后综合三个分类器的分类预测结果，通过装袋的方式（简单选举法）来判定最终结果；

步骤五：所有的程序都是通过后台自动化处理，不需要人为干涉，后台自动从浮标获取数据，根据条件进行计算和判断，符合警告和预警条件则向相关负责人发送邮件和短信提醒，后台将当前浮标数据，赤潮状态数据更新到数据库，并通过datav进行手机端界面展示，以便随时随地的查看进行水质状况和赤潮情况。

具体的，步骤一中通过对历史数据的处理和分析是符合符合赤潮演进规律的，赤潮的爆发需要一段时间的演化，且多在中午之前阳光充足的时候爆发，因此以每日10点的数据，当日是否发生赤潮（0或1），当日10点到前日22点12个小时内关键指标的最大值，最大差值（例如pH最大值，pH最大差值）作为参考，既反映了水质在12小时内的变化情况也获取了在日照充足时刻下的当前水质情况，是符合自然规律的。然后通过IBM SPSS Modeler中神经网络模块对处理分析后的数据进行重要性分析，科学的找出影响赤潮爆发的关键因子。

步骤二中通过Apriori关联规则的挖掘出的规则，科学合理的为当地水域提供了更加符合实际情况的指标参考范围和参考阈值，为步骤三中进行初步警告提供科学的数据支撑。

步骤三中叶绿素a，溶解氧，pH作为最重要的赤潮指标因子通过三个判定条件来反映水质当前情况以及阶段性的变化情况，符合赤潮爆发前的水文规律，能敦促相关人员关注水质以便及时发现问题。

步骤四中在每天的10点和12点（这两个时刻是赤潮爆发的高峰期），若当前数据满足步骤三中三个条件中任一条件，即可触发赤潮预警模块进一步进行数据挖掘和分析判断是否会发生赤潮。KNN近邻、SVM分类预测、BP神经网络线性预测是经过多种实验比对筛选出的符合实际数据的有较高准确率的分类回归预测方法，再通过袋装（选举法）进一步提高了准确率，相比单纯的从赤潮指标因子和特征因子进行预测来说能在实际预测中取得更好更准确的效果。

实验如下：

目标海域为宁波梅山水道下的沙滩浴场，在浴场上投放少量浮标，该浮标系统由海上浮标系统、数据传输系统、岸站接收系统三部分组成，其中海上浮标系统的数据采集设备为水质多参数传感器，集成于浮体之上，采用太阳能供电，开展样品采集和数据分析。不同于传统的实验室采样预警和复杂的大型预警系统，基于浮标的适用于小范围水域的实时赤潮预警利用浮标数据通过监测赤潮特征因子的实时变化以及利用机器学习等方法对关键因子进行挖掘，根据条件进行判断，符合警告和预警条件则向相关负责人发送邮件和短信提醒。所有的程序都是实时自动化处理和自动化展示，不需要人为干涉，简单有效的实现了赤潮预警，且多次在实际中得到验证。

2019年12月22日，宁波梅山水道中心报，凌晨四点开始系统发送水质变化警告，10:00发送赤潮预警警报，11：25 业主确认肉眼可见轻微水色变化。2019年12月27日，立即安排人员在相关水域采样，肉眼可见局部区域赤潮。镜检后初步判断为海洋原甲藻赤潮，依据HY/T 069-2005，该藻种没有被标识为有毒种，风险相对不大。

2019年12月22日0点到24点叶绿素a、pH/溶解氧变化情况如图6，可见，pH的波动在阈值以下，溶解氧和叶绿素a在阈值上下进行波动，符合三个判断条件中的第一个和第二个，系统会发送水质水况警告，并在10点和12点的时候触发赤潮自动预警模型进行判断，判断结果显示当日会发生赤潮，与采样实验结果一致；

如图5所示，通过对部分已经过实验室采样分析的具体日期的浮标数据进行验证测试，最后得出的模型判断结果和真实结果之间的一致性较高，由此可见，筛选多种分类方法并通过袋装组合的方式在一定程度上提高了分类的准确率，进一步实现了有效预警。

本发明方法对历史数据预处理，并基于IBM SPSS Modeler中神经网络模块找出关键因子；利用Apriori关联算法确定相关指标范围与阈值；利用三条条件发送水质变化警告；满足水质变化警告的前提下触发赤潮预警模块，筛选三种分类回归法进行分类并通过袋装的方式进一步提高预测准确率；全程实时且自动化预警，无需人工干预，且能在手机端通过datav随时随地的提供监测预警展示。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于浮标监测并联合机器学习进行科学预警方法，其特征在于，包括步骤如下：

步骤一：从数据库提取过去的数据，时间为1-2年，从里面对半筛选出发生赤潮和没发生赤潮的每日数据；以每日10点的各指标数据，当日是否发生赤潮（0或1），当日10点到前日22点12个小时内关键指标的最大值，最大差值（例如pH最大值，pH最大差值）作为神经网络输入数据，基于IBM SPSS Modeler中神经网络模块对数据进行处理，经多次调整与验证找出最优模型，根据变量重要性找出前12个影响赤潮爆发的关键因子（包含赤潮特征因子和环境因子），如图1 所示，影响赤潮的除了常用的赤潮特征因子（叶绿素a、pH、溶解氧）之外，还有12小时内的叶绿素a最大值，叶绿素a最大差值，溶解氧最大差值，pH最大差值，风速，总悬浮固体，空气湿度；

步骤二：基于赤潮特征因子（叶绿素a、pH、溶解氧）以及影响赤潮爆发的环境因子（盐度，温度）对每日10点的数据进行统计和深度离散化处理，形成适合关联规则的挖掘的赤潮事物数据库，其中A、B、C、D、E分别代表数据类名，利用Apriori关联算法挖掘强关联规则，并从中筛选出合适的规则：

规则1：Chl-a∈[16.57，151]→发生赤潮

规则2：Chl-a∈[16.57，151]，pH∈[8.77，10.3]→发生赤潮

规则3：Chl-a∈[0，3.435]，pH∈[7.99，8.35]→不发生赤潮

关联规则的结果表明，当Chl-a、Ph、DO处于较高浓度时（Chl-a>16.57、pH>8.77、DO>9.09）赤潮发生的可能性较高，以此来确定赤潮关键因子的阈值；

步骤三：浮标以半个小时一次的频率采集数据，按照时间序列提取当前最新数据，以及连续12小时的目标水域叶绿素a，pH，溶解氧监测数据，根据三个指标的当前状态和历史变化趋势进行初步的水质水况预警：

条件一：当前叶绿素a超过阈值，阈值为16.57或当前12小时内连续4次及以上超过阈值；

条件二：当前溶解氧超过阈值，阈值为9.09，且当前12小时内连续4次及以上超过阈值；

条件三：当前pH超过阈值，阈值为8.77，且当前12小时内连续4次及以上超过阈值；

满足任何一条时，后台获取到信息后自动发出水质水况警告信息，提醒相关人员密切关注水质变化，其余情况不发出警告信息；

步骤四：根据步骤一中神经网络挖掘出的关键因子的历史数据和当前数据生成训练样本，和测试样本（和训练样本一样的数据格式和类别），系统导入训练样本在赤潮预警模型里进行训练并生成训练模型；每日上午10点和12点，在满足步骤三中初步水质水况预警的前提下，触发赤潮预警算法模块，然后将测试样本导入训练模型进行数据验证和赤潮分类预测，最后根据预测结果决定是否需要发送正式的赤潮警报；

赤潮预警模型主要实现方法是：从多种分类预测模型中选择较合适的三种模型，即KNN近邻、SVM分类预测、BP神经网络线性预测（神经网络预测结果为[0.0，1.0]之间的实值，大于0.5判为1，否则为0），然后综合三个分类器的分类预测结果，通过装袋的方式（简单选举法）来判定最终结果；

步骤五：所有的程序都是通过后台自动化处理，不需要人为干涉，后台自动从浮标获取数据，根据条件进行计算和判断，符合警告和预警条件则向相关负责人发送邮件和短信提醒，后台将当前浮标数据，赤潮状态数据更新到数据库，并通过datav进行手机端界面展示，以便随时随地的查看进行水质状况和赤潮情况。

Images