CN110334926B - 一种智能场景大数据分析系统 - Google Patents

Abstract

本发明公开了一种智能场景大数据分析系统，包括水质参数采集模块、水质数据传输模块、水质数据分析处理模块和信息决策模块；所述水质参数采集模块为多功能参数采集装置，所述多功能参数采集装置包括溶氧量传感器单元、pH值传感器单元、总氨和亚硝态氮含量传感器单元、温度传感器单元，所述水质数据传输模块包括供电模块、存储单元和通信单元，所述水质数据分析处理模块包括数据预处理单元、数据处理单元和数据分析单元，所述信息决策模块包括数据管理单元和信息决策单元。本发明技术人员和养殖户来说方便使用，能够实现对池塘的科学管理，维护池塘生态环境的健康状况，避免池塘生态环境恶化造成严重后果。

Description

一种智能场景大数据分析系统

技术领域

本发明涉及场景监控领域，特别涉及一种智能场景大数据分析系统。

背景技术

我国是世界水产养殖大国，水产养殖产量占世界总产量的70％以上，其中池塘养殖是水产养殖中的重中之重。池塘中溶氧量、pH值、总氨和亚硝态氮含量和温度等技术指标对水产养殖很重要，但是水质有问题通常不会是只有一个指标有问题，养殖户也没办法真的判断出是因为具体哪些因素导致的，往往根据表象来用药，因此用药失误导致的严重后果也只能由自己来承担。鉴于此，针对上述问题提供一种智能场景大数据分析系统。

发明内容

本发明的目的在于提供一种智能场景大数据分析系统，该系统对于技术人员和养殖户来说方便使用，能够实现对池塘的科学管理，维护池塘生态环境的健康状况。

为了实现上述目的，本发明提供如下技术方案：

一种智能场景大数据分析系统，包括水质参数采集模块、水质数据传输模块、水质数据分析处理模块和信息决策模块；

优选地，所述水质参数采集模块为多功能参数采集装置，所述多功能参数采集装置包括溶氧量传感器单元、pH值传感器单元、总氨和亚硝态氮含量传感器单元、温度传感器单元，用于对池塘中溶氧量、 pH值、总氨和亚硝态氮含量和温度进行实时监测；

优选地，所述水质数据传输模块包括供电模块、存储单元和通信单元，用于将采集的池塘水质参数通过通信单元发送至水质数据分析处理模块；

优选地，所述水质数据分析处理模块包括数据预处理单元、数据处理单元和数据分析单元，用于对接收到的水质数据进行处理、分析和反馈；

优选地，所述信息决策模块包括数据管理单元和信息决策单元，用于将分析后的数据构建水质综合评价模型，并将原始数据及分析结果加以显示和保存，为信息决策提供依据；

优选地，所述数据预处理单元包括数据清洗单元、数据规约单元和数据转换单元，所述数据预处理单元对水质数据转换后得到多个数据块，建立和所述多个所述初始数据集数量相同的多条数据处理线程，每条所述数据处理线程对应一个初始数据集处理任务，所述数据处理线程设定对应的水质数据阈值进行特征规约，当遍历到超过设定的水质数据阈值时，从所述预处理后的数据块中清洗掉不相关的数据，得到预处理后的水质参数数据；

优选地，所述数据处理单元将因子分析和随机森林算法结合得到各水质参数的因子隶属度，得到各项水质参数的指标评价值，计算各项水质参数的综合权重，得到各项水质参数的综合评价权重，利用随机森林算法进行统一化权重计算，得到各项水质参数的综合权重矩阵，将数据进行皮尔森相关性分析，得到每两项水质参数互相影响情况；

优选地，所述数据分析单元中还包括用于警告的信息系统，所述用于警告的信息系统包括邮件系统、短信系统、微信系统和QQ系统，将当前实际水质情况和预测水质情况发送到用户进行警告，方便运营人员即时发现问题；

优选地，所述用于警告的信息系统还包括各项水质参数阈值，所述溶氧量阈值为≥2mg/L，所述pH值阈值为6～9，所述总氨含量阈值为0.5～4mg/L，所述亚硝态氮含量阈值为0.1～0.4mg/L，所述温度阈值为20～30℃。

优选地，所述因子分析模型算法的步骤如下：

S1：将因子分析和随机森林算法结合得到某项水质参数的因子隶属度，如公式：

其中，x₀为某项水质参数样本指标最小值，x₁为某项水质参数样本指标最大值，x为某项水质参数样本值；

S2：根据上述公式对各项水质参数样本指标进行评价；

设B为各项水质参数样本集合，C为各项水质参数样本指标评价集合，建立如下公式：

其中，A为各项水质参数样本数值，m为各项水质参数样本数目， n为各项水质参数指标数目；

通过上述公式计算出各水质参数的因子隶属度，对应m个各项水质参数样本数目得到矩阵D_mn；

S3：计算综合权重：

单项水质参数指标权重如公式：

其中，A_k为当前某项水质参数样本数值，C_k为对应某项水质参数指标数值，

使用随机森林算法计算综合权重：

其中，为某项水质参数指标权重；

通过上述公式计算综合权重矩阵B：

B＝[B₁,B₂,...,B_m]，

S4：将矩阵D_mn与综合权重矩阵B复合计算，得到池塘水质当前状况。

优选地，所述皮尔森相关性分析的步骤如下：

S1：计算带权的每两项水质参数任意样本(x，y)两者之间的协方差：

cov(x,y)＝E[(x-μx)(y-μy)]

其中，cov(x,y)表示每两项水质参数任意样本(x，y)两者之间的协方差；

S2：计算带权的每两项水质参数任意样本(x，y)两者之间的标准差乘积：

其中，σxσy表示每两项水质参数任意样本(x，y)两者之间的标准差乘积；

S3：本皮尔森相关性系数

其中，ρx,y表示本皮尔森相关性系数。

优选地，所述水质综合评价模型的步骤如下：

S1：设预测目标与决策层中的决策指标N₁,N₂，...,N_m，目标与决策层中的数据块指标集合S₁,S₂,...,S_m,其中数据块指标集合S_m中有水质参数样本A_i1,A_i2,...A_im,i＝1,2,...,m；

S2：以决策指标S_b(b＝1,2,...,m)为基向量，以A_jk(k＝1,2,...,m_k) 为特征向量，在基向量S_b下构造综合相关矩阵，计算A_ij对S_m的影响力大小：

其中，B_ij的列向量为S_m中的样本A_i1,A_i2,...A_im，B_mm的横向量为 S_m中的样本A_j1,A_j2,...,A_jmk；当B_ij＝0时，A_jk不受S_m的中A_i1的影响，当B_ij＝1时，A_jk受S_m的中A_i1的影响；

S3：根据构造矩阵B_ij，预测各样本A_jk对S_m的影响概率FC_ij， i＝1,2,...,m,j＝1,2,...,m，构造影响概率关系矩阵FC_ij：

其中，在FC_ij中，每个横向量FC_jmk与每个列向量A_im都对应一个 FC_ij，i＝1,2,...,m,j＝1,2,...,m；

S4：根据S3得到的概率关系矩阵确定模糊关系矩阵C，首先，将数据块中第i个样本的测试结果A_i作为第i个预测征兆W_i，将第n 个集合Sn作为第n个预测原因Y_i，将第i个预测A_i对第n个预测原因的预测概率FC_ij，作为第i个预测征兆W_i属于第n个预测原因Y_i的隶属度r_ij，i＝1,2,...,m,j＝1,2,...,m，然后将所得矩阵进行转置，得到模糊关系矩阵C：

S5：根据S4得到模糊关系矩阵C进行水质综合评价。

与现有技术相比，本发明的有益效果是:通过对池塘中溶氧量、 pH值、总氨和亚硝态氮含量和温度进行实时监测，采集水质参数信息经过通信单元发送至水质数据分析处理模块，实现远程数据的采集，利用数据清洗单元、数据规约单元和数据转换单元对采集到的水质参数数据进行预处理，将因子分析和随机森林算法结合得到各水质参数的因子隶属度，得到各项水质参数的指标评价值，计算各项水质参数的综合权重，得到各项水质参数的综合评价权重，利用随机森林算法进行统一化权重计算，得到各项水质参数的综合权重矩阵，将数据进行皮尔森相关性分析，得到每两项水质参数互相影响情况，将分析后的数据构建水质综合评价模型，得到每种水质参数相互影响情况，为信息决策提供依据，同时，将当前实际水质情况和预测水质情况发送到用户进行警告，方便运营人员即时发现问题，实现池塘水质实时监测和时间关联的预测分析，维护池塘生态环境的健康状况，避免池塘生态环境恶化造成严重后果。

附图说明

图1为本发明实施例提供的一种智能场景大数据分析系统流程图；

图2为本发明实施例提供的一种智能场景大数据分析方法示意图。

图中：各项水质参数模块1、各项水质参数的综合评价权重模块 2、每两项水质参数互相影响关系模块3、池塘生态环境的实际健康状况模块4。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考附图1，一种智能场景大数据分析系统，包括水质参数采集模块、水质数据传输模块、水质数据分析处理模块和信息决策模块。

所述水质参数采集模块为多功能参数采集装置，所述多功能参数采集装置包括溶氧量传感器单元、pH值传感器单元、总氨和亚硝态氮含量传感器单元、温度传感器单元，用于对池塘中溶氧量、pH值、总氨和亚硝态氮含量和温度进行实时监测。

所述水质数据传输模块包括供电模块、存储单元和通信单元，用于将采集的池塘水质参数通过通信单元发送至水质数据分析处理模块，需要说明的是，通信单元为CDPD通信单元或Zigbee通信单元；所述存储单元为并行SRAM并使用外部串行EEPROM存储器，用于存储大量池塘水质原始数据；所述供电模块为POE供电器。

需要进一步说明的是，所述并行SRAM并使用外部串行EEPROM存储器有较丰富的硬件资源和接口，方便扩展外设，根据要求分别连接 CDPD通信单元或Zigbee通信单元和POE供电器，实现实时监测存储。

所述水质数据分析处理模块包括数据预处理单元、数据处理单元和数据分析单元，用于对接收到的水质数据进行处理、分析和反馈。

所述信息决策模块包括数据管理单元和信息决策单元，用于将分析后的数据构建水质综合评价模型，并将原始数据及分析结果加以显示和保存，为信息决策提供依据。

所述数据预处理单元包括数据清洗单元、数据规约单元和数据转换单元，所述数据预处理单元对水质数据转换后得到多个数据块，建立和所述多个所述初始数据集数量相同的多条数据处理线程，每条所述数据处理线程对应一个初始数据集处理任务，所述数据处理线程设定对应的水质数据阈值进行特征规约，当遍历到超过设定的水质数据阈值时，从所述预处理后的数据块中清洗掉不相关的数据，得到预处理后的水质参数数据。

所述数据处理单元将因子分析和随机森林算法结合得到各水质参数的因子隶属度，得到各项水质参数的指标评价值，计算各项水质参数的综合权重，得到各项水质参数的综合评价权重，利用随机森林算法进行统一化权重计算，得到各项水质参数的综合权重矩阵，将数据进行皮尔森相关性分析，得到每两项水质参数互相影响情况。

具体地，所述数据分析单元中还包括用于警告的信息系统，所述用于警告的信息系统包括邮件系统、短信系统、微信系统和QQ系统，将当前实际水质情况和预测水质情况发送到用户进行警告，方便运营人员即时发现问题。

所述用于警告的信息系统还包括各项水质参数阈值，所述溶氧量阈值为≥2mg/L，所述pH值阈值为6～9，所述总氨含量阈值为0.5～ 4mg/L，所述亚硝态氮含量阈值为0.1～0.4mg/L，所述温度阈值为 20～30℃。

所述因子分析模型算法的步骤如下：

S1：将因子分析和随机森林算法结合得到某项水质参数的因子隶属度，如公式：

其中，x₀为某项水质参数样本指标最小值，x₁为某项水质参数样本指标最大值，x为某项水质参数样本值；

S2：根据上述公式对各项水质参数样本指标进行评价；

设B为各项水质参数样本集合，C为各项水质参数样本指标评价集合，建立如下公式：

其中，A为各项水质参数样本数值，m为各项水质参数样本数目， n为各项水质参数指标数目；

通过上述公式计算出各水质参数的因子隶属度，对应m个各项水质参数样本数目得到矩阵D_mn；

S3：计算综合权重：

单项水质参数指标权重如公式：

其中，A_k为当前某项水质参数样本数值，C_k为对应某项水质参数指标数值，

使用随机森林算法计算综合权重：

其中，为某项水质参数指标权重；

通过上述公式计算综合权重矩阵B：

B＝[B₁,B₂,...,B_m]，

S4：将矩阵D_mn与综合权重矩阵B复合计算，得到池塘水质当前状况。

所述皮尔森相关性分析的步骤如下：

S1：计算带权的每两项水质参数任意样本(x，y)两者之间的协方差：

cov(x,y)＝E[(x-μx)(y-μy)]

其中，cov(x,y)表示每两项水质参数任意样本(x，y)两者之间的协方差；

S2：计算带权的每两项水质参数任意样本(x，y)两者之间的标准差乘积：

其中，σxσy表示每两项水质参数任意样本(x，y)两者之间的标准差乘积；

S3：本皮尔森相关性系数

其中，ρx,y表示本皮尔森相关性系数。

下面结合具体实施例对本发明进一步描述。

实施例1：

本发明实施例提供水质综合评价分析方法，包括：

S1：设预测目标与决策层中的决策指标N₁,N₂，...,N_m，目标与决策层中的数据块指标集合S₁,S₂,...,S_m,其中数据块指标集合S_m中有水质参数样本A_i1,A_i2,...A_im,i＝1,2,...,m；

S2：以决策指标S_b(b＝1,2,...,m)为基向量，以A_jk(k＝1,2,...,m_k) 为特征向量，在基向量S_b下构造综合相关矩阵，计算A_ij对S_m的影响力大小：

其中，B_ij的列向量为S_m中的样本A_i1,A_i2,...A_im，B_mm的横向量为 S_m中的样本A_j1,A_j2,...,A_jmk；当B_ij＝0时，A_jk不受S_m的中A_i1的影响，当B_ij＝1时，A_jk受S_m的中A_i1的影响；

S3：根据构造矩阵B_ij，预测各样本A_jk对S_m的影响概率FC_ij， i＝1,2,...,m,j＝1,2,...,m，构造影响概率关系矩阵FC_ij：

其中，在FC_ij中，每个横向量FC_jmk与每个列向量A_im都对应一个FC_ij，i＝1,2,...,m,j＝1,2,...,m；

S4：根据S3得到的概率关系矩阵确定模糊关系矩阵C，首先，将数据块中第i个样本的测试结果A_i作为第i个预测征兆W_i，将第n 个集合Sn作为第n个预测原因Y_i，将第i个预测A_i对第n个预测原因的预测概率FC_ij，作为第i个预测征兆W_i属于第n个预测原因Y_i的隶属度r_ij，i＝1,2,...,m,j＝1,2,...,m，然后将所得矩阵进行转置，得到模糊关系矩阵C：

S5：根据S4得到模糊关系矩阵C进行水质综合评价。

实施例2

如图2，本发明实施例提供水质综合评价分析系统。

包括：各项水质参数构建模块1，将实时监测的各项水质参数根据具体情况和阈值进行分解，构建各项水质参数模块1；

各项水质参数的综合评价权重获得模块2，对各项水质参数进行计算分析得到各项水质参数的指标评价值，再通过随机森林算法进行统一化权重计算得到各项水质参数的综合评价权重；

每两项水质参数互相影响关系获得模块3，对进行每两项水质参数进行皮尔森相关性分析得到每两项水质参数互相影响情况；

池塘生态环境的实际健康状况确定模块4，根据每两项水质参数互相影响情况确定池塘生态环境的实际健康状况。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种智能场景大数据分析系统,其特征在于：包括水质参数采集模块、水质数据传输模块、水质数据分析处理模块和信息决策模块；

所述水质参数采集模块为多功能参数采集装置，所述多功能参数采集装置包括溶氧量传感器单元、pH值传感器单元、总氨和亚硝态氮含量传感器单元、温度传感器单元，用于对池塘中溶氧量、pH值、总氨和亚硝态氮含量和温度进行实时监测；

所述水质数据传输模块包括供电模块、存储单元和通信单元，用于将采集的池塘水质参数通过通信单元发送至水质数据分析处理模块；

所述水质数据分析处理模块包括数据预处理单元、数据处理单元和数据分析单元，用于对接收到的水质数据进行处理、分析和反馈；

所述信息决策模块包括数据管理单元和信息决策单元，用于将分析后的数据构建水质综合评价模型，并将原始数据及分析结果加以显示和保存，为信息决策提供依据；

所述数据处理单元将因子分析和随机森林算法结合得到各水质参数的因子隶属度，得到各项水质参数的指标评价值，计算各项水质参数的综合权重，得到各项水质参数的综合评价权重，利用随机森林算法进行统一化权重计算，得到各项水质参数的综合权重矩阵，将数据进行皮尔森相关性分析，得到每两项水质参数互相影响情况；

所述水质综合评价模型的步骤如下：

S1：设预测目标与决策层中的决策指标N₁,N₂，...,N_m，目标与决策层中的数据块指标集合S₁,S₂,...,S_m,其中数据块指标集合S_m中有水质参数样本A_i1,A_i2,...A_im,i＝1,2,...,m；

S2：以决策指标S_b(b＝1,2,...,m)为基向量，以A_jk(k＝1,2,...,m_k)为特征向量，在基向量S_b下构造综合相关矩阵，计算A_ij对S_m的影响力大小：

其中，B_ij的列向量为S_m中的样本A_i1,A_i2,...A_im，B_mm的横向量为S_m中的样本A_j1,A_j2,...,A_jmk；当B_ij＝0时，A_jk不受S_m中A_i1的影响，当B_ij＝1时，A_jk受S_m中A_i1的影响；

S3：根据构造矩阵B_ij，预测各样本A_jk对S_m的影响概率FC_ij，i＝1,2,...,m,j＝1,2,...,m，构造影响概率关系矩阵FC_ij：

其中，在FC_ij中，每个横向量FC_jmk与每个列向量A_im都对应一个FC_ij，i＝1,2,...,m,j＝1,2,...,m；

S4：根据S3得到的概率关系矩阵确定模糊关系矩阵C，首先，将数据块中第i个样本的测试结果A_i作为第i个预测征兆W_i，将第n个集合Sn作为第n个预测原因Y_i，将第i个预测A_i对第n个预测原因的预测概率FC_ij，作为第i个预测征兆W_i属于第n个预测原因Y_i的隶属度r_ij，i＝1,2,...,m,j＝1,2,...,m，然后将所得矩阵进行转置，得到模糊关系矩阵C：

S5：根据S4得到模糊关系矩阵C进行水质综合评价。

2.根据权利要求1所述的一种智能场景大数据分析系统，其特征在于：所述数据预处理单元包括数据清洗单元、数据规约单元和数据转换单元，所述数据预处理单元对水质数据转换后得到多个数据块，建立和多个初始数据集数量相同的多条数据处理线程，每条所述数据处理线程对应一个初始数据集处理任务，所述数据处理线程设定对应的水质数据阈值进行特征规约，当遍历到超过设定的水质数据阈值时，从所述预处理后的数据块中清洗掉不相关的数据，得到预处理后的水质参数数据。

3.根据权利要求1所述的一种智能场景大数据分析系统，其特征在于：所述数据分析单元中还包括用于警告的信息系统，所述用于警告的信息系统包括邮件系统、短信系统、微信系统和QQ系统，将当前实际水质情况和预测水质情况发送到用户进行警告，方便运营人员即时发现问题。

4.根据权利要求3所述的一种智能场景大数据分析系统，其特征在于：所述用于警告的信息系统还包括各项水质参数阈值，所述溶氧量阈值为≥2mg/L，所述pH值阈值为6～9，所述总氨含量阈值为0.5～4mg/L，所述亚硝态氮含量阈值为0.1～0.4mg/L，所述温度阈值为20～30℃。

5.根据权利要求1所述的一种智能场景大数据分析系统，其特征在于：因子分析模型算法的步骤如下：

S1：将因子分析和随机森林算法结合得到某项水质参数的因子隶属度，如公式：

其中，x₀为某项水质参数样本指标最小值，x₁为某项水质参数样本指标最大值，x为某项水质参数样本值；

S2：根据上述公式对各项水质参数样本指标进行评价；

设B为各项水质参数样本集合，C为各项水质参数样本指标评价集合，建立如下公式：

其中，A为各项水质参数样本数值，m为各项水质参数样本数目，n为各项水质参数指标数目；

通过上述公式计算出各水质参数的因子隶属度，对应m个各项水质参数样本数目得到矩阵D_mn；

S3：计算综合权重：

单项水质参数指标权重如公式：

其中，A_k为当前某项水质参数样本数值，C_k为对应某项水质参数指标数值，

使用随机森林算法计算综合权重：

其中，

为某项水质参数指标权重；

通过上述公式计算综合权重矩阵B：

B＝[B₁,B₂,...,B_m]，

S4：将矩阵D_mn与综合权重矩阵B复合计算，得到池塘水质当前状况。

6.根据权利要求1所述的一种智能场景大数据分析系统，其特征在于：所述皮尔森相关性分析的步骤如下：

S1：计算带权的每两项水质参数任意样本(x，y)两者之间的协方差：

cov(x,y)＝E[(x-μx)(y-μy)]

其中，cov(x,y)表示每两项水质参数任意样本(x，y)两者之间的协方差；

S2：计算带权的每两项水质参数任意样本(x，y)两者之间的标准差乘积：

其中，σxσy表示每两项水质参数任意样本(x，y)两者之间的标准差乘积；

S3：本皮尔森相关性系数

其中，ρx,y表示本皮尔森相关性系数。

Images