CN111047073B - 一种基于神经网络的水产养殖水质预测方法及系统 - Google Patents
一种基于神经网络的水产养殖水质预测方法及系统 Download PDFInfo
- Publication number
- CN111047073B CN111047073B CN201911114022.XA CN201911114022A CN111047073B CN 111047073 B CN111047073 B CN 111047073B CN 201911114022 A CN201911114022 A CN 201911114022A CN 111047073 B CN111047073 B CN 111047073B
- Authority
- CN
- China
- Prior art keywords
- neural network
- function
- network
- training
- water quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 156
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 78
- 238000009360 aquaculture Methods 0.000 title claims abstract description 43
- 244000144974 aquaculture Species 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 59
- 230000006870 function Effects 0.000 claims description 130
- 210000002569 neuron Anatomy 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 20
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 19
- 229910052760 oxygen Inorganic materials 0.000 claims description 19
- 239000001301 oxygen Substances 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012905 input function Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 claims 2
- 239000000463 material Substances 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000003640 drug residue Substances 0.000 description 2
- 238000003912 environmental pollution Methods 0.000 description 2
- 208000031295 Animal disease Diseases 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000008239 natural water Substances 0.000 description 1
- 244000052769 pathogen Species 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Educational Administration (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Primary Health Care (AREA)
- Mining & Mineral Resources (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Agronomy & Crop Science (AREA)
- Farming Of Fish And Shellfish (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开公开了一种基于神经网络的水产养殖水质预测方法及系统，采用Map和Reduce任务实现了多层次自动并行化BP神经网络算法。这种方法可以在减少训练时间的同时保持BP神经网络算法的预测或分类准确度；对检测过程中因传感器等仪器出现故障引起的失真数据，可以用预测数值进行校正，以保证测量结果的完整性和精确性，可以在减少训练时间的同时保持BP神经网络算法的预测或分类准确度。
Description
技术领域
本公开涉及水产养殖领域、神经网络技术领域，具体涉及一种基于神经网络的水产养殖水质预测方法及系统。
背景技术
我国是重要的水产养殖大国，养殖水产品产量远远大于水产品捕捞量，并且出口额多年来一直居世界之首。然而，随着水产养殖业的不断发展，水域环境遭受破坏，水质恶化，加上养殖集约化程度越来越高，导致各种水产动物病害频发。持续时间长、死亡率高、发病面积广、病原种类多、控制难度大，已成为我国水产养殖病害的主要特点。与欧美和日本相比，我国的水产科技水平较低，防疫措施相对滞后，药物残留对环境污染日趋严重，带来一系列的负面效应，比如水质恶化严重、诱发耐药菌、病害频繁发生、药物残留超标、环境污染以及食品安全等引起了广泛的社会关注，成为社会不安定因素的一大隐患。因此，制定迅速、科学、准确、有效的水产病害防控技术与机制对当前水产养殖业具有重大意义。作为农业经济的重要组成部分，水产养殖业的健康发展至关重要，信息化是现代化水产行业发展的趋势，其信息化的程度直接决定着我国水产业发展的深度和广度。
国内外对水质的研究也主要利用了灰色系统、时间序列等方法对叶绿素浓度等要素进行预测分析，调研发现研究对象多为自然水体，针对水产养殖水体要素相关的研究较少。
由于检测现场环境的影响传感器等仪器设备出现故障引起测量数据偏差或完全错误，从而不能准确反映水质参数的变化，因此，必须采取某种可靠的算法校正检测过程中出现的失真数据,以保证测量结果的完整性和准确性。随着水产养殖业的迅速发展，温度，pH值，溶解氧等水质参数作为养殖水域必控的水环境因子越来越受到重视。通过在养殖池塘内安装多路检测相关参数的传感器。养殖人员可以实时观测到温度、pH值，溶解氧等水质参数的变化。
发明内容
本公开提供一种基于神经网络的水产养殖水质预测方法及系统，本公开采用Map和Reduce任务实现了多层次自动并行化BP神经网络算法。这种方法可以在减少训练时间的同时保持BP神经网络算法的预测或分类准确度。
为了实现上述目的，根据本公开的一方面，提供一种基于神经网络的水产养殖水质预测方法，所述方法包括以下步骤：
步骤1：采集水质数据；通过在养殖池塘内安装多路检测相关参数的传感器采集温度、pH值，溶解氧等水质参数。
步骤2：将水质数据划分为训练样本集和测试样本集并进行数据归一化，将水质数据中的水温、pH值、相邻时刻溶解氧值变化量作为影响因子(输入变量)，输出变量为水体的溶氧值。在预测之前对训练样本集和测试样本集进行一定的预处理,用数据归一化处理方法,且归一化函数采用MATLAB自带的归一化函数mapminmax，将每组实时观测到温度、pH值，溶解氧值数据都变为0～1之间的数；将水质数据划分为训练样本集和测试样本集的方法包括：留出法、交叉验证法、自助法任意一种方法。
步骤3：确定神经网络并选择隐含层神经元数，根据经验公式
确定隐含层神经元个数；其中，m为输入层神经元数,n为输出层神经元数,l为隐含层神经元数,a为常数,在1～10之间选取。通过训练本研究选择隐含层的神经元数为8；确定水产养殖水环境因子溶氧值预测的神经网络为网络结构为3-8-10三层神经网络；
步骤4：通过神经网络参数设置前馈BP神经网络，其函数形式为：net＝newff(P,T,[S1,S2…Si],{TF1,TF2…TFi},BTF,BLF,PF,IPF,OPF,DDF)，其中P为输入函数矩阵；T为输出数据矩阵；Si为第i层神经元数目,TFi为第i层神经元采用的转移函数,BTF为网络训练函数,BLF为网络学习函数,PF为网络性能函数；IPF为输入处理函数；OPF为输出处理函数；DDF为验证数据划分函数.只需设置前面6个参数,后面4个参数采用系统默认参数，newff为前馈网络创建函数；
步骤5：初始化神经网络的参数，通过初始化函数：Net＝init(net)初始化神经网络的参数,其中,参数net为newff所建立的网络,变量net为初始化后的网络。使用newff创建BP神经网络后,网络会自动地初始化权值和阈值,缺省值都是0,可以不必再单独调用init函数。只有当要重新设置这些初始化值时才调用init函数，init函数为初始化BP神经网络。
步骤6：对神经网络进行训练，神经网络训练函数的函数形式为：[net，tr]＝train(NET,X,T,Pi,Ai)其中，NET为待训练神经网络；X为输入数据矩阵,T为输出数据矩阵；P为初始化输入层条件；Ai为初始化输出层条件；net为训练好的神经网络；tr为训练记录。一般只需设置前面3个参数，后面2个参数采用系统默认参数，train函数为网络训练学习函数。
步骤7：构建神经网络预测函数，用于对神经网络进行输出预测，其函数形式为：
y＝sim(net,p)
其中,y为网络预测输出；net为训练好的神经网络；p为输入向量或矩阵，sim函数功能为用训练好的BP神经网络预测函数输出。
步骤8：通过神经网络预测函数对水质数据进行预测，并反馈结果到Hadoop分布式文件系统；将通过归一化处理好的温度、pH值，溶解氧训练数据集按样本分配到各Map任务中，每个Map任务负责一组样本的神经网络算法训练(步骤4，步骤5，步骤6)，输入为样本特征值与目标输出值，Map任务为Hadoop中的映射任务。
步骤8.1，利用分解出的输入值(Input值)、输出值(Output值)进行神经网络训练，正向传递计算出误差e，并反向传递e计算得出权值梯度改变量Δω；
步骤8.2，保存权值梯度ω和Δω为键值对，交给Combine函数进行处理；combine函数为Hadoop中将Reduce函数需要的数据进行本地处理的函数,来提高Hadoop的运行性能，Reduce函数为Hadoop中的归约函数。
步骤8.3，Combine对于接收到的<key，Δω>解析统计，对相同Δω的值进行本地规约得到新的权值梯度ω′和权值梯度改变量Δω′；(key代表同一种类型的数据，如温度、pH值，溶解氧)
步骤8.4，Reduce统计来自Combine函数处理后相同权值key的Δω′，求对应权值；
步骤8.5，Reduce统计Δω′处理后相同权值key的，求对应权值ω′的
平均梯度该变量,其中n为其训练次数；
步骤8.6，反馈Reduce的结果到Hadoop分布式文件系统(HDFS)。
combine()函数的伪代码如下：
输入：<key,Δω>
输出：<key,Δω′>
combine(key,Δω)
{
解析Δω并创建Δω对象；
对key相同的键值对进行本地规约得Δω′；
Emit(key,Δω′)；其中，Emit函数是Hadoop中反射一个元素的函数。
}
重复执行步骤8.1～步骤8.6，直到超过最大学习次数或全局网络误差达到精度要求，即最大学习迭代次数设定为10000次；全局网络误差达到精度设定为0.05％。另外所有Mapper任务(Hadoop中的映射任务)中的初始网络连接权重、网络结构等参数要一致，保证每个任务节点中的初始网络相同。若神经网络算法中每个样本的每次训练都进行reduce操作(归约操作)，则map(映射)会产生很多中间结果，占用内存，所以这里设定一个固定初始迭代次数，每个样本达到迭代次数，再输出对应的权值改变量，减少循环次数和降低系统负载。
本公开还提供了一种基于神经网络的水产养殖水质预测系统，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
数据采集单元，用于采集水质数据；
数据归一化单元，用于将水质数据划分为训练样本集和测试样本集并进行数据归一化；
神经网络确定单元，用于确定神经网络并选择隐含层神经元数；
前馈网络单元，用于通过神经网络参数设置前馈BP神经网络；
网络初始化单元，用于初始化神经网络的参数；
网络训练单元，用于对神经网络进行训练；
预测网络单元，用于构建神经网络预测函数；
预测存储单元，用于通过神经网络预测函数对水质数据进行预测，并反馈结果到Hadoop分布式文件系统。
本公开的有益效果为：本公开提供一种基于神经网络的水产养殖水质预测方法及系统，对检测过程中因传感器等仪器出现故障引起的失真数据，可以用预测数值进行校正，以保证测量结果的完整性和精确性，可以在减少训练时间的同时保持BP神经网络算法的预测或分类准确度。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种基于神经网络的水产养殖水质预测方法的流程图；
图2所示为一种基于神经网络的水产养殖水质预测系统结构图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为根据本公开的一种基于神经网络的水产养殖水质预测方法的流程图，下面结合图1来阐述根据本公开的实施方式的一种基于神经网络的水产养殖水质预测方法。
本公开提出一种基于神经网络的水产养殖水质预测方法，具体包括以下步骤：
步骤1：采集水质数据；通过在养殖池塘内安装多路检测相关参数的传感器采集温度、pH值，溶解氧等水质参数。
步骤2：将水质数据划分为训练样本集和测试样本集并进行数据归一化，将水质数据中的水温、pH值、相邻时刻溶解氧值变化量作为影响因子(输入变量)，输出变量为水体的溶氧值。在预测之前对训练样本集和测试样本集进行一定的预处理,用数据归一化处理方法,且归一化函数采用MATLAB自带的归一化函数mapminmax，将每组实时观测到温度、pH值，溶解氧值数据都变为0～1之间的数。
步骤3：确定神经网络并选择隐含层神经元数，根据经验公式
确定隐含层神经元个数；其中，m为输入层神经元数,n为输出层神经元数,l为隐含层神经元数,a为常数,在1～10之间选取。通过训练本研究选择隐含层的神经元数为8；确定水产养殖水环境因子溶氧值预测的神经网络为网络结构为3-8-10三层神经网络；
步骤4：通过神经网络参数设置前馈BP神经网络，其函数形式为：net＝newff(P,T,[S1,S2…Si],{TF1,TF2…TFi},BTF,BLF,PF,IPF,OPF,DDF)，其中P为输入函数矩阵；T为输出数据矩阵；Si为第i层神经元数目,TFi为第i层神经元采用的转移函数,BTF为网络训练函数,BLF为网络学习函数,PF为网络性能函数；IPF为输入处理函数；OPF为输出处理函数；DDF为验证数据划分函数.只需设置前面6个参数,后面4个参数采用系统默认参数，newff为前馈网络创建函数；
步骤5：初始化神经网络的参数，通过初始化函数：Net＝init(net)初始化神经网络的参数,其中,参数net为newff所建立的网络,变量net为初始化后的网络。使用newff创建BP神经网络后,网络会自动地初始化权值和阈值,缺省值都是0,可以不必再单独调用init函数。只有当要重新设置这些初始化值时才调用init函数，init函数为初始化BP神经网络。
步骤6：对神经网络进行训练，神经网络训练函数的函数形式为：[net，tr]＝train(NET,X,T,Pi,Ai)其中，NET为待训练神经网络；X为输入数据矩阵,T为输出数据矩阵；P为初始化输入层条件；Ai为初始化输出层条件；net为训练好的神经网络；tr为训练记录。一般只需设置前面3个参数，后面2个参数采用系统默认参数，train函数为网络训练学习函数。
步骤7：构建神经网络预测函数，用于对神经网络进行输出预测，其函数形式为：
y＝sim(net,p)
其中,y为网络预测输出；net为训练好的神经网络；p为输入向量或矩阵，sim函数功能为用训练好的BP神经网络预测函数输出。
步骤8：通过神经网络预测函数对水质数据进行预测，并反馈结果到Hadoop分布式文件系统；将通过归一化处理好的温度、pH值，溶解氧训练数据集按样本分配到各Map任务中，每个Map任务负责一组样本的神经网络算法训练(步骤4，步骤5，步骤6)，输入为样本特征值与目标输出值，Map任务为Hadoop中的映射任务。
步骤8.1，利用分解出的输入值(Input值)、输出值(Output值)进行神经网络训练，正向传递计算出误差e，并反向传递e计算得出权值梯度改变量Δω；
步骤8.2，保存权值梯度ω和Δω为键值对，交给Combine函数进行处理；combine函数为Hadoop中将Reduce函数需要的数据进行本地处理的函数,来提高Hadoop的运行性能，Reduce函数为Hadoop中的归约函数。
步骤8.3，Combine对于接收到的<key，Δω>解析统计，对相同Δω的值进行本地规约得到新的权值梯度ω′和权值梯度改变量Δω′；(key代表同一种类型的数据，如温度、pH值，溶解氧)
步骤8.4，Reduce统计来自Combine函数处理后相同权值key的Δω′，求对应权值；
步骤8.5，Reduce统计Δω′处理后相同权值key的，求对应权值ω′的
平均梯度该变量,其中n为其训练次数；
步骤8.6，反馈Reduce的结果到Hadoop分布式文件系统(HDFS)。
combine()函数的伪代码如下：
输入：<key,Δω>
输出：<key,Δω′>
combine(key,Δω)
{
解析Δω并创建Δω对象；
对key相同的键值对进行本地规约得Δω′；
Emit(key,Δω′)；其中，Emit函数是Hadoop中反射一个元素的函数。
}
重复执行步骤8.1～步骤8.6，直到超过最大学习次数或全局网络误差达到精度要求，即最大学习迭代次数设定为10000次；全局网络误差达到精度设定为0.05％。另外所有Mapper任务(Hadoop中的映射任务)中的初始网络连接权重、网络结构等参数要一致，保证每个任务节点中的初始网络相同。若神经网络算法中每个样本的每次训练都进行reduce操作(归约操作)，则map(映射)会产生很多中间结果，占用内存，所以这里设定一个固定初始迭代次数，每个样本达到迭代次数，再输出对应的权值改变量，减少循环次数和降低系统负载。
本公开的实施例提供的一种基于神经网络的水产养殖水质预测系统，如图2所示为本公开的一种基于神经网络的水产养殖水质预测系统结构图，该实施例的一种基于神经网络的水产养殖水质预测系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于神经网络的水产养殖水质预测系统实施例中的步骤。
所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
数据采集单元，用于采集水质数据；
数据归一化单元，用于将水质数据划分为训练样本集和测试样本集并进行数据归一化；
神经网络确定单元，用于确定神经网络并选择隐含层神经元数；
前馈网络单元，用于通过神经网络参数设置前馈BP神经网络；
网络初始化单元，用于初始化神经网络的参数；
网络训练单元，用于对神经网络进行训练；
预测网络单元，用于构建神经网络预测函数；
预测存储单元，用于通过神经网络预测函数对水质数据进行预测，并反馈结果到Hadoop分布式文件系统。
所述一种基于神经网络的水产养殖水质预测系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种基于神经网络的水产养殖水质预测系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种基于神经网络的水产养殖水质预测系统的示例，并不构成对一种基于神经网络的水产养殖水质预测系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种基于神经网络的水产养殖水质预测系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于神经网络的水产养殖水质预测系统运行系统的控制中心，利用各种接口和线路连接整个一种基于神经网络的水产养殖水质预测系统可运行系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于神经网络的水产养殖水质预测系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。
Claims (3)
1.一种基于神经网络的水产养殖水质预测方法，其特征在于，所述方法包括以下步骤：
步骤1：采集水质数据；
步骤2：将水质数据划分为训练样本集和测试样本集并进行数据归一化；
步骤3：确定神经网络并选择隐含层神经元数；
步骤4：通过神经网络参数设置前馈BP神经网络；
步骤5：初始化神经网络的参数；
步骤6：对神经网络进行训练；
步骤7：构建神经网络预测函数；
步骤8：通过神经网络预测函数对水质数据进行预测，并反馈结果到 Hadoop分布式文件系统；
在步骤3中，确定神经网络并选择隐含层神经元数的方法为：根据经验公式，确定隐含层神经元个数；其中 ，m为输入层神经元数,n为输出层神经元数,l 为隐含层神经元数,a为常数 ,在之间选取；通过训练本研究选择隐含层的神经元数为8；确定水产养殖水环境因子溶氧值预测的神经网络为网络结构为3-8-10 三层神经网络；
在步骤4中，通过神经网络参数设置前馈BP神经网络的方法为：
通过神经网络参数设置前馈BP神经网络，其函数形式为：
，其中P为输入函数矩阵；T为输出数据矩阵； 为第i层神经元数目,为第i层神经元采用的转移函数,BTF为网络训练函数,BLF为网络学习函数,PF为网络性能函数；IPF 为输入处理函数；OPF为输出处理函数；DDF为验证数据划分函数.只需设置前面 6 个参数,后面 4个参数采用系统默认参数，newff为前馈网络创建函数；
在步骤5中，初始化神经网络的参数的方法为：通过初始化函数：Net=init(net)初始化神经网络的参数,其中,参数net为newff所建立的网络,变量net为初始化后的网络；使用newff创建BP神经网络后,网络会自动地初始化权值和阈值,缺省值都是0,可以不必再单独调用init函数；只有当要重新设置这些初始化值时才调用init函数，init函数为初始化BP神经网络；
在步骤6中，对神经网络进行训练的方法为：神经网络训练函数的函数形式为：其中，NET为待训练神经网络；X 为输入数据矩阵, T为输出数据矩阵；P为初始化输入层条件；为初始化输出层条件；net为训练好的神经网络；tr为训练记录；
在步骤7中，构建神经网络预测函数的方法为：构建神经网络预测函数，用于对神经网络进行输出预测，其函数形式为： y=sim(net,p) ；其中,y为网络预测输出；net为训练好的神经网络；p为输入向量或矩阵，sim函数功能为用训练好的BP神经网络预测函数输出；
在步骤8中，通过神经网络预测函数对水质数据进行预测，并反馈结果到 Hadoop分布式文件系统的方法为：
通过神经网络预测函数对水质数据进行预测，并反馈结果到 Hadoop分布式文件系统；将通过归一化处理好的温度、pH值，溶解氧训练数据集按样本分配到各 Map 任务中，每个Map 任务负责一组样本的神经网络算法训练，输入为样本特征值与目标输出值；
步骤8.1，利用分解出的输入值、输出值进行神经网络训练，正向传递计算出误差e，并反向传递e计算得出权值梯度改变量；
步骤8.2，保存权值梯度和为键值对，交给 Combine 函数进行处理； combine函数为Hadoop中将Reduce函数需要的数据进行本地处理的函数,来提高Hadoop的运行性能，Reduce函数为Hadoop中的归约函数；
步骤8.3，Combine对于接收到的<key，>解析统计，对相同的值进行本地规约得到新的权值梯度和权值梯度改变量；
步骤8.4，Reduce统计来自Combine函数处理后相同权值key的，求对应权值；
步骤8.5，Reduce统计处理后相同权值key的，求对应权值的平均梯度该变量,其中n为其训练次数；
步骤8.6，反馈 Reduce 的结果到 Hadoop分布式文件系统；
重复执行步骤8.1~步骤8.6，直到超过最大学习次数或全局网络误差达到精度要求。
2.根据权利要求1所述的一种基于神经网络的水产养殖水质预测方法，其特征在于，在步骤2中，将水质数据划分为训练样本集和测试样本集并进行数据归一化的方法为：
将水质数据中的水温、pH值、相邻时刻溶解氧值变化量作为影响因子，即输入变量，输出变量为水体的溶氧值；在预测之前对训练样本集和测试样本集用数据归一化处理方法,且归一化函数采用MATLAB 自带的归一化函数mapminmax，将每组实时观测到温度、pH值，溶解氧值数据都变为之间的数；将水质数据划分为训练样本集和测试样本集的方法包括：留出法、交叉验证法、自助法任意一种方法。
3.一种基于神经网络的水产养殖水质预测系统，其特征在于，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：
数据采集单元，用于采集水质数据；
数据归一化单元，用于将水质数据划分为训练样本集和测试样本集并进行数据归一化；
神经网络确定单元，用于确定神经网络并选择隐含层神经元数；
前馈网络单元，用于通过神经网络参数设置前馈BP神经网络；
网络初始化单元，用于初始化神经网络的参数；
网络训练单元，用于对神经网络进行训练；
预测网络单元，用于构建神经网络预测函数；
预测存储单元，用于通过神经网络预测函数对水质数据进行预测，并反馈结果到Hadoop分布式文件系统；
确定神经网络并选择隐含层神经元数的方法为：根据经验公式，确定隐含层神经元个数；其中 ，m为输入层神经元数,n为输出层神经元数,l 为隐含层神经元数,a为常数 ,在之间选取；通过训练本研究选择隐含层的神经元数为8；确定水产养殖水环境因子溶氧值预测的神经网络为网络结构为3-8-10 三层神经网络；
通过神经网络参数设置前馈BP神经网络的方法为：
通过神经网络参数设置前馈BP神经网络，其函数形式为：
，其中P为输入函数矩阵；T为输出数据矩阵； 为第i层神经元数目,为第i层神经元采用的转移函数,BTF为网络训练函数,BLF为网络学习函数,PF为网络性能函数；IPF 为输入处理函数；OPF为输出处理函数；DDF为验证数据划分函数.只需设置前面 6 个参数,后面 4个参数采用系统默认参数，newff为前馈网络创建函数；
初始化神经网络的参数的方法为：通过初始化函数：Net=init(net)初始化神经网络的参数,其中,参数net为newff所建立的网络,变量net为初始化后的网络；使用newff创建BP神经网络后,网络会自动地初始化权值和阈值,缺省值都是0,可以不必再单独调用init函数；只有当要重新设置这些初始化值时才调用init函数，init函数为初始化BP神经网络；
对神经网络进行训练的方法为：神经网络训练函数的函数形式为：其中，NET为待训练神经网络；X 为输入数据矩阵, T为输出数据矩阵；P为初始化输入层条件；为初始化输出层条件；net为训练好的神经网络；tr为训练记录；
构建神经网络预测函数的方法为：构建神经网络预测函数，用于对神经网络进行输出预测，其函数形式为： y=sim(net,p) ；其中,y为网络预测输出；net为训练好的神经网络；p为输入向量或矩阵，sim函数功能为用训练好的BP神经网络预测函数输出；
通过神经网络预测函数对水质数据进行预测，并反馈结果到 Hadoop分布式文件系统的方法为：
通过神经网络预测函数对水质数据进行预测，并反馈结果到 Hadoop分布式文件系统；将通过归一化处理好的温度、pH值，溶解氧训练数据集按样本分配到各 Map 任务中，每个Map 任务负责一组样本的神经网络算法训练，输入为样本特征值与目标输出值；
步骤8.1，利用分解出的输入值、输出值进行神经网络训练，正向传递计算出误差e，并反向传递e计算得出权值梯度改变量；
步骤8.2，保存权值梯度和为键值对，交给 Combine 函数进行处理； combine函数为Hadoop中将Reduce函数需要的数据进行本地处理的函数,来提高Hadoop的运行性能，Reduce函数为Hadoop中的归约函数；
步骤8.3，Combine对于接收到的<key，>解析统计，对相同的值进行本地规约得到新的权值梯度和权值梯度改变量；
步骤8.4，Reduce统计来自Combine函数处理后相同权值key的，求对应权值；
步骤8.5，Reduce统计处理后相同权值key的，求对应权值的平均梯度该变量,其中n为其训练次数；
步骤8.6，反馈 Reduce 的结果到 Hadoop分布式文件系统；
重复执行步骤8.1~步骤8.6，直到超过最大学习次数或全局网络误差达到精度要求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911114022.XA CN111047073B (zh) | 2019-11-14 | 2019-11-14 | 一种基于神经网络的水产养殖水质预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911114022.XA CN111047073B (zh) | 2019-11-14 | 2019-11-14 | 一种基于神经网络的水产养殖水质预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111047073A CN111047073A (zh) | 2020-04-21 |
| CN111047073B true CN111047073B (zh) | 2023-04-25 |
Family
ID=70233003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911114022.XA Active CN111047073B (zh) | 2019-11-14 | 2019-11-14 | 一种基于神经网络的水产养殖水质预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047073B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112216399A (zh) * | 2020-10-10 | 2021-01-12 | 黑龙江省疾病预防控制中心 | 一种基于bp神经网络的食源性疾病致病因子预测的方法和系统 |
| CN113033876B (zh) * | 2021-03-03 | 2022-05-24 | 天津农学院 | 基于MapReduce和BP神经网络的人工养殖水产生长预测方法及系统 |
| WO2022217589A1 (zh) * | 2021-04-16 | 2022-10-20 | 长沙有色冶金设计研究院有限公司 | 基于深度学习的水质图像分析方法、系统、设备及介质 |
| CN113971517A (zh) * | 2021-10-25 | 2022-01-25 | 中国计量大学 | 一种基于ga-lm-bp神经网络的水质评价方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105095962A (zh) * | 2015-07-27 | 2015-11-25 | 中国汽车工程研究院股份有限公司 | 一种基于bp人工神经网络的材料动态力学性能预测方法 |
| CN107480775A (zh) * | 2017-08-14 | 2017-12-15 | 中国水产科学研究院淡水渔业研究中心 | 一种基于数据修复的池塘溶解氧预测方法 |
| CN108647783A (zh) * | 2018-05-10 | 2018-10-12 | 江南大学 | 一种水产养殖水质溶解氧检测方法 |
| CN109816094A (zh) * | 2019-01-03 | 2019-05-28 | 山东省科学院海洋仪器仪表研究所 | 基于神经网络l-m算法的光学溶解氧传感器非线性温度补偿方法 |
-
2019
- 2019-11-14 CN CN201911114022.XA patent/CN111047073B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105095962A (zh) * | 2015-07-27 | 2015-11-25 | 中国汽车工程研究院股份有限公司 | 一种基于bp人工神经网络的材料动态力学性能预测方法 |
| CN107480775A (zh) * | 2017-08-14 | 2017-12-15 | 中国水产科学研究院淡水渔业研究中心 | 一种基于数据修复的池塘溶解氧预测方法 |
| CN108647783A (zh) * | 2018-05-10 | 2018-10-12 | 江南大学 | 一种水产养殖水质溶解氧检测方法 |
| CN109816094A (zh) * | 2019-01-03 | 2019-05-28 | 山东省科学院海洋仪器仪表研究所 | 基于神经网络l-m算法的光学溶解氧传感器非线性温度补偿方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111047073A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047073B (zh) | 一种基于神经网络的水产养殖水质预测方法及系统 | |
| Welsh et al. | Fitting and interpreting occupancy models | |
| Rahaman et al. | An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm | |
| Mapstone et al. | An investigation of optimum methods and unit sizes for the visual estimation of abundances of some coral reef organisms | |
| CN106022954B (zh) | 基于灰色关联度的多重bp神经网络负荷预测方法 | |
| CN106874688A (zh) | 基于卷积神经网络的智能化先导化合物发现方法 | |
| US10627470B2 (en) | System and method for learning based magnetic resonance fingerprinting | |
| Xin et al. | Deep community detection in topologically incomplete networks | |
| Punt et al. | How well can FMSY and BMSY be estimated using empirical measures of surplus production? | |
| Bhowmick et al. | A new growth curve model for biological growth: some inferential studies on the growth of Cirrhinus mrigala | |
| Cox | Equitable thresholding and clustering | |
| Meenakshi et al. | Soil health analysis and fertilizer prediction for crop image identification by Inception-V3 and random forest | |
| Machac | Detecting trait-dependent diversification under diversification slowdowns | |
| CN117146954A (zh) | 一种基于改进woa-bp神经网络的称重补偿方法及装置 | |
| CN111797690A (zh) | 基于小波神经网络光栅阵列光纤周界入侵识别方法及装置 | |
| CN115035512B (zh) | 基于多模态深度学习的作物营养状态诊断方法和系统 | |
| CN116842996A (zh) | 一种基于深度压缩感知的空间转录组方法及装置 | |
| Sahu et al. | Deep learning models for crop quality and diseases detection | |
| Mu et al. | The application of RBF neural network in the wood defect detection | |
| Zhang et al. | Accurate detection method of pig's temperature based on non‐point source thermal infrared image | |
| Warman et al. | Deep learning-based high-throughput phenotyping can drive future discoveries in plant reproductive biology | |
| Folland et al. | Accuracy of biovolume formulas for CMEIAS computer-assisted microscopy and body size analysis of morphologically diverse microbial populations and communities | |
| Mattern et al. | A Bayesian approach to modeling phytoplankton population dynamics from size distribution time series | |
| CN116703897B (zh) | 一种基于图像处理的猪只体重估值方法 | |
| Zhao et al. | Edge Testing of Noisy Image Based on Wavelet Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |