CN117522632A - 一种基于深度学习的水质指标预测方法 - Google Patents

一种基于深度学习的水质指标预测方法 Download PDF

Info

Publication number
CN117522632A
CN117522632A CN202311785743.XA CN202311785743A CN117522632A CN 117522632 A CN117522632 A CN 117522632A CN 202311785743 A CN202311785743 A CN 202311785743A CN 117522632 A CN117522632 A CN 117522632A
Authority
CN
China
Prior art keywords
monitoring data
water quality
segment
data
quality index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311785743.XA
Other languages
English (en)
Other versions
CN117522632B (zh
Inventor
黄风华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Zhilian Space Information Technology Research Institute Co ltd
Yango University
Original Assignee
Fujian Zhilian Space Information Technology Research Institute Co ltd
Yango University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Zhilian Space Information Technology Research Institute Co ltd, Yango University filed Critical Fujian Zhilian Space Information Technology Research Institute Co ltd
Priority to CN202311785743.XA priority Critical patent/CN117522632B/zh
Publication of CN117522632A publication Critical patent/CN117522632A/zh
Application granted granted Critical
Publication of CN117522632B publication Critical patent/CN117522632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152Water filtration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Water Supply & Treatment (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明涉及水质预测技术领域,具体涉及一种基于深度学习的水质指标预测方法。本发明首先对监测数据进行分段,进一步分析目标设备目标水质因子的所有分段监测数据的数据波动特征;进一步分析目标设备目标水质指标的每个分段监测数据与其他分段监测数据的相似性;进一步分析不同水质监测设备相同水质指标相同分段监测数据之间的差异,并结合设备之间的距离,获得每个分段监测数据的初始噪声因子;然后结合水质监测设备的水质指标的波动容差特征、不同分段监测数据之间的相似特征以及相同水质指标相同分段监测数据下不同水质监测设备之间的差异,对训练数据的注意力权重进行准确调整,提高了模型训练的准确性,提升数据预测的准确性。

Description

一种基于深度学习的水质指标预测方法
技术领域
本发明涉及水质预测技术领域,具体涉及一种基于深度学习的水质指标预测方法。
背景技术
随着人类生产活动的增加和社会经济的发展,给水环境质量带来较大的影响,同时影响着人类和自然的健康以及生态平衡,因此通过掌握水环境质量状况和变化趋势,建立并形成完善的水质监测和预测预报体系,是未来环境监测领域的发展重点。
随着深度学习神经网络等新兴技术的发展,神经网络凭借较强的非线性映射能力和较高精度的预测性能,逐渐在水质预测预警等领域得到广泛关注及应用。神经网络模型虽然通过使用注意力机制利用历史数据中挖掘水质传播机制,但是注意力只能集中在单个监测点位置处的水质时序序列,而无法考虑到同河道上多监测点之间的关联性,并且其注意力机制的计算权重训练同样受到其时间窗口内网络输入数据质量的影响,然而由于数据采集依靠传感器,传感器不可避免的出现噪声干扰,并且传感器噪声特征与水质数据中的部分需要关注的异常数据特征又存在相似的波动性质,因此往往会导致噪声滤除的不干净或对原数据造成信息丢失,进而造成现阶段的基于位置的注意力机制不能准确的达到很好的效果,最终降低水质指标预测的准确度。
发明内容
为了解决神经网络训练数据不够准确,影响水质指标预测准确度的技术问题,本发明的目的在于提供一种基于深度学习的水质指标预测方法,所采用的技术方案具体如下:
获取所有水质监测设备所有水质指标的监测数据;根据预设时间窗口长度对所述监测数据进行划分,获得所有所述水质指标的分段监测数据;
选择任一水质监测设备作为目标设备,选择所述目标设备的任一水质指标作为目标水质指标;分析所述目标水质指标的所有所述分段监测数据的数据波动特征,获取所述目标水质指标的容差因子;根据所述目标水质指标的每个分段监测数据与其他分段监测数据的相似性,获得所述目标水质指标每个分段监测数据的合群因子;在目标水质指标下,根据所述目标设备与其他水质监测设备的相同分段监测数据之间的差异特征、水质监测设备之间的距离,获得所述目标水质指标的每个分段监测数据的初始噪声因子;根据所述目标水质指标的所述容差因子和每个分段监测数据的所述合群因子对所述初始噪声因子进行修正,获得所述目标水质指标的每个分段监测数据的修正噪声因子;
获取每个分段监测数据的注意力层的初始注意力权重;根据每个分段监测数据的所述修正噪声因子修正所述初始注意力权重,获取所述目标水质指标的每个分段监测数据的优化注意力权重;根据所有所述监测数据中各个分段的所述优化注意力权重进行神经网络预测模型训练,利用训练好的神经网络预测模型对水质监测设备的水质指标进行预测。
进一步地,所述容差因子的获取方法包括:
利用容差因子计算公式获取所述目标水质指标的容差因子;所述容差因子计算公式包括:
;其中,/>表示第/>个目标水质指标的容差因子;/>表示归一化函数;/>表示分段监测数据的总段数;/>表示分段监测数据的序号;表示第/>个目标水质指标的第/>段分段监测数据的标准差;/>为自然常数;/>表示第/>个目标水质指标的第/>段分段监测数据的极值点数量;/>表示归一化函数;/>表示第/>个目标水质指标的采样间隔。
进一步地,所述合群因子的获取方法包括:
利用预设分解算法对所述目标水质指标的监测数据进行分解,获得监测数据的季节序列、残差和趋势序列;根据分段监测数据的顺序和长度对分解获得的分解结果进行分段;利用预设相似度算法获取不同分段监测数据之间的相似参数;
利用合群因子计算公式获取每个分段监测数据的合群因子;所述合群因子计算公式包括:
;其中,/>表示第/>个目标水质指标的第/>段分段监测数据的合群因子;/>表示分段监测数据的总段数;/>表示去除第/>段分段监测数据的其他分段监测数据的序号;/>表示第/>个目标水质指标的第/>段分段监测数据和第/>段分段监测数据的相似参数;/>表示归一化函数;/>表示第/>个目标水质指标的第/>段分段监测数据和第/>段分段监测数据的斜率参数,/>,/>表示第/>个目标水质指标的第/>段分段监测数据对应季节序列分段的中心点的斜率;/>表示第/>个目标水质指标的第/>段分段监测数据对应季节序列分段的中心点的斜率;/>表示防零参数;/>表示第/>个目标水质指标的第/>段分段监测数据对应季节序列分段的标准差;/>表示第个目标水质指标的第/>段分段监测数据对应季节序列分段的标准差。
进一步地,所述初始噪声因子的获取方法包括:
将每个分段监测数据内最后一个数据点采集时刻作为每个分段监测数据的标识时刻;在目标水质指标下,根据所述目标设备中每个分段监测数据与其他水质监测设备中的分段监测数据的标识时刻的差异,获取所述目标设备中每个分段监测数据与其他每个水质监测设备对应的相同分段监测数据;利用所述预设相似度算法获取相同目标水质指标不同水质监测设备的所述趋势序列的趋势序列相似度;
利用初始噪声因子计算公式获取每个分段监测数据的初始噪声因子;所述初始噪声因子计算公式包括:
;其中,/>表示第/>个目标水质指标的第/>段分段监测数据的初始噪声因子;/>表示其他的水质监测设备的总数;/>表示其他的水质监测设备的序号;/>表示第/>个目标水质指标的第/>段分段监测数据的标准差;/>表示第/>个目标水质指标的第/>段分段监测数据对应第/>个水质监测设备相同分段监测数据的标准差;/>表示所述目标设备与第/>个水质监测设备之间的距离参数;/>表示所述目标设备与第/>个水质监测设备的趋势序列相似度;/>表示第/>个目标水质指标的第/>段分段监测数据对应第/>个水质监测设备相同分段监测数据的残差累加和;/>表示所述目标设备与第/>个水质监测设备的采样间隔差异参数;/>表示归一化函数。
进一步地,所述修正噪声因子的获取方法包括:
将每个分段监测数据的初始噪声因子与对应分段的合群因子的商作为每个分段监测数据的修正噪声参数;将所述修正噪声参数与所述容差因子的商归一化后作为每个分段监测数据的修正噪声因子。
进一步地,所述优化注意力权重的获取方法包括:
将每个分段监测数据的所述修正噪声因子与对应的所述初始注意力权重的乘积作为每个分段监测数据的优化注意力权重。
进一步地,所述预设分解算法为STL分解算法。
进一步地,所述预设相似度算法为DTW算法。
进一步地,所述相同分段监测数据的获取方法包括:
将所述目标设备的任一分段监测数据作为待分析分段监测数据,将其他水质监测设备中的任一水质监测设备作为比对设备,获取所述比对设备中所有分段监测数据的标识时刻与所述待分析分段监测数据的标识时刻差异,当标识时刻差异最小时,所述比对设备中对应的分段监测数据作为所述待分析分段监测数据的相同分段监测数据;改变待分析分段监测数据和比对设备,获取所述目标设备中每个分段监测数据与其他每个水质监测设备对应的相同分段监测数据。
进一步地,所述神经网络预测模型训练时所使用到的神经网络模型为RNN神经网络模型。
本发明具有如下有益效果:
本发明首先对监测数据进行分段,调整神经网络模型训练的收敛速度的同时更加便于分析数据的局部特征;进一步分析目标设备目标水质因子的所有分段监测数据的数据波动特征,获取容差因子,便于在后续噪声因子计算中根据容差因子进行调整,提升修正噪声因子的准确性,进而获取更准确的优化注意力权重,提升神经网络模型的准确度;进一步分析目标设备目标水质指标的每个分段监测数据与其他分段监测数据的相似性,获取合群因子,为后续调整噪声提供依据;进一步分析不同水质监测设备相同水质指标相同分段监测数据之间的差异,并结合设备之间的距离,获得每个分段监测数据的初始噪声因子,为容差因子和合群因子提供修正基础;进一步利用容差因子和合群因子调整对应的初始噪声因子,获得修正噪声因子,然后获取每个分段监测数据的优化注意力权重,便于根据优化注意力权重控制训练数据的重要性和贡献度;最后利用具有优化注意力权重的分段监测数据训练神经网络模型,基于训练结果对水质监测设备的水质指标进行预测。本发明结合水质监测设备的水质指标的波动容差特征、不同分段监测数据之间的相似特征以及相同水质指标相同分段监测数据下不同水质监测设备之间的差异,对训练数据的注意力权重进行准确调整,提高了模型训练的准确性,对水质监测设备的水质指标进行准确预测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于深度学习的水质指标预测方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于深度学习的水质指标预测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于深度学习的水质指标预测方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于深度学习的水质指标预测方法的流程图,具体包括:
步骤S1:获取所有水质监测设备所有水质指标的监测数据;根据预设时间窗口长度对监测数据进行划分,获得所有水质指标的分段监测数据。
数据的准确性直接影响神经网络模型的性能,如果输入数据包含错误、噪声或不准确的信息,模型将很难从中学到有意义的模式,从而影响其在实际任务上的表现;如果训练数据能够准确反映实际场景,模型更有可能具有良好的泛化能力,能够做出准确的预测;并且准确的数据可以提高训练效率,加快模型的收敛速度。因此,需要对水质指标的监测数据进行分析,准确控制输入训练模型中数据,对训练性能更优的模型意义重大。其中,自适应调控训练模型时每次输入数据的权重,是一种可靠的方法,通过降低受干扰程度大或者异常程度较大的输入数据的权重,降低模型训练时的注意力权重,可以有效的提升模型对干扰的鲁棒性,提升神经网络模型的适应性和准确度。
在本发明实施例中,水质监测设备的采样间隔跟安装位置有关系,不同安装位置的水质监测设备的采样间隔不同,例如靠近养殖场、生态保护区、居民用水口等重要区域的水质监测设备相对较远的设备更重要,采样间隔相对更小,具体采样间隔、水质监测设备的数量和设备安装位置由实施场景决定,在此不进行限定。
在本发明一个实施例中,水质监测设备关注的水质指标包括PH、浊度、DO浓度、水温、TN浓度;考虑到水质参数之间存在量级以及单位等差异,因此对所有水质指标数据进行标准化处理,同时为了更准确的分析监测数据的特征,监测数据包含了近180天的历史数据;考虑到每次对神经网络的单一输入变量中的数据量影响着训练时的收敛速度,数据量越大收敛速度越慢,并且对数据分段也能更好的分析数据的局部特征,所以将监测数据以当前数据的采集时刻为起点,向拟时序方向,以预设时间窗口长度进行划分,每个分段监测数据对应一个神经网络中的输入窗口,预设时间窗口长度取经验值10;在本发明其他实施例中,实施者可以根据实施场景对水质指标进行调整和扩充,也可以调控分段监测数据的长度和监测数据的长度。
步骤S2:选择任一水质监测设备作为目标设备,选择目标设备的任一水质指标作为目标水质指标;分析目标水质指标的所有分段监测数据的数据波动特征,获取目标水质指标的容差因子;根据目标水质指标的每个分段监测数据与其他分段监测数据的相似性,获得目标水质指标每个分段监测数据的合群因子;在目标水质指标下,根据目标设备与其他水质监测设备的相同分段监测数据之间的差异特征、水质监测设备之间的距离,获得目标水质指标的每个分段监测数据的初始噪声因子;根据目标水质指标的容差因子和每个分段监测数据的合群因子对初始噪声因子进行修正,获得目标水质指标的每个分段监测数据的修正噪声因子。
在本发明实施例中,对所有水质监测设备的所有水质指标的监测数据处理方式都相同,所以任选一个水质监测设备作为目标设备,任选目标设备中任意水质指标为目标水质指标,以目标水质指标为例进行分析。
水质监测设备通常容易受到地理位置,天气等外界因素干扰以及水流影响,这些影响通常会导致当前监测位置处的数据极易出现波动或异常,并且波动程度随机,同时由传感器噪声所造成的数据干扰特征也具有随机波动的特征,所以需要区分监测数据中环境引起的有用波动和传感器噪声干扰引起的无用波动,获取数据样本的可信度,以便在深度学习中,调控对不同数据样本的注意力,提升水质指标预测方法的准确度。
不同水质监测设备在相同时间内对同一水质指标的监测数据具有相似性或者与设备之间的距离呈现出一定的变化趋势,例如,安放在相同水面深度的水质监测设备获取的温度数据波动范围相似,某一种PH影响污染物随着水流扩散,会在水流方向上的水质监测设备的监测数据中呈现出一定的变化趋势,根据这些特性能够获取监测数据中的噪声程度;然而不同位置的水质监测设备面对的环境波动不同,监测到的数据波动特征也不同,并且同一设备同一水质指标的不同分段数据受到的噪声影响程度有差异,这些因素都会影响对噪声波动特征的分析,从而影响输入训练模型数据的准确性,影响神经网络的注意力权重,最终影响对水质指标数据的预测,所以需要结合目标水质指标的所有分段监测数据的数据波动特征、目标水质指标的每个分段监测数据与其他分段监测数据的相似性进行综合分析。
在本发明实施例中,考虑到不同位置的水质监测设备所处的水质环境不同,环境波动引起的数据波动特征不同,所以需要分析数据波动特征获取容差因子,用于代表水质监测设备目标水质指标的一个基本波动特征,减小判别噪声时的误差,同时为了增加容差因子的准确性,对目标水质指标的所有分段监测数据都进行分析。
优选地,在本发明一个实施例中,考虑到方差和极值点的数量都能反映出数据的波动特征,所以利用分段监测数据的方差和极值点数量获取容差因子;又考虑到水质监测设备的采样间隔对监测数据中极值点数量有一定影响,相同波动特征下,采样间隔越小,采集数据越多,极值点数量就越多,所以利用采样间隔对极值点数量这一特征参数进行修正补充,基于此,容差因子的获取方法包括:
利用容差因子计算公式获取目标水质指标的容差因子;容差因子计算公式包括:
其中,表示第/>个目标水质指标的容差因子;/>表示归一化函数;/>表示分段监测数据的总段数;/>表示分段监测数据的序号;/>表示第/>个目标水质指标的第/>段分段监测数据的标准差;/>为自然常数;/>表示第/>个目标水质指标的第/>段分段监测数据的极值点数量;/>表示归一化函数;/>表示第/>个目标水质指标的采样间隔。
容差因子计算公式中,分段监测数据的标准差越大,说明分段监测数据中数据越分散,波动越剧烈,波动特征越明显,说明当前目标水质指标越容易出现数据波动,容差因子越大;极值点数量越多,说明分段监测数据内数据波动越频繁,波动特征越明显,说明当前目标水质指标越容易出现数据波动,容差因子越大;采集间隔越大,说明相同时间内目标水质指标内的数据越少,需要赋予跟数据数量相关的特征参数的更大权重。
需要说明的是,在本发明一个实施例中,当数据点同时大于或者同时小于左右相邻数据点时,认为此数据点作为一个极值点;在本发明其他实施例中,也可选用其他基础数学运算或者函数映射实现相关映射,选用如导数法等其他方法获取极值点,其均为为本领域技术人员熟知的技术手段,在此不做赘述。
由于环境变化具有一定的周期性,目标水质指标的监测数据受到环境的影响也会表现出一定的周期性,而干扰噪声不具有周期性,受噪声干扰程度较大的分段监测数据的周期特征会受到影响,从而表现出与其他分段监测数据差异较大的特征,所以根据目标水质指标的每个分段监测数据与其他分段监测数据的相似性,获得目标水质指标每个分段监测数据的合群因子,合群因子越大,说明受噪声干扰程度越小,用合群因子表示分段监测数据的准确度和可信度。
优选地,在本发明一个实施例中,考虑到STL分解算法分析时间序列数据中的趋势和季节性变化非常有用,有助于分析不同分段监测数据之间的相似性,所以将STL算法作为预设分解算法,利用STL算法对数据进行分解,同时与分段监测数据相对应的进行分段;监测数据的季节序列能够反映出目标水质指标的监测数据之间的周期性变化以及季节性趋势,所以通过季节序列分段之间的波动相似性代表分段监测数据的相似性;有考虑到季节序列中存在,不同季节序列分段之间的波动特征完全相同,但变化方向相反的情况,因此还需要结合斜率特征进行修正,基于此合群因子的获取方法包括:
利用预设分解算法对目标水质指标的监测数据进行分解,获得监测数据的季节序列、残差和趋势序列;根据分段监测数据的顺序和长度对分解获得的分解结果进行分段;利用预设相似度算法获取不同分段监测数据之间的相似参数;
利用合群因子计算公式获取每个分段监测数据的合群因子;合群因子计算公式包括:
其中,表示第/>个目标水质指标的第/>段分段监测数据的合群因子;/>表示分段监测数据的总段数;/>表示去除第/>段分段监测数据的其他分段监测数据的序号;/>表示第/>个目标水质指标的第/>段分段监测数据和第/>段分段监测数据的相似参数;/>表示归一化函数;/>表示第/>个目标水质指标的第/>段分段监测数据和第/>段分段监测数据的斜率参数,/>,/>表示第/>个目标水质指标的第/>段分段监测数据对应季节序列分段的中心点的斜率;/>表示第/>个目标水质指标的第/>段分段监测数据对应季节序列分段的中心点的斜率;/>表示防零参数;/>表示第/>个目标水质指标的第/>段分段监测数据对应季节序列分段的标准差;/>表示第/>个目标水质指标的第/>段分段监测数据对应季节序列分段的标准差。
合群因子计算公式中,两个分段监测数据的相似参数越大,说明这两段监测数据的相似度越高,合群程度越高,受噪声影响程度越小,合群因子越大;两个分段监测数据对应的季节序列分段的标准差之间的差异越小,说明两个季节序列分段的波动特征差异越小,波动特征越相似,合群程度越高,受噪声影响程度越小,合群因子越大;斜率参数为1时,说明两个分段监测数据对应的季节序列分段的变化趋势相同,标准差的差异特征具有参考价值,斜率参数为0时,说明两个分段监测数据对应的季节序列分段的变化趋势相反,标准差的差异特征不具有参考价值。
需要说明的是,季节序列分段的中心点是处于季节序列分段中间位置的数据点。
需要说明的是,在本发明一个实施例中,预设相似度算法为DTW算法,防零参数取0.001,STL算法设定窗口大小为10,季节周期为10天,Loess平滑度参数设定为0.5,从而获得趋势、季节、残差序列;在本发明其他实施例中,也可选用其他基础数学运算或者函数映射实现相关映射,设置其他参数防止分母为零,STL分解算法和DTW算法均是本领域技术人员所熟知的技术手段,在此不再进行赘述。
不同水质监测设备在相同目标水质指标相同分段监测数据下,距离越近的设备之间的监测数据变化趋势越相似,波动程度也越相似,如果目标设备与其他设备表现出的差异越大,说明目标设备的异常可能性越大,受噪声影响程度越大,所以能够分析相同分段监测数据之间的差异特征,获取目标设备目标水质指标的每个分段监测数据的初始噪声因子。
优选地,在本发明一个实施例中,考虑到不同水质监测设备的安装顺序或者出现故障进行更换维修等因素的影响,不同水质监测设备对应的分段监测数据会出现相同分段序号不同采集时刻的情况,例如设备A和设备B的第10段监测数据的采集时刻有差异,所以对不同水质监测的分段监测数据进行匹配,从而分析目标设备的监测数据的特征;标准差能够衡量数据的波动特征,不同水质监测设备相匹配的分段监测数据之间,标准差的差异越小,说明设备之间的相似度越高,分段监测数据受噪声影响程度越小,同时水质监测设备之间的距离会引起水质数据的变化,距离越远,水质变化越大,所以利用距离因素对相似度进行补充修正;又考虑到,相同时间内不同采集间隔采集的数据数量不同,采集间隔相差越大,采集到的数据数量差距越大,分析与数据数量有关的特征参数时需要赋予更小的权重,以减少误差;基于此,将每个分段监测数据内最后一个数据点采集时刻作为每个分段监测数据的标识时刻;在目标水质指标下,根据目标设备中每个分段监测数据与其他水质监测设备中的分段监测数据的标识时刻的差异,获取目标设备中每个分段监测数据与其他每个水质监测设备对应的相同分段监测数据;利用预设相似度算法获取相同目标水质指标不同水质监测设备的趋势序列的趋势序列相似度;
利用初始噪声因子计算公式获取每个分段监测数据的初始噪声因子;初始噪声因子计算公式包括:
其中,表示第/>个目标水质指标的第/>段分段监测数据的初始噪声因子;/>表示其他的水质监测设备的总数;/>表示其他的水质监测设备的序号;/>表示第/>个目标水质指标的第/>段分段监测数据的标准差;/>表示第/>个目标水质指标的第/>段分段监测数据对应第/>个水质监测设备相同分段监测数据的标准差;/>表示目标设备与第/>个水质监测设备之间的距离参数;/>表示目标设备与第/>个水质监测设备的趋势序列相似度;/>表示第/>个目标水质指标的第/>段分段监测数据对应第/>个水质监测设备相同分段监测数据的残差累加和;/>表示目标设备与第/>个水质监测设备的采样间隔差异参数;/>表示归一化函数。
初始噪声因子计算公式中,不同水质监测设备的相同分段监测数据的标准差差异越小,说明水质监测设备的目标水质指标的对应的分段监测数据受噪声影响可能性越小,越不可能是噪声成分,初始噪声因子就越小;两个水质监测设备之间的距离越小,说明处于相同水质环境的可能性越大,相关性越强,赋予特征参数更大权重;趋势序列相似度越大,说明两个水质监测设备之间的变化趋势越相似,标准差差异可信度就越高;残差累加和越大,说明数据波动越强,出现误差的可能性越大,赋予标准差差异的权重越小;采集间隔差异越大,说明采集到的数据数量差距越大,赋予标准差差异更小的权重。
优选地,在本发明一个实施例中,考虑到不同水质监测设备的分段监测数据的标识时刻之间的差异越小,说明采集时刻越相近,越能反映出同一时刻不同设备之间的差异特征,所以将目标设备的任一分段监测数据作为待分析分段监测数据,将其他水质监测设备中的任一水质监测设备作为比对设备,获取比对设备中所有分段监测数据的标识时刻与待分析分段监测数据的标识时刻差异,当标识时刻差异最小时,比对设备中对应的分段监测数据作为待分析分段监测数据的相同分段监测数据;改变待分析分段监测数据和比对设备,获取目标设备中每个分段监测数据与其他每个水质监测设备对应的相同分段监测数据。
需要说明的是,残差和趋势序列已在获取合群因子时使用STL算法中获取,获取趋势序列相似度的算法仍选择DTW算法;在本发明其他实施例中,可以选择Holt-Winters分解等其他时序分解方法,选择欧氏距离、哈希算法等其他方法作为预设相似度算法获取趋势序列相似度以及相似参数;也可选用其他基础数学运算或者函数映射实现相关映射,其均为本领域技术人员熟知的技术手段,在此不做赘述。
获得初始噪声因子、容差因子以及合群因子之后,就可以根据目标水质指标的容差因子和每个分段监测数据的合群因子对初始噪声因子进行修正,获得目标水质指标的每个分段监测数据的修正噪声因子。
优选地,在本发明一个实施例中,考虑到初始噪声因子越大,则反映出对应分段监测数据的波动与其余监测位置设备相比,呈现较强的偏离特征,更接近由传感器导致的异常;但合群因子越大,则反映出该分段监测数据在自身监测设备的长时序下呈现出较高的趋势相似,数据的合群程度越高,并且容差因子越大,允许监测数据波动的变化程度越大;所以将每个分段监测数据的初始噪声因子与对应分段的合群因子的商作为每个分段监测数据的修正噪声参数;将修正噪声参数与容差因子的商归一化后作为每个分段监测数据的修正噪声因子,可用公式表示为:
其中,表示第/>个目标水质指标的第/>段分段监测数据的修正噪声因子;/>表示第/>个目标水质指标的第/>段分段监测数据的初始噪声因子;/>表示第/>个目标水质指标的第/>段分段监测数据的合群因子;/>表示第/>个目标水质指标的容差因子。
修正噪声因子的计算公式中,初始噪声因子越大,说明目标水质指标的对应分段监测数据受噪声影响程度越大,异常可能性越大,修正噪声参数就越大;容差因子越大,允许监测数据波动的变化程度越大,目标水质指标的对应分段监测数据是正常数据的可能性越大,修正噪声参数就越小;合群因子越大,说明分段监测数据在自身水质监测设备中变化趋势越合群,出现异常的可能性越小,修正噪声参数就越小。
需要说明的是,在本发明其他实施例中,也可选用其他基础数学运算或者函数映射实现相关映射,其为本领域技术人员熟知的技术手段,在此不做赘述。
步骤S3:获取每个分段监测数据的注意力层的初始注意力权重;根据每个分段监测数据的修正噪声因子修正初始注意力权重,获取目标水质指标的每个分段监测数据的优化注意力权重;根据所有监测数据中各个分段的优化注意力权重进行神经网络预测模型训练,利用训练好的神经网络预测模型对水质监测设备的水质指标进行预测。
修正噪声因子包含了分段监测数据在所属水质指标的合群特征、水质指标的容差特征以及所属水质监测设备与其他水质监测设备之间的差异特征,能够准确的反应出数据的可信度,所以利用每个分段监测数据的修正噪声因子,获取目标水质指标的每个分段监测数据的优化注意力权重,从而利用优化注意力权重控制每次输入训练模型中数据的重要程度,以获得性能更佳的训练模型。
针对水质预测情景,采用RNN循环神经网络可以对地表水水质进行预测和监管,所以在本发明一个实施例中,以RNN循环神经网络为例,对RNN循环神经网络的训练过程进行优化,从而对水质监测设备的水质指标进行预测。
优选地,在本发明一个实施例中,考虑到修正噪声因子越大,分段监测数据受噪声影响的可能性越大,准确性越低,需要降低对应分段监测数据的贡献程度或重要程度,所以获取每个分段监测数据的注意力层的初始注意力权重;将每个分段监测数据的修正噪声因子与对应的初始注意力权重的乘积作为每个分段监测数据的优化注意力权重。
在本发明一个实施例中,优化注意力权重的计算公式为:,/>表示第/>个目标水质指标的第/>段分段监测数据的优化注意力权重,/>表示第/>个目标水质指标的第/>段分段监测数据的初始注意力权重,/>表示第/>个目标水质指标的第/>段分段监测数据的修正噪声因子;在本发明其他实施例中,也可选用其他基础数学运算或者函数映射实现负相关映射,其为本领域技术人员熟知的技术手段,在此不做赘述。
改变目标设备和目标水质指标,获取所有水质监测设备的所有水质指标对应的所有分段监测数据的优化注意力权重。
需要说明的是,在本发明一个实施例中,将每个分段监测数据作为神经网络训练模型中的一个输入窗口数据,选用RNN神经网络模型进行训练,使用的损失函数为交叉熵损失函数,最后基于训练结果对水质监测设备的水质指标进行预测,便于相关人员根据预测结果在环境监测、农业管理、公共健康保护等方面采取对应的措施。
需要说明的是,在本发明一个实施例中,为了提高神经网络预测模型的预测时的准确性,每次单独对一个水质指标进行训练;获取每个分段监测数据的初始注意力权重的方法为:经过第一次基于查询内容的匹配程度并进行初分配,即可得到的初始注意力权重,具体过程已是本领域技术人员所熟知的,在此不再进行赘述。
综上所述,本发明针对神经网络训练数据不够准确,影响水质指标预测准确度的技术问题,提出了一种基于深度学习的水质指标预测方法。本发明首先对监测数据进行分段,分析目标设备目标水质因子的所有分段监测数据的数据波动特征,获取容差因子;进一步分析目标设备目标水质指标的每个分段监测数据与其他分段监测数据的相似性,获取合群因子;进一步分析不同水质监测设备相同水质指标相同分段监测数据之间的差异,并结合设备之间的距离,获得每个分段监测数据的初始噪声因子;进一步利用容差因子和合群因子调整对应的初始噪声因子,获得修正噪声因子,然后获取每个分段监测数据的优化注意力权重;最后利用具有优化注意力权重的分段监测数据训练神经网络模型,基于训练结果对水质监测设备的水质指标进行预测。本发明结合水质监测设备的水质指标的波动容差特征、不同分段监测数据之间的相似特征以及相同水质指标相同分段监测数据下不同水质监测设备之间的差异,对训练数据的注意力权重进行准确调整,提高了模型训练的准确性,对水质监测设备的水质指标进行准确预测。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。

Claims (10)

1.一种基于深度学习的水质指标预测方法,其特征在于,所述方法包括:
获取所有水质监测设备所有水质指标的监测数据;根据预设时间窗口长度对所述监测数据进行划分,获得所有所述水质指标的分段监测数据;
选择任一水质监测设备作为目标设备,选择所述目标设备的任一水质指标作为目标水质指标;分析所述目标水质指标的所有所述分段监测数据的数据波动特征,获取所述目标水质指标的容差因子;根据所述目标水质指标的每个分段监测数据与其他分段监测数据的相似性,获得所述目标水质指标每个分段监测数据的合群因子;在目标水质指标下,根据所述目标设备与其他水质监测设备的相同分段监测数据之间的差异特征、水质监测设备之间的距离,获得所述目标水质指标的每个分段监测数据的初始噪声因子;根据所述目标水质指标的所述容差因子和每个分段监测数据的所述合群因子对所述初始噪声因子进行修正,获得所述目标水质指标的每个分段监测数据的修正噪声因子;
获取每个分段监测数据的注意力层的初始注意力权重;根据每个分段监测数据的所述修正噪声因子修正所述初始注意力权重,获取所述目标水质指标的每个分段监测数据的优化注意力权重;根据所有所述监测数据中各个分段的所述优化注意力权重进行神经网络预测模型训练,利用训练好的神经网络预测模型对水质监测设备的水质指标进行预测。
2.根据权利要求1中所述的一种基于深度学习的水质指标预测方法,其特征在于,所述容差因子的获取方法包括:
利用容差因子计算公式获取所述目标水质指标的容差因子;所述容差因子计算公式包括:
;其中,/>表示第/>个目标水质指标的容差因子;/>表示归一化函数;/>表示分段监测数据的总段数;/>表示分段监测数据的序号;/>表示第/>个目标水质指标的第/>段分段监测数据的标准差;/>为自然常数;/>表示第/>个目标水质指标的第/>段分段监测数据的极值点数量;/>表示归一化函数;表示第/>个目标水质指标的采样间隔。
3.根据权利要求1中所述的一种基于深度学习的水质指标预测方法,其特征在于,所述合群因子的获取方法包括:
利用预设分解算法对所述目标水质指标的监测数据进行分解,获得监测数据的季节序列、残差和趋势序列;根据分段监测数据的顺序和长度对分解获得的分解结果进行分段;利用预设相似度算法获取不同分段监测数据之间的相似参数;
利用合群因子计算公式获取每个分段监测数据的合群因子;所述合群因子计算公式包括:
;其中,/>表示第/>个目标水质指标的第/>段分段监测数据的合群因子;/>表示分段监测数据的总段数;/>表示去除第/>段分段监测数据的其他分段监测数据的序号;/>表示第/>个目标水质指标的第/>段分段监测数据和第/>段分段监测数据的相似参数;/>表示归一化函数;/>表示第/>个目标水质指标的第/>段分段监测数据和第/>段分段监测数据的斜率参数,/>,/>表示第/>个目标水质指标的第/>段分段监测数据对应季节序列分段的中心点的斜率;表示第/>个目标水质指标的第/>段分段监测数据对应季节序列分段的中心点的斜率;/>表示防零参数;/>表示第/>个目标水质指标的第/>段分段监测数据对应季节序列分段的标准差;/>表示第/>个目标水质指标的第/>段分段监测数据对应季节序列分段的标准差。
4.根据权利要求3中所述的一种基于深度学习的水质指标预测方法,其特征在于,所述初始噪声因子的获取方法包括:
将每个分段监测数据内最后一个数据点采集时刻作为每个分段监测数据的标识时刻;在目标水质指标下,根据所述目标设备中每个分段监测数据与其他水质监测设备中的分段监测数据的标识时刻的差异,获取所述目标设备中每个分段监测数据与其他每个水质监测设备对应的相同分段监测数据;利用所述预设相似度算法获取相同目标水质指标不同水质监测设备的所述趋势序列的趋势序列相似度;
利用初始噪声因子计算公式获取每个分段监测数据的初始噪声因子;所述初始噪声因子计算公式包括:
;其中,/>表示第/>个目标水质指标的第/>段分段监测数据的初始噪声因子;/>表示其他的水质监测设备的总数;/>表示其他的水质监测设备的序号;/>表示第/>个目标水质指标的第/>段分段监测数据的标准差;/>表示第/>个目标水质指标的第/>段分段监测数据对应第/>个水质监测设备相同分段监测数据的标准差;/>表示所述目标设备与第/>个水质监测设备之间的距离参数;/>表示所述目标设备与第/>个水质监测设备的趋势序列相似度;/>表示第/>个目标水质指标的第/>段分段监测数据对应第/>个水质监测设备相同分段监测数据的残差累加和;/>表示所述目标设备与第/>个水质监测设备的采样间隔差异参数;/>表示归一化函数。
5.根据权利要求1中所述的一种基于深度学习的水质指标预测方法,其特征在于,所述修正噪声因子的获取方法包括:
将每个分段监测数据的初始噪声因子与对应分段的合群因子的商作为每个分段监测数据的修正噪声参数;将所述修正噪声参数与所述容差因子的商归一化后作为每个分段监测数据的修正噪声因子。
6.根据权利要求1中所述的一种基于深度学习的水质指标预测方法,其特征在于,所述优化注意力权重的获取方法包括:
将每个分段监测数据的所述修正噪声因子与对应的所述初始注意力权重的乘积作为每个分段监测数据的优化注意力权重。
7.根据权利要求3中所述的一种基于深度学习的水质指标预测方法,其特征在于,所述预设分解算法为STL分解算法。
8.根据权利要求3中所述的一种基于深度学习的水质指标预测方法,其特征在于,所述预设相似度算法为DTW算法。
9.根据权利要求4中所述的一种基于深度学习的水质指标预测方法,其特征在于,所述相同分段监测数据的获取方法包括:
将所述目标设备的任一分段监测数据作为待分析分段监测数据,将其他水质监测设备中的任一水质监测设备作为比对设备,获取所述比对设备中所有分段监测数据的标识时刻与所述待分析分段监测数据的标识时刻差异,当标识时刻差异最小时,所述比对设备中对应的分段监测数据作为所述待分析分段监测数据的相同分段监测数据;改变待分析分段监测数据和比对设备,获取所述目标设备中每个分段监测数据与其他每个水质监测设备对应的相同分段监测数据。
10.根据权利要求1中所述的一种基于深度学习的水质指标预测方法,其特征在于,所述神经网络预测模型训练时所使用到的神经网络模型为RNN神经网络模型。
CN202311785743.XA 2023-12-25 2023-12-25 一种基于深度学习的水质指标预测方法 Active CN117522632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311785743.XA CN117522632B (zh) 2023-12-25 2023-12-25 一种基于深度学习的水质指标预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311785743.XA CN117522632B (zh) 2023-12-25 2023-12-25 一种基于深度学习的水质指标预测方法

Publications (2)

Publication Number Publication Date
CN117522632A true CN117522632A (zh) 2024-02-06
CN117522632B CN117522632B (zh) 2024-03-08

Family

ID=89751512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311785743.XA Active CN117522632B (zh) 2023-12-25 2023-12-25 一种基于深度学习的水质指标预测方法

Country Status (1)

Country Link
CN (1) CN117522632B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117786584A (zh) * 2024-02-27 2024-03-29 西安中创博远网络科技有限公司 基于大数据分析的畜牧业水源污染监测预警方法及系统
CN117829381A (zh) * 2024-03-05 2024-04-05 成都农业科技职业学院 基于物联网的农业大棚数据优化采集系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120089888A (ko) * 2010-12-17 2012-08-16 한국수자원공사 최적 수질 관측망 구성 방법 및 이를 지원하는 관측망 선정 지원 장치
CN104573862A (zh) * 2015-01-06 2015-04-29 北京工商大学 基于多Agent的湖库、流域的水质监测断面优化布设方法
CN112597144A (zh) * 2020-12-29 2021-04-02 农业农村部环境保护科研监测所 一种产地环境监测数据的自动化清洗方法
CN113971517A (zh) * 2021-10-25 2022-01-25 中国计量大学 一种基于ga-lm-bp神经网络的水质评价方法
CN116757319A (zh) * 2023-06-14 2023-09-15 兰州大学 一种水质分段分形预测方法
CN117114915A (zh) * 2023-09-05 2023-11-24 苏州市职业大学(苏州开放大学) 一种基于改进粒子群算法的水产养殖ph值预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120089888A (ko) * 2010-12-17 2012-08-16 한국수자원공사 최적 수질 관측망 구성 방법 및 이를 지원하는 관측망 선정 지원 장치
CN104573862A (zh) * 2015-01-06 2015-04-29 北京工商大学 基于多Agent的湖库、流域的水质监测断面优化布设方法
CN112597144A (zh) * 2020-12-29 2021-04-02 农业农村部环境保护科研监测所 一种产地环境监测数据的自动化清洗方法
CN113971517A (zh) * 2021-10-25 2022-01-25 中国计量大学 一种基于ga-lm-bp神经网络的水质评价方法
CN116757319A (zh) * 2023-06-14 2023-09-15 兰州大学 一种水质分段分形预测方法
CN117114915A (zh) * 2023-09-05 2023-11-24 苏州市职业大学(苏州开放大学) 一种基于改进粒子群算法的水产养殖ph值预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙铭: "《基于深度学习算法的水质预测模型研究》", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》, 30 November 2021 (2021-11-30) *
陈锃: "《 钱塘江流域水质时间序列数据清洗及预警研究》", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》, 15 January 2023 (2023-01-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117786584A (zh) * 2024-02-27 2024-03-29 西安中创博远网络科技有限公司 基于大数据分析的畜牧业水源污染监测预警方法及系统
CN117786584B (zh) * 2024-02-27 2024-04-30 西安中创博远网络科技有限公司 基于大数据分析的畜牧业水源污染监测预警方法及系统
CN117829381A (zh) * 2024-03-05 2024-04-05 成都农业科技职业学院 基于物联网的农业大棚数据优化采集系统
CN117829381B (zh) * 2024-03-05 2024-05-14 成都农业科技职业学院 基于物联网的农业大棚数据优化采集系统

Also Published As

Publication number Publication date
CN117522632B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN117522632B (zh) 一种基于深度学习的水质指标预测方法
CN108304941A (zh) 一种基于机器学习的故障预测方法
CN111967688B (zh) 一种基于卡尔曼滤波器与卷积神经网络的电力负荷预测方法
CN111626518A (zh) 基于深度学习神经网络的城市天级需水量在线预测方法
Sharma et al. Rainfall prediction using neural network
CN111191193A (zh) 一种基于自回归滑动平均模型的长期土壤温湿度高精度预测方法
CN113539382B (zh) 一种亚磷酸二甲酯关键工艺参数的预警定位方法及系统
Hwang et al. Detection and correction method of erroneous data using quantile pattern and LSTM
CN116335925B (zh) 基于数据增强的煤矿井下乳化泵站智能调控系统
CN116929454A (zh) 一种河流水质污染监测方法、介质及系统
Chaturvedi Rainfall Prediction using Back-Propagation Feed Forward Network
CN116956120A (zh) 一种基于改进的tft模型对水质非平稳时间序列的预测方法
Yang et al. Remaining useful life prediction based on normalizing flow embedded sequence-to-sequence learning
CN117310118B (zh) 一种地下水污染可视化监测方法
CN115470850A (zh) 一种基于管网水质时空数据的水质异常事件识别预警方法
CN113486950B (zh) 一种智能管网漏水检测方法及系统
CN114462688A (zh) 一种基于lstm模型和动态阈值确定算法的爆管检测方法
Yin et al. A multivariate time series prediction schema based on multi-attention in recurrent neural network
CN116862132A (zh) 基于大数据的资源调度方法
CN113931270B (zh) 一种基于深度学习的截流井智能监控系统及监控方法
Kang et al. Research on forecasting method for effluent ammonia nitrogen concentration based on GRA-TCN
CN114692738A (zh) 一种轻量级实时时间序列异常检测方法
Guo et al. River water quality prediction model based on PCA-APSO-ELM neural network
CN118016202B (zh) 一种基于汽水质量的化学设备运行分析方法及系统
CN111754033B (zh) 一种基于循环神经网络的非平稳时序数据预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant