CN117310118B - 一种地下水污染可视化监测方法 - Google Patents
一种地下水污染可视化监测方法 Download PDFInfo
- Publication number
- CN117310118B CN117310118B CN202311598444.5A CN202311598444A CN117310118B CN 117310118 B CN117310118 B CN 117310118B CN 202311598444 A CN202311598444 A CN 202311598444A CN 117310118 B CN117310118 B CN 117310118B
- Authority
- CN
- China
- Prior art keywords
- data sequence
- original data
- sequence
- pseudo
- optimal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012544 monitoring process Methods 0.000 title claims abstract description 23
- 238000003895 groundwater pollution Methods 0.000 title claims abstract description 20
- 230000000007 visual effect Effects 0.000 title claims abstract description 20
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 32
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 15
- 239000003344 environmental pollutant Substances 0.000 claims abstract description 14
- 231100000719 pollutant Toxicity 0.000 claims abstract description 14
- 238000003911 water pollution Methods 0.000 claims abstract description 12
- 238000007405 data analysis Methods 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 claims abstract description 7
- 230000000737 periodic effect Effects 0.000 claims description 56
- 238000012937 correction Methods 0.000 claims description 19
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 6
- 239000003673 groundwater Substances 0.000 description 6
- 238000005070 sampling Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 230000016507 interphase Effects 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000003403 water pollutant Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/141—Discrete Fourier transforms
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Optimization (AREA)
- Chemical & Material Sciences (AREA)
- Mathematical Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Algebra (AREA)
- Discrete Mathematics (AREA)
- Medicinal Chemistry (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Food Science & Technology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明涉及数据处理技术领域,具体涉及一种地下水污染可视化监测方法,包括:对采集的地下水进行污染物浓度检测,得到原始数据序列,获取伪最佳周期项数据序列,将原始数据序列分解为分原始数据序列,根据伪最佳周期项的调整系数、分原始数据序列的周期、分原始数据序列与伪最佳周期项数据序列中的数据差异,得到分原始数据序列对应的伪最佳周期项优劣程度,从而得到伪最佳周期项数据序列的优劣程度,由此得到最佳周期项数据序列和最佳趋势项数据序列,经过地下水污染可视化监测平台的数据分析,得到水污染标记点图。本发明通过分析原始数据序列在不同频率和平滑窗口尺寸下的分解效果,自适应选取最佳分解数据,保障后续水污染检测的准确性。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种地下水污染可视化监测方法。
背景技术
地下水作为人类生活中重要的水资源,在农业灌溉、饮水等方面占比很大。地下水受到污染的一般原因是由于人类活动,导致地下水的质量出现恶化,直接影响了人类正常活动。所以对于地下水污染情况监测是十分必要的,现有技术一般采用时间序列分解法(STL)得到数据的趋势项、季节项、残差项,分析污染物浓度数据的变化趋势,得到地下水在流动过程中的健康情况。
现有的问题:采用时间序列分解法(STL)分解污染物浓度数据的趋势项的时候,由于平滑窗口尺度及数据变化趋势不明确,导致时间序列分解法(STL)分解不到原始数据准确的趋势项或趋势出现偏差,影响对地下水污染物浓度数据变化趋势的判断。
发明内容
本发明提供一种地下水污染可视化监测方法,以解决现有的问题。
本发明的一种地下水污染可视化监测方法采用如下技术方案:
本发明一个实施例提供了一种地下水污染可视化监测方法,该方法包括以下步骤:
对采集的地下水进行污染物浓度检测,得到原始数据序列;获取若干个平滑窗口尺寸,根据初始平滑窗口尺寸,得到原始数据序列对应的参考数据序列;其中,平滑窗口尺寸中包含初始平滑窗口尺寸;
根据参考数据序列分别与其分解的所有周期项数据序列之间的数据差异,得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列;
根据原始数据序列和模型偏差数据序列中数据的差异,得到伪最佳周期项的调整系数;
使用离散傅里叶变换,将原始数据序列分解为若干个分原始数据序列,并得到每个分原始数据序列对应的频率和周期;将原始数据序列分解的任意一个分原始数据序列,记为目标分原始数据序列;根据伪最佳周期项的调整系数、目标分原始数据序列对应的周期、目标分原始数据序列与伪最佳周期项数据序列中的数据差异,得到目标分原始数据序列对应的伪最佳周期项优劣程度;
根据原始数据序列分解的所有分原始数据序列对应的伪最佳周期项优劣程度和频率,得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度;
根据原始数据序列在所有平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度,得到原始数据序列对应的最佳周期项数据序列和最佳趋势项数据序列;在地下水污染可视化监测平台上对最佳周期项数据序列和最佳趋势项数据序列进行数据分析,得到水污染标记点图。
进一步地,所述获取若干个平滑窗口尺寸,根据初始平滑窗口尺寸,得到原始数据序列对应的参考数据序列,包括的具体步骤如下:
将平滑窗口尺寸从预设的初始平滑窗口尺寸开始,进行加2迭代,当平滑窗口尺寸达到预设的最大平滑窗口尺寸时结束,得到若干个平滑窗口尺寸;
根据预设的初始平滑窗口尺寸,使用移动平均法对原始数据序列进行平滑处理,得到原始数据序列对应的趋势项数据序列;
根据原始数据序列与趋势项数据序列相减,得到原始数据序列对应的参考数据序列。
进一步地,所述根据参考数据序列分别与其分解的所有周期项数据序列之间的数据差异,得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列,包括的具体步骤如下:
使用离散傅里叶变换,将参考数据序列分解为若干个周期项数据序列;
根据参考数据序列分别与每个周期项数据序列相减,得到每个周期项数据序列对应的残差项数据序列;
计算每个残差项数据序列中的数据均值,将所有残差项数据序列中的数据均值中的最小值对应的残差项数据序列,记为目标残差项数据序列;
将目标残差项数据序列对应的周期项数据序列,记为原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列。
进一步地,所述根据原始数据序列和模型偏差数据序列中数据的差异,得到伪最佳周期项的调整系数,包括的具体步骤如下:
使用局部加权回归方法构建原始数据序列的拟合回归模型,得到原始数据序列对应的拟合数据序列;
根据原始数据序列与拟合数据序列相减,得到原始数据序列对应的模型偏差数据序列;
根据模型偏差数据序列中数据之间的差异,得到模型偏差数据序列中每个数据的异常占比;
将模型偏差数据序列中所有数据的异常占比中的最大值,记为伪最佳周期项的调整系数。
进一步地,所述根据模型偏差数据序列中数据之间的差异,得到模型偏差数据序列中每个数据的异常占比对应的具体计算公式为:
其中为模型偏差数据序列中第x个数据的异常占比,/>为模型偏差数据序列中第x个数据的归一化值,/>为模型偏差数据序列中所有数据的归一化值的均值,/>为模型偏差数据序列中所有数据的归一化值的标准差,| |为绝对值函数。
进一步地,所述根据伪最佳周期项的调整系数、目标分原始数据序列对应的周期、目标分原始数据序列与伪最佳周期项数据序列中的数据差异,得到目标分原始数据序列对应的伪最佳周期项优劣程度,包括的具体步骤如下:
根据伪最佳周期项的调整系数、目标分原始数据序列与伪最佳周期项数据序列中的数据差异,得到目标分原始数据序列中每个数据的校正差异;
根据目标分原始数据序列中所有数据的校正差异,构成校正差异序列;
根据目标分原始数据序列对应的周期向下取整值,依次将校正差异序列划分为若干个不重复的差异序列段;将校正差异序列划分的任意一个差异序列段,记为目标差异序列段;
根据目标差异序列段中的数据均值,得到目标差异序列段的可信度;
将校正差异序列划分的所有差异序列段的可信度的均值,记为目标分原始数据序列对应的伪最佳周期项优劣程度。
进一步地,所述根据伪最佳周期项的调整系数、目标分原始数据序列与伪最佳周期项数据序列中的数据差异,得到目标分原始数据序列中每个数据的校正差异对应的具体计算公式为:
其中为目标分原始数据序列中第x个数据的校正差异,/>为目标分原始数据序列中第x个数据值,/>为伪最佳周期项数据序列/>中第x个数据值,/>为伪最佳周期项的调整系数,| |为绝对值函数。
进一步地,所述根据目标差异序列段中的数据均值,得到目标差异序列段的可信度,包括的具体步骤如下:
若目标差异序列段中的数据均值小于预设的判断阈值时,将目标差异序列段的可信度设置为预设的最大可信阈值;
若目标差异序列段中的数据均值大于等于预设的判断阈值时,将目标差异序列段的可信度设置为预设的最小可信阈值。
进一步地,所述根据原始数据序列分解的所有分原始数据序列对应的伪最佳周期项优劣程度和频率,得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度对应的具体计算公式为:
其中为原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度,/>为原始数据序列分解的第i个分原始数据序列对应的频率,/>为原始数据序列分解的所有分原始数据序列对应的频率之和,/>为原始数据序列分解的第i个分原始数据序列对应的伪最佳周期项优劣程度,m为原始数据序列分解的分原始数据序列的数量。
进一步地,所述根据原始数据序列在所有平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度,得到原始数据序列对应的最佳周期项数据序列和最佳趋势项数据序列,包括的具体步骤如下:
统计原始数据序列在所有平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度中的最大值,将所述最大值对应的伪最佳周期项数据序列,记为原始数据序列对应的最佳周期项数据序列;
根据原始数据序列与最佳周期项数据序列相减,得到原始数据序列对应的最佳趋势项数据序列。
本发明的技术方案的有益效果是:
本发明实施例中,对采集的地下水进行污染物浓度检测,得到原始数据序列,获取若干个平滑窗口尺寸,根据初始平滑窗口尺寸,得到原始数据序列对应的参考数据序列,再根据参考数据序列分别与其分解的所有周期项数据序列之间的数据差异,得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列。根据原始数据序列和模型偏差数据序列中数据的差异,得到伪最佳周期项的调整系数,将原始数据序列分解为若干个分原始数据序列,并将任意一个分原始数据序列,记为目标分原始数据序列,根据伪最佳周期项的调整系数、目标分原始数据序列对应的周期、目标分原始数据序列与伪最佳周期项数据序列中的数据差异,得到目标分原始数据序列对应的伪最佳周期项优劣程度,从而得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度。由此得到原始数据序列对应的最佳周期项数据序列和最佳趋势项数据序列,经过地下水污染可视化监测平台的数据分析,得到水污染标记点图。由于对原始数据直接采用时间序列分解法进行分解得到数据对应的趋势项,会受到选窗口尺度参数和原始数据局部变化趋势不同的影响,导致平滑得到的原始数据趋势项出现偏差。故本实施例通过离散傅里叶变换得到原始数据在不同频率下的分量,采用这些频率分量对原始数据进行分割,若分割结果与时间序列分解法分解的趋势项相似度很大,说明该频率分量在该局部区域为最佳,以此确定原始数据准确的最佳周期项,从而得到原始数据的准确趋势项。由此本发明通过分析原始数据序列在不同频率、不同平滑窗口尺寸下的分解效果,自适应选取最佳分解数据,保障后续水污染检测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种地下水污染可视化监测方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种地下水污染可视化监测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种地下水污染可视化监测方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种地下水污染可视化监测方法的步骤流程图,该方法包括以下步骤:
步骤S001:对采集的地下水进行污染物浓度检测,得到原始数据序列;获取若干个平滑窗口尺寸,根据初始平滑窗口尺寸,得到原始数据序列对应的参考数据序列;其中,平滑窗口尺寸中包含初始平滑窗口尺寸。
确定监测的地区之后,通过对该地区地下水的流动检测,设置相关的采样区域。确定采样区域之后,进行该区域的打井,令地下水的采样间隔时间为a小时,进行间隔采样。本实施例以a等于5为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。进而在实验室对采集的地下水进行污染物浓度检测,得到地下水污染物浓度的原始数据序列。
已知时间序列分解法(STL)计算数据趋势项常采用固定窗口进行平滑数据,得到对应趋势项,该方法不考虑局部数据具体分布,导致趋势项计算不准确。本实施例为了计算准确趋势项,首先计算对应的准确周期项,再通过残差项的相间得到准确的趋势项。其中,不同平滑窗口可计算原始数据不同周期项,计算对应的原始数据不同频率,通过对原始数据进行离散傅里叶变换(DFT)分解,对原始数据及周期项进行不同周期长度分解,若二者差异最小,则对应的周期项为原始数据最佳的周期项,进而得到原始数据准确的趋势项。
时间序列分解法(STL)一般采用移动平均法获取原始数据的趋势项,通过加法模型得到对应的周期项数据。不同尺寸的窗口平滑数据,会导致原始数据趋势项存在差异,则对应的周期项也存在差异。
已知移动平均法的主要参数为平滑窗口尺寸,本实施例设定初始平滑窗口尺寸c等于3,最大平滑窗口尺寸d等于11,以此为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。令平滑窗口尺寸从初始平滑窗口尺寸c开始,进行加2迭代,当平滑窗口尺寸达到最大平滑窗口尺寸d时结束,得到若干个平滑窗口尺寸,平滑窗口尺寸为,其中包含初始平滑窗口尺寸和最大平滑窗口尺寸。所需说明的是,平滑窗口尺寸应为奇数。
选取初始平滑窗口尺寸c为例,根据初始平滑窗口尺寸c,使用移动平均法对原始数据序列进行平滑处理,得到原始数据序列/>对应的趋势项数据序列/>。
已知时间序列分解法(STL)可以将数据序列分解为周期项、趋势项和残差项数据序列,且时间序列分解法(STL)采用的是加法模型,即原始数据序列等于周期项、趋势项和残差项数据序列相加。故根据原始数据序列与趋势项数据序列/>相减,即/>,得到参考数据序列/>。且参考数据序列/>中包含原始数据序列/>中的周期项和残差项数据序列。所需说明的是,原始数据序列/>和趋势项数据序列/>中的数据数量相同,而数据数量相同的两数据序列相减,为两数据序列中逐个相同序数值上的数据进行减法运算。
其中,移动平均法和时间序列分解法(STL)均为公知技术,具体方法在此不做介绍。
步骤S002:根据参考数据序列分别与其分解的所有周期项数据序列之间的数据差异,得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列。
已知参考数据序列中包含原始数据序列/>中的周期项和残差项数据序列,对于残差项可采用滑动平均法进行消除,在参考数据序列/>中,可以采用不同窗口平滑数据,消除残差项。利用离散傅里叶变换(DFT)得到对应的周期项数据序列,对参考数据序列/>进行分割,若分割之后数据段总的相似性差异最小,则平滑之后数据序列为最佳的周期项数据。
使用离散傅里叶变换(DFT),将参考数据序列分解为若干个不同频率上的分量,并得到每个分量对应的频率、幅值和周期,且将分量记为周期项数据序列,即将参考数据序列/>分解为若干个周期项数据序列。根据参考数据序列/>分别与每个周期项数据序列相减,即/>分别减去每个周期项数据序列,得到每个周期项数据序列对应的残差项数据序列。所需说明的是,离散傅里叶变换(DFT)分解得到的每个频率分量中的数据数量与原始数据的数量是相同的。其中,离散傅里叶变换(DFT)为公知技术,具体方法在此不做介绍。
计算每个残差项数据序列中的数据均值,将所有残差项数据序列中的数据均值中的最小值对应的残差项数据序列,记为目标残差项数据序列。将目标残差项数据序列对应的周期项数据序列,记为原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列。
所需说明的是,伪最佳周期项数据序列为原始数据序列/>在初始平滑窗口尺寸c下的最佳周期项数据序列,若存在多个目标残差项数据序列,则任意取一个目标残差项数据序列对应的周期项数据序列为伪最佳周期项数据序列/>,其因为只要残差项数据序列中的数据均值最小,对应的周期项数据序列可信度是一样的,故不影响后续的分析。
步骤S003:根据原始数据序列和模型偏差数据序列中数据的差异,得到伪最佳周期项的调整系数。
由于伪最佳周期项数据序列是受残差影响的最佳周期项,非原始数据最佳周期项,即为伪最佳周期项。所以需结合原始数据与所有伪最佳周期项在不同周期长度下的总相似性,得到最接近原始数据的伪最佳周期项。
对原始数据进行傅里叶变换得到不同频率成分及对应幅值,幅值表示对应频率在原始数据中的强度。不同强度频率对原始数据进行分解,相同周期长度,不同数据段之间的相似性也存在差异。构建原始数据回归模型,获取原始数据残差项大致范围,在残差项最大时,对比同一周期长度下,伪最佳周期项数据与原始数据差异。若二者差异依旧最小,则该伪最佳周期项最接近原始数据准确周期项,即可将该周期项近似作为原始数据准确周期项。
使用局部加权回归方法构建原始数据序列的拟合回归模型,得到拟合数据序列/>,根据原始数据序列/>与拟合数据序列/>相减,即/>,得到模型偏差数据序列/>。所需说明的是,原始数据序列/>和拟合数据序列/>中的数据数量相同。再使用最小最大规范法对模型偏差数据序列/>中的数据进行归一化处理至[0,1]区间内。其中,局部加权回归方法和最小最大规范法均为公知技术,具体方法在此不做介绍。
由此得到模型偏差数据序列中每个数据的异常占比/>的计算公式为:
其中为模型偏差数据序列/>中第x个数据的异常占比,/>为模型偏差数据序列/>中第x个数据的归一化值,/>为模型偏差数据序列/>中所有数据的归一化值的均值,/>为模型偏差数据序列/>中所有数据的归一化值的标准差,n为模型偏差数据序列/>中的数据数量,| |为绝对值函数。
所需说明的是:为模型偏差数据序列/>中每个数据与其均值的差异,/>表示模型偏差数据序列/>中所有数据之间的差异,故/>为模型偏差数据序列/>中每个数据的异常占比。
将模型偏差数据序列中所有数据的异常占比中的最大值/>,记为伪最佳周期项的调整系数。
取异常占比最大值对伪最佳周期项数据序列进行调节,得到残差最大对应的伪最佳周期项,然后比较相同周期长度下,原始数据与残差项最大对应伪最佳周期项二者差异,取差异最小对应的周期项作为最佳周期项,即在最大残差项下,周期项与原始数据相似性依旧最强,则该周期项为趋近原始数据准确周期项的受残差影响的最佳周期项。
步骤S004:使用离散傅里叶变换,将原始数据序列分解为若干个分原始数据序列,并得到每个分原始数据序列对应的频率和周期;将原始数据序列分解的任意一个分原始数据序列,记为目标分原始数据序列;根据伪最佳周期项的调整系数、目标分原始数据序列对应的周期、目标分原始数据序列与伪最佳周期项数据序列中的数据差异,得到目标分原始数据序列对应的伪最佳周期项优劣程度。
使用离散傅里叶变换(DFT),将原始数据序列分解为若干个不同频率上的分量,并得到每个分量对应的频率、幅值和周期,且将分量记为分原始数据序列,即将原始数据序列/>分解为若干个分原始数据序列,得到每个分原始数据序列对应的频率和周期。
根据不同频率下原始数据序列和伪最佳周期项数据序列的相似性差异,构建拟合周期项优劣公式,从而确定最佳周期项数据序列。
将原始数据序列分解的任意一个分原始数据序列,记为目标分原始数据序列。由此可知目标分原始数据序列中每个数据的校正差异/>的计算公式为:
其中为目标分原始数据序列中第x个数据的校正差异,/>为目标分原始数据序列中第x个数据值,/>为伪最佳周期项数据序列/>中第x个数据值,/>为伪最佳周期项的调整系数,n为目标分原始数据序列中的数据数量,n也为伪最佳周期项数据序列/>中的数据数量,| |为绝对值函数。由此得到校正差异序列/>,其中/>为目标分原始数据序列中第n个数据的校正差异。
所需说明的是:为校正后的可信数据值,故/>为目标分原始数据序列中第x个数据的校正差异,其值越小,说明目标分原始数据序列和伪最佳周期项数据序列中的数据越相似,即原始数据序列分解出的残差项越小,分解效果越好。模型偏差数据序列/>、目标分原始数据序列、伪最佳周期项数据序列/>中的数据数量相同,且都为n。
根据目标分原始数据序列对应的周期向下取整值,依次将校正差异序列划分为若干个不重复的差异序列段。所需说明的是,差异序列段中的数据数量应等于目标分原始数据序列对应的周期向下取整值,划分的最后一个差异序列段可能不符合此条件。将校正差异序列/>划分的任意一个差异序列段,记为目标差异序列段。本实施例设定的判断阈值,最小可信阈值/>,最大可信阈值/>,以此为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。
若目标差异序列段中的数据均值小于判断阈值时,将目标差异序列段的可信度设置为最大可信阈值/>;若目标差异序列段中的数据均值大于等于判断阈值/>时,将目标差异序列段的可信度设置为最小可信阈值/>。
按照上述方式得到校正差异序列划分的每一个差异序列段的可信度。将校正差异序列/>划分的所有差异序列段的可信度的均值G,记为目标分原始数据序列对应的伪最佳周期项优劣程度。
所需说明的是:上述操作相当于根据目标分原始数据序列对应的周期大小,同时将目标分原始数据序列和伪最佳周期项数据序列划分为相同周期长度的分段,对比两类数据在相同周期长度内的数据差异。所有段的差异越小,即G越大,说明伪最佳周期项数据序列/>越接近目标分原始数据序列,其越可信。
按照上述方式,得到原始数据序列分解的所有分原始数据序列对应的伪最佳周期项优劣程度。
步骤S005:根据原始数据序列分解的所有分原始数据序列对应的伪最佳周期项优劣程度和频率,得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度。
由此可知原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度/>的计算公式为:
其中为原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列/>的优劣程度,/>为原始数据序列/>分解的第i个分原始数据序列对应的频率,/>为原始数据序列/>分解的所有分原始数据序列对应的频率之和,/>为原始数据序列/>分解的第i个分原始数据序列对应的伪最佳周期项优劣程度,m为原始数据序列/>分解的分原始数据序列的数量。
所需说明的是:在离散傅里叶变换(DFT)中,频率越大的分量携带了更多的信息量,说明越大,/>对应的分原始数据序列中的信息量越多,其越重要。因此加权平均为原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列/>的优劣程度,其值越大,伪最佳周期项数据序列/>为最佳周期项数据序列的可能性越大。
按照上述方式,得到原始数据序列在每个平滑窗口尺寸下的伪最佳周期项数据序列,以及伪最佳周期项数据序列的优劣程度。
步骤S006:根据原始数据序列在所有平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度,得到原始数据序列对应的最佳周期项数据序列和最佳趋势项数据序列;在地下水污染可视化监测平台上对最佳周期项数据序列和最佳趋势项数据序列进行数据分析,得到水污染标记点图。
统计原始数据序列在所有平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度中的最大值,将所述优劣程度中的最大值对应的伪最佳周期项数据序列,记为原始数据序列/>的最佳周期项数据序列/>。
最后根据原始数据序列与最佳周期项数据序列/>相减,即/>,得到原始数据序列/>的最佳趋势项数据序列。所需说明的是,时间序列分解法(STL)可以将数据序列分解为周期项、趋势项和残差项数据序列,由于残差项对趋势项影响基本可以忽略,故可通过原始数据对周期项数据进行相减,得到原始数据的趋势项。即周期项越准确,得到的趋势项越准确,使得后续的数据分析越准确。
已知进行一片地区地下水监测时,通常会在选择相应的位置进行挖掘水井,提取地下水进行污染物浓度的监测,通过分析一片地区在各个地点的污染物浓度数据的变化趋势即可确定该片地区的地下水健康情况,而且可对比历史数据,判断监测数据是否出现异常,若出现异常,即可在构建的地下水流运动扩散模型中进行标记,以此实现地下水污染的可视化监测。
现有技术一般采用时间序列分解法(STL)得到数据的趋势项、季节项、残差项,分析污染物浓度数据的变化趋势,得到地下水在流动过程中的健康情况。但由于平滑窗口尺度及数据变化趋势不明确,导致时间序列分解法(STL)分解不到原始数据准确的趋势项或趋势出现偏差,影响对地下水污染物浓度数据变化趋势的判断。
因此本实施例使用上述方式分解出原始数据序列中的最佳趋势项数据序列和最佳周期项数据序列/>,在地下水污染可视化监测平台上进行数据分析,得到水污染标记点图,其可以提高数据分析的准确性,实现地下水污染的可视化监测。
至此,本发明完成。
综上所述,在本发明实施例中,对采集的地下水进行污染物浓度检测,得到原始数据序列,获取若干个平滑窗口尺寸,根据初始平滑窗口尺寸,得到原始数据序列对应的参考数据序列,再根据参考数据序列分别与其分解的所有周期项数据序列之间的数据差异,得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列。根据原始数据序列和模型偏差数据序列中数据的差异,得到伪最佳周期项的调整系数,将原始数据序列分解为若干个分原始数据序列,并将任意一个分原始数据序列,记为目标分原始数据序列,根据伪最佳周期项的调整系数、目标分原始数据序列对应的周期、目标分原始数据序列与伪最佳周期项数据序列中的数据差异,得到目标分原始数据序列对应的伪最佳周期项优劣程度,从而得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度。由此得到原始数据序列对应的最佳周期项数据序列和最佳趋势项数据序列,经过地下水污染可视化监测平台的数据分析,得到水污染标记点图。本发明通过分析原始数据序列在不同频率、不同平滑窗口尺寸下的分解效果,自适应选取最佳分解数据,保障后续水污染检测的准确性。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种地下水污染可视化监测方法,其特征在于,该方法包括以下步骤:
对采集的地下水进行污染物浓度检测,得到原始数据序列;获取若干个平滑窗口尺寸,根据初始平滑窗口尺寸,得到原始数据序列对应的参考数据序列;其中,平滑窗口尺寸中包含初始平滑窗口尺寸;
根据参考数据序列分别与其分解的所有周期项数据序列之间的数据差异,得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列;
根据原始数据序列和模型偏差数据序列中数据的差异,得到伪最佳周期项的调整系数;
使用离散傅里叶变换,将原始数据序列分解为若干个分原始数据序列,并得到每个分原始数据序列对应的频率和周期;将原始数据序列分解的任意一个分原始数据序列,记为目标分原始数据序列;根据伪最佳周期项的调整系数、目标分原始数据序列对应的周期、目标分原始数据序列与伪最佳周期项数据序列中的数据差异,得到目标分原始数据序列对应的伪最佳周期项优劣程度;
根据原始数据序列分解的所有分原始数据序列对应的伪最佳周期项优劣程度和频率,得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度;
根据原始数据序列在所有平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度,得到原始数据序列对应的最佳周期项数据序列和最佳趋势项数据序列;在地下水污染可视化监测平台上对最佳周期项数据序列和最佳趋势项数据序列进行数据分析,得到水污染标记点图;
所述获取若干个平滑窗口尺寸,根据初始平滑窗口尺寸,得到原始数据序列对应的参考数据序列,包括的具体步骤如下:
将平滑窗口尺寸从预设的初始平滑窗口尺寸开始,进行加2迭代,当平滑窗口尺寸达到预设的最大平滑窗口尺寸时结束,得到若干个平滑窗口尺寸;
根据预设的初始平滑窗口尺寸,使用移动平均法对原始数据序列进行平滑处理,得到原始数据序列对应的趋势项数据序列;
根据原始数据序列与趋势项数据序列相减,得到原始数据序列对应的参考数据序列;
所述根据参考数据序列分别与其分解的所有周期项数据序列之间的数据差异,得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列,包括的具体步骤如下:
使用离散傅里叶变换,将参考数据序列分解为若干个周期项数据序列;
根据参考数据序列分别与每个周期项数据序列相减,得到每个周期项数据序列对应的残差项数据序列;
计算每个残差项数据序列中的数据均值,将所有残差项数据序列中的数据均值中的最小值对应的残差项数据序列,记为目标残差项数据序列;
将目标残差项数据序列对应的周期项数据序列,记为原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列;
所述根据原始数据序列和模型偏差数据序列中数据的差异,得到伪最佳周期项的调整系数,包括的具体步骤如下:
使用局部加权回归方法构建原始数据序列的拟合回归模型,得到原始数据序列对应的拟合数据序列;
根据原始数据序列与拟合数据序列相减,得到原始数据序列对应的模型偏差数据序列;
根据模型偏差数据序列中数据之间的差异,得到模型偏差数据序列中每个数据的异常占比;
将模型偏差数据序列中所有数据的异常占比中的最大值,记为伪最佳周期项的调整系数;
所述根据模型偏差数据序列中数据之间的差异,得到模型偏差数据序列中每个数据的异常占比对应的具体计算公式为:
其中为模型偏差数据序列中第x个数据的异常占比,/>为模型偏差数据序列中第x个数据的归一化值,/>为模型偏差数据序列中所有数据的归一化值的均值,/>为模型偏差数据序列中所有数据的归一化值的标准差,| |为绝对值函数;
所述根据伪最佳周期项的调整系数、目标分原始数据序列对应的周期、目标分原始数据序列与伪最佳周期项数据序列中的数据差异,得到目标分原始数据序列对应的伪最佳周期项优劣程度,包括的具体步骤如下:
根据伪最佳周期项的调整系数、目标分原始数据序列与伪最佳周期项数据序列中的数据差异,得到目标分原始数据序列中每个数据的校正差异;
根据目标分原始数据序列中所有数据的校正差异,构成校正差异序列;
根据目标分原始数据序列对应的周期向下取整值,依次将校正差异序列划分为若干个不重复的差异序列段;将校正差异序列划分的任意一个差异序列段,记为目标差异序列段;
根据目标差异序列段中的数据均值,得到目标差异序列段的可信度;
将校正差异序列划分的所有差异序列段的可信度的均值,记为目标分原始数据序列对应的伪最佳周期项优劣程度;
所述根据伪最佳周期项的调整系数、目标分原始数据序列与伪最佳周期项数据序列中的数据差异,得到目标分原始数据序列中每个数据的校正差异对应的具体计算公式为:
其中为目标分原始数据序列中第x个数据的校正差异,/>为目标分原始数据序列中第x个数据值,/>为伪最佳周期项数据序列/>中第x个数据值,/>为伪最佳周期项的调整系数,| |为绝对值函数;
所述根据目标差异序列段中的数据均值,得到目标差异序列段的可信度,包括的具体步骤如下:
若目标差异序列段中的数据均值小于预设的判断阈值时,将目标差异序列段的可信度设置为预设的最大可信阈值;
若目标差异序列段中的数据均值大于等于预设的判断阈值时,将目标差异序列段的可信度设置为预设的最小可信阈值;
所述根据原始数据序列分解的所有分原始数据序列对应的伪最佳周期项优劣程度和频率,得到原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度对应的具体计算公式为:
其中为原始数据序列在初始平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度,为原始数据序列分解的第i个分原始数据序列对应的频率,/>为原始数据序列分解的所有分原始数据序列对应的频率之和,/>为原始数据序列分解的第i个分原始数据序列对应的伪最佳周期项优劣程度,m为原始数据序列分解的分原始数据序列的数量;
所述根据原始数据序列在所有平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度,得到原始数据序列对应的最佳周期项数据序列和最佳趋势项数据序列,包括的具体步骤如下:
统计原始数据序列在所有平滑窗口尺寸下的伪最佳周期项数据序列的优劣程度中的最大值,将所述优劣程度中的最大值对应的伪最佳周期项数据序列,记为原始数据序列对应的最佳周期项数据序列;
根据原始数据序列与最佳周期项数据序列相减,得到原始数据序列对应的最佳趋势项数据序列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311598444.5A CN117310118B (zh) | 2023-11-28 | 2023-11-28 | 一种地下水污染可视化监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311598444.5A CN117310118B (zh) | 2023-11-28 | 2023-11-28 | 一种地下水污染可视化监测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117310118A CN117310118A (zh) | 2023-12-29 |
CN117310118B true CN117310118B (zh) | 2024-03-08 |
Family
ID=89281423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311598444.5A Active CN117310118B (zh) | 2023-11-28 | 2023-11-28 | 一种地下水污染可视化监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117310118B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117668496B (zh) * | 2024-01-31 | 2024-04-30 | 泰安市瑞亨建材有限公司 | 一种土工格栅应变测试方法及系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016101690A1 (zh) * | 2014-12-22 | 2016-06-30 | 国家电网公司 | 基于时间序列分析的输变电设备的状态监测数据清洗方法 |
CN109408498A (zh) * | 2018-10-09 | 2019-03-01 | 厦门理工学院 | 基于特征矩阵决策树的时间序列特征识别与分解方法 |
CN112232447A (zh) * | 2020-12-14 | 2021-01-15 | 国网江西省电力有限公司电力科学研究院 | 一种电力设备状态监测数据的完整样本集的构建方法 |
CN112631881A (zh) * | 2020-12-04 | 2021-04-09 | 北京浪潮数据技术有限公司 | 基于时序数据趋势预测的运维方法、装置及设备 |
CN112966016A (zh) * | 2021-03-01 | 2021-06-15 | 北京青萌数海科技有限公司 | 一种异常检测方法 |
CN113570396A (zh) * | 2021-01-26 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 时间序列数据异常检测方法、装置、设备及存储介质 |
WO2021227406A1 (zh) * | 2020-05-14 | 2021-11-18 | 北京工业大学 | 一种基于自适应特征选择及改进思维进化算法的质量趋势预测方法 |
CN113868006A (zh) * | 2021-10-09 | 2021-12-31 | 中国建设银行股份有限公司 | 时间序列的检测方法、装置、电子设备及计算机存储介质 |
CN114154714A (zh) * | 2021-12-01 | 2022-03-08 | 新智我来网络科技有限公司 | 时序数据预测方法、装置、计算机设备及介质 |
CN115329682A (zh) * | 2022-10-14 | 2022-11-11 | 南京国电南自轨道交通工程有限公司 | 一种基于多周期特征的lstm-svr地铁车站温度预测方法 |
CN116205127A (zh) * | 2022-12-01 | 2023-06-02 | 北京航空航天大学 | 一种基于时间序列分解与相似性度量的装备剩余寿命方法 |
CN116627707A (zh) * | 2023-07-20 | 2023-08-22 | 中孚安全技术有限公司 | 一种用户异常操作行为的检测方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI476640B (zh) * | 2012-09-28 | 2015-03-11 | Ind Tech Res Inst | 時間資料序列的平滑化方法與裝置 |
-
2023
- 2023-11-28 CN CN202311598444.5A patent/CN117310118B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016101690A1 (zh) * | 2014-12-22 | 2016-06-30 | 国家电网公司 | 基于时间序列分析的输变电设备的状态监测数据清洗方法 |
CN109408498A (zh) * | 2018-10-09 | 2019-03-01 | 厦门理工学院 | 基于特征矩阵决策树的时间序列特征识别与分解方法 |
WO2021227406A1 (zh) * | 2020-05-14 | 2021-11-18 | 北京工业大学 | 一种基于自适应特征选择及改进思维进化算法的质量趋势预测方法 |
CN112631881A (zh) * | 2020-12-04 | 2021-04-09 | 北京浪潮数据技术有限公司 | 基于时序数据趋势预测的运维方法、装置及设备 |
CN112232447A (zh) * | 2020-12-14 | 2021-01-15 | 国网江西省电力有限公司电力科学研究院 | 一种电力设备状态监测数据的完整样本集的构建方法 |
CN113570396A (zh) * | 2021-01-26 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 时间序列数据异常检测方法、装置、设备及存储介质 |
CN112966016A (zh) * | 2021-03-01 | 2021-06-15 | 北京青萌数海科技有限公司 | 一种异常检测方法 |
CN113868006A (zh) * | 2021-10-09 | 2021-12-31 | 中国建设银行股份有限公司 | 时间序列的检测方法、装置、电子设备及计算机存储介质 |
CN114154714A (zh) * | 2021-12-01 | 2022-03-08 | 新智我来网络科技有限公司 | 时序数据预测方法、装置、计算机设备及介质 |
CN115329682A (zh) * | 2022-10-14 | 2022-11-11 | 南京国电南自轨道交通工程有限公司 | 一种基于多周期特征的lstm-svr地铁车站温度预测方法 |
CN116205127A (zh) * | 2022-12-01 | 2023-06-02 | 北京航空航天大学 | 一种基于时间序列分解与相似性度量的装备剩余寿命方法 |
CN116627707A (zh) * | 2023-07-20 | 2023-08-22 | 中孚安全技术有限公司 | 一种用户异常操作行为的检测方法及系统 |
Non-Patent Citations (4)
Title |
---|
A seasonal-trend decomposition;Robert B.Cleveland et al.,;Journal of officila Statistics;全文 * |
基于Hyb-F组合滤波算法的向海自然保护区NDVI时间序列重构;刘舒;姜琦刚;朱航;李晓东;;吉林大学学报(工学版);20180515(第03期);全文 * |
基于谱分析的非平稳时间序列中的潜周期研究;郑安迪;黄乐乐;王惠文;;数学的实践与认识(第18期);全文 * |
结合频谱分析的时间序列分析在变形数据处理上的应用;杨国华;黄腾;韩易;;水利与建筑工程学报(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117310118A (zh) | 2023-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117310118B (zh) | 一种地下水污染可视化监测方法 | |
Jayawardena et al. | Noise reduction and prediction of hydrometeorological time series: dynamical systems approach vs. stochastic approach | |
CN108763346B (zh) | 一种滑窗箱型图中值滤波的异常点处理方法 | |
CN105205288B (zh) | 基于模式演化的卫星长期在轨运行状态的预测方法 | |
US20150006972A1 (en) | Method for Detecting Anomalies in a Time Series Data with Trajectory and Stochastic Components | |
CN110197020B (zh) | 一种环境变化对水文干旱影响的分析方法 | |
CN117522632B (zh) | 一种基于深度学习的水质指标预测方法 | |
CN103984938B (zh) | 一种遥感时间序列异常检测方法 | |
CN109298136A (zh) | 空气质量评价方法、装置、设备和存储介质 | |
CN111695290A (zh) | 一种适用于变化环境下的短期径流智能预报混合模型方法 | |
CN108801950A (zh) | 一种基于滑动窗多尺度主元分析的紫外光谱水质异常检测方法 | |
CN117113236B (zh) | 一种智慧城市监控系统及数据处理方法 | |
CN116757898B (zh) | 一种基于预测比对的汛期污染强度核算方法及系统 | |
CN117454096A (zh) | 一种电机生产质量检测方法及系统 | |
CN114358435A (zh) | 双阶段时空注意力机制的污染源-水质预测模型权重影响计算方法 | |
CN116308963B (zh) | 一种政务数据分析方法及系统 | |
CN114817228A (zh) | 一种湖泊水位长时间序列监测数据的异常值剔除方法 | |
CN114692723A (zh) | 一种反渗透膜污堵预警方法及系统 | |
CN117439827A (zh) | 一种网络流量大数据分析方法 | |
CN116701848B (zh) | 一种一体化装备连续探测数据处理系统 | |
CN112215495B (zh) | 一种基于长短时记忆神经网络的污染源贡献度计算方法 | |
CN117172601A (zh) | 一种基于残差全卷积神经网络的非侵入式负荷监测方法 | |
CN114707689A (zh) | 一种参数化的水文气象极值序列的趋势检测方法 | |
CN118211982B (zh) | 一种烟叶原料溯源方法及系统 | |
CN110377007A (zh) | 基于主元分析的化工过程故障诊断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Visual Monitoring Method for Groundwater Pollution Granted publication date: 20240308 Pledgee: Bank of Beijing Co.,Ltd. Jinan Branch Pledgor: Jinan Zhongan Digital Technology Co.,Ltd. Registration number: Y2024370000023 |