CN117349611B - 一种基于大数据分析的水质波动仪监测方法 - Google Patents
一种基于大数据分析的水质波动仪监测方法 Download PDFInfo
- Publication number
- CN117349611B CN117349611B CN202311657992.0A CN202311657992A CN117349611B CN 117349611 B CN117349611 B CN 117349611B CN 202311657992 A CN202311657992 A CN 202311657992A CN 117349611 B CN117349611 B CN 117349611B
- Authority
- CN
- China
- Prior art keywords
- detection
- day
- data
- time
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012544 monitoring process Methods 0.000 title claims abstract description 32
- 238000007405 data analysis Methods 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 341
- 238000005286 illumination Methods 0.000 claims abstract description 80
- 230000007613 environmental effect Effects 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000003203 everyday effect Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002354 daily effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000003344 environmental pollutant Substances 0.000 description 2
- 231100000719 pollutant Toxicity 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 229910021645 metal ion Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Immunology (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Probability & Statistics with Applications (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及数据处理技术领域,具体涉及一种基于大数据分析的水质波动仪监测方法,包括:获取水质波动仪在设定时间段内每天的不同检测时刻水质检测结果对应的检测数据和天气数据;根据每个检测数据对应的检测时刻的分布情况、每个检测数据对应的检测时刻所在天与节气之间的分布关系以及天气数据得到环境光照影响系数;根据设定时间段内每天包含的检测数据的差异分布的波动情况和对应检测时刻的差异分布情况得到环境噪声影响系数;进而获取每个检测数据的去噪系数,根据所述去噪系数对水质波动仪对应的水质检测结果进行去噪处理,根据去噪后的检测数据获得水质波动仪监测结果。本发明使得水质波动仪的监测结果更加准确。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种基于大数据分析的水质波动仪监测方法。
背景技术
水质波动仪是一种检测水体中各种水质参数和特性的仪器,通过高光谱前端分析技术检测污染物,水体发生异常时,仪器快速测量分析,形成波动曲线突出异常水体数据,以分钟级监测异常数据、报警提示,并且能够将异常水样保留下来、在环境监测、水资源管理等科学研究领域中,水质波动仪可以提供实时或定期的数据以评估水体中的变化和趋势,实时或者定期获取水质的监测结果,从而采取相应的水资源保护措施。在利用水质波动仪对水质进行实际监测的过程中,通过会连续长时间使用水质波动仪对水体数据进行分析,监测过程中可能会由于环境温度变化、背景噪声或者仪器噪声等情况,导致水质波动仪监测结果数据出现失真的现象,因此对水质波动仪的监测结果进行去噪处理就显得尤为重要。现有的去噪方法中的去噪系数常采用固定数值,使得去噪效果较不理想,导致水质波动仪的监测结果较不准确。
发明内容
为了解决现有的去噪方法的去噪效果较不理想,导致水质波动仪的监测结果较不准确的技术问题,本发明的目的在于提供一种基于大数据分析的水质波动仪监测方法,所采用的技术方案具体如下:
获取水质波动仪在设定时间段内每天的不同检测时刻水质检测结果对应的检测数据;获取设定时间段内每天的天气数据;
根据每个检测数据对应的检测时刻的分布情况、每个检测数据对应的检测时刻所在天与节气之间的分布关系以及天气数据,得到每个检测数据的环境光照影响系数;
根据设定时间段内每天包含的检测数据的差异分布的波动情况和对应检测时刻的差异分布情况,得到设定时间段内每天对应的环境噪声影响系数;
根据每个检测数据的环境光照影响系数和对应检测时刻所在天的环境噪声影响系数,得到每个检测数据的去噪系数,根据所述去噪系数对水质波动仪对应的水质检测结果进行去噪处理,根据去噪后的检测数据获得水质波动仪监测结果。
优选地,所述根据每个检测数据对应的检测时刻的分布情况、每个检测数据对应的检测时刻所在天与节气之间的分布关系以及天气数据,得到每个检测数据的环境光照影响系数,具体包括:
对于任意一个检测数据,获取检测数据对应的检测时刻所在天的日出时刻和日落时刻,将日出时刻与日落时刻之间的时间段记为光照时间段;
当检测数据对应的检测时刻不在光照时间段内时,将检测数据的环境光照影响系数设置为预设数值;
当检测数据对应的检测时刻在光照时间段内时,根据检测数据对应的检测时刻与日出时刻的差异、检测时刻所在日期与春分节气所在日期之间的差异以及所述天气数据,得到检测数据的环境光照影响系数,此时环境光照影响系数的取值大于预设数值。
优选地,所述根据检测数据对应的检测时刻与日出时刻的差异、检测时刻所在日期与春分节气所在日期之间的差异以及所述天气数据,得到检测数据的环境光照影响系数,具体包括:
将任意一个检测数据记为目标检测数据,将目标检测数据对应的检测时刻记为目标检测时刻,根据目标检测时刻所在天的天气数据得到第一系数,所述目标检测时刻所在天的天气数据与第一系数呈负相关关系;
获取目标检测时刻所在日期与其相邻的上一个春分节气所在日期之间的总天数,根据所述总天数得到第二系数;根据目标检测时刻与日出时刻之间的时间长度占比情况得到第三系数;根据所述第一系数、第二系数和第三系数,得到目标检测数据的环境光照影响系数。
优选地,所述目标检测数据的环境光照影响系数的计算公式具体为:
;
其中,表示目标检测数据的环境光照影响系数,t表示第t个检测数据对应的第t个检测时刻,/>表示第t个检测时刻的天气数据,/>表示第t个检测时刻所在日期与其相邻的上一个春分节气所在日期之间的总天数,/>表示与第t个检测时刻所在日期相邻的两个春分节气所在日期之间的总天数,/>表示第t个检测时刻所在时间,/>和/>分别表示第t个检测时刻所在天的日出时刻所在时间和日落时刻所在时间,/>为第一系数,/>为第二系数,/>为第三系数,/>为圆周率,sin( )为正弦函数,Norm( )为归一化函数。
优选地,所述根据设定时间段内每天包含的检测数据的差异分布的波动情况和对应检测时刻的差异分布情况,得到设定时间段内每天对应的环境噪声影响系数,具体包括:
将设定时间段内任意一天记为当前天,根据当前天内每个检测时刻的检测数据进行曲线拟合获得当前天的检测曲线,获取当前天的检测曲线上所有的极值点,根据所述检测曲线上相邻极值点对应的检测时刻之间的差异分布情况得到第一影响系数;根据所述检测曲线上相邻极值点之间的数据差异的离散分布情况,得到第二影响系数;根据第一影响系数和第二影响系数确定设定时间段内当前天对应的环境噪声影响系数。
优选地,所述环境噪声影响系数的计算公式具体为:
;
其中,表示当前天对应的环境噪声影响系数,r表示设定时间段内的第r天,/>表示第r天的检测曲线上所有的极值点的总数量,/>表示第r天的检测曲线上第i+1个极值点对应的检测时刻,/>表示第r天的检测曲线上第i个极值点对应的检测时刻,/>表示第r天的检测曲线上第i+1个极值点对应的检测数据,/>表示第r天的检测曲线上第i个极值点对应的检测数据,/>表示第r天内每相邻两个极值点对应的检测数据之间的差值的均值,exp( )表示以自然常数e为底的指数函数,tanh( )为双曲正切函数,/>为第一影响系数,/>为第二影响系数。
优选地,所述根据每个检测数据的环境光照影响系数和对应检测时刻所在天的环境噪声影响系数,得到每个检测数据的去噪系数,具体包括:
将每个检测数据的环境光照影响系数与检测数据对应检测时刻所在天的环境噪声影响系数的均值,作为每个检测数据的去噪系数。
优选地,所述预设数值的取值为0.01。
优选地,所述每天的天气数据具体为每天内每个时刻的云量。
优选地,所述根据所述去噪系数对水质波动仪对应的水质检测结果进行去噪处理,具体包括:
将每个检测数据的去噪系数作为维纳滤波器中的参数k值,利用维纳滤波器对水质波动仪对应的水质检测结果中每个检测数据进行去噪处理。
本发明实施例至少具有如下有益效果:
本发明首先采集检测数据以及天气数据,为后续对检测数据进行去噪分析提供数据基础。然后对每个检测数据对应的检测时刻的分布情况、每个检测数据对应的检测时刻所在天与节气之间的分布关系以及天气数据进行分析,获得环境光照影响系数,从检测数据的检测时刻与天气数据等多个方面因素,对检测数据的外部影响因素进行分析,利用环境光照影响系数反映水质波动仪检测过程中的外部干扰因素的影响程度。进一步的,对设定时间段内每天包含的检测数据的差异分布的波动情况和对应检测时刻的差异分布情况进行分析,考虑了检测时间以及检测数据两个方面的差异分布情况,获得环境噪声影响系数,利用环境噪声影响系数反映水质波动仪检测过程中的内部干扰因素的影响程度。最终,结合两个方面的环境因素的影响程度自适应的获取每个检测数据的去噪系数,能够使得检测数据的去噪效果较佳,进而使得水质波动仪的监测结果更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明实施例提供的一种基于大数据分析的水质波动仪监测方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于大数据分析的水质波动仪监测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的以及含义相同。
下面结合附图具体的说明本发明所提供的一种基于大数据分析的水质波动仪监测方法的具体方案。
本发明所针对的具体场景为:在水质波动仪的实际使用中,通常将其放置在自然河流中进行持续的水质检测分析,以评估当地水体整体水质情况以及水体污染情况。但是由于水质波动仪会在较长时间内进行连续使用,并且水质波动仪在实际使用时可能会受环境因素的影响,导致水质检测数据可能存在噪声,为了获取准确且效果较佳的水质监测结果,则需要对水质波动仪的监测结果进行去噪处理,以实现利用水质波动仪进行准确监测的目的。
请参阅图1,其示出了本发明一个实施例提供的一种基于大数据分析的水质波动仪监测方法的方法流程图,该方法包括以下步骤:
步骤一,获取水质波动仪在设定时间段内每天的不同检测时刻水质检测结果对应的检测数据;获取设定时间段内每天的天气数据。
在水质波动仪的实际使用过程中,可能会受环境因素或者噪声因素等客观因素的影响,使得水质检测数据可能存在噪声,在本实施例中,需要结合其他数据对水质检测结果进行分析修正,以获取去噪处理中自适应的获取去噪的系数进行数据去噪处理。
需要说明的是,水质波动仪经过一定时间能够分析出当前所检测的水质参数,即水质检测结果,其中水质参数是多种多样的,例如营养盐、金属离子、COD等各种污染物的准确浓度,在本实施例中,将其中任意一种参数作为检测数据进行说明。
具体地,获取水质波动仪在设定时间段内每天的不同检测时刻水质检测结果对应的检测数据,在本实施例中,将设定时间段的时间长度设置为一周,将相邻两个检测时刻之间的时间间隔设置为10分钟,实施者可根据具体实施场景进行设置。本实施例以历史数据为例对检测数据的去噪处理过程进行分析,能够获得每天的检测数据进行修正后的检测结果,按照相同的方法,在后续实时采集检测数据时,能够实时获取每天的检测数据进行修正后的检测结果。
需要说明的是,云量能够反映出天气的状况,例如云量为0%,此时日光照射几乎不受到阻碍,天气晴朗;云量在76%至100%之间,此时日光照射受到的阻碍较大,天气为阴天。故在本实施例利用将一天内的实时云量作为天气数据,即将设定时间段内每天的不同检测时刻的云量作为设定时间段内每天的天气数据。
步骤二,根据每个检测数据对应的检测时刻的分布情况、每个检测数据对应的检测时刻所在天与节气之间的分布关系以及天气数据,得到每个检测数据的环境光照影响系数。
影响水质波动仪的数据结果的因素大多是包括外部影响因素和内部影响因素。外部影响因素是指环境光照因素,即环境光照可能会引入额外的光谱信息,对于水质波动仪来说可能是噪声部分的光谱信息,对目标信息产生一定的干扰。同时,高光照的情况下可能会导致某些光谱特征的分辨率下降,影响检测数据结果。而内部影响因素主要是由仪器自身的噪声导致的,即由于长时间的使用导致仪器自身存在一定的噪声情况,影响检测数据结果。
基于此,本实施例通过分别分析外部影响因素和内部影响因素,计算对检测数据的补偿强度。对于外部影响因素,考虑到一年内不同时期的光照强度存在一定的差异,当太阳光直射点位于北回归线时,北半球各地的白昼时间达到全年最长,且环境光强度相对较高,因此可以根据春分、夏至、秋分和冬至等特殊日期作为特征时间点对当前环境光照情况进行分析。进而一年内的光照强度的变化趋势,可以类比于正弦函数在一个周期内的变化趋势。
同时,在一天内的不同时刻的光照强度也存在一定的差异,越靠近正午的光照强度越高,不在白天时间的光照强度最低。并且天气对光照的影响可以通过云量反映,即当天气为晴天时,云量为0%,此时光照强度较高,水质波动仪检测受影响可能性较大。天气为阴天时,云量为76%至100%之间,此时光照强度较低,水质波动仪检测受影响可能性较小。
基于此,根据每个检测数据对应的检测时刻的分布情况、每个检测数据对应的检测时刻所在天与节气之间的分布关系以及天气数据,得到每个检测数据的环境光照影响系数。具体地,对于任意一个检测数据,获取检测数据对应的检测时刻所在天的日出时刻和日落时刻,将日出时刻与日落时刻之间的时间段记为光照时间段;即光照时间段为每天的白昼时间,实施者需要根据具体实施场景实时获取每天的日出时刻和日落时刻,以获取光照时间段。
当检测数据对应的检测时刻不在光照时间段内时,将检测数据的环境光照影响系数设置为预设数值。即此时光照强度最低,将环境光照影响系数设置为较小的数值,在本实施例中预设数值的取值为0.01,实施者可根据具体实施场景进行设置。
当检测数据对应的检测时刻在光照时间段内时,根据检测数据对应的检测时刻与日出时刻的差异、检测时刻所在日期与春分节气所在日期之间的差异以及所述天气数据,得到检测数据的环境光照影响系数,此时环境光照影响系数的取值大于预设数值。即此时处于光照时间段内需要实际根据不同的光照强度分析不同光照强度对检测数据的影响程度。
将任意一个检测数据记为目标检测数据,将目标检测数据对应的检测时刻记为目标检测时刻,根据目标检测时刻所在天的天气数据得到第一系数,所述目标检测时刻所在天的天气数据与第一系数呈负相关关系;获取目标检测时刻所在日期与其相邻的上一个春分节气所在日期之间的总天数,根据所述总天数得到第二系数;根据目标检测时刻与日出时刻之间的时间长度占比情况得到第三系数;根据所述第一系数、第二系数和第三系数,得到目标检测数据的环境光照影响系数。
在本实施例中,将设定时间段内任意一天的第t个检测数据作为目标检测数据,将设定时间段内任意一天的第t个检测时刻作为目标检测时刻进行说明,则第t个检测时刻即目标检测的环境光照影响系数的计算公式可以表示为:
;
其中,表示目标检测数据的环境光照影响系数,即第t个检测时刻的环境光照影响系数;t表示第t个检测数据对应的第t个检测时刻,/>表示第t个检测时刻的天气数据,即第t个检测时刻的云量,/>表示第t个检测时刻所在日期与其相邻的上一个春分节气所在日期之间的总天数,/>表示与第t个检测时刻所在日期相邻的两个春分节气所在日期之间的总天数,/>表示第t个检测时刻所在时间,/>和/>分别表示第t个检测时刻所在天的日出时刻所在时间和日落时刻所在时间,/>为第一系数,/>为第二系数,/>为第三系数,/>为圆周率,sin( )为正弦函数,Norm( )为归一化函数。
天气数据的取值越小,对应时刻的环境光照强度越高,对应的第一系数的取值越大,环境光照影响系数的取值越大,环境光照对检测结果的影响程度越大。反映了受光照影响变化趋势的一个周期长度,/>反映了目标检测数据对应的检测时刻所在日期的占比情况,其占比情况反映到对应的正弦函数取值,即第二系数反映了检测数据所在日期在一年中的光照强度分布情况,第二系数的取值越大,说明检测数据所在日期在一年中的光照强度越大,对应的环境光照影响系数的取值越大。
反映了目标检测数据对应的检测时刻距离日出时刻之间的时间长度,反映了光照时间段的时间长度,利用目标检测数据在一天内的时间占比情况对应的正弦函数反映其在一天内的光照强度,即在[0,π]上正弦函数的取值范围变化趋势是先增大后减小,与一天内的光照强度变化趋势相同,故第三系数的取值越大,说明检测数据所在时刻在一天中的光照强度越大,对应的环境光照影响系数的取值越大。环境光照影响系数反映了水质波动仪检测过程中的外部干扰因素的影响程度。
步骤三,根据设定时间段内每天包含的检测数据的差异分布的波动情况和对应检测时刻的差异分布情况,得到设定时间段内每天对应的环境噪声影响系数。
对于内部环境影响因素,水质波动仪自身的电子噪声、热噪声等仪器噪声也可能在水质波动仪的探测器接收光信号后对水质波动仪的分析结果产生影响,故需要通过对一段时间内的检测数据的波动情况进行分析,对存在噪声影响而产生波动的检测数据进行修正。
在水中各分子具有随机热运动的扩散性,因此水体数据在一段时间内应当不会出现教高频的变化情况,而影响光谱检测的环境同样不会出现高频变化的情况。当检测数据出现高频变化情况时,说明可能是由于仪器自身的噪声导致的,噪声具有一定的随机性,变化频率越高,变化程度越大,仪器的噪声程度越大,因此可以利用信号处理的思想分析检测数据在一段时间内的数据变化趋势,评估仪器内部可能存在噪声的情况。
基于此,根据设定时间段内每天包含的检测数据的差异分布的波动情况和对应检测时刻的差异分布情况,得到设定时间段内每天对应的环境噪声影响系数。
具体地,将设定时间段内任意一天记为当前天,根据当前天内每个检测时刻的检测数据进行曲线拟合获得当前天的检测曲线,获取当前天的检测曲线上所有的极值点,根据所述检测曲线上相邻极值点对应的检测时刻之间的差异分布情况得到第一影响系数;根据所述检测曲线上相邻极值点之间的数据差异的离散分布情况,得到第二影响系数;根据第一影响系数和第二影响系数确定设定时间段内当前天对应的环境噪声影响系数。
在本实施例中,将设定时间段内第r天作为当前天进行说明,则第r天即当前天对应的环境噪声影响系数的计算公式可以表示为:
;
其中,表示当前天对应的环境噪声影响系数,r表示设定时间段内的第r天,/>表示第r天的检测曲线上所有的极值点的总数量,/>表示第r天的检测曲线上第i+1个极值点对应的检测时刻,/>表示第r天的检测曲线上第i个极值点对应的检测时刻,/>表示第r天的检测曲线上第i+1个极值点对应的检测数据,/>表示第r天的检测曲线上第i个极值点对应的检测数据,/>表示第r天内每相邻两个极值点对应的检测数据之间的差值的均值,exp( )表示以自然常数e为底的指数函数,tanh( )为双曲正切函数,/>为第一影响系数,/>为第二影响系数。
反映了相邻两个极值点对应的检测时刻之间的差异情况,其取值越大,说明检测数据在一天内可能存在短时间内急剧变化的情况,即数据变化的频率较高,对应的数据存在噪声异常的可能性越大,即该差异越大,对应的第一影响系数取值越大,对应的检测数据的变化频率越高,环境噪声影响系数的取值越大。
反映了相邻两个极值点对应的检测数据之间的差异情况,/>反映了所有相邻极值点对应的检测数据之间的差异情况的波动情况,其取值越大,说明在当前天检测数据差异的波动情况越大,进而说明仪器噪声程度越大,然后通过双曲正切函数对波动情况进行归一化处理,对应的环境噪声影响系数的取值就越大。
环境噪声影响系数反映了水质波动仪检测过程中的内部干扰因素的影响程度。需要说明的是,按照步骤二和步骤三的计算方法可以获得每个检测数据对应的环境光照影响系数,每天对应的环境噪声影响系数。
步骤四,根据每个检测数据的环境光照影响系数和对应检测时刻所在天的环境噪声影响系数,得到每个检测数据的去噪系数,根据所述去噪系数对水质波动仪对应的水质检测结果进行去噪处理,根据去噪后的检测数据获得水质波动仪监测结果。
环境光照影响系数反映了水质波动仪检测过程中的外部干扰因素的影响程度,环境噪声影响系数反映了水质波动仪检测过程中的内部干扰因素的影响程度。环境光照影响系数和环境噪声影响系数的取值越大,说明水质波动仪的检测结果受环境影响的程度越大。故可以根据每个检测数据的环境光照影响系数和对应检测时刻所在天的环境噪声影响系数,得到每个检测数据的去噪系数,即将每个检测数据的环境光照影响系数与检测数据对应检测时刻所在天的环境噪声影响系数的均值,作为每个检测数据的去噪系数。
进一步的,根据所述去噪系数对水质波动仪对应的水质检测结果进行去噪处理,在本实施例中,将每个检测数据的去噪系数作为维纳滤波器中的参数k值,利用维纳滤波器对水质波动仪对应的水质检测结果中每个检测数据进行去噪处理。能够实现自适应获取每个检测数据对应的去噪系数,使得去噪后的数据更加准确,去噪效果更佳。
需要说明的是,维纳滤波是一种在信号处理中常用的方法,它可以通过最小化估计误差的方差来重建原始信号。通常维纳滤波器的系数k值是根据系统模型和观测噪声的功率谱密度来确定的。维纳滤波器的性能和系数k的选择十分关键,维纳滤波器的k值越大,滤波结果会更加平滑,降低噪声。这是因为在维纳滤波器中,k值代表了噪声功率和信号功率之间的比值。增加k值意味着更多的权重被放在了信号上,从而减少了噪声的影响。由于维纳滤波器实际上是通过将噪声和信号的功率谱进行加权平均来实现的,所以增加k值可以增加信号的贡献,从而使滤波结果更平滑。
最后,根据去噪后的检测数据获得水质波动仪监测结果,即通过大数据技术获取各种水质参数的在当前地区规定的含量标准作为对应水质参数的阈值标准,当检测数据超过阈值标准时,水质波动仪的监测结果为水质存在异常,需要对对应的水体区域进行预警。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。
Claims (5)
1.一种基于大数据分析的水质波动仪监测方法,其特征在于,该方法包括以下步骤:
获取水质波动仪在设定时间段内每天的不同检测时刻水质检测结果对应的检测数据;获取设定时间段内每天的天气数据;
根据每个检测数据对应的检测时刻的分布情况、每个检测数据对应的检测时刻所在天与节气之间的分布关系以及天气数据,得到每个检测数据的环境光照影响系数;
根据设定时间段内每天包含的检测数据的差异分布的波动情况和对应检测时刻的差异分布情况,得到设定时间段内每天对应的环境噪声影响系数;
根据每个检测数据的环境光照影响系数和对应检测时刻所在天的环境噪声影响系数,得到每个检测数据的去噪系数,根据所述去噪系数对水质波动仪对应的水质检测结果进行去噪处理,根据去噪后的检测数据获得水质波动仪监测结果;
所述根据每个检测数据对应的检测时刻的分布情况、每个检测数据对应的检测时刻所在天与节气之间的分布关系以及天气数据,得到每个检测数据的环境光照影响系数,具体包括:
对于任意一个检测数据,获取检测数据对应的检测时刻所在天的日出时刻和日落时刻,将日出时刻与日落时刻之间的时间段记为光照时间段;
当检测数据对应的检测时刻不在光照时间段内时,将检测数据的环境光照影响系数设置为预设数值;
当检测数据对应的检测时刻在光照时间段内时,根据检测数据对应的检测时刻与日出时刻的差异、检测时刻所在日期与春分节气所在日期之间的差异以及所述天气数据,得到检测数据的环境光照影响系数,此时环境光照影响系数的取值大于预设数值;
所述根据检测数据对应的检测时刻与日出时刻的差异、检测时刻所在日期与春分节气所在日期之间的差异以及所述天气数据,得到检测数据的环境光照影响系数,具体包括:
将任意一个检测数据记为目标检测数据,将目标检测数据对应的检测时刻记为目标检测时刻,根据目标检测时刻所在天的天气数据得到第一系数,所述目标检测时刻所在天的天气数据与第一系数呈负相关关系;
获取目标检测时刻所在日期与其相邻的上一个春分节气所在日期之间的总天数,根据所述总天数得到第二系数;根据目标检测时刻与日出时刻之间的时间长度占比情况得到第三系数;根据所述第一系数、第二系数和第三系数,得到目标检测数据的环境光照影响系数;
所述目标检测数据的环境光照影响系数的计算公式具体为:
;
其中,表示目标检测数据的环境光照影响系数,t表示第t个检测数据对应的第t个检测时刻,/>表示第t个检测时刻的天气数据,/>表示第t个检测时刻所在日期与其相邻的上一个春分节气所在日期之间的总天数,/>表示与第t个检测时刻所在日期相邻的两个春分节气所在日期之间的总天数,/>表示第t个检测时刻所在时间,/>和/>分别表示第t个检测时刻所在天的日出时刻所在时间和日落时刻所在时间,/>为第一系数,/>为第二系数,/>为第三系数,/>为圆周率,sin( )为正弦函数,Norm( )为归一化函数;
所述根据设定时间段内每天包含的检测数据的差异分布的波动情况和对应检测时刻的差异分布情况,得到设定时间段内每天对应的环境噪声影响系数,具体包括:
将设定时间段内任意一天记为当前天,根据当前天内每个检测时刻的检测数据进行曲线拟合获得当前天的检测曲线,获取当前天的检测曲线上所有的极值点,根据所述检测曲线上相邻极值点对应的检测时刻之间的差异分布情况得到第一影响系数;根据所述检测曲线上相邻极值点之间的数据差异的离散分布情况,得到第二影响系数;根据第一影响系数和第二影响系数确定设定时间段内当前天对应的环境噪声影响系数;
所述环境噪声影响系数的计算公式具体为:
;
其中,表示当前天对应的环境噪声影响系数,r表示设定时间段内的第r天,/>表示第r天的检测曲线上所有的极值点的总数量,/>表示第r天的检测曲线上第i+1个极值点对应的检测时刻,/>表示第r天的检测曲线上第i个极值点对应的检测时刻,/>表示第r天的检测曲线上第i+1个极值点对应的检测数据,/>表示第r天的检测曲线上第i个极值点对应的检测数据,/>表示第r天内每相邻两个极值点对应的检测数据之间的差值的均值,exp( )表示以自然常数e为底的指数函数,tanh( )为双曲正切函数,/>为第一影响系数,/>为第二影响系数。
2.根据权利要求1所述的一种基于大数据分析的水质波动仪监测方法,其特征在于,所述根据每个检测数据的环境光照影响系数和对应检测时刻所在天的环境噪声影响系数,得到每个检测数据的去噪系数,具体包括:
将每个检测数据的环境光照影响系数与检测数据对应检测时刻所在天的环境噪声影响系数的均值,作为每个检测数据的去噪系数。
3.根据权利要求1所述的一种基于大数据分析的水质波动仪监测方法,其特征在于,所述预设数值的取值为0.01。
4.根据权利要求1所述的一种基于大数据分析的水质波动仪监测方法,其特征在于,所述每天的天气数据具体为每天内每个时刻的云量。
5.根据权利要求1所述的一种基于大数据分析的水质波动仪监测方法,其特征在于,所述根据所述去噪系数对水质波动仪对应的水质检测结果进行去噪处理,具体包括:
将每个检测数据的去噪系数作为维纳滤波器中的参数k值,利用维纳滤波器对水质波动仪对应的水质检测结果中每个检测数据进行去噪处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311657992.0A CN117349611B (zh) | 2023-12-06 | 2023-12-06 | 一种基于大数据分析的水质波动仪监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311657992.0A CN117349611B (zh) | 2023-12-06 | 2023-12-06 | 一种基于大数据分析的水质波动仪监测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117349611A CN117349611A (zh) | 2024-01-05 |
CN117349611B true CN117349611B (zh) | 2024-03-08 |
Family
ID=89367202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311657992.0A Active CN117349611B (zh) | 2023-12-06 | 2023-12-06 | 一种基于大数据分析的水质波动仪监测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117349611B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117798744B (zh) * | 2024-02-29 | 2024-05-10 | 茌平县汇通机械制造有限公司 | 一种数控机床运行状态监测方法 |
CN118258787B (zh) * | 2024-03-26 | 2024-08-23 | 苏州安易得安全科技有限公司 | 一种基于气体浓度检测的激光传感器数据处理方法 |
CN118094113B (zh) * | 2024-04-19 | 2024-07-02 | 贵州大学 | 基于传感技术的生态鱼塘养殖环境智能监测方法 |
CN118333286B (zh) * | 2024-06-17 | 2024-09-06 | 大连守业生物科技有限公司 | 一种用于水产养殖的水质智能检测方法及系统 |
CN118606635A (zh) * | 2024-08-08 | 2024-09-06 | 大连馨士俐科技服务有限公司 | 一种轨道交通智能监测系统 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254398A (zh) * | 2011-06-13 | 2011-11-23 | 中国科学技术大学 | 一种森林火灾烟雾监测方法和系统 |
WO2013150349A1 (en) * | 2012-04-03 | 2013-10-10 | Budapesti Műszaki és Gazdaságtudományi Egyetem | A method and system for source selective real-time monitoring and mapping of environmental noise |
KR101860457B1 (ko) * | 2017-04-20 | 2018-05-23 | 주식회사 웨더아이엠씨 | 기상 영향 분석 방법 및 이를 수행하기 위한 장치 |
CN108108889A (zh) * | 2017-12-18 | 2018-06-01 | 杭州电子科技大学 | 一种水质监测数据在线处理方法及装置 |
CN108981892A (zh) * | 2018-06-20 | 2018-12-11 | 温州新鸿检测技术有限公司 | 一种环境噪声检测方法 |
CN111310739A (zh) * | 2020-04-01 | 2020-06-19 | 泸州市气象局 | 一种暴雨天气检测方法、系统及终端 |
CN112198556A (zh) * | 2020-09-16 | 2021-01-08 | 南方科技大学 | 信号处理方法、装置、终端设备及存储介质 |
CN112964659A (zh) * | 2021-03-11 | 2021-06-15 | 惠州市新一代工业互联网创新研究院 | 一种基于紫外光谱法的多污染物水质监测方法 |
WO2022160682A1 (zh) * | 2021-01-27 | 2022-08-04 | 力合科技(湖南)股份有限公司 | 水质监测数据分析方法及装置、设备、存储介质 |
CN115937216A (zh) * | 2023-03-09 | 2023-04-07 | 青岛金立磁性材料有限公司 | 一种新能源汽车用磁转子外观质量检测方法 |
CN115950846A (zh) * | 2023-03-10 | 2023-04-11 | 灌南县北陈集动物防疫检疫所 | 基于光学手段的猪饮用水检测方法及系统 |
CN116108008A (zh) * | 2023-04-13 | 2023-05-12 | 山东明远生物科技有限公司 | 一种装饰材料甲醛检测数据处理方法 |
CN116431621A (zh) * | 2023-03-30 | 2023-07-14 | 江苏中农物联网科技有限公司 | 一种水产养殖水质多参量数据处理方法 |
CN116596106A (zh) * | 2023-03-13 | 2023-08-15 | 重庆清电新能源开发有限公司 | 风电场站的功率预测方法、装置、电子设备及存储介质 |
CN116698680A (zh) * | 2023-08-04 | 2023-09-05 | 天津创盾智能科技有限公司 | 一种生物气溶胶自动监测方法及系统 |
CN116955938A (zh) * | 2023-09-20 | 2023-10-27 | 苏州新耀环保科技有限公司 | 一种基于数据分析的干式废气处理设备监测方法及系统 |
CN116955940A (zh) * | 2023-09-21 | 2023-10-27 | 宏朗环保科技(北京)有限公司 | 一种有害气体浓度监测数据优化处理方法 |
CN116972401A (zh) * | 2023-08-08 | 2023-10-31 | 杭州伯勒计算机技术有限公司 | 基于烟气波动的余热锅炉储能监测方法 |
CN117109487A (zh) * | 2023-10-23 | 2023-11-24 | 北京华力兴科技发展有限责任公司 | 一种金属厚度自动化无损测量方法 |
CN117171516A (zh) * | 2023-10-23 | 2023-12-05 | 北京华力兴科技发展有限责任公司 | 一种x射线测厚仪数据优化校正方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11423118B2 (en) * | 2019-01-07 | 2022-08-23 | Massachusetts Institute Of Technology | Model agnostic time series analysis via matrix estimation |
-
2023
- 2023-12-06 CN CN202311657992.0A patent/CN117349611B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102254398A (zh) * | 2011-06-13 | 2011-11-23 | 中国科学技术大学 | 一种森林火灾烟雾监测方法和系统 |
WO2013150349A1 (en) * | 2012-04-03 | 2013-10-10 | Budapesti Műszaki és Gazdaságtudományi Egyetem | A method and system for source selective real-time monitoring and mapping of environmental noise |
KR101860457B1 (ko) * | 2017-04-20 | 2018-05-23 | 주식회사 웨더아이엠씨 | 기상 영향 분석 방법 및 이를 수행하기 위한 장치 |
CN108108889A (zh) * | 2017-12-18 | 2018-06-01 | 杭州电子科技大学 | 一种水质监测数据在线处理方法及装置 |
CN108981892A (zh) * | 2018-06-20 | 2018-12-11 | 温州新鸿检测技术有限公司 | 一种环境噪声检测方法 |
CN111310739A (zh) * | 2020-04-01 | 2020-06-19 | 泸州市气象局 | 一种暴雨天气检测方法、系统及终端 |
CN112198556A (zh) * | 2020-09-16 | 2021-01-08 | 南方科技大学 | 信号处理方法、装置、终端设备及存储介质 |
WO2022160682A1 (zh) * | 2021-01-27 | 2022-08-04 | 力合科技(湖南)股份有限公司 | 水质监测数据分析方法及装置、设备、存储介质 |
CN112964659A (zh) * | 2021-03-11 | 2021-06-15 | 惠州市新一代工业互联网创新研究院 | 一种基于紫外光谱法的多污染物水质监测方法 |
CN115937216A (zh) * | 2023-03-09 | 2023-04-07 | 青岛金立磁性材料有限公司 | 一种新能源汽车用磁转子外观质量检测方法 |
CN115950846A (zh) * | 2023-03-10 | 2023-04-11 | 灌南县北陈集动物防疫检疫所 | 基于光学手段的猪饮用水检测方法及系统 |
CN116596106A (zh) * | 2023-03-13 | 2023-08-15 | 重庆清电新能源开发有限公司 | 风电场站的功率预测方法、装置、电子设备及存储介质 |
CN116431621A (zh) * | 2023-03-30 | 2023-07-14 | 江苏中农物联网科技有限公司 | 一种水产养殖水质多参量数据处理方法 |
CN116108008A (zh) * | 2023-04-13 | 2023-05-12 | 山东明远生物科技有限公司 | 一种装饰材料甲醛检测数据处理方法 |
CN116698680A (zh) * | 2023-08-04 | 2023-09-05 | 天津创盾智能科技有限公司 | 一种生物气溶胶自动监测方法及系统 |
CN116972401A (zh) * | 2023-08-08 | 2023-10-31 | 杭州伯勒计算机技术有限公司 | 基于烟气波动的余热锅炉储能监测方法 |
CN116955938A (zh) * | 2023-09-20 | 2023-10-27 | 苏州新耀环保科技有限公司 | 一种基于数据分析的干式废气处理设备监测方法及系统 |
CN116955940A (zh) * | 2023-09-21 | 2023-10-27 | 宏朗环保科技(北京)有限公司 | 一种有害气体浓度监测数据优化处理方法 |
CN117109487A (zh) * | 2023-10-23 | 2023-11-24 | 北京华力兴科技发展有限责任公司 | 一种金属厚度自动化无损测量方法 |
CN117171516A (zh) * | 2023-10-23 | 2023-12-05 | 北京华力兴科技发展有限责任公司 | 一种x射线测厚仪数据优化校正方法 |
Non-Patent Citations (4)
Title |
---|
Towards Synoptic Water Monitoring Systems: A Review of AI Methods for Automating Water Body Detection and Water Quality Monitoring Using Remote Sensing;Liping Yang等;《Sensors》;20220321;第22卷(第6期);1-48 * |
Wavelet-Recurrent Neural Network(RNN): A Real-Time Denoising Technology for Water Quality Sensor Data;Qiao Bo等;《Journal of Nanoelectronics and Optoelectronics》;20190430;第14卷(第4期);497-504 * |
基于IoT的水环境监测系统设计;赵红成;《中国优秀硕士学位论文全文数据库 工程科技I辑》;20221115;第2022年卷(第11期);B027-664 * |
基于数据特征驱动分解的季节性时间序列预测模型研究及应用;张小波;《中国博士学位论文全文数据库 基础科学辑》;20220415;第2022年卷(第4期);A002-42 * |
Also Published As
Publication number | Publication date |
---|---|
CN117349611A (zh) | 2024-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117349611B (zh) | 一种基于大数据分析的水质波动仪监测方法 | |
CN112529240B (zh) | 一种大气环境数据的预测方法、系统、装置及存储介质 | |
CN108920429B (zh) | 一种水位动态监测的异常数据分析方法 | |
CN110297218B (zh) | 基于生成对抗网络的雷达信号未知调制方式检测方法 | |
CN116865269B (zh) | 一种风电机组高谐波补偿方法及系统 | |
CN109406457B (zh) | 一种基于半分析模型的沉水植被光谱水体影响校正方法 | |
CN117368141B (zh) | 基于人工智能的高氯酸盐废水浓度智能检测方法 | |
CN115512223B (zh) | 一种融合多种变化检测算法的红树林动态监测方法 | |
WO2021197089A1 (zh) | 利用高频星地链路多特征量进行晴雨时刻判定的方法 | |
CN112381063A (zh) | 一种基于信道状态信息的人数统计方法 | |
CN117574061A (zh) | 一种pm2.5和臭氧污染协同防控的预测方法及系统 | |
CN110632386A (zh) | 一种太阳射电干扰滤除方法、可读存储介质及电子设备 | |
CN117907207B (zh) | 一种基于有机材料分子结构变化的光老化试验相关性分析方法 | |
CN118247251A (zh) | 使用可见光图像预测光伏组件积灰程度的方法及系统 | |
CN116306322B (zh) | 一种基于高光谱数据的水体总磷浓度反演方法和装置 | |
CN117828443A (zh) | 基于序列分解和自相关的水质多指标多步预测方法 | |
CN115099291B (zh) | 一种建筑节能监测方法 | |
CN115060323B (zh) | 一种智慧城市环境影响评估装置及方法 | |
CN112466322A (zh) | 一种机电设备噪声信号特征提取方法 | |
CN117292530B (zh) | 一种载波通信数据采集效率优化方法 | |
CN111259341A (zh) | 一种计算雾霾对光伏发电量定量影响的方法 | |
CN118214367B (zh) | 一种光伏二极管状态智能监测方法 | |
Chen et al. | Automated Detection of the Planetary Boundary Layer Height and Cloud in Qingdao Based on Morphological Processing | |
CN117315470B (zh) | 基于地空全谱段高光谱数据的水质参数反演系统 | |
CN116828671B (zh) | 基于边缘计算网关的智慧路灯控制方法、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |