CN112378866A - 水质参数反演模型的训练方法、水质监测方法及装置 - Google Patents
水质参数反演模型的训练方法、水质监测方法及装置 Download PDFInfo
- Publication number
- CN112378866A CN112378866A CN202110059467.3A CN202110059467A CN112378866A CN 112378866 A CN112378866 A CN 112378866A CN 202110059467 A CN202110059467 A CN 202110059467A CN 112378866 A CN112378866 A CN 112378866A
- Authority
- CN
- China
- Prior art keywords
- water quality
- data
- quality parameter
- spectral data
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000012549 training Methods 0.000 title claims abstract description 87
- 238000012544 monitoring process Methods 0.000 title claims abstract description 30
- 230000003595 spectral effect Effects 0.000 claims abstract description 117
- 238000001228 spectrum Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 238000010219 correlation analysis Methods 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000012806 monitoring device Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims description 31
- 238000012937 correction Methods 0.000 claims description 30
- 238000002310 reflectometry Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 230000000737 periodic effect Effects 0.000 claims description 10
- 230000005855 radiation Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004836 empirical method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229930002868 chlorophyll a Natural products 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009021 linear effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本申请提供一种水质参数反演模型的训练方法、水质监测方法及装置,训练方法包括:获取目标时间段内的水质参数和高光谱数据;对高光谱数据进行波段处理,得到多波段光谱数据;对水质参数与多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据;基于水质参数和目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至反向传播神经网络达到收敛,得到水质参数反演模型。本方法突破现有方法受到遥感影像时相特征影响、模型难以统一的限制,降低了水质参数与高光谱数据之间的分析难度。
Description
技术领域
本申请涉及计算机技术领域,具体而言,涉及一种水质参数反演模型的训练方法、水质监测方法、装置、电子设备及存储介质。
背景技术
水质监测是研究水资源污染问题的重要过程。目前,水质监测是采用经验法、半经验法和分析法建立多光谱波段下的遥感数据与水质参数的关系,其中不同水体在不同光谱波段下的遥感数据是进行水质监测的重要依据。
但是,由于内陆水体光学特性较为复杂,多光谱波段较少,以上方法难以分辨出水质参数在光谱波段上的差异性,因此给不同水质参数的监测带来极大地困难。可见,目前的水质监测存在难以建立遥感数据与实测水质参数间关系的问题。
发明内容
本申请实施例的目的在于提供一种水质参数反演模型的训练方法、水质监测方法、装置、电子设备及存储介质,旨在解决目前水质监测存在难以建立遥感数据与实测水质参数间关系的问题。
第一方面,本申请实施例提供了一种水质参数反演模型的训练方法,包括:
获取目标时间段内的水质参数和高光谱数据;
对高光谱数据进行波段处理,得到多波段光谱数据;
对水质参数与多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据;
基于水质参数和目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至反向传播神经网络达到收敛,得到水质参数反演模型。
在本实施例中,通过获取目标时间段内的水质参数和高光谱数据,对高光谱数据进行波段处理,以增加高光谱数据的波段特征,从而降低水质参数在光谱波段上的分辨难度。以及对水质参数与多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据,以对水质参数与光谱数据进行综合分析,突破现有方法受到遥感影像时相特征影响、模型难以统一的限制;同时,根据相关系筛选目标波段的目标光谱数据,避免大量非相关性或相关性较低的特征干扰。最后基于水质参数和目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至反向传播神经网络达到收敛,得到水质参数反演模型,相比现有方法,采用BP神经网络模拟人脑思维具有很强的自组织、自学习和自适应能力,更加适用于遥感水质反演,并保证结果更加客观和合理。
在一种实现方式中,对高光谱数据进行波段处理,得到多波段光谱数据,包括:
对高光谱数据进行去噪,得到去噪后的高光谱数据;
对去噪后的高光谱数据进行辐射校正,得到辐亮度数据;
对辐亮度数据进行大气校正,得到反射率数据;
对反射率数据进行几何校正,得到多波段光谱数据。
在上述实现过程中,通过对高光谱数据进行去噪、辐射校正、大气校正和几何校正后,能够得到具有准确空间位置信息的反射率数据,该反射率数据作为多波段光谱数据,相比目前的多光谱数据,本实施例的多波段光谱数据的波段特征明显增加,为提取水质参数的诊断性光谱特征提供了有效手段。
在一种实现方式中,对高光谱数据进行去噪,得到去噪后的高光谱数据,包括:
将高光谱数据中出现条纹噪声的波段图像转换为频率图;
基于频率图,确定条纹噪声的周期性分布;
根据周期性分布,去除高光谱数据中的条纹噪声,得到去噪后的高光谱数据。
在上述实现过程中,通过频率图去除条纹噪声,以降低非相关信号对后续数据处理过程的影响,从而使数据处理结果更加准确。
在一种实现方式中,对水质参数与多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据,包括:
对多波段光谱数据中的单波段进行归一化,得到第一光谱数据;
对第一光谱数据进行一阶差分,得到第二光谱数据;
对第二光谱数据进行二阶差分,得到第三光谱数据;
对水质参数分别与第一光谱数据、第二光谱数据和第三光谱数据进行相关性分析;
将相关性最大的若干个波段对应的光谱数据作为目标光谱数据。
在上述实现过程中,通过对多波段光谱数据进行归一化、一阶差分和二阶差分,以使得光谱数据的波段特征更加丰富,从而保证相关性分析的分析结果更加的准确。
在一种实现方式中,基于水质参数和目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至反向传播神经网络达到收敛,得到水质参数反演模型之前,还包括:
将水质参数与目标光谱数据以预设比例拆分为训练集、验证集和测试集。
在上述实现过程中,将水质参数与目标光谱数据拆分为训练集、验证集和测试集,以分别用于训练、验证和测试。
在一种实现方式中,将水质参数与目标光谱数据以预设比例拆分为训练集、验证集和测试集之后,还包括:
将测试集中的目标光谱数据输入水质参数反演模型,输出测试结果;
计算测试结果与测试集中的水质参数之间的平均相对误差;
基于平均相对误差,确定水质参数反演模型的反演效果。
在上述实现过程中,通过测试集对水质参数反演模型进行验证,保证模型在实际应用场景中的结果可靠。
第二方面,本申请实施例提供了一种水质监测方法,包括:
获取高光谱数据;
对高光谱数据进行波段处理,得到多波段光谱数据;
利用预设的水质参数反演模型对多波段光谱数据进行水质监测,得到高光谱数据对应的水质参数结果,水质参数反演模型通过第一方面的训练方法训练得到。
第三方面,本申请实施例提供了一种水质参数反演模型的训练装置,包括:
第一获取模块,用于获取目标时间段内的水质参数和高光谱数据;
第一处理模块,用于对高光谱数据进行波段处理,得到多波段光谱数据;
分析模块,用于对水质参数与多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据;
训练模块,用于基于水质参数和目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至反向传播神经网络达到收敛,得到水质参数反演模型。
第四方面,本申请实施例提供了一种水质监测装置,包括:
第二获取模块,用于获取高光谱数据;
第二处理模块,用于对高光谱数据进行波段处理,得到多波段光谱数据;
监测模块,用于利用预设的水质参数反演模型对多波段光谱数据进行水质监测,得到高光谱数据对应的水质参数结果,水质参数反演模型通过第一方面的训练方法训练得到。
第五方面,本申请实施例提供了一种电子设备,包括存储器及处理器,存储器用于存储计算机程序,处理器运行计算机程序以使电子设备执行第一方面的水质参数反演模型的训练方法,或第二方面的水质监测方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,其存储有计算机程序,计算机程序被处理器执行时实现第一方面的水质参数反演模型的训练方法,或第二方面的水质监测方法。
可以理解的是,第二方面至第六方面的有益效果可以参见上述第一方面的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的水质参数反演模型的训练方法的流程示意图;
图2为本申请实施例提供的水质监测方法的流程示意图;
图3为本申请实施例提供的水质参数反演模型的训练装置的结构示意图;
图4为本申请实施例提供的水质监测装置的流程示意图;
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
如背景技术相关记载,目前主要采用经验法、半经验法和分析法构建水质参数与光谱数据之间的关系,这些方式都非常具有一定的主观性,并且容易受到光谱数据时相特征的影响,而内陆水体光学特性较为复杂,多光谱波段特征较少,以上方法无法避开光谱数据时相特征的影响,从而难以分辨出水质参数在光谱波段上的差异性,进而使得难以建立遥感数据与实测水质参数间关系。
针对上述现有技术中的问题,本申请提供了一种水质参数反演模型的训练方法,通过获取目标时间段内的水质参数和高光谱数据,对高光谱数据进行波段处理,以丰富高光谱数据的波段特征,从而降低水质参数在光谱波段上的分辨难度。以及对水质参数与多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据,以对水质参数与光谱数据进行综合分析,突破现有方法受到遥感影像时相特征影响、模型难以统一的限制;同时,根据相关系筛选目标波段的目标光谱数据,避免大量非相关性或相关性较低的特征干扰。最后基于水质参数和目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至反向传播神经网络达到收敛,得到水质参数反演模型,相比现有方法,采用BP神经网络模拟人脑思维具有很强的自组织、自学习和自适应能力,更加适用于遥感水质反演,并保证结果更加客观和合理。
参见图1,图1示出了本申请实施例提供的一种水质参数反演模型的训练方法的实现流程图。本申请实施例中下述的水质参数反演模型的训练方法可应用于电子设备,电子设备包括但不限于智能手机、平板电脑、桌上型计算机、超级计算机、个人数字助理、物理服务器和云服务器等计算机设备。本申请实施例的水质参数反演模型的训练方法,包括步骤S101至S104,详述如下:
步骤S101,获取目标时间段内的水质参数和高光谱数据。
在本实施例中,水质参数包括但不限于水体中的总磷含量(TP)、总氮含量(TN)和叶绿素a含量(Ch1-a)。高光谱数据为遥感数据,具体可以为高分5号高AHSI的遥感数据,高光谱数据中包含多个波段。本实施例获取目标区域内一段时间(即长时间序列)的水质参数和高光谱数据。
步骤S102,对高光谱数据进行波段处理,得到多波段光谱数据。
在本实施例中,波段处理是为了对高光谱原始波段数据进行校正的操作,以降低水质参数在光谱波段上的分辨难度。可选地,波段处理包括但不限于去噪、辐射校正、大气校正和几何校正。
在一实施例中,对高光谱数据进行波段处理,得到多波段光谱数据,包括:对高光谱数据进行去噪,得到去噪后的高光谱数据;对去噪后的高光谱数据进行辐射校正,得到辐亮度数据;对辐亮度数据进行大气校正,得到反射率数据;对反射率数据进行几何校正,得到无偏移的高光谱反射率数据,即多波段光谱数据。
在上述实施例中,去噪为去除高光谱数据中的条纹噪声。可选地,将高光谱数据中出现条纹噪声的波段图像转换为频率图;基于频率图,确定条纹噪声的周期性分布;根据周期性分布,去除高光谱数据中的条纹噪声,得到去噪后的高光谱数据。
具体地,剔除高光谱数据中的水汽强吸收波段,舍弃可见光与短波红外重合的波段,将各波段的波谱长度信息写入对应波段的头文件,合并可见光-近红外和短波红外的波段图像,将出现条纹的波段图像转换为频率图,通过频谱图发现条纹噪声的周期性分布,最后基于傅里叶变换的线性性质、周期性分布的周期性质,以及图像在频率域越高频分量处则频谱值越小的性质进行条纹去除,得到去噪后的高光谱数据。本实施例通过频率图去除条纹噪声,以降低非相关信号对后续数据处理过程的影响,从而使数据处理结果更加准确。
可选地,上述辐射校正的过程包括:从预设的辐射定标系数文件中获取各波段的定标系数(如增益系数、偏置系数),通过辐射亮度与数字量化间的定标系数关系对高光谱数据进行辐射校正,将高光谱数据的影像灰度值转为辐亮度值,得到辐亮度数据。
可选地,上述大气校正的过程包括:采用近似算法和逐次散射算法计算大气分子和气溶胶的散射和吸收,基于预设的辐射传输模型对辐亮度数据进行纠正,从而消除高光谱数据在大气传输的影响,得到反射率数据。
可选地,上述几何校正的过程包括:对大气校正后的反射率数据进行几何精校正和正射校正处理,即利用地面控制点和预设畸变模型对反射率数据进行几何位置校正和形变校正,得到具有准确空间位置信息的反射率数据,将该反射率数据作为多波段光谱数据。
本实施例通过对高光谱数据进行去噪、辐射校正、大气校正和几何校正后,得到多波段光谱数据,相比目前波段特征小于10个的多光谱数据,本实施例的多波段光谱数据的波段特征大约有300个,波段特征明显增加,为提取水质参数的诊断性光谱特征提供了有效手段。
步骤S103,对水质参数与多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据。
在本实施例中,相关性分析指对两个或多个具有相关性的变量元素进行分析,从而衡量两个变量因素的相关密切程度,即水质参数与多波段光谱数据的相关密切程度。示例性地,根据水质参数的时间序列,计算水质参数与多波段光谱数据中与时间序列对应的波段之间的相关系数,相关系数越大,相关性越大。
本实施例对水质参数与多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据,以对水质参数与光谱数据进行综合分析,突破现有方法受到遥感影像时相特征影响、模型难以统一的限制;同时,根据相关系筛选目标波段的目标光谱数据,避免大量非相关性或相关性较低的特征干扰。
在一实施例中,对水质参数与多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据,包括:对多波段光谱数据中的单波段进行归一化,得到第一光谱数据;对第一光谱数据进行一阶差分,得到第二光谱数据;对第二光谱数据进行二阶差分,得到第三光谱数据;对水质参数分别与第一光谱数据、第二光谱数据及第三光谱数据进行相关性分析;将相关性最大的若干个波段对应的光谱数据作为目标光谱数据。
在上述实施例中,对每个波段进行归一化,即将波段像元值归到0至1之间,一阶差分为计算相邻波段之差,得到一阶差分波段,二阶差分为计算相邻一阶差分波段之差,得到二阶差分波段,将相关性最高的波段作为目标光谱数据。本实施例通过对多波段光谱数据进行归一化、一阶差分和二阶差分,以使得光谱数据的波段特征更加丰富,从而保证相关性分析的分析结果更加的准确。
步骤S104,基于水质参数和目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至反向传播神经网络达到收敛,得到水质参数反演模型。
在本实施例中,采用反向传播神经网络(backpropagation neural network,BPNN)作为初始网络模型。示例性地,采用三层BP神经网络,网络结构为10个输入层节点、7个神经元、1个输出层节点,对构建的训练集进行训练,分别得到TP、TN和Chl-a三种水质参数的训练模型。由于双极S形函数的导函数为连续函数,满足神经网络激活函数可导的要求,因此隐含层采用双极S型函数。输出层是线性函数,输入层的节点数为10个波段数据,输出层的节点数为1(实际水质参数数据),神经元个数为7个。期望误差设置为0.00001,学习率为0.01。
利用训练集对BPNN进行训练,直至网络达到预设收敛条件,得到水质参数反演模型。预设收敛条件为表示模型训练完成的条件,例如损失函数得到的损失值(期望误差)小于预设损失阈值,则表示收敛。可以通俗理解为,损失值越小表示该模型提取到的特征向量越准确,这样才能根据提取到的特征向量得到最接近光谱数据的水质参数。示例性地,将训练集中的目标光谱数据输入到BPNN中进行处理,输出水质参数结果;计算该水质参数结果与训练集中水质参数之间的损失值,当该损失值大于或等于预设损失阈值时,调整BPNN中的模型参数,并返回执行将训练集中的目标光谱数据输入到BPNN中进行处理,输出水质参数结果的步骤;当该损失值小于预设损失阈值时,表示BPNN训练完成,得到训练好的水质参数反演模型。
本实施例基于水质参数和目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至反向传播神经网络达到收敛,得到水质参数反演模型,相比现有方法,采用BP神经网络模拟人脑思维具有很强的自组织、自学习和自适应能力,更加适用于遥感水质反演,并保证结果更加客观和合理。
在一实施例中,基于水质参数和目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至反向传播神经网络达到收敛,得到水质参数反演模型之前,还包括:将水质参数与目标光谱数据以预设比例拆分为训练集、验证集和测试集。
在本实施例中,根据长时间序列的实际水质参数与其地理位置对应的若干个目标波段的多波段光谱数据以6:2:2的比例拆分为训练集、验证集和测试集。
进一步地,将水质参数与目标光谱数据以预设比例拆分为训练集、验证集和测试集之后,还包括:将测试集中的目标光谱数据输入水质参数反演模型,输出测试结果;计算测试结果与测试集中的水质参数之间的平均相对误差;基于平均相对误差,确定水质参数反演模型的反演效果。
在上述实现过程中,利用测试集中的目标光谱数据进行TP、TN和Chl-a水质反演,输出三种水质参数反演结果(测试结果)。再利用测试集中的水质参数与反演结果进行对比,计算各个水质参数之间的平均相对误差,以用于评价其反演结果的可靠性。本实施例通过测试集对水质参数反演模型进行验证,保证模型在实际应用场景中的结果可靠。
参见图2,图2示出了本申请实施例提供的一种水质监测方法的实现流程图。本申请实施例中下述的水质监测方法可应用于电子设备,电子设备包括但不限于智能手机、平板电脑、桌上型计算机、超级计算机、个人数字助理、物理服务器和云服务器等计算机设备。本申请实施例的水质监测方法,包括步骤S201至S203,详述如下:
步骤S201,获取高光谱数据;
步骤S202,对高光谱数据进行波段处理,得到多波段光谱数据;
步骤S203,利用预设的水质参数反演模型对多波段光谱数据进行水质监测,得到高光谱数据对应的水质参数结果,水质参数反演模型通过第一方面的训练方法训练得到。
为方便简洁描述,本申请实施例的具体描述可参照上述水质参数反演模型的训练方法的解释过程,在此不再赘述。
为了执行上述方法实施对应的方法,以实现相应的功能和技术效果,下面提供一种水质参数反演模型的训练装置。参见图3,图3是本申请实施例提供的一种水质参数反演模型的训练装置的结构框图。本实施例中该装置包括的各模块用于执行图1对应的实施例中的各步骤,具体参见图1以及图1所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分,本申请实施例提供的水质参数反演模型的训练装置,包括:
第一获取模块301,用于获取目标时间段内的水质参数和高光谱数据;
第一处理模块302,用于对高光谱数据进行波段处理,得到多波段光谱数据;
分析模块303,用于对水质参数与多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据;
训练模块304,用于基于水质参数和目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至反向传播神经网络达到收敛,得到水质参数反演模型。
在一种实现方式中,第一处理模块302,包括:
去噪单元,用于对高光谱数据进行去噪,得到去噪后的高光谱数据;
第一校正单元,用于对去噪后的高光谱数据进行辐射校正,得到辐亮度数据;
第二校正单元,用于对辐亮度数据进行大气校正,得到反射率数据;
第三校正单元,用于对反射率数据进行几何校正,得到多波段光谱数据。
在一种实现方式中,去噪单元,包括:
转换子单元,用于将高光谱数据中出现条纹噪声的波段图像转换为频率图;
确定子单元,用于基于频率图,确定条纹噪声的周期性分布;
去除子单元,用于根据周期性分布,去除高光谱数据中的条纹噪声,得到去噪后的高光谱数据。
在一种实现方式中,分析模块303,包括:
归一化单元,用于对多波段光谱数据中的单波段进行归一化,得到第一光谱数据;
第一差分单元,用于对第一光谱数据进行一阶差分,得到第二光谱数据;
第二差分单元,用于对第二光谱数据进行二阶差分,得到第三光谱数据;
分析单元,用于对水质参数分别与第一光谱数据、第二光谱数据及第三光谱数据进行相关性分析;
作为单元,用于将相关性最大的若干个波段对应的光谱数据作为目标光谱数据。
在一种实现方式中,训练装置,还包括:
拆分模块,用于将水质参数与目标光谱数据以预设比例拆分为训练集、验证集和测试集。
在一种实现方式中,训练装置,还包括:
输出模块,用于将测试集中的目标光谱数据输入水质参数反演模型,输出测试结果;
计算模块,用于计算测试结果与测试集中的水质参数之间的平均相对误差;
确定模块,用于基于平均相对误差,确定水质参数反演模型的反演效果。
为了执行上述方法实施对应的方法,以实现相应的功能和技术效果,下面提供一种水质监测装置。参见图4,图4是本申请实施例提供的一种水质监测装置的结构框图。本实施例中该装置包括的各模块用于执行图1对应的实施例中的各步骤,具体参见图1以及图1所对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分,本申请实施例提供的水质监测装置,包括:
第二获取模块,用于获取高光谱数据;
第二处理模块,用于对高光谱数据进行波段处理,得到多波段光谱数据;
监测模块,用于利用预设的水质参数反演模型对多波段光谱数据进行水质监测,得到高光谱数据对应的水质参数结果,水质参数反演模型通过第一方面的训练方法训练得到。
图5为本申请一实施例提供的电子设备的结构示意图。如图5所示,该实施例的电子设备5包括:至少一个处理器50(图5中仅示出一个)处理器、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52,所述处理器50执行所述计算机程序52时实现上述任意方法实施例中的步骤。
所述电子设备5可以是智能手机、平板电脑、桌上型计算机、超级计算机、个人数字助理、物理服务器和云服务器等计算设备。该电子设备可包括但不仅限于处理器50、存储器51。本领域技术人员可以理解,图5仅仅是电子设备5的举例,并不构成对电子设备5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器50可以是中央处理单元(Central Processing Unit,CPU),该处理器50还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路 (Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51在一些实施例中可以是所述电子设备5的内部存储单元,例如电子设备5的硬盘或内存。所述存储器51在另一些实施例中也可以是所述电子设备5的外部存储设备,例如所述电子设备5上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述电子设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
另外,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述任意方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行时实现可实现上述各个方法实施例中的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (11)
1.一种水质参数反演模型的训练方法,其特征在于,包括:
获取目标时间段内的水质参数和高光谱数据;
对所述高光谱数据进行波段处理,得到多波段光谱数据;
对所述水质参数与所述多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据;
基于所述水质参数和所述目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至所述反向传播神经网络达到收敛,得到水质参数反演模型。
2.根据权利要求1所述的水质参数反演模型的训练方法,其特征在于,所述对所述高光谱数据进行波段处理,得到多波段光谱数据,包括:
对所述高光谱数据进行去噪,得到去噪后的所述高光谱数据;
对去噪后的所述高光谱数据进行辐射校正,得到辐亮度数据;
对所述辐亮度数据进行大气校正,得到反射率数据;
对所述反射率数据进行几何校正,得到所述多波段光谱数据。
3.根据权利要求2所述的水质参数反演模型的训练方法,其特征在于,所述对所述高光谱数据进行去噪,得到去噪后的所述高光谱数据,包括:
将所述高光谱数据中出现条纹噪声的波段图像转换为频率图;
基于所述频率图,确定所述条纹噪声的周期性分布;
根据所述周期性分布,去除所述高光谱数据中的条纹噪声,得到去噪后的所述高光谱数据。
4.根据权利要求1所述的水质参数反演模型的训练方法,其特征在于,所述对所述水质参数与所述多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据,包括:
对所述多波段光谱数据中的单波段进行归一化,得到第一光谱数据;
对所述第一光谱数据进行一阶差分,得到第二光谱数据;
对所述第二光谱数据进行二阶差分,得到第三光谱数据;
对所述水质参数与所述第一光谱数据、第二光谱数据及第三光谱数据进行相关性分析;
将相关性最大的若干个波段对应的光谱数据作为所述目标光谱数据。
5.根据权利要求1所述的水质参数反演模型的训练方法,其特征在于,所述基于所述水质参数和所述目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至所述反向传播神经网络达到收敛,得到水质参数反演模型之前,还包括:
将所述水质参数与所述目标光谱数据以预设比例拆分为所述训练集、验证集和测试集。
6.根据权利要求5所述的水质参数反演模型的训练方法,其特征在于,所述将所述水质参数与所述目标光谱数据以预设比例拆分为所述训练集、验证集和测试集之后,还包括:
将所述测试集中的目标光谱数据输入所述水质参数反演模型,输出测试结果;
计算所述测试结果与所述测试集中的水质参数之间的平均相对误差;
基于所述平均相对误差,确定所述水质参数反演模型的反演效果。
7.一种水质监测方法,其特征在于,包括:
获取高光谱数据;
对所述高光谱数据进行波段处理,得到多波段光谱数据;
利用预设的水质参数反演模型对所述多波段光谱数据进行水质监测,得到所述高光谱数据对应的水质参数结果,所述水质参数反演模型通过权利要求1所述的训练方法训练得到。
8.一种水质参数反演模型的训练装置,其特征在于,包括:
第一获取模块,用于获取目标时间段内的水质参数和高光谱数据;
第一处理模块,用于对所述高光谱数据进行波段处理,得到多波段光谱数据;
分析模块,用于对所述水质参数与所述多波段光谱数据进行相关性分析,并将相关性最大的若干个波段对应的多波段光谱数据作为目标光谱数据;
训练模块,用于基于所述水质参数和所述目标光谱数据构建的训练集,对预先构建的反向传播神经网络进行训练,直至所述反向传播神经网络达到收敛,得到水质参数反演模型。
9.一种水质监测装置,其特征在于,包括:
第二获取模块,用于获取高光谱数据;
第二处理模块,用于对所述高光谱数据进行波段处理,得到多波段光谱数据;
监测模块,用于利用预设的水质参数反演模型对所述多波段光谱数据进行水质监测,得到所述高光谱数据对应的水质参数结果,所述水质参数反演模型通过权利要求1所述的训练方法训练得到。
10.一种电子设备,其特征在于,包括存储器及处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至6中任一项所述的水质参数反演模型的训练方法,或权利要求7所述的水质监测方法。
11.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的水质参数反演模型的训练方法,或权利要求7所述的水质监测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110059467.3A CN112378866A (zh) | 2021-01-18 | 2021-01-18 | 水质参数反演模型的训练方法、水质监测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110059467.3A CN112378866A (zh) | 2021-01-18 | 2021-01-18 | 水质参数反演模型的训练方法、水质监测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112378866A true CN112378866A (zh) | 2021-02-19 |
Family
ID=74581958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110059467.3A Pending CN112378866A (zh) | 2021-01-18 | 2021-01-18 | 水质参数反演模型的训练方法、水质监测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112378866A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113109281A (zh) * | 2021-04-13 | 2021-07-13 | 中国科学院成都生物研究所 | 一种基于高光谱遥感的水质参数定量反演模型及其构建方法 |
CN113780177A (zh) * | 2021-09-10 | 2021-12-10 | 中国科学院南京地理与湖泊研究所 | 一种非接触式实时原位水质监测方法 |
CN114441463A (zh) * | 2022-01-25 | 2022-05-06 | 安徽新宇环保科技股份有限公司 | 全光谱水质数据分析方法 |
CN115963066A (zh) * | 2022-12-30 | 2023-04-14 | 江苏海洋大学 | 一种陆基鱼塘养殖水质光谱检测方法、装置及计算机设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103278460A (zh) * | 2013-05-30 | 2013-09-04 | 华南农业大学 | 一种柑橘树红蜘蛛虫害胁迫情况测试分析方法 |
CN103278464A (zh) * | 2013-04-18 | 2013-09-04 | 北京工商大学 | 鱼肉检测方法和装置 |
CN104122210A (zh) * | 2014-07-02 | 2014-10-29 | 中国林业科学研究院林业研究所 | 一种基于最佳指数-相关系数法的高光谱波段提取方法 |
RU2616716C2 (ru) * | 2015-01-26 | 2017-04-18 | Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации | Способ оценки уровня загрязнения акваторий по гиперспектральным данным аэрокосмического зондирования |
CN107421895A (zh) * | 2017-06-30 | 2017-12-01 | 中国水利水电科学研究院 | 一种多波段优化组合的水质参数浓度反演方法和装置 |
CN110672805A (zh) * | 2019-10-08 | 2020-01-10 | 核工业北京地质研究院 | 一种基于航空高光谱数据的水库水质参数定量反演方法 |
CN111007021A (zh) * | 2019-12-31 | 2020-04-14 | 北京理工大学重庆创新中心 | 基于一维卷积神经网络的高光谱水质参数反演系统及方法 |
-
2021
- 2021-01-18 CN CN202110059467.3A patent/CN112378866A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103278464A (zh) * | 2013-04-18 | 2013-09-04 | 北京工商大学 | 鱼肉检测方法和装置 |
CN103278460A (zh) * | 2013-05-30 | 2013-09-04 | 华南农业大学 | 一种柑橘树红蜘蛛虫害胁迫情况测试分析方法 |
CN104122210A (zh) * | 2014-07-02 | 2014-10-29 | 中国林业科学研究院林业研究所 | 一种基于最佳指数-相关系数法的高光谱波段提取方法 |
RU2616716C2 (ru) * | 2015-01-26 | 2017-04-18 | Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации | Способ оценки уровня загрязнения акваторий по гиперспектральным данным аэрокосмического зондирования |
CN107421895A (zh) * | 2017-06-30 | 2017-12-01 | 中国水利水电科学研究院 | 一种多波段优化组合的水质参数浓度反演方法和装置 |
CN110672805A (zh) * | 2019-10-08 | 2020-01-10 | 核工业北京地质研究院 | 一种基于航空高光谱数据的水库水质参数定量反演方法 |
CN111007021A (zh) * | 2019-12-31 | 2020-04-14 | 北京理工大学重庆创新中心 | 基于一维卷积神经网络的高光谱水质参数反演系统及方法 |
Non-Patent Citations (2)
Title |
---|
李茂堂 等编著: "《多源水利信息快速获取与处理》", 30 September 2013, 海洋出版社 * |
王慧斌 等著: "《无线传感器监测网络信息处理技术》", 30 November 2010, 国防工业出版社 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113109281A (zh) * | 2021-04-13 | 2021-07-13 | 中国科学院成都生物研究所 | 一种基于高光谱遥感的水质参数定量反演模型及其构建方法 |
CN113109281B (zh) * | 2021-04-13 | 2022-11-29 | 中国科学院成都生物研究所 | 一种基于高光谱遥感的水质参数定量反演模型及其构建方法 |
CN113780177A (zh) * | 2021-09-10 | 2021-12-10 | 中国科学院南京地理与湖泊研究所 | 一种非接触式实时原位水质监测方法 |
CN114441463A (zh) * | 2022-01-25 | 2022-05-06 | 安徽新宇环保科技股份有限公司 | 全光谱水质数据分析方法 |
CN115963066A (zh) * | 2022-12-30 | 2023-04-14 | 江苏海洋大学 | 一种陆基鱼塘养殖水质光谱检测方法、装置及计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112378866A (zh) | 水质参数反演模型的训练方法、水质监测方法及装置 | |
Gottwald et al. | Testing for chaos in deterministic systems with noise | |
CN111738174B (zh) | 基于深度解耦的人体实例解析方法、系统 | |
Nguyen-Duc et al. | Frequency-splitting dynamic MRI reconstruction using multi-scale 3D convolutional sparse coding and automatic parameter selection | |
CN113712526B (zh) | 一种脉搏波提取方法、装置、电子设备及存储介质 | |
CN106570862A (zh) | 一种超分辨率重建质量的评价方法及装置 | |
CN114221877A (zh) | 负载预测方法、装置、设备和计算机可读介质 | |
CN107680081B (zh) | 基于卷积神经网络的高光谱图像解混方法 | |
CN116047427B (zh) | 一种小样本雷达有源干扰识别方法 | |
Feng et al. | Turbugan: An adversarial learning approach to spatially-varying multiframe blind deconvolution with applications to imaging through turbulence | |
Amirjanov et al. | Image compression system with an optimisation of compression ratio | |
Vimalajeewa et al. | Learning in the compressed data domain: Application to milk quality prediction | |
Rubel et al. | Prediction of Despeckling Efficiency of DCT-based filters Applied to SAR Images | |
Libardoni et al. | Estimates of climate system properties incorporating recent climate change | |
CN112614081A (zh) | 干涉图去噪的方法 | |
Lyu et al. | Identifiability-guaranteed simplex-structured post-nonlinear mixture learning via autoencoder | |
Colonna et al. | Unsupervised selection of the singular spectrum components based on information theory for bioacoustic signal filtering | |
Feng et al. | Spatiotemporal prediction based on feature classification for multivariate floating-point time series lossy compression | |
Aubrun et al. | Unsupervised learning of robust representations for change detection on sentinel-2 earth observation images | |
Khorasani et al. | Investigation and comparison of ECG signal sparsity and features variations due to pre-processing steps | |
Kumar et al. | Learning based restoration of Gaussian blurred images using weighted geometric moments and cascaded digital filters | |
Chen et al. | Target recognition algorithm for fused hyperspectral image by using combined spectra | |
CN103617373A (zh) | 一种时间序列的非线性特性检验方法 | |
US8417751B1 (en) | Signal processing by ordinal convolution | |
CN111160185B (zh) | 多尺度时间序列遥感影像趋势和断点检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210219 |
|
RJ01 | Rejection of invention patent application after publication |