CN111487224B - 一种基于光能量积分球的水质检测监测系统装置及方法 - Google Patents

一种基于光能量积分球的水质检测监测系统装置及方法 Download PDF

Info

Publication number
CN111487224B
CN111487224B CN202010534763.XA CN202010534763A CN111487224B CN 111487224 B CN111487224 B CN 111487224B CN 202010534763 A CN202010534763 A CN 202010534763A CN 111487224 B CN111487224 B CN 111487224B
Authority
CN
China
Prior art keywords
data
module
energy
water quality
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010534763.XA
Other languages
English (en)
Other versions
CN111487224A (zh
Inventor
吴冬华
许科奎
何明倩
王计斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hongsong Information Technology Co ltd
Original Assignee
Nanjing Hongsong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hongsong Information Technology Co ltd filed Critical Nanjing Hongsong Information Technology Co ltd
Priority to CN202010534763.XA priority Critical patent/CN111487224B/zh
Publication of CN111487224A publication Critical patent/CN111487224A/zh
Application granted granted Critical
Publication of CN111487224B publication Critical patent/CN111487224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55Specular reflectivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0118Apparatus with remote processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/065Integrating spheres

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及一种基于光能量积分球的水质检测监测系统装置及方法,其中装置包括前端检测监测装置和后端检测监测系统,前端检测监测装置和后端检测监测系统通过网络通讯进行数据传输;前端检测监测装置包括能源模块、结构模块、主控模块和外设模块;能源模块与结构模块连接;能源模块、结构模块和外设模块均与主控模块连接,能源模块用于为前端检测监测装置提供能源电流;结构模块用于检测监测水质;外设模块用于将采集光能量数据传输到后端检测监测系统;后端检测监测系统包括AI模型库、数据库模块、大数据计算模块、管理模块和应用模块,AI模型库、数据库模块、大数据计算模块和应用模块均与管理模块连接。实时监测水质且结果准确率高。

Description

一种基于光能量积分球的水质检测监测系统装置及方法
技术领域
本发明涉及环境监测的技术领域,尤其涉及一种基于光能量积分球的水质检测监测系统及方法。
背景技术
随着近几年环境污染的加重,水安全对人类的影响是多方面的,涉及到自然及社会人文的各个方面。同时随着人们生活水平的提高,人们对于水质的要求也越来越高,目前水质指标测定一般采用实地取样,实验室分析的方法,这种方法存在操作复杂和灵活性差的问题;因此,水质监测受到了国内外专家学者、各国政府和国际组织的广泛关注。
生物化学需氧量(biochemical oxygen demand,BOD)作为水质监测的重要指标,国际标准为5日BOD法,但其操作繁琐、耗时,还需要熟练的技术,且不能及时反映水质变化(Liu et al.,Biosens.Bioelectron.,Vol.20,562(2004))。近年来所发展的BOD的快速测量都是基于微生物同化有机物反应的同时将电子传递给氧气的原理,但是,由于氧气在水中的溶解度有限,对于高浓度的有机物样品需要经过稀释才能测量,从而大大降低了结果的准确性。另一方面,由于氧气受温度、气压影响而变化很大,这会引起测量结果的波动,如果附加一个氧气平衡装置也会使结果带来扰动(Lei et al.,Anal.Chim.Acta,Vol.568,200(2006);Du et al.,Biotechnol.Adv.,Vol.25,464(2007));
此外,随着人类生产活动的发展,大量既不是人体组成成分,也不是人体所需营养物质或维持正常生理功能必须的化学品被不断排放到水中,这些有毒有害的化学品通过食物链的放大作用进入人体内,可能会危害人体健康甚至生命。因此,对水体毒性进行检测及监测是评价水体是否受到到污染以及判断污染程度的重要手段。目前,蛙类、鱼类、小鼠、浮游生物、海藻等生物已被用于水体毒性检测,但是,上述生物进行水体毒性检测时具有测试周期长、成本高、操作复杂等缺点,不仅难以推广,而且不能满足现场快速检测需要。现有国际标准 ISO11348-3规定使用深海发光细菌V.fischeri作为受试生物,实现了快速检测的需要,但是也存在诸多不足:首先,为了平衡渗透压,测试必须在高盐度条件下进行,可能会引起样品中某些化学品性质的改变,而且盐度校正会导致假阴性的结果;其次,对于一些溶解度低的样品,则会由于毒物的析出而导致假阳性结果;再次,该方法采用荧光检测,检测信号易受水体浑浊和颜色的影响;最后,发光细菌在自然界中不是普遍存在的微生物,获得和保存较为困难,商品发光细菌价格较为昂贵,导致检测成本较高。
在水利、环保和水产养殖行业的水质指标检测和监测常用技术为电极法,但是全面的水质指标检测和监测,比如溶解氧、pH、氨氮、亚硝酸盐、硬度和水中H2S等成本高昂、操作复杂和电解液容易对水体产生二次污染。随着技术的发展,器件模块价格下降,原本应用在遥感遥测卫星上的高光谱技术可以解决上述问题。
因此,现在有必要开发一种基于光能量积分球的水质检测监测系统、装置及方法,将需检测监测的水样抽入一个积分球的结构中,用200~1100nm的光源照射水面,采集光在水体中的镜面反射、水体反射和衍射及积分球的结构反射后的光能量数据,通过AI(Artificial Intelligence)大数据算法计算水中溶解氧、pH、氨氮、亚硝酸盐、硬度和水中H2S等水质指标的数值和变化,为水利、环保和水产养殖行业的水质指标检测和监测提供了方便可靠的技术方案。
发明内容
本发明要解决的技术问题是,提供一种基于光能量积分球的水质检测监测系统,可以实时监测水质,快速检测水质,且结果准确率高。
为了解决上述技术问题,本发明采用的技术方案是:该基于光能量积分球的水质检测监测系统,包括前端检测监测装置和后端检测监测系统,所述前端检测监测装置和所述后端检测监测系统通过网络通讯进行数据传输;所述前端检测监测装置包括能源模块、结构模块、主控模块和外设模块;所述能源模块与所述结构模块连接;所述能源模块、结构模块和外设模块均与所述主控模块连接,所述能源模块用于为所述前端检测监测装置提供能源电流;所述结构模块用于检测监测水质;所述外设模块用于将采集光能量数据传输到后端检测监测系统;所述后端检测监测系统包括AI模型库、数据库模块、大数据计算模块、管理模块和应用模块,所述AI模型库、数据库模块、大数据计算模块和应用模块均与管理模块连接,所述AI模型库用于存放多种水质算法模型数据;所述数据库模块用于接收并存放所述前端检测监测装置采集的数据;所述大数据计算模块用于利用 AI模型库中水质算法数据模型计算水中的水质指标的数值和变化;所述管理模块用于管理和协调所述后端检测监测系统中所述AI模型库、数据库模块、大数据计算模块和应用模块之间的运作;所述应用模块用于将所述大数据模块计算的结果进行反馈。
其中积分球体是类似积分球的球状球体,可以让200~1100nm的光在不同水质浓度的水体中的镜面反射、水体反射和衍射及积分球的结构反射后的光能量产生稳定的数值和变化;采用上述技术方案,前端检测监测装置结构模块的循环泵将需检测监测的水样抽入一个积分球体的结构中,用200~1100nm的光源照射水面,前端检测监测装置主控模块的光谱采集模组采集光在水体中的镜面反射、水体反射和衍射及积分球的结构反射后的光能量数据,通过前端检测监测装置外设模块的4G/5G/NB模组将采集光能量数据传输到后端检测监测系统的数据库模块,利用后端检测监测系统的AI模型库中的水质光谱数据模型,后端检测监测系统大数据计算模块计算水中溶解氧、pH、氨氮、亚硝酸盐、硬度和水中H2S 等水质指标的数值和变化,一方面通过后端检测监测系统的应用模块将结果反馈给管理员和用户,另一方面校正AI模型库中的水质光谱数据模型。
优选地,所述结构模块包括积分球体、电磁阀、循环泵、200~1100nm光源、温度水位模组和光谱采集探头,所述电磁阀的上部与所述能源模块相连接,所述电磁阀的下部与所述积分球体的底部相连接,且所述电磁阀通过所述能源模块控制将所述积分球体内部的水排出;所述循环泵的上部与所述能源模块相连接,所述循环泵的下部与所述积分球体的顶部相连接且伸入所述积分球体内部,通过所述能源模块控制将待检测监测的水源抽入所述积分球体内;所述200~1100nm光源与能源模块连接,通过能源模块控制向检测监测的积分球体及水体提供 200~1100nm光能量;所述温度水位模组与主控模块连接,用于将所述积分球体内部温度、水体温度和水位传输给主控模块;所述光谱采集探头与主控模块连接,用于将所述积分球体内部的光能量的数值和变化上报给主控模块。
优选地,所述能源模块包括至少一种清洁能源输入模组、清洁能源控制模组、交流电输入模组、变压模组、蓄电池和能源控制模组,所述能源输入模组与清洁能源控制模组连接,用于为所述前端检测监测装置提供能源电流;所述清洁能源控制模组的另一端与蓄电池相连接,所述清洁能源控制模组用于将所述清洁能源输入转换的能源电流输配到蓄电池和防止所述蓄电池过充和倒灌;所述交流电输入模组与变压模组连接,用于为所述前端检测监测装置提供市电交流电能源电流;所述变压模块的另一端与所述蓄电池和能源控制模块连接,用于将交流电能源电流转换成蓄电池的直流电能输配到蓄电池且防止蓄电池过充和倒灌,同时通过所述能源控制模组给所述前端检测监测装置提供能源电流;所述能源控制模组一端连接所述蓄电池和变压模组,另一端连接主控模块和结构模块,用于通过主控模块的指令为主控模块和结构模块提供能源电流。
优选地,所述主控模块包括光谱采集模组和主控模组,所述光谱采集模组的一端连接所述主控模组,另一端连接所述结构模块的光谱采集探头,用于把所述光谱采集探头采集的光能量数据传输给所述主控模组;所述主控模组分别与能源控制模组、温度水位模组和外设模组连接。
优选地,所述外设模块包括4G/5G/NB模组、GPS/BDS模组、空气流动模组、报警模组和摄像头模组,所述4G/5G/NB模组与所述主控模组连接,用于接受所述主控模组的指令与所述后端检测监测系统进行通信;所述GPS/BDS模组与所述主控模组连接,用于获取所述前端检测监测装置的位置信息并传输给所述主控模组;所述空气流动模组的一端与所述主控模组连接,另一端与所述结构模块的积分球体连接,用于为所述前端检测监测装置提供空气流动,防止所述前端检测监测装置的内部起雾结冰影响检测监测数据;所述报警模组与所述主控模组连接,用于接收所述主控模组的指令进行声光报警;所述摄像头模组与所述主控模组连接,用于采集所述前端检测监测装置所处环境的图片和视频数据并传输给所述主控模块。
优选地,所述电磁阀通过第一水管与积分球体底部连接,所述循环泵通过第二水管分别与待检测监测水源和积分球体连接,在开始检测前,所述循环泵通过能源模块的能源控制模组的控制将待检测监测水源抽入积分球体内,且与待检测监测水源连接第二水管处有过滤膜,在所述积分球体内部入水管处设有增压扇形喷头,可以对所述积分球体内部进行清洁。其中过滤膜,可以过滤掉水中的泥沙等杂质。
本发明要解决的技术问题是,提供一种采用基于光能量积分球的水质检测监测系统进行水质检测的方法,可以实时监测水质,快速检测水质,且结果准确率高。
为了解决上述技术问题,本发明采用的技术方案是:采用基于光能量积分球的水质检测监测系统进行水质检测的方法,具体包括以下步骤:
S1:准备数据,选择待检测的水质指标并调取所述水质指标的水质算法数据模型,
S2:采用步骤S1中准备的数据进行基线校正;
S3采用步骤S2中校正后的数据处理结果计算距离;
S4:根据步骤S1中调取的水质算法数据模型对应的阈值 进行数据剔除,若超出所述阈值 则剔除光谱,从而获得未超出阈值 的数据样本集;
S5:对步骤S4中获得的数据样本集统计平均样点个数;
S6:结合步骤S1中准备的数据对步骤S5中的数据结果计算反射率,得到反射率数据结果;
S7:对步骤S6中反射率数据结果进行预处理;
S8:根据待检测的水质指标的所述水质算法数据模型输出该水质指标的检测数值。
优选地,所述步骤S1中的准备的数据包括背景光谱数据、水面光谱数据、暗电流数据和标准板光谱数据或/和天空光光谱数据;所述水质算法数据模型为标准评估模型Mn,所述标准评估模型Mn对应的阈值 为Yn。
优选地,所述步骤S2中使用的步骤S1中准备的数据包括背景光谱数据、水面光谱数据和暗电流数据;进行基线校正的算法为光谱单点校正,具体步骤为:
S21:设Cbg为背景光谱数据、Cs,w为水面光谱数据和Cdark为暗电流数据;
S22:将Cbg数据对应的同波长计算均值,
Figure GDA0002644153210000051
S23:将Cdark数据对应同波长计算均值,
Figure GDA0002644153210000052
Figure GDA0002644153210000053
其中Adjs,w为基线校正后的光谱;λ为波长;
Figure GDA0002644153210000054
为均值后背景光谱;
Figure GDA0002644153210000055
为均值后暗电流光谱;n为样点中的光谱总数;
优选地,所述步骤S3中对校正后的数据处理结果计算距离的算法为多维点矩阵距离算法,具体步骤为:
S31:在n维空间里的两个点(a1,a2,...,an)和(b1,b2,...,bn),距离d的表达公式如下式
(2);
Figure GDA0002644153210000061
(2);其中i=1、2、3、……n;
S32:设采集样点数总数m,每个采集样点的训练集光谱总数n;则样点={samp1,samp2,…,sampm};每个点p维度为200~1100nm之间的光通量数;
S33:对每个样点中的光谱总数n进行两两距离计算,每个样点均生成一个距离矩阵,如下式(3);
Figure GDA0002644153210000062
(3);其中
Figure GDA0002644153210000065
为样点m距离矩阵;dn,n为两个点p之间的距离,p1、p2、…、 pn均为样点中的单条光谱的光通量数据。
优选地,所述步骤S6中使用的步骤S1中准备的数据包括天空光光谱数据或/和标准板光谱数据,对步骤S5中的数据结果计算反射率的算法为水面以上遥感反射率算法,具体步骤为:
S6-1:当有天空光光谱数据时,其反射率计算公式为下式(4):
Figure GDA0002644153210000063
其中Rrs为遥感反射率;λ为波长,Cs,w为水面光谱数据,Csky为天空光光谱,Cboard为标准板光谱,ρboard为标准板出厂反射率;r是容器中的空气与水界面之间的反射率,取近红外范围波段,即选择波长大于等于800nm,计算反射率r=Cs,w(800nm)/Csky(800nm);π为圆周率;
S6-2:当无天空光光谱数据时,其反射率计算公式为下式(5):
Figure GDA0002644153210000064
其中Rrs为遥感反射率;λ为波长,Cs,w为水面光谱数据,Cboard为标准板光谱,ρboard为标准板出厂反射率;π为圆周率。
优选地,所述步骤S7中对所述步骤S6的反射率数据结果进行预处理的算法为S-G卷积平滑和直接差分法,具体为;
S71:先S-G卷积平滑算法利用多项式对设定的移动窗口内的数据进行最小二乘法拟合,以更优的方式进行了移动窗口内数据的加权平均;
m为移动窗口大小,表示了建立最小二乘法拟合多元模型,其中通用式为
Figure GDA0002644153210000071
的数据数;最小二乘法主旨取最小的残差平方和,即,
Figure GDA0002644153210000072
其中yi为真实值,
Figure GDA0002644153210000073
为拟合多元模型后的计算结果;以移动窗口大小内数据进行最小二乘法拟合,通用式中为β0常数系数,βj则是xj变量系数,j=1,2,…,p,得出Rsg(λ);Rsg指经过S-G卷积平滑算法后遥感反射率,λ为波长;
S72:再利用差分法其计算公式如下式(6),
Figure GDA0002644153210000074
(6);其中Diff(λi)为差分计算后遥感反射率,λi为波长;Δλ=λii-1为相邻波段波长的差;Rsgi)和Rsgi-1)为相邻波段的遥感反射率值;
S73:计算光谱反射率,利用差分法计算反射率后,将数据进行归一化,如下式(7):
Figure GDA0002644153210000075
其中DiffNi)为步骤S72计算后的归一化计算结果;
Figure GDA0002644153210000076
为差分后遥感反射率最小值;
Figure GDA0002644153210000077
为差分后遥感反射率最大值。
优选地,所述步骤S8中根据待检测的水质指标的所述水质算法数据模型输出该水质指标的检测数值的算法为:
拟合优度/判定系数:
Figure GDA0002644153210000078
均方误差:
Figure GDA0002644153210000079
均方根误差:
Figure GDA0002644153210000081
其中yi为测试样点真实值;
Figure GDA0002644153210000082
为测试样点的均值;
Figure GDA0002644153210000083
为测试样点经过水质算法数据模型输出的预测值;m为测试样点个数,SSR为测试样点输出的预测值和真实值均值之差的平方和,SST为真实值与其均值的之差平方和;拟合优度或判定系数的数值范围为[0,1],而R2接近1可判定最优模型;均方误差和均方根误差作为二次模型评估判定,其计算结果接近0为最优模型。
优选地,该基于光能量积分球的水质检测监测系统进行水质检测的方法还包括算法数据剔除异常分类的方法,即所述步骤S3还包括通过随机或按顺序切割数据进行样点选取,生成训练集和验证集,并从训练集中选出数据直接作为未剔除光谱数据集;所述步骤S4还包括对训练集数据进行距离计算,并记录算法供验证集数据使用,使用的算法为所述步骤S4中的多维点矩阵距离算法;选择阀值对训练集数据进行判断是否超出阈值 ,同时记录阈值 对验证训练集数据进行判断是否超出阈值 ;若超出阈值 则剔除光谱;若未超出阈值则作为正常光谱,分别记为训练集正常光谱数据和验证集正常光谱数据。
优选地,该基于光能量积分球的水质检测监测系统进行水质检测的方法还包括算法模型搭建及验证的方法,具体步骤为:
步骤1):先准备未剔除正常光谱数据、正常光谱数据、验证集正常光谱数据和标准板光谱数据或/和天空光光谱数据;准备一个水质指标的标准浓度数据;分别对未剔除光谱数据集、训练集正常光谱数据和验证集正常光谱数据三类数据进行数据平均;
步骤2):选取天空光光谱数据和或标准板光谱数据采用步骤S6中的算法计算未剔除光谱数据集、训练集正常光谱数据和验证集正常光谱数据三类数据的反射率;
步骤3):分别对未剔除光谱数据集、训练集正常光谱数据和验证集正常光谱数据三类数据采用步骤S7的算法进行降噪预处理;
步骤4):对未剔除光谱数据集、训练集正常光谱数据和验证集正常光谱数据三类数据的数据源进行第一分类分流;未剔除光谱数据集、训练集正常光谱数据处理的结果数据,分流到步骤5),验证集正常光谱数据处理的结果,分流到步骤9);
步骤5):统一对步骤4)中未剔除光谱数据集和训练集正常光谱数据处理的结果数据寻找特征光谱,并记录特征波段供步骤9)调用;
步骤6):对未剔除光谱数据集和训练集正常光谱数据进行第二次分流,未剔除光谱数据处理的结果分流到步骤7),正常光谱数据处理的结果分流到步骤8);
步骤7):未剔除光谱数据处理的结果进行训练生成输出待评估模型M1,供步骤10)进行评估;
步骤8):正常光谱数据处理的结果进行训练生成输出待评估模型M2,供步骤 10)进行评估;
步骤9):根据步骤5)记录特征波段,利用步骤4)分流的验证集正常光谱数据,选择选择特征波段数据,然后进行步骤10);
步骤10):根据步骤7)生成的输出待评估模型M1和步骤8)生成的输出待评估模型M2分别计算验证集正常光谱数据的浓度,然后进行步骤11);
步骤11):根据标准浓度数据对输出待评估模型M1和输出待评估模型M2进行评估,取两者之间的精度最高的模型为该水质指标的最终浓度模型Mn;然后进行步骤12);
步骤12):根据该水质指标的最终浓度模型,确认最终阈值Yn为水质检测的方法使用。
优选地,所述步骤7)对输出待评估模型M1进行评估和所述步骤8)中对输出待评估模型M2进行评估的算法均为逐步多波段非线性回归,具体步骤为:步骤7-1):所述步骤5)的特征波段数据作为回归模型中的自变量;标准浓度则为因变量;
步骤7-2):特征波段数据中逐步选取单条波段至多条波段数据,以二次多项式对数据进行拟合;在模型的训练过程求最小平方误差,即:任意k次多项式平常式为
Figure GDA0002644153210000091
则其误差函数为:
Figure GDA0002644153210000092
其中Err为所有样点 i=0,1,2,…,q的平方误差,yi为其对应真实值;g(xi)是拟合数据后导入对应真实值样点数据的计算结果;xi为对应样点i的自变量数据,ch
Figure GDA0002644153210000093
的多次方项的系数;
步骤7-3):将特征波段数据分别依次代入模型,得最接近1的拟合度为最终模型;
步骤7-4):输出最终模型的波段组合和待评估模型M1,供步骤10)进行评估。
现有技术相比,本发明具有的有益效果是:该基于光能量积分球的水质检测监测系统,将需检测监测的水样抽入一个积分球的结构中,用200~1100nm的光源照射水面,采集光在水体中的镜面反射、水体反射和衍射及积分球的结构反射后的光能量数据,通过AI大数据算法计算水中溶解氧、pH、氨氮、亚硝酸盐、硬度和水中H2S等水质指标的数值和变化,为水利、环保和水产养殖行业的水质指标检测和监测提供了方便可靠的技术方案。
附图说明
下面结合附图进一步描述本发明的技术方案:
图1为本发明的基于光能量积分球的水质检测监测系统的系统结构图;
图2为本明的基于光能量积分球的水质检测监测系统的结构图;
图3为本明的基于光能量积分球的水质检测监测系统的算法数据去噪分类流程图;
图4为本明的基于光能量积分球的水质检测监测系统算法模型搭建及验证图;
图5为本明的采用基于光能量积分球的水质检测监测系统进行水质检测的方法的流程图。
其中:01-交流电输入;02-变压模组;03-太阳能、风能等清洁能源输入;04- 清洁能源控制模组;05-蓄电池;06-能源控制模组;07-电磁阀;08-积分球体; 09-200~1100nm光源;10-温度水位模组;11-光谱采集探头;12-循环泵;13-光谱采集模组;14-主控模组;15-4G/5G/NB模组;16-GPS/BDS模组;17-空气流动模组;18-报警模组;19-摄像头模组;20-AI模型库;21-数据库模块;22-大数据计算模块;23-管理模块;24-应用模块;25-外设模块;26-能源模块;27-主控模块;28-结构模块;29-管理员;30-用户。
具体实施方式
为了加深对本发明的理解,下面将结合附图和实施例对本发明做进一步详细描述,该实施例仅用于解释本发明,并不对本发明的保护范围构成限定。
实施例:该基于光能量积分球的水质检测监测系统,包括前端检测监测装置 (如图2所示)和后端检测监测系统(如图1所示),所述前端检测监测装置和所述后端检测监测系统通过网络通讯进行数据传输;所述前端检测监测装置包括能源模块26、结构模块28、主控模块27和外设模块25;所述能源模块26与所述结构模块28连接;所述能源模块26、结构模块28和外设模块25均与所述主控模块27连接,所述能源模块26用于为所述前端检测监测装置提供能源电流;所述结构模块28用于检测监测水质;所述外设模块25用于将采集光能量数据传输到后端检测监测系统;所述后端检测监测系统包括AI模型库20、数据库模块 21、大数据计算模块22、管理模块23和应用模块24,所述AI模型库20、数据库模块21、大数据计算模块22和应用模块24均与管理模块23连接,所述AI 模型库20用于存放溶解氧、pH、氨氮、亚硝酸盐、硬度和水中H2S等水质的算法模型数据;所述数据库模块21用于接收并存放所述前端检测监测装置采集的数据;所述大数据计算模块22用于利用AI模型库20中水质算法数据模型计算水中的水质指标(溶解氧、pH、氨氮、亚硝酸盐、硬度和水中H2S等)的数值和变化;所述管理模块23用于管理和协调所述后端检测监测系统中所述AI模型库20、数据库模块21、大数据计算模块22和应用模块24之间的运作;所述应用模块24用于将所述大数据模块22计算的结果向用户30和管理员29进行反馈;积分球体08是类似积分球的球状球体,可以让200~1100nm的光在不同水质浓度的水体中的镜面反射、水体反射和衍射及积分球的结构反射后的光能量产生稳定的数值和变化;
如图2所示,所述结构模块包括积分球体08、电磁阀07、循环泵12、 200~1100nm光源09、温度水位模组10和光谱采集探头11,所述电磁阀07的上部与所述能源模块的能源控制模组06相连接,所述电磁阀07的下部与所述积分球体08的底部相连接,且所述电磁阀07通过所述能源模块的能源控制模组06 控制将所述积分球体08内部的水排出;所述循环泵12的上部与所述能源模块能源控制模组06相连接,所述循环泵12的下部与所述积分球体08的顶部相连接且伸入所述积分球体08内部,通过所述能源模块控制将待检测监测的水源抽入所述积分球体08内;所述200~1100nm光源09与能源模块26的能源控制模组 06连接,通过能源模块26的能源控制模组06控制向检测监测的积分球体08及水体提供200~1100nm光能量;所述温度水位模组10与主控模块27连接,用于将所述积分球体内部温度、水体温度和水位传输给主控模块27;所述光谱采集探头11与主控模块27连接,用于将所述积分球体08内部的光能量的数值和变化上报给主控模块27。
所述能源模块26包括太阳能、风能等清洁能源输入03、清洁能源控制模组 04、交流电输入模组01、变压模组02、蓄电池05和能源控制模组06,太阳能、风能等清洁能源输入03与清洁能源控制模组04连接,用于为所述前端检测监测装置提供能源电流;所述清洁能源控制模组04的另一端与蓄电池05相连接,所述清洁能源控制模组04用于将所述清洁能源输入转换的能源电流输配到蓄电池和防止所述蓄电池05过充和倒灌;所述交流电输入模组01与变压模组02连接,用于为所述前端检测监测装置提供市电交流电能源电流;所述变压模块02的另一端与所述蓄电池05和能源控制模组06连接,用于将交流电能源电流转换成蓄电池05的直流电能输配到蓄电池且防止蓄电池05过充和倒灌,同时通过所述能源控制模组06给所述前端检测监测装置提供能源电流;所述能源控制模组06 一端连接所述蓄电池05和变压模组02,另一端连接主控模块27和结构模块28,用于通过主控模块27的指令为主控模块27和结构模块28提供能源电流。
所述主控模块27包括光谱采集模组13和主控模组14,所述光谱采集模组 13的一端连接所述主控模组14,另一端连接所述结构模块28的光谱采集探头 11,用于把所述光谱采集探头11采集的光能量数据传输给所述主控模组14;所述主控模组14分别与能源控制模组06、温度水位模组10和外设模组25连接。
所述外设模块25包括4G/5G/NB模组15、GPS/BDS模组16、空气流动模组17、报警模组18和摄像头模组19,所述4G/5G/NB模组15与所述主控模组 14连接,用于接受所述主控模组14的指令与所述后端检测监测系统进行通信;所述GPS/BDS模组16与所述主控模组15连接,用于获取所述前端检测监测装置的位置信息并传输给所述主控模组14;所述空气流动模组17的一端与所述主控模组14连接,另一端与所述结构模块28的积分球体08连接,用于为所述前端检测监测装置提供空气流动,防止所述前端检测监测装置的内部起雾结冰影响检测监测数据;所述报警模组18与所述主控模组14连接,用于接收所述主控模组14的指令进行声光报警;所述摄像头模组19与所述主控模组14连接,用于采集所述前端检测监测装置所处环境的图片和视频数据并传输给所述主控模块 27。
所述电磁阀07通过第一水管与积分球体08底部连接,所述循环泵12通过第二水管分别与待检测监测水源和积分球体08连接,在开始检测前,所述循环泵12通过能源模块的能源控制模组06的控制将待检测监测水源抽入积分球体 08内,且与待检测监测水源连接第二水管处有过滤膜,在所述积分球体08内部入水管处设有增压扇形喷头,可以对所述积分球体08内部进行清洁。其中过滤膜,可以过滤掉水中的泥沙等杂质。
前端检测监测装置主要包含能源模块26、结构模块28、主控模块27和外设模块25,如图2所述,详细如下:
01.交流电输入:与变压模组连接,为装置提供市电交流电能源电流;
02.变压模组:上连接交流电输入,下连接蓄电池和能源控制模组,一方面将市电交流电能源电流转换成蓄电池需要的直流电能输配到蓄电池,且防止蓄电池过充和倒灌,另一方面可以直接通过能源控制模组给装置提供能源电流;
03.太阳能、风能等清洁能源输入:与清洁能源控制模组连接,为装置提供太阳能、风能等清洁能源转换的能源电流;
04.清洁能源控制模组:清洁能源控制模组上连接太阳能、风能等清洁能源输入,下连接蓄电池,一方面将太阳能、风能等清洁能源输入转换的能源电流输配到蓄电池,另一方面防止蓄电池过充和倒灌;
05.蓄电池:上连接清洁能源控制模组和变压模组,下连接能源控制模组,将清洁能源和市电能源提供能源电流储存并通过能源控制模组供给装置各个模块;
06.能源控制模组:上连接主控模块的主控模组、蓄电池和变压模组,下连接主控模块的主控模组、结构模块的电磁阀、循环泵和200~1100nm光源,通过主控模块的主控模组的指令,为主控模块和结构模块的子模组提供能源电流;
07.电磁阀:上连接能源模块的能源控制模组,下通过水管与积分球体底部连接,在检测结束或不需要水的情况下,通过能源模块的能源控制模组的控制将积分球体内部的水排出;
08.积分球体:是类似积分球的球状球体,可以让200~1100nm的光在不同水质浓度的水体中的镜面反射、水体反射和衍射及积分球的结构反射后的光能量产生稳定的数值和变化;
09.200~1100nm光源:与能源模块的能源控制模组连接,通过能源模块的能源控制模组的控制向检测监测球体及水体提供200~1100nm光能量
10.温度水位模组:与主控模块的主控模组连接,将积分球体内部温度、水体温度和水位上报给主控模块的主控模组;
11.光谱采集探头:与主控模块的光谱采集模组连接,将积分球内部的光能量的数值和变化上报给主控模块的光谱采集模组;
12.循环泵:上连接能源模块的能源控制模组,下通过水管与被检测监测水源连接和积分球体连接,在开始检测前,通过能源模块的能源控制模组的控制将被检测监测水源抽入积分球体内,且与被检测监测水源连接水管处有过滤膜,可以过滤掉水中的泥沙等杂质,在积分球内部入水管出加装增压扇形喷头,可以对积分球体内部进行清洁;
13.光谱采集模组:上连接主控模组,下连接结构模块的光谱采集探头,把光谱采集探头采集的光能量数据上报给主控模组;
14.主控模组:一方面与能源模块的能源控制模组连接,控制能源模组向其他模组供电;另一方面与结构模组的温度水位模组连接,监测积分球体内部温度、水体温度和水位数据;最后一方面与外设模组的4G/5G/NB模组、GPS/BDS模组、空气流动模组、报警模组和摄像头模组连接,控制外设模组的运转,并将光谱采集模组上报的光能量数据通过4G/5G/NB模组上报给后端检测监测系统的数据库模块;
15.4G/5G/NB模组:与主控模块的主控模组连接,接受主控模组指令与后端检测监测系统通信;
16.GPS/BDS模组:与主控模块的主控模组连接,获取前端检测监测装置的位置信息给主控模组;
17.空气流动模组:与主控模块的主控模组连接,下与结构模块的积分球体连接,为前端检测监测装置提供空气流动,防止装置内部起雾结冰影响检测监测数据;
18.报警模组:组与主控模块的主控模组连接,接受主控模组指令,进行声光报警;
19.摄像头模组:摄像头模组与主控模块的主控模组连接,采集前端检测监测装置周边的图片和视频数据上报给主控模块。
该基于光能量积分球的水质检测监测系统的各个模块如图1所述,详细如下:
20.AI模型库:存放溶解氧、pH、氨氮、亚硝酸盐、硬度和水中H2S等水质算法模型数据;
21.数据库模块:存放前端检测监测装置采集的光在水体中的镜面反射、水体反射和衍射及积分球的结构反射后的光能量数据;
22.大数据计算模块:利用AI模型库中的水质光谱数据模型计算水中溶解氧、 pH、氨氮、亚硝酸盐、硬度和水中H2S等水质指标的数值和变化,并校正AI模型库中的水质光谱数据模型;
23.管理模块:管理和协调后端检测监测系统各个模块运作;
24.应用模块:把大数据计算模块计算的结果反馈给管理员29和用户30;
25.外设模块:主要为前端检测监测装置提供外设服务,详见图2的4G/5G/NB 模组、GPS/BDS模组、空气流动模组、报警模组和摄像头模组等;
26.能源模块:主要为前端检测监测装置提供能源电流,详见图2的太阳能、风能等清洁能源输入、清洁能源控制模组、交流电输入、变压模组、蓄电池和能源控制模组等子模块;
27.主控模块:主要为前端检测监测装置提供控制和采集功能,详见图2的光谱采集模组和主控模组;
28.结构模块:主要为前端检测监测装置提供水质检测监测环境,详见图2 的积分球体、电磁阀、循环泵、200~1100nm光源、温度水位模组和光谱采集探头;
29.管理员:该系统的管理和维护人员;
30.用户:该系统的用户。
如图5所示,该采用基于光能量积分球的水质检测监测系统进行水质检测的方法,具体包括以下步骤:
S1:准备数据,选择待检测的水质指标并调取所述水质指标的水质算法数据模型,
S2:采用步骤S1中准备的数据进行基线校正;
S3采用步骤S2中校正后的数据处理结果计算距离;
S4:根据步骤S1中调取的水质算法数据模型对应的阈值 进行数据剔除,若超出所述阈值 则剔除光谱,从而获得未超出阈值 的数据样本集;
S5:对步骤S4中获得的数据样本集统计平均样点个数;
S6:结合步骤S1中准备的数据对步骤S5中的数据结果计算反射率,得到反射率数据结果;
S7:对步骤S6中反射率数据结果进行预处理;
S8:根据待检测的水质指标的所述水质算法数据模型输出该水质指标的检测数值;
所述步骤S1中的准备的数据包括背景光谱数据、水面光谱数据、暗电流数据和标准板光谱数据或/和天空光光谱数据;所述水质算法数据模型为标准评估模型Mn,所述标准评估模型Mn对应的阈值 为Yn。
所述步骤S2中使用的步骤S1中准备的数据包括背景光谱数据、水面光谱数据和暗电流数据;进行基线校正的算法为光谱单点校正,具体步骤为:
S21:设Cbg为背景光谱数据、Cs,w为水面光谱数据和Cdark为暗电流数据;
S22:将Cbg数据对应的同波长计算均值,
Figure GDA0002644153210000161
S23:将Cdark数据对应同波长计算均值,
Figure GDA0002644153210000162
Figure GDA0002644153210000163
其中Adjs,w为基线校正后的光谱;λ为波长;
Figure GDA0002644153210000164
为均值后背景光谱;
Figure GDA0002644153210000165
为均值后暗电流光谱;n为样点中的光谱总数;
所述步骤S3中对校正后的数据处理结果计算距离的算法为多维点矩阵距离算法,具体步骤为:
S31:在n维空间里的两个点(a1,a2,...,an)和(b1,b2,...,bn),距离d的表达公式如下式 (2);
Figure GDA0002644153210000166
(2);其中i=1、2、3、……n;
S32:设采集样点数总数m,每个采集样点的训练集光谱总数n;则样点={samp1,samp2,…,sampm};取样点1为例:
Figure GDA0002644153210000171
每个点p维度为200~1100nm之间的光通量数;
S33:对每个样点中的光谱总数n进行两两距离计算,每个样点均生成一个距离矩阵,如下式(3);
Figure GDA0002644153210000172
其中
Figure GDA0002644153210000175
为样点m距离矩阵;dn,n为两个点p之间的距离,p1、p2、…、 pn均为样点中的单条光谱的光通量数据;
所述步骤S6中使用的步骤S1中准备的数据包括天空光光谱数据或/和标准板光谱数据,对步骤S5中的数据结果计算反射率的算法为水面以上遥感反射率算法,具体步骤为:
S6-1:当有天空光光谱数据时,其反射率计算公式为下式(4):
Figure GDA0002644153210000173
其中Rrs为遥感反射率;λ为波长,Cs,w为水面光谱数据,Csky为天空光光谱,Cboard为标准板光谱,ρboard为标准板出厂反射率;r是容器中的空气与水界面之间的反射率,取近红外范围波段,即选择波长大于等于800nm,计算反射率r=Cs,w(800nm)/Csky(800nm);π为圆周率;
S6-2:当无天空光光谱数据时,其反射率计算公式为下式(5):
Figure GDA0002644153210000174
其中Rrs为遥感反射率;λ为波长,Cs,w为水面光谱数据,Cboard为标准板光谱,ρboard为标准板出厂反射率;π为圆周率。
所述步骤S7中对所述步骤S6的反射率数据结果进行预处理的算法为S-G 卷积平滑和直接差分法,具体为;
S71:先S-G卷积平滑算法利用多项式对设定的移动窗口内的数据进行最小二乘法拟合,以更优的方式进行了移动窗口内数据的加权平均;
m为移动窗口大小,表示了建立最小二乘法拟合多元模型,其中通用式为
Figure GDA0002644153210000181
的数据数;最小二乘法主旨取最小的残差平方和,即,
Figure GDA0002644153210000182
其中yi为真实值,
Figure GDA0002644153210000183
为拟合多元模型后的计算结果;以移动窗口大小内数据进行最小二乘法拟合,通用式中为β0常数系数,βj则是xj变量系数,j=1,2,…,p,得出Rsg(λ);Rsg指经过S-G卷积平滑算法后遥感反射率,λ为波长;
S72:再利用差分法其计算公式如下式(6),
Figure GDA0002644153210000184
其中Diff(λi)为差分计算后遥感反射率,λi为波长;Δλ=λii-1为相邻波段波长的差;Rsgi)和Rsgi-1)为相邻波段的遥感反射率值。
S73:计算光谱反射率,利用差分法计算反射率后,将数据进行归一化,如下式(7):
Figure GDA0002644153210000185
其中DiffNi)为步骤S72计算后的归一化计算结果;
Figure GDA0002644153210000186
为差分后遥感反射率最小值;
Figure GDA0002644153210000187
为差分后遥感反射率最大值。
所述步骤S8中根据待检测的水质指标的所述水质算法数据模型输出该水质指标的检测数值的算法为:
拟合优度/判定系数:
Figure GDA0002644153210000188
均方误差:
Figure GDA0002644153210000189
均方根误差:
Figure GDA00026441532100001810
其中yi为测试样点真实值;
Figure GDA0002644153210000191
为测试样点的均值;
Figure GDA0002644153210000192
为测试样点经过水质算法数据模型输出的预测值;m为测试样点个数,SSR为测试样点输出的预测值和真实值均值之差的平方和,SST为真实值与其均值的之差平方和;拟合优度或判定系数的数值范围为[0,1],而R2接近1可判定最优模型;均方误差和均方根误差作为二次模型评估判定,其计算结果接近0为最优模型。
其中,该基于光能量积分球的水质检测监测系统进行水质检测的方法还包括算法数据剔除异常分类的方法,即所述步骤S3还包括通过随机或按顺序切割数据进行样点选取,生成训练集和验证集,并从训练集中选出数据直接作为未剔除光谱数据集;所述步骤S4还包括对训练集数据进行距离计算,并记录算法供验证集数据使用,使用的算法为所述步骤S4中的多维点矩阵距离算法;选择阈值 对训练集数据进行判断是否超出阈值 ,同时记录阈值 对验证训练集数据进行判断是否超出阈值 ;若超出阈值 则剔除光谱;若未超出阈值 则作为正常光谱,分别记为训练集正常光谱数据和验证集正常光谱数据。
如图3所示,具体地详细步骤如下:
首先通过光谱采集模组获得的的背景光谱数据、的水面光谱数据和S1-3的暗电流数据,供步骤A使用;
A:对数据进行基线校正,转到步骤B,算法为光谱单点校正;
步骤(A-1):Cbg为背景光谱数据、Cs,w为水面光谱数据和Cdark为暗电流数据;
步骤(A-2):将Cbg数据对应的同波长计算均值,
Figure GDA0002644153210000193
n 为采集光谱条数;
步骤(A-3):将Cdark数据对应同波长计算均值,
Figure GDA0002644153210000194
n为采集光谱条数;则
Figure GDA0002644153210000195
其中Adjs,w为基线校正后的光谱;λ为范围200~1100nm的波长;
Figure GDA0002644153210000196
为均值后背景光谱;
Figure GDA0002644153210000197
为均值后暗电流光谱;n为样点中的光谱总数;
B:通过随机或在顺序切割数据进行样点选取,一般按照7:3进行选取;
步骤(B-1):生成“未剔除光谱”数据供本系统及装置的算法模型搭建及验证使用;
步骤(B-2):生成“训练集70%”数据供步骤C调用;
步骤(B-3):生成“训练集70%”数据供步骤F调用;
C:对“训练集70%”数据进行距离计算后转到步骤D,并记录算法步骤C-1的算法供步骤F调用,算法为多维点矩阵距离算法;
步骤(C-1):在n维空间里的两个点(a1,a2,...,an)和(b1,b2,...,bn),距离d的表达则是:
Figure GDA0002644153210000201
步骤(C-2):假设采集样点数总数m,每个采集样点的训练集光谱总数n;样点={samp1,samp2,…,sampm};
取样点1为例:
Figure GDA0002644153210000202
每个点p维度为200~1100nm之间的光通量数;
步骤(C-3):对样点1中的光谱总数n进行两两距离运算,生成距离矩阵;
Figure GDA0002644153210000203
取得平常式:
Figure GDA0002644153210000204
Figure GDA0002644153210000205
为样点m距离矩阵;dn,n为两个点p之间的距离,p1、p2、…、pn均为样点中的单条光谱的光通量数据;
每个样点生成一个距离矩阵;
D:选择阈值转到步骤E,并记录阈值供步骤G调用,阈值一般选择为:
步骤(D-1):取样点1为例,其距离矩阵为:
Figure GDA0002644153210000211
针对同一点下,计算其对应与其他点之间的距离均值:
Figure GDA0002644153210000212
平常式:
Figure GDA0002644153210000213
步骤(D-2):将每个样点mean排序统计分布:
Figure GDA0002644153210000214
步骤(D-3):计算第三四分位数,从mean中的数据量75%位置,
Figure GDA0002644153210000215
的位置对应数据计算;
以n为100为例子:
Figure GDA0002644153210000216
每个在排序后的
Figure GDA0002644153210000217
中取
Figure GDA0002644153210000218
Figure GDA0002644153210000219
的值;
Figure GDA00026441532100002110
计算结果为阈值;
E判断:
步骤(E-1):超出阈值范围,生成“剔除光谱”数据,直接丢弃;
步骤(E-2):在阈值范围内,生成“训练集正常光谱”数据供本系统及装置的算法模型搭建及验证使用;
F:对步骤B中的“训练集70%”数据用步骤C的算法进行计算,步骤转到 G;
G:利用步骤D记录阈值,进行判断:
步骤(G-1):超出阈值范围,生成“剔除光谱”数据,直接丢弃;
步骤(G-2):在阈值范围内,生成“训练集正常光谱”数据供本系统及装置的算法模型搭建及验证使用。
该基于光能量积分球的水质检测监测系统进行水质检测的方法还包括算法模型搭建及验证的方法,具体步骤为:
步骤1):先准备未剔除正常光谱数据、正常光谱数据、验证集正常光谱数据和标准板光谱数据或/和天空光光谱数据;准备一个用试纸法或电极法测得某一个水质指标的标准浓度数据;分别对未剔除光谱数据集、训练集正常光谱数据和验证集正常光谱数据三类数据进行数据平均;
步骤2):选取天空光光谱数据和或标准板光谱数据采用步骤S6中的算法计算未剔除光谱数据集、训练集正常光谱数据和验证集正常光谱数据三类数据的反射率;
步骤2-1):在有天空光光谱数据的情况下,反射率计算为:
Figure GDA0002644153210000221
其中,Rrs为遥感反射率;λ为波长,Cs,w为水面光谱数据,Csky为天空光光谱,Cboard为标准板光谱,ρboard为标准板出厂反射率;
r是容器中的空气与水界面之间的反射率,取近红外范围波段,即选择波长大于等于800nm,计算反射率r=Cs,w(800nm)/Csky(800nm);π为圆周率;
步骤2-2):在无天空光光谱数据的情况下,反射率计算为:
Figure GDA0002644153210000222
λ为波长,Cs,w为水面光谱数据,Cboard为标准板光谱,ρboard为标准板出厂反射率;π为圆周率;
步骤3):分别对未剔除光谱数据集、训练集正常光谱数据和验证集正常光谱数据三类数据采用步骤S7的算法进行降噪预处理;
步骤3-1):S-G卷积平滑利用多项式对设定的移动窗口内的数据进行最小二乘法拟合,以更优的方式进行了移动窗口内数据的加权平均;
m为移动窗口大小,也表示了建立最小二乘法拟合多元模型(平常式为
Figure GDA0002644153210000223
)的数据数;最小二乘法主旨取最小的残差平方和,即,
Figure GDA0002644153210000224
其中,yi为真实值,
Figure GDA0002644153210000225
为拟合多元模型后的计算结果;以移动窗口大小内数据进行最小二乘法拟合,通用式中为β0常数系数,βj则是xj变量系数, j=1,2,…,p,得出Rsg(λ);Rsg指经过S-G卷积平滑算法后遥感反射率,λ为波长;
步骤3-2)差分法:
Figure GDA0002644153210000231
其中,Diff(λi)为差分计算后遥感反射率,λi为波长;Δλ=λii-1为相邻波段波长的差;Rsgi)和Rsgi-1)为相邻波段的遥感反射率值;
步骤3-3):利用差分法计算反射率后,将数据进行归一化:
Figure GDA0002644153210000232
其中,DiffNi)为反射率值进过差分算法计算后的归一化计算结果;
Figure GDA0002644153210000233
为差分后遥感反射率最小值;
Figure GDA0002644153210000234
为差分后遥感反射率最大值;
步骤4):对未剔除光谱数据集、训练集正常光谱数据和验证集正常光谱数据三类数据的数据源进行第一分类分流;未剔除光谱数据集、训练集正常光谱数据处理的结果数据,分流到步骤5),验证集正常光谱数据处理的结果,分流到步骤9);
步骤5):统一对步骤4)中未剔除光谱数据集和训练集正常光谱数据处理的结果数据寻找特征光谱,并记录特征波段供步骤9)调用;
步骤6):对未剔除光谱数据集和训练集正常光谱数据进行第二次分流,未剔除光谱数据处理的结果分流到步骤7),正常光谱数据处理的结果分流到步骤8);
步骤7):未剔除光谱数据处理的结果进行训练生成输出待评估模型M1,供步骤10)进行评估;
步骤8):正常光谱数据处理的结果进行训练生成输出待评估模型M2,供步骤 10)进行评估;
所述步骤7)对输出待评估模型M1进行评估和所述步骤8)中对输出待评估模型M2进行评估的算法均为逐步多波段非线性回归,具体步骤为:
步骤7-1):所述步骤5)的特征波段数据作为回归模型中的自变量;标准浓度则为因变量;
步骤7-2):特征波段数据中逐步选取单条波段至多条波段数据,以二次多项式对数据进行拟合;在模型的训练过程求最小平方误差,即:
任意k次多项式平常式为
Figure GDA0002644153210000241
则其误差函数为:
Figure GDA0002644153210000242
其中,Err为所有样点i=0,1,2,…,q的平方误差,yi为其对应真实值;g(xi)是拟合数据后导入对应真实值样点数据的计算结果;xi为对应样点i的自变量数据, ch
Figure GDA0002644153210000243
的多次方项的系数;
步骤7-3):将特征波段数据分别依次代入模型,得最接近1的拟合度为最终模型;
步骤7-4):输出最终模型的波段组合和待评估模型M1,供步骤10)进行评估;
步骤9):根据步骤5)记录特征波段,利用步骤4)分流的验证集正常光谱数据,选择选择特征波段数据,然后进行步骤10);
步骤10):根据步骤7)生成的输出待评估模型M1和步骤8)生成的输出待评估模型M2分别计算验证集正常光谱数据的浓度,然后进行步骤11);
步骤11):根据标准浓度数据对输出待评估模型M1和输出待评估模型M2进行评估,取两者之间的精度最高的模型为该水质指标的最终浓度模型Mn;然后进行步骤12);
步骤12):根据该水质指标的最终浓度模型,确认最终阈值Yn为水质检测的方法使用。
对于本领域的普通技术人员而言,具体实施例只是对本发明进行了示例性描述,显然本发明具体实现并不受上述方式的限制,只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进,或未经改进将本发明的构思和技术方案直接应用于其它场合的,均在本发明的保护范围之内。

Claims (14)

1.一种基于光能量积分球的水质检测监测系统,其特征在于,包括前端检测监测装置和后端检测监测系统,所述前端检测监测装置和所述后端检测监测系统通过网络通讯进行数据传输;所述前端检测监测装置包括能源模块、结构模块、主控模块和外设模块;所述能源模块与所述结构模块连接;所述能源模块、结构模块和外设模块均与所述主控模块连接,所述能源模块用于为所述前端检测监测装置提供能源电流;所述结构模块用于检测监测水质;所述外设模块用于将采集光能量数据传输到后端检测监测系统;所述后端检测监测系统包括AI模型库、数据库模块、大数据计算模块、管理模块和应用模块,所述AI模型库、数据库模块、大数据计算模块和应用模块均与管理模块连接,所述AI模型库用于存放多种水质算法模型数据;所述数据库模块用于接收并存放所述前端检测监测装置采集的数据;所述大数据计算模块用于利用AI模型库中水质算法数据模型计算水中的水质指标的数值和变化;所述管理模块用于管理和协调所述后端检测监测系统中所述AI模型库、数据库模块、大数据计算模块和应用模块之间的运作;所述应用模块用于将所述大数据模块计算的结果进行反馈;
所述结构模块包括积分球体、电磁阀、循环泵、200~1100nm光源、温度水位模组和光谱采集探头,所述电磁阀的上部与所述能源模块相连接,所述电磁阀的下部与所述积分球体的底部相连接,且所述电磁阀通过所述能源模块控制将所述积分球体内部的水排出;所述循环泵的上部与所述能源模块相连接,所述循环泵的下部分别与待检测监测水源和所述积分球体的顶部相连接且伸入所述积分球体内部,通过所述能源模块控制将待检测监测的水源抽入所述积分球体内;所述200~1100nm光源与能源模块连接,通过能源模块控制向检测监测的积分球体及水体提供200~1100nm光能量;所述温度水位模组与主控模块连接,用于将所述积分球体内部温度、水体温度和水位传输给主控模块;所述光谱采集探头与主控模块连接,用于将所述积分球体内部的光能量的数值和变化上报给主控模块;
采用该基于光能量积分球的水质检测监测系统进行水质检测的方法,具体包括以下步骤:
S1:准备数据,选择待检测的水质指标并调取所述水质指标的水质算法数据模型,
S2:采用步骤S1中准备的数据进行基线校正;
S3:采用步骤S2中校正后的数据处理结果计算距离;
S4:根据步骤S1中调取的水质算法数据模型对应的阈值进行数据剔除,若超出所述阈值则剔除光谱,从而获得未超出阈值的数据样本集;
S5:对步骤S4中获得的数据样本集统计平均样点个数;
S6:结合步骤S1中准备的数据对步骤S5中的数据结果计算反射率,得到反射率数据结果;
S7:对步骤S6中反射率数据结果进行预处理;
S8:根据待检测的水质指标的所述水质算法数据模型输出该水质指标的检测数值。
2.根据权利要求1所述的基于光能量积分球的水质检测监测系统,其特征在于,所述能源模块包括至少一种清洁能源输入模组、清洁能源控制模组、交流电输入模组、变压模组、蓄电池和能源控制模组,所述能源输入模组与清洁能源控制模组连接,用于为所述前端检测监测装置提供能源电流;所述清洁能源控制模组的另一端与蓄电池相连接,所述清洁能源控制模组用于将所述清洁能源输入转换的能源电流输配到蓄电池和防止所述蓄电池过充和倒灌;所述交流电输入模组与变压模组连接,用于为所述前端检测监测装置提供市电交流电能源电流;所述变压模组 的另一端与所述蓄电池和能源控制模块连接,用于将交流电能源电流转换成蓄电池的直流电能输配到蓄电池且防止蓄电池过充和倒灌,同时通过所述能源控制模组给所述前端检测监测装置提供能源电流;所述能源控制模组一端连接所述蓄电池和变压模组,另一端连接主控模块和结构模块,用于通过主控模块的指令为主控模块和结构模块提供能源电流。
3.根据权利要求2所述的基于光能量积分球的水质检测监测系统,其特征在于,所述主控模块包括光谱采集模组和主控模组,所述光谱采集模组的一端连接所述主控模组,另一端连接所述结构模块的光谱采集探头,用于把所述光谱采集探头采集的光能量数据传输给所述主控模组;所述主控模组分别与能源控制模组、温度水位模组和外设模组连接。
4.根据权利要求3所述的基于光能量积分球的水质检测监测系统,其特征在于,所述外设模块包括4G/5G/NB模组、GPS/BDS模组、空气流动模组、报警模组和摄像头模组,所述4G/5G/NB模组与所述主控模组连接,用于接受所述主控模组的指令与所述后端检测监测系统进行通信;所述GPS/BDS模组与所述主控模组连接,用于获取所述前端检测监测装置的位置信息并传输给所述主控模组;所述空气流动模组的一端与所述主控模组连接,另一端与所述结构模块的积分球体连接,用于为所述前端检测监测装置提供空气流动,防止所述前端检测监测装置的内部起雾结冰影响检测监测数据;所述报警模组与所述主控模组连接,用于接收所述主控模组的指令进行声光报警;所述摄像头模组与所述主控模组连接,用于采集所述前端检测监测装置所处环境的图片和视频数据并传输给所述主控模块。
5.根据权利要求3所述的基于光能量积分球的水质检测监测系统,其特征在于,所述电磁阀通过第一水管与积分球体底部连接,所述循环泵通过第二水管分别与待检测监测水源和积分球体连接,在开始检测前,所述循环泵通过能源模块的能源控制模组的控制将待检测监测水源抽入积分球体内,且与待检测监测水源连接第二水管处有过滤膜,在所述积分球体内部入水管处设有增压扇形喷头,可以对所述积分球体内部进行清洁。
6.根据权利要求1所述的基于光能量积分球的水质检测监测系统,其特征在于,所述步骤S1中的准备的数据包括背景光谱数据、水面光谱数据、暗电流数据和标准板光谱数据或/和天空光光谱数据;所述水质算法数据模型为标准评估模型Mn,所述标准评估模型Mn对应的阈值为Yn。
7.根据权利要求6所述的基于光能量积分球的水质检测监测系统,其特征在于,所述步骤S2中使用的步骤S1中准备的数据包括背景光谱数据、水面光谱数据和暗电流数据;进行基线校正的算法为光谱单点校正,具体步骤为:
S21:设Cbg为背景光谱数据、Cs,w为水面光谱数据和Cdark为暗电流数据;
S22:将Cbg数据对应的同波长计算均值,
Figure FDA0002644153200000031
S23:将Cdark数据对应同波长计算均值,
Figure FDA0002644153200000032
Figure FDA0002644153200000033
其中Adjs,w为基线校正后的光谱;λ为波长;
Figure FDA0002644153200000034
为均值后背景光谱;
Figure FDA0002644153200000035
为均值后暗电流光谱;n为样点中的光谱总数。
8.根据权利要求7所述的基于光能量积分球的水质检测监测系统,其特征在于,所述步骤S3中对校正后的数据处理结果计算距离的算法为多维点矩阵距离算法,具体步骤为:
S31:在n维空间里的两个点(a1,a2,...,an)和(b1,b2,...,bn),距离d的表达公式如下式(2);
Figure FDA0002644153200000041
(2);其中i=1、2、3、……n;
S32:设采集样点数总数m,每个采集样点的训练集光谱总数n;则样点={samp1,samp2,…,sampm};每个点p维度为200~1100nm之间的光通量数;
S33:对每个样点中的光谱总数n进行两两距离计算,每个样点均生成一个距离矩阵,如下式(3);
Figure FDA0002644153200000042
其中
Figure FDA0002644153200000044
为样点m距离矩阵;dn,n为两个点p之间的距离,p1、p2、…、pn均为样点中的单条光谱的光通量数据。
9.根据权利要求8所述的基于光能量积分球的水质检测监测系统,其特征在于,所述步骤S6中使用的步骤S1中准备的数据包括天空光光谱数据或/和标准板光谱数据,对步骤S5中的数据结果计算反射率的算法为水面以上遥感反射率算法,具体步骤为:
S6-1:当有天空光光谱数据时,其反射率计算公式为下式(4):
Figure FDA0002644153200000043
其中Rrs为遥感反射率;λ为波长,Cs,w为水面光谱数据,Csky为天空光光谱,Cboard为标准板光谱,ρboard为标准板出厂反射率;r是容器中的空气与水界面之间的反射率,取近红外范围波段,即选择波长大于等于800nm,计算反射率r=Cs,w(800nm)/Csky(800nm);π为圆周率;
S6-2:当无天空光光谱数据时,其反射率计算公式为下式(5):
Figure FDA0002644153200000051
其中Rrs为遥感反射率;λ为波长,Cs,w为水面光谱数据,Cboard为标准板光谱,ρboard为标准板出厂反射率;π为圆周率。
10.根据权利要求9所述的基于光能量积分球的水质检测监测系统,其特征在于,所述步骤S7中对所述步骤S6的反射率数据结果进行预处理的算法为S-G卷积平滑和直接差分法,具体为;
S71:先S-G卷积平滑算法利用多项式对设定的移动窗口内的数据进行最小二乘法拟合,以更优的方式进行了移动窗口内数据的加权平均;
m为移动窗口大小,表示了建立最小二乘法拟合多元模型,其中通用式为
Figure FDA0002644153200000052
的数据数;最小二乘法主旨取最小的残差平方和,即,
Figure FDA0002644153200000053
其中yi为真实值,
Figure FDA0002644153200000054
为拟合多元模型后的计算结果;以移动窗口大小内数据进行最小二乘法拟合,通用式中为β0常数系数,βj则是xj变量系数,j=1,2,…,p,得出Rsg(λ);Rsg指经过S-G卷积平滑算法后遥感反射率,λ为波长;
S72:再利用差分法其计算公式如下式(6),
Figure FDA0002644153200000055
(6);其中Diff(λi)为差分计算后遥感反射率,λi为波长;Δλ=λii-1为相邻波段波长的差;Rsgi)和Rsgi-1)为相邻波段的遥感反射率值;
S73:计算光谱反射率,利用差分法计算反射率后,将数据进行归一化,如下式(7):
Figure FDA0002644153200000056
其中DiffNi)为步骤S72计算后的归一化计算结果;
Figure FDA0002644153200000057
为差分后遥感反射率最小值;
Figure FDA0002644153200000058
为差分后遥感反射率最大值。
11.根据权利要求10所述的基于光能量积分球的水质检测监测系统,其特征在于,所述步骤S8中根据待检测的水质指标的所述水质算法数据模型输出该水质指标的各种检测数值的算法为:
拟合优度/判定系数:
Figure FDA0002644153200000061
均方误差:
Figure FDA0002644153200000062
均方根误差:
Figure FDA0002644153200000063
其中yi为测试样点真实值;
Figure FDA0002644153200000064
为测试样点的均值;
Figure FDA0002644153200000065
为测试样点经过水质算法数据模型输出的预测值;m为测试样点个数,SSR为测试样点输出的预测值和真实值均值之差的平方和,SST为真实值与其均值的之差平方和;拟合优度或判定系数的数值范围为[0,1],而R2接近1可判定最优模型;均方误差和均方根误差作为二次模型评估判定,其计算结果接近0为最优模型。
12.根据权利要求11所述的基于光能量积分球的水质检测监测系统,其特征在于,采用该基于光能量积分球的水质检测监测系统进行水质检测的方法还包括算法数据剔除异常分类的方法,即所述步骤S3还包括通过随机或按顺序切割数据进行样点选取,生成训练集和验证集,并从训练集中选出数据直接作为未剔除光谱数据集;所述步骤S4还包括对训练集数据进行距离计算,并记录算法供验证集数据使用,使用的算法为所述步骤S4中的多维点矩阵距离算法;选择阈值对训练集数据进行判断是否超出阈值,同时记录阈值对验证训练集数据进行判断是否超出阈值;若超出阈值则剔除光谱;若未超出阈值则作为正常光谱,分别记为训练集正常光谱数据和验证集正常光谱数据。
13.根据权利要求12所述的基于光能量积分球的水质检测监测系统,其特征在于,采用该基于光能量积分球的水质检测监测系统进行水质检测的方法还包括算法模型搭建及验证的方法,具体步骤为:
步骤1):先准备未剔除正常光谱数据、正常光谱数据、验证集正常光谱数据和标准板光谱数据或/和天空光光谱数据;准备一个水质指标的标准浓度数据;分别对未剔除光谱数据集、训练集正常光谱数据和验证集正常光谱数据三类数据进行数据平均;
步骤2):选取天空光光谱数据和或标准板光谱数据采用步骤S6中的算法计算未剔除光谱数据集、训练集正常光谱数据和验证集正常光谱数据三类数据的反射率;
步骤3):分别对未剔除光谱数据集、训练集正常光谱数据和验证集正常光谱数据三类数据采用步骤S7的算法进行降噪预处理;
步骤4):对未剔除光谱数据集、训练集正常光谱数据和验证集正常光谱数据三类数据的数据源进行第一分类分流;未剔除光谱数据集、训练集正常光谱数据处理的结果数据,分流到步骤5),验证集正常光谱数据处理的结果,分流到步骤9);
步骤5):统一对步骤4)中未剔除光谱数据集和训练集正常光谱数据处理的结果数据寻找特征光谱,并记录特征波段供步骤9)调用;
步骤6):对未剔除光谱数据集和训练集正常光谱数据进行第二次分流,未剔除光谱数据处理的结果分流到步骤7),正常光谱数据处理的结果分流到步骤8);
步骤7):未剔除光谱数据处理的结果进行训练生成输出待评估模型M1,供步骤10)进行评估;
步骤8):正常光谱数据处理的结果进行训练生成输出待评估模型M2,供步骤10)进行评估;
步骤9):根据步骤5)记录特征波段,利用步骤4)分流的验证集正常光谱数据,选择特征波段数据,然后进行步骤10);
步骤10):根据步骤7)生成的输出待评估模型M1和步骤8)生成的输出待评估模型M2分别计算验证集正常光谱数据的浓度,然后进行步骤11);
步骤11):根据标准浓度数据对输出待评估模型M1和输出待评估模型M2进行评估,取两者之间的精度最高的模型为该水质指标的最终浓度模型Mn;然后进行步骤12);
步骤12):根据该水质指标的最终浓度模型,确认最终阈值Yn为水质检测的方法使用。
14.根据权利要求13所述的基于光能量积分球的水质检测监测系统,其特征在于,所述步骤7)对输出待评估模型M1进行评估和所述步骤8)中对输出待评估模型M2进行评估的算法均为逐步多波段非线性回归,具体步骤为:
步骤7-1):所述步骤5)的特征波段数据作为回归模型中的自变量;标准浓度则为因变量;
步骤7-2):特征波段数据中逐步选取单条波段至多条波段数据,以二次多项式对数据进行拟合;在模型的训练过程求最小平方误差,即:任意k次多项式平常式为
Figure FDA0002644153200000081
则其误差函数为:
Figure FDA0002644153200000082
其中Err为所有样点i=0,1,2,…,q的平方误差,yi为其对应真实值;g(xi)是拟合数据后导入对应真实值样点数据的计算结果;xi为对应样点i的自变量数据,ch
Figure FDA0002644153200000083
的多次方项的系数;
步骤7-3):将特征波段数据分别依次代入模型,得最接近1的拟合度为最终模型;
步骤7-4):输出最终模型的波段组合和待评估模型M1,供步骤10)进行评估。
CN202010534763.XA 2020-06-12 2020-06-12 一种基于光能量积分球的水质检测监测系统装置及方法 Active CN111487224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010534763.XA CN111487224B (zh) 2020-06-12 2020-06-12 一种基于光能量积分球的水质检测监测系统装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010534763.XA CN111487224B (zh) 2020-06-12 2020-06-12 一种基于光能量积分球的水质检测监测系统装置及方法

Publications (2)

Publication Number Publication Date
CN111487224A CN111487224A (zh) 2020-08-04
CN111487224B true CN111487224B (zh) 2020-10-16

Family

ID=71796081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010534763.XA Active CN111487224B (zh) 2020-06-12 2020-06-12 一种基于光能量积分球的水质检测监测系统装置及方法

Country Status (1)

Country Link
CN (1) CN111487224B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220284612A1 (en) * 2020-10-23 2022-09-08 X Development Llc Visual detection of haloclines

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112229771B (zh) * 2020-08-27 2022-09-30 南昌工程学院 基于悬浮物示踪的江水倒灌入湖遥感监测方法
CN113588583A (zh) * 2021-07-28 2021-11-02 南京红松信息技术有限公司 基于全光谱的水质指标监测系统及水质监测的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102810886A (zh) * 2011-06-02 2012-12-05 徐州捷扬电子科技有限公司 一种太阳能复合式充电器
CN103473707A (zh) * 2013-09-17 2013-12-25 山东大学 建立城市河网水体光谱库的方法与应用
CN204389384U (zh) * 2014-12-18 2015-06-10 中国水产科学研究院南海水产研究所 一种自然水体吸收系数的测量装置
CN105158185A (zh) * 2015-09-11 2015-12-16 深圳世绘林科技有限公司 一种基于光学积分球的水质在线监测装置
CN206369694U (zh) * 2016-12-31 2017-08-01 上海复展智能科技股份有限公司 基于积分球的液体光谱透射和散射系数测量装置
CN109444056B (zh) * 2018-10-30 2024-03-01 浙江大学 一种双目成像式水下光谱反射率原位测量装置及测量方法
CN109489721A (zh) * 2018-11-09 2019-03-19 朱光兴 一种水环境敏感区遥感识别系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220284612A1 (en) * 2020-10-23 2022-09-08 X Development Llc Visual detection of haloclines

Also Published As

Publication number Publication date
CN111487224A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN111487224B (zh) 一种基于光能量积分球的水质检测监测系统装置及方法
Sathyendranath Phytoplankton functional types from Space.
CN101706421B (zh) 基于特征波段的黑木耳蛋白质含量快速检测方法和装置
KR20150105945A (ko) 선박의 밸러스트수의 수질을 모니터링하기 위한 방법 및 시스템
AU2004239363A1 (en) System enabling remote analysis of fluids
US11221320B2 (en) Method and apparatus for measuring leaf nitrogen content
CN101806703A (zh) 一种畜肉细菌总数无损检测方法
CN107202761A (zh) 一种快速检测水果内部品质的便携式检测设备及检测方法
CN101692037A (zh) 高光谱图像和独立分量分析植物叶面叶绿素分布的方法
CN104165853A (zh) 一种光谱法水体环境在线测量装置
CN101608998A (zh) 基于arm技术的多参数水质快速检测装置
CN112818751A (zh) 一种基于物联网的水生态完整性动态评估方法
CN116012726A (zh) 一种基于深度学习的黑臭水体遥感监测分级方法
CN113340914B (zh) 一种基于高光谱遥感的水体富营养化状态测算方法
CN107064021A (zh) 一种基于光谱幅值空间转换的血斑蛋在线无损检测方法
Rachmadita et al. Utilizing satellite imagery for seasonal trophic analysis in the freshwater reservoir
CN110222916A (zh) 农村生活污水a2o处理终端出水总氮浓度软测量方法及装置
CN112285035A (zh) 一种水色识别装置及水色识别方法
CN112946216A (zh) 一种智能水质监测系统
CN115994692B (zh) 基于5g和大数据的智慧河湖管理平台
CN108181273A (zh) 一种船载式多功能双探头藻类荧光参数在线检测装置
CN204177735U (zh) 一种光谱法水体环境在线测量装置
CN109269994A (zh) 一种化学需氧量的识别方法、装置、存储介质及设备
CN214122000U (zh) 一种浮游藻类检测设备
CN114037902A (zh) 一种条斑紫菜养殖区悬浮泥沙提取与识别的反演方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant