CN103473707A - 建立城市河网水体光谱库的方法与应用 - Google Patents
建立城市河网水体光谱库的方法与应用 Download PDFInfo
- Publication number
- CN103473707A CN103473707A CN2013104253211A CN201310425321A CN103473707A CN 103473707 A CN103473707 A CN 103473707A CN 2013104253211 A CN2013104253211 A CN 2013104253211A CN 201310425321 A CN201310425321 A CN 201310425321A CN 103473707 A CN103473707 A CN 103473707A
- Authority
- CN
- China
- Prior art keywords
- data
- concentration
- spectra
- library
- water quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供一种建立城市河网水体光谱库的方法。该方法将城市河网水体光谱数据等多源数据整理入库、查询、显示、光谱特征分析和水质遥感反演技术。发明针对城市河网水体遥感水质监测和评估的范围广、长时间监测的具体需求,发明了城市河网水体光谱库,实现了按时间、地点、按照光谱特征等多种类型的条件查询,同时实现了按地图进行查询的功能,光谱库实现了对查询到的多源数据进行显示和输出的功能;光谱库实现了对未知光谱的匹配;光谱库实现了对水质参数反演模型的评估和优化,通过水环境质量国家标准GB3838-2002,完成对水质的评估。
Description
技术领域:
本发明涉及一种建立城市河网水体光谱库的方法与应用,属于水环境遥感评估和监测的技术领域。
背景技术:
水资源是人类赖以生存和发展的基本要素之一,随着水体污染问题的日渐严重,水质监测称为经济社会可持续发展必须解决的重大问题。高光谱水质遥感评估、监测是通过研究水体反射光谱特征与水质参数浓度之间的关系,建立水质参数反演过程的,具有监测范围广、速度快、成本低和便于进行长期动态监测的优势,并且还能发现一些常规方法难以揭示的污染源和污染物迁移特征,与常规方法相比,具有不可替代的优越性。
光谱库是由光谱仪在一定条件下测得的各类地物反射光谱数据的集合。由于不同的地物具有不同的光谱特征,这已成为利用高光谱遥感数据认识和识别地物、提取地表信息的主要思想和手段。高光谱成像光谱仪产生了庞大的数据量,建立地物光谱数据库,运用先进的计算机技术来保存、管理和分析这些信息,是提高遥感信息的分析处理水平并使其能得到高效、合理应用的唯一途径,并给人们认识、识别及匹配地物提供了基础。
国际上有代表性的数字化地物反射光谱数据库有JPL反射光谱数据库(Jet PropulsionLaboratory,美国喷气推进实验室)、USGS地物反射光谱数据库(US Geological Survey,美国地质调查局)、JHU地物反射光谱数据库(Johns Hopkins University,美国约翰霍普金斯大学)、ASTER地物反射光谱数据库(Advanced Spaceborne Thermal Emission andReflection Radiometer,先进星载热辐射与反射辐射计)和IGCP-264数字化地物反射光谱数据库(International Geological Correlation Program,国际地质对比计划)等。在国内,地物反射光谱测量研究是从1978年腾冲航空遥感试验开始的,获得了1000多组树木、农作物、土壤、水体和岩矿等光谱曲线。20世纪80年代,中科院空间科技中心在宁芜地区获得各种光谱曲线1000多条,中国科学院长春地理所也建立了长春净月潭地物反射光谱数据库系统,中科院遥感所对277种中国典型地物反射光谱特征进行了测量。1998年北京航遥中心建立了典型岩石矿物反射光谱数据库,包含典型岩石和矿物500余种。2001年,北京师范大学在北京顺义获取了冬小麦光谱测量数据、农学参数等。20世纪70年代至今,遥感研究部门相继建成了10余个反射光谱数据库。
目前国内外建立的地物反射光谱库选取的地物多为矿物,岩石,农作物,植被等,没有专门针对水体水质评估、监测的光谱库。
发明内容:
针对现有技术的不足,本发明提供一种建立城市河网水体光谱库的方法。该方法将城市河网水体光谱数据等多源数据整理入库、查询、显示、光谱特征分析和水质遥感反演技术。
本发明还涉及一种上述城市河网水体光谱库的应用。利用本发明所述城市河网水体光谱库,还为水质参数反演、遥感水质评估提供很好的应用。
本发明的技术方案如下:
一种建立城市河网水体光谱库的方法,包括步骤如下:
一、数据的录入
第一批次入库的数据,该数据包括多源数据和参数的反演模型,所述的多源数据包括光谱反射率数据、水质参数数据、环境配套参数数据和照片数据;所述参数的反演模型包括化学需氧量浓度反演模型、悬浮物浓度反演模型、五日生化需氧量浓度反演模型、总氮浓度反演模型、总磷浓度反演模型和叶绿素a浓度反演模型;
1)多源数据的采集:
①光谱原始数据采集:光谱原始数据来自地面野外光谱测量,光谱仪采用的是ASD便携式野外光谱仪Pro FR,其波长范围350-2500nm,光谱分辨率为1nm;通过光谱仪得到的光谱原始数据包括:太阳光在水面上的入射辐亮度(Ed(0+)),天空漫散射光辐亮度(Lsky),水表面辐亮度(Lsw);这些数据不是光谱反射率数据,需要对光谱原始数据进行转换反射率的计算,例如,第一批次采集的光谱原始数据为嘉兴市城市河网水体秋季光谱原始数据;
②水质参数数据:水质参数包括化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度;在光谱原始数据采集的同时采集水样以获得上述水质参数数据;
③环境配套参数数据:环境配套参数包括采集时间、经纬度、水温、天空状况、风速、水面状况和样点文字描述;数据来源于光谱原始数据采集的现场测量和记录;
④照片数据:照片数据包括采样点水面照片、周围环境照片和采集过程照片;来源为数码相机记录;
2)数据预处理:
①光谱反射率数据的计算:通过ASD便携式野外光谱仪得到的光谱原始数据包括太阳光在水面上的入射亮度(Ed(0+)),天空漫散射光辐亮度(Lsky),水表面辐亮度(Lsw),需要对光谱原始数据进行转换反射率的计算:首先对上述测量到的数据分析统计,排除异常数据,然后求出原始数据平均值,减少误差;利用公式LW=Lsw-r*Lsky,式中LW为离水辐亮度,其中平静水面取r=0.022,由此得离水辐亮度LW;根据公式R(s)=LW/Ed(0+),式中R(s)是光谱反射率数据,LW为前面计算的离水辐亮度,Ed(0+)是太阳光在水面上的入射亮度;
②去除噪声的处理:对上述得到的光谱反射率数据,利用均值法进行降噪处理,计算公式为R(λi)=[R(λi-1)+R(λi)+R(λi+1)]/3,式中R(λi)是波长为λi的光谱反射率数据,R(λi-1)、R(λi+1)为相邻波长的光谱反射率;
③数据编号:对光谱反射率数据、水质参数数据、环境配套参数数据和照片数据进行统一的编号,例如对第一个采样点5张照片数据分别编号为20121026094201、20121026094202、20121026094203、20121026094204、20121026094205;
3)反演模型的建立:
①水体反射率光谱特征提取:水体的反射率光谱特性是由其中的各种物质对光辐射的吸收和散射性质决定的,是遥感监测的基础;光谱特征提取包括:提取波峰位置、波谷位置;
提取波峰位置:光谱反射率曲线由众多连续排列的离散点组成,其波峰值要大于两肩的数值,所以判断波峰的条件为Ri>Ri-1且Ri>Ri+1;其中,Ri是波长为i时的反射率;大多数反射率曲线都带有噪音,利用这个方法将会把噪音形成的波峰也提取出来,噪音造成局部振动的幅度较小,远低于主体曲线的振幅;为了消除噪声的影响,设定一个振幅阀值,在众多的波峰点中,振动幅度大于阀值的点予以保留,作为特征点,振动幅度小于或等于阀值的点不予记载,当作是噪音;具体实现通过MATLAB软件中的find(diff(sign(diff(data)))<0)代码实现;
提取波谷位置:波谷值要小于两肩的数值,所以判断波谷的条件为Ri<Ri-1且Ri<Ri+1。其中,Ri是波长为i时的反射率;为了消除噪声的影响,设定一个振幅阀值,在众多的波谷点中,振动幅度大于阀值的点予以保留,作为特征点,振动幅度小于或等于阀值的点不予记载,当作是噪音。具体实现通过MATLAB软件中IndMin=find(diff(sign(diff(data)))>0)代码实现;
例如,通过提取光谱特征可以得到第一批次嘉兴市的秋季水体光谱反射率曲线有7个最明显的特征波长,分别是557nm、637nm、697nm、807nm附近的反射峰,613nm、669nm、736nm附近的反射谷;利用这些光谱特征可以很好的进行城市河网内陆水体的光谱分析,为城市河网水体的提取、水体划分和地物的分类提供基础;
②水质参数数据与水体光谱反射率相关关系分析:采用统计分析的方法,建立描述水体水质参数与反射率之间关系的模型;采用双波段反射率比值的方法消除仪器测量时所带入的噪声、测量环境变化所带来的误差和大气的影响;达到信息增强与信息压缩的目的,以利于更好地建立反射率光谱与水质指标之间的关系;不同的水质指标对不同的波段组合敏感性不同,为了确定针对不同水质指标的最佳波段组合,计算波段间隔大于20的组合所有波段组合与水质指标的相关系数;相关系数的计算公式为
式中x为双波段比值的反射率,y为水质参数浓度;选择相关系数绝对值最大的双波段组合为特征波段组合。第一批次嘉兴市的秋季水质指标与水体反射率光谱的相关关系如下:化学需氧量与反射率的最佳波段组合是B650/B683,相关系数是0.86;悬浮物与反射率的最佳波段组合是B802/B722,相关系数是0.85;五日生化需氧量与反射率的最佳波段组合是B689/B667,相关系数波段比值是0.84;总氮与反射率的最佳波段组合是B787/B678,相关系数是0.84;总磷与反射率的最佳波段组合是B692/B64,相关系数是0.84;叶绿素a与反射率的最佳波段组合是B701/B680,相关系数是0.91;
③建立反演模型:根据相关系数分析,选取最大值所对应的波段组合,分别对化学需氧量、悬浮物、五日生化需氧量、总氮、总磷和叶绿素a与所对应最佳波段组合比值进行了回归分析和拟合,回归分析拟合模型包括线性拟合、多项式拟合(二次多项式、三次多项式)、指数模型拟合、幂函数模型拟合,并计算拟合结果的相关系数(R2)和均方根误差(RMSE):首先选取均方根误差最小的拟合模型对监测指标进行了回归分析,各个参数的最佳拟合模型如下:化学需氧量的反演模型为三次多项式
y=1928.4x3-6857.2x2+8169.7x-3237.4,R2=0.7796,RMSE=2.493;悬浮物的反演模型是幂指数y=577.31x6.1623,R2=0.5775,RMSE=17.02;五日生化需氧量反演模型是幂指数y=7.1949x3.5625,R2=0.5075,RMSE=1.88;总氮的反演模型为三次多项式y=13.356x3-22.39x2+13.904x-0.2849,R2=0.7495,RMSE=0.1648;总磷反演模型为指数模型y=0.0006e6.4669x,R2=0.6943,RMSE=0.02611;叶绿素a反演模型为二次多项式y=-3.8592x2+49.571x-39.234,R2=0.8196,RNSE=2.348;拟合效果的次序为叶绿素a>化学需氧量>总氮量>总磷量>悬浮物量>五日生化需氧量;每个拟合曲线的RMSE分别为,2.493μg/L,2.493mg/L,0.1648mg/L,0.02611mg/L,17.O2mg/L,l.88mg/L;上述水质参数反演模型,作为第一批次嘉兴市秋季水质参数反演模型入库。
4)数据的入库标准
光谱库第一批次数据录入:光谱反射率数据、环境参数数据、水质参数数据、照片多源数据以excel格式的数据入库,同时入库的还有第一批次的嘉兴市秋季水质参数反演模型;
光谱库后续批次的数据录入:后续批次数据录入前首先判断光谱库中是否存在相同城市相同季节的水质参数反演模型,如果存在,则只录入光谱反射率数据、环境参数数据、水质参数数据、照片多源数据;如果不存在同类型的反演模型,则需要录入上述多源数据和新类型的反演模型;以上数据以excel文件录入,具体格式如下。
环境参数数据录入格式如下:
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分,例如2012年10月26日9时42分采集,则命名为201210260942;
②SampID:样点编号,为数据采集时的记录,格式如样点2;
③Time:采集时间,格式如:2012-10-2609:42;
④E:经度,格式如:120°44′34″;
⑤N:纬度,格式如:30°48′14″;
⑥SampleName:样点水质瓶名称,格式如:样瓶1-4;
⑦Temperature:水温,格式如:19.0℃;
⑧Cloud:云量,代表天空状况,A代表无,B代表少,C代表多,D云遮日;
⑨Wind:代表风力,风速,格式如:2-3级,或者是微风;
⑩Water:代表水表面状况,A浑浊,B藻类,C水面清洁;
Remak:备注;注明特殊情况。例如:此水域前方有新开挖道路;
水质参数表格格式如下:
ID | SampleID | SampleNum | SampleName | SampleChar | COD | SS | BOD | TN | TP | Chla |
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分,例如2012年10月26日9时42分采集,则命名为201210260942;
②SampID:样点编号,为数据采集时的记录,格式如样点2;
③SampleNum:样点水质监测编号,送检的编号,格式如水121026751;
④SampleName:样点水质瓶名称,格式如:样瓶1-4;
⑤SampleChar:水质检测报告上对水质的描述,如:淡黄色、浑浊;
⑥COD:化学需氧量浓度数值;
⑦SS:悬浮物浓度数值;
⑧BOD:五日生化需氧量浓度数值;
⑨TN:总氮浓度数值;
⑩TP:总磷浓度数值;
DN值表数据格式如下:
ID | SampleID | wave350 | wave351 | …… | wave999 | wave1000 |
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分,例如2012年10月26日9时42分采集,则命名为201210260942;
②SampID:样点编号,为数据采集时的记录,格式如样点2。
③wave350-wave1000,代表波长范围是350nm-1000nm,在每个波长下的DN值;
光谱反射率表数据格式如下
ID | SampleID | wave350 | wave351 | …… | wave999 | wave1000 |
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分,例如2012年10月26日9时42分采集,则命名为201210260942;
②SampID:样点编号,为数据采集时的记录,格式如样点2。
③wave350-wave1000,代表波长范围是350nm-1000nm,在每个波长下的反射率。
照片数据每个样点的入库照片为5张,图像为jpg格式,照片大小<200k。表格式如下:
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分,例如2012年10月26日9时42分采集,则命名为201210260942;
②SampID:样点编号,为数据采集时的记录,格式如:样点2;
③SampleDescription:对样点环境或者水面情况的文字描述,格式如:该样点位于南湖流出口下3公里左右距离,嘉兴市出水口处某点,右邻嘉兴市植物园,目视并无水葫芦;
④FilePath:照片的存储路径,格式如:C:\\光谱库工程\\照片\\201210260942;
⑤PicNum1-PicNum5:照片编号,共5个编号,格式如:20121026094201、20121026094202、20121026094203、20121026094204、20121026094205;
反演模型表数据格式如下:
CityID | CityName | Season | WaterPar | TypicalWaveLength | BestModel | Model |
①CityID:城市编号,格式如:1、2、3、4、5等;
②CityName:城市名称,格式如:嘉兴市;
③Season:光谱采集季节;格式如:春季、夏季、秋季、冬季之中的一个;
④WaterPar:水质参数名称,格式如:化学需氧量。
⑤TypicalWaveLength:典型波段组合的波长,格式如:B650/B683。
⑥BestModel:最佳模型,格式如:三次多项式模型。
⑦Model:模型曲线,格式如:y=1928.4x3-6857.2x2+8169.7x-3237.4。
二、建立光谱库,包括以下13个数据表:
统计信息表包括:数据的ID、样点编号,城市ID,城市的名称,数据采集的季节;
光谱反射率表包括:数据的ID号、样点编号反射率;反射率表1存储波长范围350nm至600nm的反射率数据,反射率表2存储波长范围601nm至850nm的反射率数据,反射率表3存储波长范围851nm至1000nm的反射率数据;
反演模型表包括:城市ID、城市的名称、数据采集的季节、监测指标、特征波段组合、最佳拟合模型、拟合曲线;
环境参数表包括:数据的ID号、样点编号、采集时间、经度、纬度、样点水质瓶名称、水温、云量、风速、水表面状况、备注;
水质参数表包括:数据的ID号、样点编号、化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度;
照片信息表:数据的ID号、样点编号、对样点环境或者水面情况的文字描述、照片的存储路径、照片编号;
光谱特征信息表包括:数据的ID号、样点编号、波峰位置波长、波谷位置波长;
城市表:城市ID、城市的名称;
用户信息表:用户ID号、用户姓名、所属部门、操作密码、业务权限;
业务功能表:业务权限,功能名称,窗体名称,菜单项编码;
国家水环境质量标准表:水质参数名称,Ⅰ类,Ⅱ类,Ⅲ类,Ⅳ类,Ⅴ类。
一种上述城市河网水体光谱库的应用,包括以下应用:
1)多权限管理
城市河网水体光谱库多种权限管理的实现:包含三级用户的管理,管理员、数据采集员、普通用户三个级别的用户,客户端界面有相应的登录窗口,管理员:具有数据录入、删除、查看的权限;数据采集员:具有数据录入、查看的权限;普通用户:具有数据查看的权限;
对于权限的管理功能实现通过操作数据库中用户信息表和业务功能表这两个表;其中用户信息表包括:用户ID号,用户姓名,所属部门,操作密码,业务权限;业务功能表字段包括:业务权限,功能名称,窗体名称,菜单项编码;通过界面输入的用户姓名和密码,在用户信息表中查找到该用户的业务权限,然后通过业务权限在业务功能表查看具体可进行的业务操作;
2)数据管理
光谱库数据管理的功能包括:数据删除、数据修改;
数据管理的实现:管理员或者数据采集员登录应用界面后,选择数据管理菜单,输入城市、季节等基本信息,查找到数据后,可以选择删除,修改的操作;光谱库数据的删除和数据修改通过操作数据库中相应的数据表实现;
3)数据查询、显示与输出
查询方式有两种:按条件查询和按地图查询
按条件查询:光谱库的用户首先选择城市,光谱库通过城市表的查询找到该城市的数据,用户输入采集时间或者选择浓度参数的范围,光谱库按照用户输入的条件进行查询,对于查询结果以列表的形式输出,用户选择其中一条记录,然后点击显示,则在同一界面中将环境配套参数列表、光谱反射率曲线和采集过程中水质样点的5张照片同时显示出来;
光谱库的用户输入光谱特征信息,即波峰位置波长和波谷位置波长,光谱库按照用户输入的条件查询,输出水质参数列表形式和光谱曲线形式显示;
按地图查询:点击“按地图查询”按钮,进入按地图查询页面,将鼠标放在地图的某个城市的图标上,会得到该城市的地理信息,点击某城市的水体图标将会呈现数据查询结果列表显示;
对jpg格式照片显示的具体实现:在光谱库工程中加载OpenCV2.4.5库,通过对CvvImage这个类的函数的调用,打开图片显示到MFC的Picture控件中;
按地图查询的具体实现方法:以VC++为开发平台,以MapInfo Professional+MapX作为图形平台,实现具有空间数据与属性数据的查询;
数据输出以excel格式文件输出;
4)光谱匹配
光谱匹配:光谱匹配的实现采用最小距离法;光谱库的用户输入未知的光谱数据,光谱库通过计算未知光谱与光谱库中的参考光谱之间的距离作为判断依据;当该距离小于规定的阈值时,则判定该测试光谱属于该参考光谱,否则不属于:
具体实现方法:将光谱库中的第一条光谱数据当做参考光谱,依次计算每条光谱与未知光谱的最小距离;此处采用欧式距离:式中i代表光谱库中第i条光谱,n代表总波段数,Tij为光谱库中第i条光谱在j波段的反射率;设dm(t)={di(t)}min,若dm(t)不超过一定的阈值,则用户输入的未知光谱属于光谱库中的第i条光谱所代表的水质类型,通过光谱数据反射率表得到光谱ID,依据光谱的ID可以查询到水质参数列表、光谱特征信息、照片信息,进行显示;
5)水质反演与反演模型的优化
水质参数模型优化的过程:第一批次入库的数据除了多源数据外同时包括有嘉兴市秋季的化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度共6个反演模型;对于第二批次入库的数据首先判断光谱库中是否存在相同城市相同季节的反演模型;如果不存在,则需要录入新类型的反演模型;如果存在相同类型的模型,通过调用光谱库中反演模型表中的拟合曲线计算可以得到化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度共6个参数的反演结果;将反演结果与实际录入的第二批次水质参数表中的参数浓度进行回归分析,并计算拟合结果的相关系数(R2)和均方根误差(RMSE);如果相关系数(R2)和均方根误差(RMSE)均小于一定的阈值,则证明该模型稳定可靠;如果相关系数(R2)和均方根误差(RMSE)大于阈值范围,则需要重新进行水质指标与水体反射率光谱相关关系分析和反演模型的建立,并将新的模型存入光谱库中;
水质反演的实现方法:光谱库首先调用城市表,如果光谱库查询到有用户输入的城市和季节,根据城市的ID查询到反演信息表中的模型;用户选择化学需氧量选项,则光谱库调用化学需氧量反演模型计算出化学需氧量的浓度,以列表显示;用户选择五日生化需氧量选项,则光谱库调用五日生化需氧量反演模型计算出五日生化需氧量的浓度,以列表显示;用户选择悬浮物选项,则光谱库调用悬浮物反演模型计算出悬浮物的浓度,以列表显示;用户选择总氮选项,则光谱库调用总氮反演模型计算出总氮的浓度,以列表显示;用户选择总磷选项,则光谱库调用总磷反演模型计算出总磷的浓度,以列表显示;用户选择叶绿素a选项,则光谱库调用叶绿素a反演模型计算出叶绿素a的浓度,以列表显示;上述多得到的数据以excel格式输出;
水质评估的实现:用户输入未知的光谱数据,通过选择城市和采集时间选择反演模型的类型,通过光谱中反演最优模型的计算,得到化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度共6个水质反演参数结果,将此结果与国家水环境质量标准表中的浓度范围进行对比,得到未知光谱数据所代表的是Ⅰ类水、Ⅱ类水、Ⅲ类水、Ⅳ类水或者是Ⅴ类水,从而达到水体水质评估的目的。
本发明的有益效果:
①本发明在实验采集过程中,对光谱信息、水质参数信息、照片信息和环境配套参数(如:GPS位置信息,水温信息、天气状况等)进行了完备的采集,为光谱库用户提供了丰富的多源数据支持,方便用户查询和使用数据。同时为以后建立更加精准的水质参数反演模型提供了条件。
②本发明规范了多源数据入库的标准,为光谱库扩展在其他领域应用提供支持。
③本发明中城市河网水体光谱库用户可以进行化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度共6个水质参数反演,达到水质评估、监测评价的目的。
④本发明通过提取光谱特征可以得到水体光谱曲线有7个最明显的特征波长,分别是557nm、637nm、697nm、807nm附近的反射峰,613nm、669nm、736nm附近的反射谷。利用这些光谱特征可以很好的进行城市河网内陆水体的光谱分析,为城市河网水体的提取、水体划分和地物的分类提供基础。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之上,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
附图说明
图1为城市河网水体光谱数据库的示意图。
具体实施方式
下面结合实施例和说明书附图对本发明做详细的说明,但不限于此。
实施例
发明的主要内容如下图1所示。针对城市河网水体遥感水质监测和评估的范围广、长时间监测的具体需求,发明了城市河网水体光谱库,该发明包括多源数据入库,多权限管理、数据管理、查询和显示输出、光谱匹配、水质反演与模型优化。多源数据入库包括建立了光谱数据、水质参数数据、环境配套参数数据、照片数据等多源数据的入库标准,为多批次、大范围、不同采集时间的多源数据的入库提供数据格式的规范标准;光谱库实现了不同用户多权限管理;实现了多源数据的添加、修改和删除等数据管理功能;实现了按时间、地点、按照光谱特征等多种类型的条件查询,同时实现了按地图进行查询的功能,光谱库实现了对查询到的多源数据进行显示和输出的功能;光谱库实现了对未知光谱的匹配;光谱库实现了对水质参数反演模型的评估和优化,实现了对化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度6个参数的反演,并通过水环境质量国家标准GB3838-2002,完成对水质的评估。
一种建立城市河网水体光谱库的方法,包括步骤如下:
一、数据的录入
第一批次入库的数据,该数据包括多源数据和参数的反演模型,所述的多源数据包括光谱反射率数据、水质参数数据、环境配套参数数据和照片数据;所述参数的反演模型包括化学需氧量浓度反演模型、悬浮物浓度反演模型、五日生化需氧量浓度反演模型、总氮浓度反演模型、总磷浓度反演模型和叶绿素a浓度反演模型;
1)多源数据的采集:
①光谱原始数据采集:光谱原始数据来自地面野外光谱测量,光谱仪采用的是ASD便携式野外光谱仪Pro FR,其波长范围350-2500nm,光谱分辨率为1nm;通过光谱仪得到的光谱原始数据包括:太阳光在水面上的入射辐亮度(Ed(0+)),天空漫散射光辐亮度(Lsky),水表面辐亮度(Lsw);这些数据不是光谱反射率数据,需要对光谱原始数据进行转换反射率的计算,例如,第一批次采集的光谱原始数据为嘉兴市城市河网水体秋季光谱原始数据;
②水质参数数据:水质参数包括化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度;在光谱原始数据采集的同时采集水样以获得上述水质参数数据;
③环境配套参数数据:环境配套参数包括采集时间、经纬度、水温、天空状况、风速、水面状况和样点文字描述;数据来源于光谱原始数据采集的现场测量和记录;
④照片数据:照片数据包括采样点水面照片、周围环境照片和采集过程照片;来源为数码相机记录;
2)数据预处理:
①光谱反射率数据的计算:通过ASD便携式野外光谱仪得到的光谱原始数据包括太阳光在水面上的入射亮度(Ed(0+)),天空漫散射光辐亮度(Lsky),水表面辐亮度(Lsw),需要对光谱原始数据进行转换反射率的计算:首先对上述测量到的数据分析统计,排除异常数据,然后求出原始数据平均值,减少误差;利用公式LW=Lsw-r*Lsky,式中LW为离水辐亮度,其中平静水面取r=0.022,由此得离水辐亮度LW;根据公式R(s)=LW/Ed(0+),式中R(s)是光谱反射率数据,LW为前面计算的离水辐亮度,Ed(0+)是太阳光在水面上的入射亮度;
②去除噪声的处理:对上述得到的光谱反射率数据,利用均值法进行降噪处理,计算公式为R(λi)=[R(λi-1)+R(λi)+R(λi+1)]/3,式中R(λi)是波长为λi的光谱反射率数据,R(λi-1)、R(λi+1)为相邻波长的光谱反射率;
③数据编号:对光谱反射率数据、水质参数数据、环境配套参数数据和照片数据进行统一的编号,例如对第一个采样点5张照片数据分别编号为20121026094201、20121026094202、20121026094203、20121026094204、20121026094205;
3)反演模型的建立:
①水体反射率光谱特征提取:水体的反射率光谱特性是由其中的各种物质对光辐射的吸收和散射性质决定的,是遥感监测的基础;光谱特征提取包括:提取波峰位置、波谷位置;
提取波峰位置:光谱反射率曲线由众多连续排列的离散点组成,其波峰值要大于两肩的数值,所以判断波峰的条件为Ri>Ri-1且Ri>Ri+1;其中,Ri是波长为i时的反射率;大多数反射率曲线都带有噪音,利用这个方法将会把噪音形成的波峰也提取出来,噪音造成局部振动的幅度较小,远低于主体曲线的振幅;为了消除噪声的影响,设定一个振幅阀值,在众多的波峰点中,振动幅度大于阀值的点予以保留,作为特征点,振动幅度小于或等于阀值的点不予记载,当作是噪音;具体实现通过MATLAB软件中的find(diff(sign(diff(data)))<0)代码实现;
提取波谷位置:波谷值要小于两肩的数值,所以判断波谷的条件为Ri<Ri-1且Ri<Ri+1。其中,Ri是波长为i时的反射率;为了消除噪声的影响,设定一个振幅阀值,在众多的波谷点中,振动幅度大于阀值的点予以保留,作为特征点,振动幅度小于或等于阀值的点不予记载,当作是噪音。具体实现通过MATLAB软件中IndMin=find(diff(sign(diff(data)))>0)代码实现;
例如,通过提取光谱特征可以得到第一批次嘉兴市的秋季水体光谱反射率曲线有7个最明显的特征波长,分别是557nm、637nm、697nm、807nm附近的反射峰,613nm、669nm、736nm附近的反射谷;利用这些光谱特征可以很好的进行城市河网内陆水体的光谱分析,为城市河网水体的提取、水体划分和地物的分类提供基础;
②水质参数数据与水体光谱反射率相关关系分析:采用统计分析的方法,建立描述水体水质参数与反射率之间关系的模型;采用双波段反射率比值的方法消除仪器测量时所带入的噪声、测量环境变化所带来的误差和大气的影响;达到信息增强与信息压缩的目的,以利于更好地建立反射率光谱与水质指标之间的关系;不同的水质指标对不同的波段组合敏感性不同,为了确定针对不同水质指标的最佳波段组合,计算波段间隔大于20的组合所有波段组合与水质指标的相关系数;相关系数的计算公式为
式中x为双波段比值的反射率,y为水质参数浓度;选择相关系数绝对值最大的双波段组合为特征波段组合。第一批次嘉兴市的秋季水质指标与水体反射率光谱的相关关系如下:化学需氧量与反射率的最佳波段组合是B650/B683,相关系数是0.86;悬浮物与反射率的最佳波段组合是B802/B722,相关系数是0.85;五日生化需氧量与反射率的最佳波段组合是B689/B667,相关系数波段比值是0.84;总氮与反射率的最佳波段组合是B787/B678,相关系数是0.84;总磷与反射率的最佳波段组合是B692/B64,相关系数是0.84;叶绿素a与反射率的最佳波段组合是B701/B680,相关系数是0.91;
③建立反演模型:根据相关系数分析,选取最大值所对应的波段组合,分别对化学需氧量、悬浮物、五日生化需氧量、总氮、总磷和叶绿素a与所对应最佳波段组合比值进行了回归分析和拟合,回归分析拟合模型包括线性拟合、多项式拟合(二次多项式、三次多项式)、指数模型拟合、幂函数模型拟合,并计算拟合结果的相关系数(R2)和均方根误差(RMSE):首先选取均方根误差最小的拟合模型对监测指标进行了回归分析,各个参数的最佳拟合模型如下:化学需氧量的反演模型为三次多项式
y=1928.4x3-6857.2x2+8169.7x-3237.4,R2=0.7796,RNSE=2.493;悬浮物的反演模型是幂指数y=577.31x6.1623,R2=0.5775,RMSE=17.02;五日生化需氧量反演模型是幂相数y=7.1949x3.5625,R2=0.5075,RMSE=1.88;总氮的反演模型为三次多项式y=13.356x2-22.39x2+13.904x-0.2849,R2=0.7495,RMSE=0.1648;总磷反演模型为指数模型y=0.0006e6.4669x,R2=0.6943,RMSE=0.02611;叶绿素a反演模型为二次多项式y=-3.8592x2+49.571x-39.234,R2=0.8196,RMSE=2.348;拟合效果的次序为叶绿素a>化学需氧量>总氮量>总磷量>悬浮物量>五日生化需氧量;每个拟合曲线的RMSE分别为,2.493μg/L,2.493mg/L,0.1648mg/L,0.0261lmg/L,17.O2mg/L,1.88mg/L;上述水质参数反演模型,作为第一批次嘉兴市秋季水质参数反演模型入库。
4)数据的入库标准
光谱库第一批次数据录入:光谱反射率数据、环境参数数据、水质参数数据、照片多源数据以excel格式的数据入库,同时入库的还有第一批次的嘉兴市秋季水质参数反演模型;
光谱库后续批次的数据录入:后续批次数据录入前首先判断光谱库中是否存在相同城市相同季节的水质参数反演模型,如果存在,则只录入光谱反射率数据、环境参数数据、水质参数数据、照片多源数据;如果不存在同类型的反演模型,则需要录入上述多源数据和新类型的反演模型;以上数据以excel文件录入,具体格式如下。
环境参数数据录入格式如下:
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分,例如2012年10月26日9时42分采集,则命名为201210260942;
②SampID:样点编号,为数据采集时的记录,格式如样点2;
③Time:采集时间,格式如:2012-10-2609:42;
④E:经度,格式如:120°44′34″;
⑤N:纬度,格式如:30°48′14″;
⑥SampleName:样点水质瓶名称,格式如:样瓶1-4;
⑦Temperature:水温,格式如:19.0℃;
⑧Cloud:云量,代表天空状况,A代表无,B代表少,C代表多,D云遮日;
⑨Wind:代表风力,风速,格式如:2-3级,或者是微风;
⑩Water:代表水表面状况,A浑浊,B藻类,C水面清洁;
水质参数表格格式如下:
ID | SampleID | SampleNum | SampleName | SampleChar | COD | SS | BOD | TN | TP | Chla |
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分,例如2012年10月26日9时42分采集,则命名为201210260942;
②SampID:样点编号,为数据采集时的记录,格式如样点2;
③SampleNum:样点水质监测编号,送检的编号,格式如水121026751;
④SampleName:样点水质瓶名称,格式如:样瓶1-4;
⑤SampleChar:水质检测报告上对水质的描述,如:淡黄色、浑浊;
⑥COD:化学需氧量浓度数值;
⑦SS:悬浮物浓度数值;
⑧BOD:五日生化需氧量浓度数值;
⑨TN:总氮浓度数值;
⑩TP:总磷浓度数值;
Chla:叶绿素浓度数值;
DN值表数据格式如下:
ID | SampleID | wave350 | wave351 | …… | wave999 | wave1000 |
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分,例如2012年10月26日9时42分采集,则命名为201210260942;
②SampID:样点编号,为数据采集时的记录,格式如样点2。
③wave350-wave1000,代表波长范围是350nm-1000nm,在每个波长下的DN值;
光谱反射率表数据格式如下
ID | SampleID | wave350 | wave351 | …… | wave999 | wave1000 |
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分,例如2012年10月26日9时42分采集,则命名为201210260942;
②SampID:样点编号,为数据采集时的记录,格式如样点2。
③wave350-wave1000,代表波长范围是350nm-1000nm,在每个波长下的反射率。
照片数据每个样点的入库照片为5张,图像为jpg格式,照片大小<200k。表格式如下:
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分,例如2012年10月26日9时42分采集,则命名为201210260942;
②SampID:样点编号,为数据采集时的记录,格式如:样点2;
③SampleDescription:对样点环境或者水面情况的文字描述,格式如:该样点位于南湖流出口下3公里左右距离,嘉兴市出水口处某点,右邻嘉兴市植物园,目视并无水葫芦;
④FilePath:照片的存储路径,格式如:C:\\光谱库工程\\照片\\201210260942;
⑤PicNum1-PicNum5:照片编号,共5个编号,格式如:20121026094201、20121026094202、20121026094203、20121026094204、20121026094205;
反演模型表数据格式如下:
CityID | CityName | Season | WaterPar | TypicalWaveLength | BestModel | Model |
①CityID:城市编号,格式如:1、2、3、4、5等;
②CityName:城市名称,格式如:嘉兴市;
③Season:光谱采集季节;格式如:春季、夏季、秋季、冬季之中的一个;
④WaterPar:水质参数名称,格式如:化学需氧量。
⑤TypicalWaveLength:典型波段组合的波长,格式如:B650/B683。
⑥BestModel:最佳模型,格式如:三次多项式模型。
⑦Model:模型曲线,格式如:y=1928.4x3-6857.2x2+8169.7x-3237.4。
二、建立光谱库,包括以下13个数据表:
统计信息表包括:数据的ID、样点编号,城市ID,城市的名称,数据采集的季节;
光谱反射率表包括:数据的ID号、样点编号反射率;反射率表1存储波长范围350nm至600nm的反射率数据,反射率表2存储波长范围601nm至850nm的反射率数据,反射率表3存储波长范围851nm至1000nm的反射率数据;
反演模型表包括:城市ID、城市的名称、数据采集的季节、监测指标、特征波段组合、最佳拟合模型、拟合曲线;
环境参数表包括:数据的ID号、样点编号、采集时间、经度、纬度、样点水质瓶名称、水温、云量、风速、水表面状况、备注;
水质参数表包括:数据的ID号、样点编号、化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度;
照片信息表:数据的ID号、样点编号、对样点环境或者水面情况的文字描述、照片的存储路径、照片编号;
光谱特征信息表包括:数据的ID号、样点编号、波峰位置波长、波谷位置波长;
城市表:城市ID、城市的名称;
用户信息表:用户ID号、用户姓名、所属部门、操作密码、业务权限;
业务功能表:业务权限,功能名称,窗体名称,菜单项编码;
国家水环境质量标准表:水质参数名称,Ⅰ类,Ⅱ类,Ⅲ类,Ⅳ类,Ⅴ类。
一种上述城市河网水体光谱库的应用,包括以下应用:
1)多权限管理
城市河网水体光谱库多种权限管理的实现:包含三级用户的管理,管理员、数据采集员、普通用户三个级别的用户,客户端界面有相应的登录窗口,管理员:具有数据录入、删除、查看的权限;数据采集员:具有数据录入、查看的权限;普通用户:具有数据查看的权限;
对于权限的管理功能实现通过操作数据库中用户信息表和业务功能表这两个表;其中用户信息表包括:用户ID号,用户姓名,所属部门,操作密码,业务权限;业务功能表字段包括:业务权限,功能名称,窗体名称,菜单项编码;通过界面输入的用户姓名和密码,在用户信息表中查找到该用户的业务权限,然后通过业务权限在业务功能表查看具体可进行的业务操作;
2)数据管理
光谱库数据管理的功能包括:数据删除、数据修改;
数据管理的实现:管理员或者数据采集员登录应用界面后,选择数据管理菜单,输入城市、季节等基本信息,查找到数据后,可以选择删除,修改的操作;光谱库数据的删除和数据修改通过操作数据库中相应的数据表实现;
3)数据查询、显示与输出
查询方式有两种:按条件查询和按地图查询
按条件查询:光谱库的用户首先选择城市,光谱库通过城市表的查询找到该城市的数据,用户输入采集时间或者选择浓度参数的范围,光谱库按照用户输入的条件进行查询,对于查询结果以列表的形式输出,用户选择其中一条记录,然后点击显示,则在同一界面中将环境配套参数列表、光谱反射率曲线和采集过程中水质样点的5张照片同时显示出来;
光谱库的用户输入光谱特征信息,即波峰位置波长和波谷位置波长,光谱库按照用户输入的条件查询,输出水质参数列表形式和光谱曲线形式显示;
按地图查询:点击“按地图查询”按钮,进入按地图查询页面,将鼠标放在地图的某个城市的图标上,会得到该城市的地理信息,点击某城市的水体图标将会呈现数据查询结果列表显示;
对jpg格式照片显示的具体实现:在光谱库工程中加载OpenCV2.4.5库,通过对CvvImage这个类的函数的调用,打开图片显示到MFC的Picture控件中;
按地图查询的具体实现方法:以VC++为开发平台,以MapInfo Professional+MapX作为图形平台,实现具有空间数据与属性数据的查询;
数据输出以excel格式文件输出;
4)光谱匹配
光谱匹配:光谱匹配的实现采用最小距离法;光谱库的用户输入未知的光谱数据,光谱库通过计算未知光谱与光谱库中的参考光谱之间的距离作为判断依据;当该距离小于规定的阈值时,则判定该测试光谱属于该参考光谱,否则不属于:
具体实现方法:将光谱库中的第一条光谱数据当做参考光谱,依次计算每条光谱与未知光谱的最小距离;此处采用欧式距离:式中i代表光谱库中第i条光谱,n代表总波段数,Tij为光谱库中第i条光谱在j波段的反射率;设dm(t)={di(t)}min,若dm(t)不超过一定的阈值,则用户输入的未知光谱属于光谱库中的第i条光谱所代表的水质类型,通过光谱数据反射率表得到光谱ID,依据光谱的ID可以查询到水质参数列表、光谱特征信息、照片信息,进行显示;
5)水质反演与反演模型的优化
水质参数模型优化的过程:第一批次入库的数据除了多源数据外同时包括有嘉兴市秋季的化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度共6个反演模型;对于第二批次入库的数据首先判断光谱库中是否存在相同城市相同季节的反演模型;如果不存在,则需要录入新类型的反演模型;如果存在相同类型的模型,通过调用光谱库中反演模型表中的拟合曲线计算可以得到化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度共6个参数的反演结果;将反演结果与实际录入的第二批次水质参数表中的参数浓度进行回归分析,并计算拟合结果的相关系数(R2)和均方根误差(RMSE);如果相关系数(R2)和均方根误差(RMSE)均小于一定的阈值,则证明该模型稳定可靠;如果相关系数(R2)和均方根误差(RMSE)大于阈值范围,则需要重新进行水质指标与水体反射率光谱相关关系分析和反演模型的建立,并将新的模型存入光谱库中;
水质反演的实现方法:光谱库首先调用城市表,如果光谱库查询到有用户输入的城市和季节,根据城市的ID查询到反演信息表中的模型;用户选择化学需氧量选项,则光谱库调用化学需氧量反演模型计算出化学需氧量的浓度,以列表显示;用户选择五日生化需氧量选项,则光谱库调用五日生化需氧量反演模型计算出五日生化需氧量的浓度,以列表显示;用户选择悬浮物选项,则光谱库调用悬浮物反演模型计算出悬浮物的浓度,以列表显示;用户选择总氮选项,则光谱库调用总氮反演模型计算出总氮的浓度,以列表显示;用户选择总磷选项,则光谱库调用总磷反演模型计算出总磷的浓度,以列表显示;用户选择叶绿素a选项,则光谱库调用叶绿素a反演模型计算出叶绿素a的浓度,以列表显示;上述多得到的数据以excel格式输出;
水质评估的实现:用户输入未知的光谱数据,通过选择城市和采集时间选择反演模型的类型,通过光谱中反演最优模型的计算,得到化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度共6个水质反演参数结果,将此结果与国家水环境质量标准表中的浓度范围进行对比,得到未知光谱数据所代表的是Ⅰ类水、Ⅱ类水、Ⅲ类水、Ⅳ类水或者是Ⅴ类水,从而达到水体水质评估的目的。
Claims (2)
1.一种建立城市河网水体光谱库的方法,包括步骤如下:
一、数据的录入
第一批次入库的数据,该数据包括多源数据和参数的反演模型,所述的多源数据包括光谱反射率数据、水质参数数据、环境配套参数数据和照片数据;所述参数的反演模型包括化学需氧量浓度反演模型、悬浮物浓度反演模型、五日生化需氧量浓度反演模型、总氮浓度反演模型、总磷浓度反演模型和叶绿素a浓度反演模型;
1)多源数据的采集:
①光谱原始数据采集:光谱原始数据来自地面野外光谱测量,光谱仪采用的是ASD便携式野外光谱仪Pro FR,其波长范围350-2500nm,光谱分辨率为1nm;通过光谱仪得到的光谱原始数据包括:太阳光在水面上的入射辐亮度(Ed(0+)),天空漫散射光辐亮度(Lsky),水表面辐亮度(Lsw);
②水质参数数据:水质参数包括化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度;在光谱原始数据采集的同时采集水样以获得上述水质参数数据;
③环境配套参数数据:环境配套参数包括采集时间、经纬度、水温、天空状况、风速、水面状况和样点文字描述;
④照片数据:照片数据包括采样点水面照片、周围环境照片和采集过程照片;
2)数据预处理:
①光谱反射率数据的计算:通过ASD便携式野外光谱仪得到的光谱原始数据包括太阳光在水面上的入射亮度(Ed(0+)),天空漫散射光辐亮度(Lsky),水表面辐亮度(Lsw),需要对光谱原始数据进行转换反射率的计算:首先对上述测量到的数据分析统计,排除异常数据,然后求出原始数据平均值,减少误差;利用公式LW=Lsw-r*Lsky,式中LW为离水辐亮度,其中平静水面取r=0.022,由此得离水辐亮度LW;根据公式R(s)=LW/Ed(0+),式中R(s)是光谱反射率数据,LW为前面计算的离水辐亮度,Ed(0+)是太阳光在水面上的入射亮度;
②去除噪声的处理:对上述得到的光谱反射率数据,利用均值法进行降噪处理,计算公式为R(λi)=[R(λi-1)+R(λi)+R(λi+1)]/3,式中R(λi)是波长为λi的光谱反射率数据,R(λi-1)、R(λi+1)为相邻波长的光谱反射率;
③数据编号:对光谱反射率数据、水质参数数据、环境配套参数数据和照片数据进行统一的编号;
3)反演模型的建立:
①水体反射率光谱特征提取:水体的反射率光谱特性是由其中的各种物质对光辐射的吸收和散射性质决定的,是遥感监测的基础;光谱特征提取包括:提取波峰位置、波谷位置;
提取波峰位置:光谱反射率曲线由众多连续排列的离散点组成,其波峰值要大于两肩的数值,所以判断波峰的条件为Ri>Ri-1且Ri>Ri+1;其中,Ri是波长为i时的反射率;
提取波谷位置:波谷值要小于两肩的数值,所以判断波谷的条件为Ri<Ri-1且Ri<Ri+1;其中,Ri是波长为i时的反射率;
②水质参数数据与水体光谱反射率相关关系分析:采用统计分析的方法,建立描述水体水质参数与反射率之间关系的模型;采用双波段反射率比值的方法消除仪器测量时所带入的噪声、测量环境变化所带来的误差和大气的影响;计算波段间隔大于20的组合所有波段组合与水质指标的相关系数;相关系数的计算公式为
③式中x为双波段比值的反射率,y为水质参数浓度;
③建立反演模型:根据相关系数分析,选取最大值所对应的波段组合,分别对化学需氧量、悬浮物、五日生化需氧量、总氮、总磷和叶绿素a与所对应最佳波段组合比值进行了回归分析和拟合,回归分析拟合模型包括线性拟合、多项式拟合(二次多项式、三次多项式)、指数模型拟合、幂函数模型拟合,并计算拟合结果的相关系数(R2)和均方根误差(RMSE)作为水质参数反演模型输入反演模型入库;
4)数据的入库标准
光谱库第一批次数据录入:光谱反射率数据、环境参数数据、水质参数数据、照片多源数据以excel格式的数据入库,同时入库的还有第一批次水质参数反演模型;
光谱库后续批次的数据录入:后续批次数据录入前首先判断光谱库中是否存在相同城市相同季节的水质参数反演模型,如果存在,则只录入光谱反射率数据、环境参数数据、水质参数数据、照片多源数据;如果不存在同类型的反演模型,则需要录入上述多源数据和新类型的反演模型;以上数据以excel文件录入,具体格式如下;
环境参数数据录入格式如下:
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分;
②SampID:样点编号,为数据采集时的记录;
③Time:采集时间;
④E:经度;
⑤N:纬度;
⑥SampleName:样点水质瓶名称;
⑦Temperature:水温;
⑧Cloud:云量;
⑨Wind:代表风力;
⑩Water:代表水表面状况;
水质参数表格格式如下:
①ID:总编号,命名规则XXXX-XX-XX-XX-XX;
②SampID:样点编号,为数据采集时的记录;
③SampleNum:样点水质监测编号,送检的编号;
④SampleName:样点水质瓶名称;
⑤SampleChar:水质检测报告上对水质的描述;
⑥COD:化学需氧量浓度数值;
⑦SS:悬浮物浓度数值;
⑧BOD:五日生化需氧量浓度数值;
⑨TN:总氮浓度数值;
⑩TP:总磷浓度数值;
DN值表数据格式如下:
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分;
②SampID:样点编号,为数据采集时的记录;
③wave350-wave1000,代表波长范围是350nm-1000nm,在每个波长下的DN值;
光谱反射率表数据格式如下
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分;
②SampID:样点编号,为数据采集时的记录;
③wave350-wave1000,代表波长范围是350nm-1000nm,在每个波长下的反射率;
照片数据每个样点的入库照片为5张,图像为jpg格式,照片大小<200k;表格式如下:
①ID:总编号,命名规则XXXX-XX-XX-XX-XX,年月日时分;
②SampID:样点编号,为数据采集时的记录;
③SampleDescription:对样点环境或者水面情况的文字描述;
④FilePath:照片的存储路径;
⑤PicNum1-PicNum5:照片编号,共5个编号;
反演模型表数据格式如下:
①CityID:城市编号;
②CityName:城市名称;
③Season:光谱采集季节;
④WaterPar:水质参数名称;
⑤TypicalWaveLength:典型波段组合的波长;
⑥BestModel:最佳模型;
⑦Model:模型曲线;
二、建立光谱库,包括以下13个数据表:
统计信息表包括:数据的ID、样点编号,城市ID,城市的名称,数据采集的季节;
光谱反射率表包括:数据的ID号、样点编号反射率;
反演模型表包括:城市ID、城市的名称、数据采集的季节、监测指标、特征波段组合、最佳拟合模型、拟合曲线;
环境参数表包括:数据的ID号、样点编号、采集时间、经度、纬度、样点水质瓶名称、水温、云量、风速、水表面状况、备注;
水质参数表包括:数据的ID号、样点编号、化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度;
照片信息表:数据的ID号、样点编号、对样点环境或者水面情况的文字描述、照片的存储路径、照片编号;
光谱特征信息表包括:数据的ID号、样点编号、波峰位置波长、波谷位置波长;
城市表:城市ID、城市的名称;
用户信息表:用户ID号、用户姓名、所属部门、操作密码、业务权限;
业务功能表:业务权限,功能名称,窗体名称,菜单项编码;
国家水环境质量标准表:水质参数名称,Ⅰ类,Ⅱ类,Ⅲ类,Ⅳ类,Ⅴ类。
2.一种如上述城市河网水体光谱库的应用,包括以下应用:
1)多权限管理
城市河网水体光谱库多种权限管理的实现:包含三级用户的管理,管理员、数据采集员、普通用户三个级别的用户,客户端界面有相应的登录窗口,管理员:具有数据录入、删除、查看的权限;数据采集员:具有数据录入、查看的权限;普通用户:具有数据查看的权限;
对于权限的管理功能实现通过操作数据库中用户信息表和业务功能表这两个表;其中用户信息表包括:用户ID号,用户姓名,所属部门,操作密码,业务权限;业务功能表字段包括:业务权限,功能名称,窗体名称,菜单项编码;通过界面输入的用户姓名和密码,在用户信息表中查找到该用户的业务权限,然后通过业务权限在业务功能表查看具体可进行的业务操作;
2)数据管理
光谱库数据管理的功能包括:数据删除、数据修改;
数据管理的实现:管理员或者数据采集员登录应用界面后,选择数据管理菜单,输入城市、季节等基本信息,查找到数据后,可以选择删除,修改的操作;光谱库数据的删除和数据修改通过操作数据库中相应的数据表实现;
3)数据查询、显示与输出
查询方式有两种:按条件查询和按地图查询
4)光谱匹配
光谱匹配:光谱匹配的实现采用最小距离法;光谱库的用户输入未知的光谱数据,光谱库通过计算未知光谱与光谱库中的参考光谱之间的距离作为判断依据;当该距离小于规定的阈值时,则判定该测试光谱属于该参考光谱,否则不属于:
具体实现方法:将光谱库中的第一条光谱数据当做参考光谱,依次计算每条光谱与未知光谱的最小距离;此处采用欧式距离:式中i代表光谱库中第i条光谱,n代表总波段数,Tij为光谱库中第i条光谱在j波段的反射率;设dm(t)={di(t)}min,若dm(t)不超过一定的阈值,则用户输入的未知光谱属于光谱库中的第i条光谱所代表的水质类型,通过光谱数据反射率表得到光谱ID,依据光谱的ID可以查询到水质参数列表、光谱特征信息、照片信息,进行显示;
5)水质反演与反演模型的优化
水质参数模型优化的过程:第一批次入库的数据除了多源数据外同时包括有嘉兴市秋季的化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度共6个反演模型;对于第二批次入库的数据首先判断光谱库中是否存在相同城市相同季节的反演模型;如果不存在,则需要录入新类型的反演模型;如果存在相同类型的模型,通过调用光谱库中反演模型表中的拟合曲线计算可以得到化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度共6个参数的反演结果;将反演结果与实际录入的第二批次水质参数表中的参数浓度进行回归分析,并计算拟合结果的相关系数(R2)和均方根误差(RMSE);如果相关系数(R2)和均方根误差(RMSE)均小于一定的阈值,则证明该模型稳定可靠;如果相关系数(R2)和均方根误差(RMSE)大于阈值范围,则需要重新进行水质指标与水体反射率光谱相关关系分析和反演模型的建立,并将新的模型存入光谱库中;
水质反演的实现方法:光谱库首先调用城市表,如果光谱库查询到有用户输入的城市和季节,根据城市的ID查询到反演信息表中的模型;用户选择化学需氧量选项,则光谱库调用化学需氧量反演模型计算出化学需氧量的浓度,以列表显示;用户选择五日生化需氧量选项,则光谱库调用五日生化需氧量反演模型计算出五日生化需氧量的浓度,以列表显示;用户选择悬浮物选项,则光谱库调用悬浮物反演模型计算出悬浮物的浓度,以列表显示;用户选择总氮选项,则光谱库调用总氮反演模型计算出总氮的浓度,以列表显示;用户选择总磷选项,则光谱库调用总磷反演模型计算出总磷的浓度,以列表显示;用户选择叶绿素a选项,则光谱库调用叶绿素a反演模型计算出叶绿素a的浓度,以列表显示;上述多得到的数据以excel格式输出;
水质评估的实现:用户输入未知的光谱数据,通过选择城市和采集时间选择反演模型的类型,通过光谱中反演最优模型的计算,得到化学需氧量浓度、悬浮物浓度、五日生化需氧量浓度、总氮浓度、总磷浓度和叶绿素a浓度共6个水质反演参数结果,将此结果与国家水环境质量标准表中的浓度范围进行对比,得到未知光谱数据所代表的是Ⅰ类水、Ⅱ类水、Ⅲ类水、Ⅳ类水或者是Ⅴ类水,从而达到水体水质评估的目的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013104253211A CN103473707A (zh) | 2013-09-17 | 2013-09-17 | 建立城市河网水体光谱库的方法与应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2013104253211A CN103473707A (zh) | 2013-09-17 | 2013-09-17 | 建立城市河网水体光谱库的方法与应用 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103473707A true CN103473707A (zh) | 2013-12-25 |
Family
ID=49798544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2013104253211A Pending CN103473707A (zh) | 2013-09-17 | 2013-09-17 | 建立城市河网水体光谱库的方法与应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103473707A (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106706535A (zh) * | 2017-01-06 | 2017-05-24 | 中国科学院上海技术物理研究所 | 一种基于光谱曲线相关系数鉴别特级初榨橄榄油的方法 |
CN106769903A (zh) * | 2017-01-12 | 2017-05-31 | 南京渔管家物联网科技有限公司 | 一种养殖水体藻类浓度检测方法 |
CN106918559A (zh) * | 2017-05-04 | 2017-07-04 | 环境保护部卫星环境应用中心 | 一种检测水体质量的方法及装置 |
CN108195775A (zh) * | 2017-12-25 | 2018-06-22 | 环境保护部卫星环境应用中心 | 基于遥感影像的湖库指示性水质监测站点确认方法和装置 |
CN108286962A (zh) * | 2018-01-31 | 2018-07-17 | 中国科学院遥感与数字地球研究所 | 一种水环境光谱库的建立方法及系统 |
CN108387698A (zh) * | 2018-01-16 | 2018-08-10 | 湖州华科信息咨询有限公司 | 一种用于安全监测游泳池水质的方法和装置 |
CN108780488A (zh) * | 2018-03-22 | 2018-11-09 | 深圳达闼科技控股有限公司 | 物质检测信息的上传及上传权限的确定方法、系统及装置 |
CN108876226A (zh) * | 2018-09-19 | 2018-11-23 | 朱明华 | 一种水质评估方法及装置 |
CN109033185A (zh) * | 2018-06-27 | 2018-12-18 | 山东省科学院自动化研究所 | 一种太赫兹光谱数据自动录入光谱数据库方法及系统 |
CN110487750A (zh) * | 2019-06-28 | 2019-11-22 | 山东开创云软件有限公司 | 一种河道的水污染检测方法和系统 |
CN110672805A (zh) * | 2019-10-08 | 2020-01-10 | 核工业北京地质研究院 | 一种基于航空高光谱数据的水库水质参数定量反演方法 |
CN111487224A (zh) * | 2020-06-12 | 2020-08-04 | 南京红松信息技术有限公司 | 一种基于光能量积分球的水质检测监测系统装置及方法 |
WO2020207070A1 (zh) * | 2019-04-09 | 2020-10-15 | 中国科学院深圳先进技术研究院 | 深圳海域水质评价方法及系统 |
CN112215525A (zh) * | 2020-11-04 | 2021-01-12 | 安徽农业大学 | 一种湖库水质反演及可视化评价方法 |
CN113109281A (zh) * | 2021-04-13 | 2021-07-13 | 中国科学院成都生物研究所 | 一种基于高光谱遥感的水质参数定量反演模型及其构建方法 |
CN113111819A (zh) * | 2021-04-21 | 2021-07-13 | 成都理工大学 | 一种融合遥感特征分析的建筑垃圾波谱特征库系统 |
CN113588583A (zh) * | 2021-07-28 | 2021-11-02 | 南京红松信息技术有限公司 | 基于全光谱的水质指标监测系统及水质监测的方法 |
CN114486774A (zh) * | 2021-12-31 | 2022-05-13 | 中科谱光(郑州)应用科学技术研究院有限公司 | 一种基于高光谱大数据的人工智能算法匹配方法 |
CN115561199A (zh) * | 2022-09-26 | 2023-01-03 | 重庆数字城市科技有限公司 | 一种基于卫星遥感影像的水华监测方法 |
CN116223756A (zh) * | 2023-03-27 | 2023-06-06 | 北京智科远达数据技术有限公司 | 一种水体氮含量预测模型的生成方法 |
CN116698794A (zh) * | 2023-06-07 | 2023-09-05 | 上海勘测设计研究院有限公司 | 一种利用多参数水质传感器检测水体透明度的装置及方法 |
CN118150503A (zh) * | 2024-05-08 | 2024-06-07 | 成都慧翠甄网络科技有限公司 | 一种采用高光谱分析的水质检测方法及系统 |
CN118332052A (zh) * | 2024-04-17 | 2024-07-12 | 自然资源部国土卫星遥感应用中心 | 一种匹配光谱库的多源数据移动采集与同步系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101101338A (zh) * | 2007-07-10 | 2008-01-09 | 廊坊开发区中油油田科技工贸有限责任公司 | 一种油气勘探方法及系统 |
CN101221125A (zh) * | 2008-01-24 | 2008-07-16 | 浙江大学 | 用光谱技术测定富营养化水体特征参量的方法 |
CN101477036A (zh) * | 2009-01-13 | 2009-07-08 | 中国科学院遥感应用研究所 | 基于分段协同模型的内陆水体叶绿素a浓度遥感监测方法 |
US20120096006A1 (en) * | 2010-10-15 | 2012-04-19 | Jeffrey Drue David | Building a library of spectra for optical monitoring |
-
2013
- 2013-09-17 CN CN2013104253211A patent/CN103473707A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101101338A (zh) * | 2007-07-10 | 2008-01-09 | 廊坊开发区中油油田科技工贸有限责任公司 | 一种油气勘探方法及系统 |
CN101221125A (zh) * | 2008-01-24 | 2008-07-16 | 浙江大学 | 用光谱技术测定富营养化水体特征参量的方法 |
CN101477036A (zh) * | 2009-01-13 | 2009-07-08 | 中国科学院遥感应用研究所 | 基于分段协同模型的内陆水体叶绿素a浓度遥感监测方法 |
US20120096006A1 (en) * | 2010-10-15 | 2012-04-19 | Jeffrey Drue David | Building a library of spectra for optical monitoring |
Non-Patent Citations (1)
Title |
---|
刘建东等: "建设内陆水体污染遥感监测信息数据库", 《环境科学研究》 * |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106706535A (zh) * | 2017-01-06 | 2017-05-24 | 中国科学院上海技术物理研究所 | 一种基于光谱曲线相关系数鉴别特级初榨橄榄油的方法 |
CN106769903B (zh) * | 2017-01-12 | 2020-05-19 | 南京渔管家物联网科技有限公司 | 一种养殖水体藻类浓度检测方法 |
CN106769903A (zh) * | 2017-01-12 | 2017-05-31 | 南京渔管家物联网科技有限公司 | 一种养殖水体藻类浓度检测方法 |
CN106918559A (zh) * | 2017-05-04 | 2017-07-04 | 环境保护部卫星环境应用中心 | 一种检测水体质量的方法及装置 |
CN106918559B (zh) * | 2017-05-04 | 2019-03-12 | 环境保护部卫星环境应用中心 | 一种检测水体质量的方法及装置 |
CN108195775A (zh) * | 2017-12-25 | 2018-06-22 | 环境保护部卫星环境应用中心 | 基于遥感影像的湖库指示性水质监测站点确认方法和装置 |
CN108387698A (zh) * | 2018-01-16 | 2018-08-10 | 湖州华科信息咨询有限公司 | 一种用于安全监测游泳池水质的方法和装置 |
CN108286962A (zh) * | 2018-01-31 | 2018-07-17 | 中国科学院遥感与数字地球研究所 | 一种水环境光谱库的建立方法及系统 |
CN108286962B (zh) * | 2018-01-31 | 2019-11-05 | 中国科学院遥感与数字地球研究所 | 一种水环境光谱库的建立方法及系统 |
CN108780488A (zh) * | 2018-03-22 | 2018-11-09 | 深圳达闼科技控股有限公司 | 物质检测信息的上传及上传权限的确定方法、系统及装置 |
CN108780488B (zh) * | 2018-03-22 | 2023-05-05 | 北京云端光科技术有限公司 | 物质检测信息的上传及上传权限的确定方法、系统及装置 |
CN109033185A (zh) * | 2018-06-27 | 2018-12-18 | 山东省科学院自动化研究所 | 一种太赫兹光谱数据自动录入光谱数据库方法及系统 |
CN108876226A (zh) * | 2018-09-19 | 2018-11-23 | 朱明华 | 一种水质评估方法及装置 |
WO2020207070A1 (zh) * | 2019-04-09 | 2020-10-15 | 中国科学院深圳先进技术研究院 | 深圳海域水质评价方法及系统 |
CN110487750A (zh) * | 2019-06-28 | 2019-11-22 | 山东开创云软件有限公司 | 一种河道的水污染检测方法和系统 |
CN110672805A (zh) * | 2019-10-08 | 2020-01-10 | 核工业北京地质研究院 | 一种基于航空高光谱数据的水库水质参数定量反演方法 |
CN111487224A (zh) * | 2020-06-12 | 2020-08-04 | 南京红松信息技术有限公司 | 一种基于光能量积分球的水质检测监测系统装置及方法 |
CN112215525A (zh) * | 2020-11-04 | 2021-01-12 | 安徽农业大学 | 一种湖库水质反演及可视化评价方法 |
CN112215525B (zh) * | 2020-11-04 | 2023-06-23 | 安徽农业大学 | 一种湖库水质反演及可视化评价方法 |
CN113109281A (zh) * | 2021-04-13 | 2021-07-13 | 中国科学院成都生物研究所 | 一种基于高光谱遥感的水质参数定量反演模型及其构建方法 |
CN113109281B (zh) * | 2021-04-13 | 2022-11-29 | 中国科学院成都生物研究所 | 一种基于高光谱遥感的水质参数定量反演模型及其构建方法 |
CN113111819A (zh) * | 2021-04-21 | 2021-07-13 | 成都理工大学 | 一种融合遥感特征分析的建筑垃圾波谱特征库系统 |
CN113588583A (zh) * | 2021-07-28 | 2021-11-02 | 南京红松信息技术有限公司 | 基于全光谱的水质指标监测系统及水质监测的方法 |
CN114486774A (zh) * | 2021-12-31 | 2022-05-13 | 中科谱光(郑州)应用科学技术研究院有限公司 | 一种基于高光谱大数据的人工智能算法匹配方法 |
CN115561199A (zh) * | 2022-09-26 | 2023-01-03 | 重庆数字城市科技有限公司 | 一种基于卫星遥感影像的水华监测方法 |
CN116223756A (zh) * | 2023-03-27 | 2023-06-06 | 北京智科远达数据技术有限公司 | 一种水体氮含量预测模型的生成方法 |
CN116223756B (zh) * | 2023-03-27 | 2023-09-08 | 北京智科远达数据技术有限公司 | 一种水体氮含量预测模型的生成方法 |
CN116698794A (zh) * | 2023-06-07 | 2023-09-05 | 上海勘测设计研究院有限公司 | 一种利用多参数水质传感器检测水体透明度的装置及方法 |
CN116698794B (zh) * | 2023-06-07 | 2024-04-16 | 上海勘测设计研究院有限公司 | 一种利用多参数水质传感器检测水体透明度的装置及方法 |
CN118332052A (zh) * | 2024-04-17 | 2024-07-12 | 自然资源部国土卫星遥感应用中心 | 一种匹配光谱库的多源数据移动采集与同步系统及方法 |
CN118150503A (zh) * | 2024-05-08 | 2024-06-07 | 成都慧翠甄网络科技有限公司 | 一种采用高光谱分析的水质检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103473707A (zh) | 建立城市河网水体光谱库的方法与应用 | |
Cai et al. | Investigating the relationship between local climate zone and land surface temperature using an improved WUDAPT methodology–A case study of Yangtze River Delta, China | |
AlAdemomi et al. | Assessing the relationship of LST, NDVI and EVI with land cover changes in the Lagos Lagoon environment | |
Li et al. | Impact of land cover and population density on land surface temperature: case study in Wuhan, China | |
Butt et al. | Assessment of urban sprawl of Islamabad metropolitan area using multi-sensor and multi-temporal satellite data | |
Lasserre et al. | Assessment of potential bioenergy from coppice forests trough the integration of remote sensing and field surveys | |
CN109871637B (zh) | 一种云天条件下近地面气温估算方法 | |
Khan et al. | Monitoring land use land cover changes and its impacts on land surface temperature over Mardan and Charsadda Districts, Khyber Pakhtunkhwa (KP), Pakistan | |
Sheng et al. | Impacts of land-cover types on an urban heat island in Hangzhou, China | |
CN113553907A (zh) | 一种基于遥感技术的森林生态环境状况评价方法 | |
Wang et al. | Long time series water extent analysis for SDG 6.6. 1 based on the GEE platform: A case study of Dongting Lake | |
Gangrade et al. | Sensitivity of probable maximum flood in a changing environment | |
Park et al. | Comparison of precipitation distributions in precipitation data sets representing 1km spatial resolution over South Korea produced by PRISM, IDW, and cokriging | |
Zhao et al. | Spatiotemporal variability in land surface temperature over the mountainous region affected by the 2008 Wenchuan earthquake from 2000 to 2017 | |
Li et al. | Flood risk assessment by using an interpretative structural modeling based Bayesian network approach (ISM-BN): an urban-level analysis of Shenzhen, China | |
CN108647401A (zh) | 一种基于空间遥感技术的流域氮磷污染评估方法 | |
Zhang et al. | Scaling of impervious surface area and vegetation as indicators to urban land surface temperature using satellite data | |
Sayl et al. | Towards the generation of a spatial hydrological soil group map based on the radial basis network model and spectral reflectance band recognition | |
Wang et al. | Upscaling in situ site-based albedo using machine learning models: Main controlling factors on results | |
Goodarzi et al. | Impacts of aspect on snow characteristics using remote sensing from 2000 to 2020 in Ajichai-Iran | |
Wu et al. | Satellite‐based assessment of local environment change by wind farms in china | |
Atak et al. | Alan kullanım/arazi örtüsü ve bitki örtüsündeki değişimin arazi yüzey sıcaklığına etkisinin değerlendirilmesi: Aydın ili örneği | |
Sahak et al. | Seasonal monitoring of urban heat island based on the relationship between land surface temperature and land use/cover: a case study of Kabul City, Afghanistan | |
Gupta et al. | Effects of rising urban temperatures on the wellbeing of the residents: A case study of Kolkata Metropolitan Region | |
Jin et al. | Spatial risk occurrence of extreme precipitation in China under historical and future scenarios |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20131225 |
|
RJ01 | Rejection of invention patent application after publication |