CN112766075B - 一种基于半监督学习策略的高光谱遥感黑臭水体分级方法 - Google Patents
一种基于半监督学习策略的高光谱遥感黑臭水体分级方法 Download PDFInfo
- Publication number
- CN112766075B CN112766075B CN202011637628.4A CN202011637628A CN112766075B CN 112766075 B CN112766075 B CN 112766075B CN 202011637628 A CN202011637628 A CN 202011637628A CN 112766075 B CN112766075 B CN 112766075B
- Authority
- CN
- China
- Prior art keywords
- water body
- black
- water quality
- odorous
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 245
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001228 spectrum Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000013145 classification model Methods 0.000 claims abstract description 16
- 239000010866 blackwater Substances 0.000 claims abstract description 14
- 239000006185 dispersion Substances 0.000 claims abstract description 10
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 claims description 25
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 25
- 239000001301 oxygen Substances 0.000 claims description 25
- 229910052760 oxygen Inorganic materials 0.000 claims description 25
- 230000033116 oxidation-reduction process Effects 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 23
- 238000002310 reflectometry Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 238000007637 random forest analysis Methods 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 9
- XLYOFNOQVPJJNP-ZSJDYOACSA-N Heavy water Chemical compound [2H]O[2H] XLYOFNOQVPJJNP-ZSJDYOACSA-N 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 230000005855 radiation Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013467 fragmentation Methods 0.000 claims description 6
- 238000006062 fragmentation reaction Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 210000000746 body region Anatomy 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 12
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000003911 water pollution Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- -1 redox potential Chemical compound 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Optimization (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Biology (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提出了一种基于半监督学习策略的高光谱遥感黑臭水体分级方法，通过获取CASI高光谱遥感影像、实测光谱数据及实测水质数据并进行预处理；并建立每个水质参数的反演模型；根据所述反演模型对所述CASI高光谱影像进行逐像元的四个水质参数的反演；针对水质反演结果，利用离差法对水质数据进行数据标准化；将标准化后的水质数据输入预先建立的贝叶斯黑水体分级模型得到黑臭水体分级结果。本发明从黑臭水体的监测指标参数为出发点，从根源上考虑了四个水质指标参数对黑臭水体的影响，同时结合机器学习算法，基于贝叶斯判别得到黑臭水体分级模型。本发明在获得黑臭水体分级同时，亦可获取四个水质参数反演结果。
Description
技术领域
本发明涉及水环境识别技术领域，尤其涉及一种基于半监督学习策略的高光谱遥感黑臭水体分级方法。
背景技术
近年来，随着经济和社会的发展，水污染问题日益严重，水质监测与管理任务显得尤为重要。黑臭水体污染是影响城市形象和居民生产活动的重要水环境问题。
传统的水质监测方法采用实地采样和实验室分析等手段，这种方法在精度上有一定的准确性，但是智能了解监测断面上的表面水质状况，只有局部和典型的代表意义，并不能反映整个水体生态环境的总体时空变化，缺少大覆盖范围的宏观监测能力，而且费时、费力、成本高。同时，传统方法无法实现实时监测。遥感利用遥感技术进行黑臭水体识别，能够克服传统地面监测手段的某些局限性，成本低，实现动态、快速、大范围的监测，还可以揭示污染水体的分布趋势，在水体监测中发挥着越来越重要的作用，具有重要的作用和研究价值。
目前，遥感技术在黑臭水体应用方面尚未成熟，相关的模型和方法均处于探索阶段。国外学者对黑臭水体的研究主要集中在不同黑臭水体形成机理及黑臭水体评价方法等方面，针对遥感影像的黑臭水体识别研究较少。国内学者对城市黑臭水体识别进行了一些研究，主要方法是对遥感影像中的黑臭水体光谱信息进行分析，对敏感波段利用差值、比值等方法建立识别指数，利用指数判别黑臭水体；也有学者采用色度法，对遥感影像进行图像变换后利用密度分割，以图像分类的方式识别黑臭水体。
以上方法以色度和光谱信息识别黑臭水体。然而，黑臭水体不仅仅表现为“黑”，还有“臭”，以黑色为指标提取黑臭水体，会造成“臭”而不“黑”的水体被漏提的结果。同时，导致黑臭的因素是不同的，有不同单一或多种因素混合形成，其光谱特征会表现出复杂性，利用光谱信息分析清洁水体与黑臭水体差异时，对局部小范围水体有效，但对其他与其黑臭形成原因不同的水体，识别效果会降低。
发明内容
本发明的目的在于提供一种基于半监督学习策略的高光谱遥感黑臭水体分级方法，利用实测光谱数据及实测水质数据与CASI高光谱遥感影像相结合，得到影像中水体黑臭等级，同时可附带反演出水体溶解氧浓度、氧化还原电位、氨氮浓度以及浊度。
本发明实施例提供了一种基于半监督学习策略的高光谱遥感黑臭水体分级方法，包括：
获取CASI高光谱遥感影像、实测光谱数据及实测水质数据并进行预处理；
以溶解氧、氧化还原电位、氨氮以及浊度为指标参数建立进行随机森林训练，得到每个水质参数的反演模型；
根据所述反演模型对所述CASI高光谱遥感影像进行逐像元的四个水质参数的反演；
针对水质反演结果，利用离差法对水质数据进行数据标准化；
将标准化后的水质数据输入预先建立的贝叶斯黑水体分级模型得到黑臭水体分级结果。
可选地，对所述CASI高光谱影像预处理包括：
对所述CASI高光谱影像进行辐射校正、几何校正及大气校正。
可选地，对所述CASI高光谱影像预处理还包括：水体区域提取及零碎像元修正；
其中，水体区域提取包括：
对所述CASI高光谱影像进行大气校正得到地表反射率；
根据大气校正后的地表反射率，对所述CASI高光谱影像中水体区域进行提取，获得水体区域的反射率，其余地区设为背景0值；
其中，零碎像元修正包括，对零碎像元的填充和去除。
可选地，水体区域提取方法包括：
利用归一化水体指数NDWI突出CASI高光谱影像中的水体信息，所述归一化植被指数表达为：
NDWI＝(Green-NIR)/(Green+NIR)
其中，Green代表绿光波段，NIR代表近红外波段，在CASI影像中，利用28波段和60波段分别代表绿光和近红外波段，选择阈值为-0.3，当NDWI大于-0.3时，则被判断为水体；
同时设置单波段阈值，控制人造地表和阴影带来的干扰，总体水体判别式表达为：
NDWI＞-0.3∩NIR＜0.08
可选地，对零碎像元的填充和去除具体包括：
像元填充，判断窗口内中心像元上下左右四方向的邻近像元中，如有大于等于3个水体像元，则将该中心像元填充为水体像元；
像元去除，判断窗口中除中心水体像元外的其他八像元中，如有大于等于7个非水体像元，则将该水体像元去除，改判为非水体像元。
可选地，所述利用离差法对水质参数进行数据标准化的表达式为：
其中，max和min分别为样本中的最大值和最小值，对地表实测点位所测得的四种水质数据，经过以上计算，将其标准化到[0,1]的区间内，得到每一参数的标准化公式。
可选地，预先建立的贝叶斯黑水体分级模型包括：
根据标准化后四个水质参数，基于贝叶斯判别分析，得到贝叶斯黑水体分级模型，其中，贝叶斯公式及判别条件表达式为：
如果
则x∈ωi
贝叶斯黑水体分级模型为：
其中，
mODO、ZODO、mORP、ZORP、mTUR和ZTUR分别为氨氮、光学溶解氧、氧化还原电位和浊度的Fisher线性判别函数系数及标准化后的输入变量，n为常数，分为三类：清洁水体、轻度黑臭和重度黑臭，三类水体的Fisher线性判别函数系数描述如下：
清洁水体：
mODO、mORP、mTUR和n分别为6.996、11.981、-3.248、4.258和-3.835；
轻度水体：
mODO、mORP、mTUR和n分别为4.913、11.944、0.802、18.143和-6.016；
重度水体：
mODO、mORP、mTUR和n分别为6.594、15.571、7.479、41.348和-17.854。
可选地，以溶解氧、氧化还原电位、氨氮以及浊度为指标参数建立进行随机森林训练，得到每个水质参数的反演模型包括：
(1)样本的扩充，对实测水质数据点对应CASI遥感影像像元，向周围扩种100-150个像元样本；
(2)鲁棒性验证，基于交叉验证的思想，以训练样本和测试样本4:1的比例随机分配，进行50次建模测试，验证精度稳定性；
(3)取袋外精度最高模型作为最终参数反演的模型。
可选地，所述实测光谱数据预处理包括：
根据包络线去除处理后的实测光谱数据，对波段组合输入项进行选择，具体包括：
通过对波峰波谷进行分析，得到反演各参数的敏感波段组合，组合方式选取归一化方法，所述如下：
Value＝(Band-Band')/(Band+Band')
其中，Band和Band’分别为特征明显的波段。
可选地，所述反演模型输入项为实测光谱的75个单波段及每个水质参数对应的最佳波段组合，得到溶解氧、氧化还原电位、氨氮和浊度的反演结果。
有益效果
本发明提出了一种基于半监督学习策略的高光谱遥感黑臭水体分级方法，通过获取CASI高光谱遥感影像、实测光谱数据及实测水质数据并进行预处理；以溶解氧、氧化还原电位、氨氮以及浊度为指标参数建立进行随机森林训练，得到每个水质参数的反演模型；根据所述反演模型对所述CASI高光谱影像进行逐像元的四个水质参数的反演；针对水质反演结果，利用离差法对水质数据进行数据标准化；将标准化后的水质数据输入预先建立的贝叶斯黑水体分级模型得到黑臭水体分级结果。本发明从黑臭水体的监测指标参数为出发点，从根源上考虑了四个水质指标参数对黑臭水体的影响，同时结合机器学习算法，基于贝叶斯判别得到黑臭水体分级模型。本发明在获得黑臭水体分级同时，亦可获取四个水质参数反演结果。
附图说明
图1为本发明实施例一种基于半监督学习策略的高光谱遥感黑臭水体分级方法的流程图；
图2为本发明实施例一种基于半监督学习策略的高光谱遥感黑臭水体分级方法得到的黑臭水体分级示例图；
图3为本发明实施例一种基于半监督学习策略的高光谱遥感黑臭水体分级方法四个水质参数反演结果图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于半监督学习策略的高光谱遥感黑臭水体分级方法，包括：
S20、获取CASI高光谱遥感影像、实测光谱数据及实测水质数据并进行预处理；
S40、以溶解氧、氧化还原电位、氨氮以及浊度为指标参数建立进行随机森林训练，得到每个水质参数的反演模型；
S60、根据所述反演模型对所述CASI高光谱遥感影像进行逐像元的四个水质参数的反演；
S80、针对水质反演结果，利用离差法对水质数据进行数据标准化；
S100、将标准化后的水质数据输入预先建立的贝叶斯黑水体分级模型得到黑臭水体分级结果。
本发明实施例提出了一种基于半监督学习策略的高光谱遥感黑臭水体分级方法，通过获取CASI高光谱遥感影像、实测光谱数据及实测水质数据并进行预处理；以溶解氧、氧化还原电位、氨氮以及浊度为指标参数建立进行随机森林训练，得到每个水质参数的反演模型；根据所述反演模型对所述CASI高光谱遥感影像进行逐像元的四个水质参数的反演；针对水质反演结果，利用离差法对水质数据进行数据标准化；将标准化后的水质数据输入预先建立的贝叶斯黑水体分级模型得到黑臭水体分级结果。本发明从黑臭水体的监测指标参数为出发点，从根源上考虑了四个水质指标参数对黑臭水体的影响，同时结合机器学习算法，得到黑臭水体分级模型。本发明在获得黑臭水体分级同时，亦可获取四个水质参数反演结果。
具体地，步骤S20中对所述CASI高光谱影像预处理包括：
对所述CASI高光谱影像进行辐射校正、几何校正及大气校正。为了消除或修正因辐射误差引起的图像畸变，对影像进行辐射校正；为附加几何投影坐标信息，对影像进行了几何校正；为去除大气影响，获得地表真实的反射率，对影像进行大气校正。
具体地，步骤S20中对所述CASI高光谱影像预处理还包括：水体区域提取及零碎像元修正；
本发明使用归一化水体指数NDWI(Normalized Difference Water Index)，该指数是基于绿波段和近红外波段的归一化比值指数。水体的反射从可见光到中红外波段逐渐减弱，在近红外和中红外波长范围内吸收性最强，几乎无反射，因此利用可见光波段和近红外波段的反差构成的NDWI可以突出影像中的水体信息。该指数能够很好地抑制植被信息，达到凸显水体信息的目的。然而，人造地表在某些情况下，与水体在绿光和近红外的趋势相似，单凭NDWI无法完全将其去除，同时，地表一些建筑物或植被的阴影，具有整体较低的反射率，但无论人造地表、裸地还是植被上方的阴影，在近红外反射率也会稍高于水体，因此，本发明利用水体总体偏低的反射率属性，同时设置了单波段阈值，控制人造地表和阴影带来的干扰。
具体地，所述实测光谱数据预处理包括：
根据包络线去除处理后的实测光谱数据，对波段组合输入项进行选择，具体包括：
通过对波峰波谷进行分析，得到反演各参数的敏感波段组合，组合方式选取归一化方法，所述如下：
Value＝(Band-Band')/(Band+Band')
其中，Band和Band’分别为特征明显的波段。
具体地，水体区域提取包括：
对所述CASI高光谱影像进行大气校正得到地表反射率；
根据大气校正后的地表反射率，对所述CASI高光谱影像中水体区域进行提取，获得水体区域的反射率，其余地区设为背景0值；
其中，零碎像元修正包括，对零碎像元的填充和去除。
具体地，水体区域提取方法包括：
利用归一化水体指数NDWI突出CASI高光谱影像中的水体信息，所述归一化植被指数表达为：
NDWI＝(Green-NIR)/(Green+NIR)
其中，Green代表绿光波段，NIR代表近红外波段，在CASI影像中，利用28波段和60波段分别代表绿光和近红外波段，选择阈值为-0.3，当NDWI大于-0.3时，则被判断为水体；
同时设置单波段阈值，控制人造地表和阴影带来的干扰，总体水体判别式表达为：
NDWI＞-0.3∩NIR＜0.08
在遥感影像中，难免会出现噪声等现象，使得本身较为均一的水体像元里，出现异常的像元，造成水体的漏提；或者在水体与其他地物交界边缘，由于反射率的变化，出现水体像元零碎的现象。同时，一些边界等细长状低反射率区域也有可能被误提为水体。因此，本发明在提取水体后，加入零碎像元修正环节。该环节是逐项元以3×3像元大小的窗口，根据窗口内像元是否为水体像元的分布情况，对零碎的像元进行填充或去除。对于像元填充，判断窗口内中心像元上下左右四方向的邻近像元中，如有大于等于3个水体像元，则将该中心像元填充为水体像元；对于像元去除，判断窗口中除中心水体像元外的其他八像元中，如有大于等于7个非水体像元，则将该水体像元去除，改判为非水体像元；为修正噪声点或边界带来的影响，对提取出的非水体零碎像元进行去除，则加入零碎像元修正环节，环节包括对零碎像元的填充和去除；
具体地，对零碎像元的填充和去除具体包括：
像元填充，判断窗口内中心像元上下左右四方向的邻近像元中，如有大于等于3个水体像元，则将该中心像元填充为水体像元；
像元去除，判断窗口中除中心水体像元外的其他八像元中，如有大于等于7个非水体像元，则将该水体像元去除，改判为非水体像元。
住房城乡建设部会同环境保护部、水利部、农业部组织制定的《城市黑臭水体整治工作指南》(以下简称为《指南》)，《指南》中制定了分级标准和测定方法，根据标准，黑臭水体分级评价指标包括透明度、溶解氧、氧化还原电位以及氨氮。因此，本发明拟定以上参数为黑臭水体模型的建模参数，其中，本发明以浊度代替透明度参数。水体悬浮物是悬浮在水中的固体微粒，也是重要的水质参数之一。而它对光线透过时发生的阻碍程度，成为浊度，浊度也是表征水中悬浮物多少的一个重要指标，研究表明，浊度与悬浮颗粒物浓度之前有较好的相关性，一般来说，当浊度到达一定程度时，浊度越高，引起透明度也会越低，二者存在一定的正相关，黑臭水体的浊度会明显高于非黑臭水体。综上，本发明最终利用溶解氧、氧化还原电位、氨氮以及浊度作为黑臭水体建模的参数。具体地，步骤S100中预先建立的贝叶斯黑水体分级模型包括：
根据实测的四个水质参数数据标准化后，基于贝叶斯判别分析，得到贝叶斯黑水体分级模型，其中，贝叶斯公式及判别条件表达式为：
如果
则x∈ωi
贝叶斯黑水体分级模型为：
其中，
mODO、ZODO、mORP、ZORP、mTUR和ZTUR分别为氨氮、光学溶解氧、氧化还原电位和浊度的Fisher线性判别函数系数及标准化后的输入变量，n为常数，分为三类：清洁水体、轻度黑臭和重度黑臭，三类水体的Fisher线性判别函数系数描述如下：
清洁水体：
mODO、mORP、mTUR和n分别为6.996、11.981、-3.248、4.258和-3.835；
轻度水体：
mODO、mORP、mTUR和n分别为4.913、11.944、0.802、18.143和-6.016；
重度水体：
mODO、mORP、mTUR和n分别为6.594、15.571、7.479、41.348和-17.854。
具体地，步骤S40中以溶解氧、氧化还原电位、氨氮以及浊度为指标参数建立进行随机森林训练，得到每个水质参数的反演模型包括：
(1)样本的扩充。对实测水质数据点对应CASI遥感影像像元，向周围扩种100-150个像元样本。
(2)鲁棒性验证。基于交叉验证的思想，以训练样本和测试样本4:1的比例随机分配，进行50次建模测试，验证精度稳定性。
(3)取袋外精度最高模型作为最终参数反演的模型。
根据《指南》中黑臭水体的分级评判标准，其中，透明度以浊度代替，本发明采用一种“最高分级法”，即同时分别以溶解氧、氧化还原电位、氨氮和浊度对实测点位水体进行黑臭等级评价，取四个分级中的最高分级作为该点的黑臭等级。分级设置有：清洁水体、轻度黑臭和重度黑臭。在对所有实测点的溶解氧、氧化还原电位、氨氮和浊度数据进行“离差法”标准化后，加以先前黑臭分级结果，对其利用贝叶斯判别分析进行分类建模。具体地，步骤S80中所述利用离差法对水质参数进行数据标准化的表达式为：
其中，max和min分别为样本中的最大值和最小值，对地表实测点位所测得的四种水质数据，经过以上计算，将其标准化到[0,1]的区间内，得到每一参数的标准化公式。
具体地，步骤S60中所述反演模型输入项为实测光谱的75个单波段及每个水质参数对应的最佳波段组合，得到溶解氧、氧化还原电位、氨氮和浊度的反演结果。
黑臭水体模型中涉及的四个水质参数：溶解氧、氧化还原电位、氨氮和浊度，需要在遥感影像中反演出来，用于最终黑臭水体的分级评价。
参与反演的波段除了传感器本身具有的所有波段外，本发明还对波段组合特征进行提取：选取每种水质最高和最低的十条实测点反射率波谱曲线，进行包络线去除处理，它可以有效地突出光谱曲线的吸收和反射特征，并且将其归一到一致的光谱背景上，有利于和其他光谱曲线进行特征数值的比较，通过比较波峰波谷的波谱特征，进行特征提取。经上述步骤，最终得到每种水质参数反演的最佳波段组合，并且采用归一化指数的方式进行组合。
在本发明中，根据CASI波段数目及中心波长，对实测数据光谱进行统一匹配，具体包括：CASI传感器每一波段波长有约±3.6nm的波动空间，鉴于最终监测所需数据为CASI遥感影像，且实测光谱更为波谱信息更为细致易于选取，因此将选取实测光谱中和CASI每一波长对应的波长差值最小的波段。同时，为了保证光谱范围统一，选取CASI 1-96波段中的1-75波段，进而与实测光谱范围保持一致，该方法的输入项为传感器所有单波段及每种水质参数对应的选取波段组合。利用随机森林最终可得到每一个水质参数的反演模型，可用于遥感影像的溶解氧、氧化还原电位、氨氮和浊度反演。
下述为本发明应用于飞机搭载的CASI高光谱影像的实施例，区域为白洋淀地区。
应用过程如下：
1.CASI高光谱遥感数据预处理。为了消除或修正因辐射误差引起的图像畸变，对影像进行辐射校正；为附加几何投影坐标信息，对影像进行了几何校正；为去除大气影响，获得地表真实的反射率，对影像进行大气校正。
2.实测光谱数据预处理。对光谱仪测得数据进行反射率计算，并对数据进行平滑处理，以去除光谱仪响应存在的差异和噪声。由于处理后实测光谱的波长范围、波谱间隔以及波段数与机载CASI高光谱遥感影像均不同，因此，需要对实测光谱中与高光谱影像波段设置最为接近的波段相匹配，选取它们用于后续反演。
3.水质仪实测数据处理。对水质仪测得的溶解氧、氧化还原电位、氨氮和浊度数据进行“离差法”标准化，并根据《指南》中的黑臭等级评价体系，利用“最高分级法”，对每一实测水质点的黑臭等级进行划分，其中，透明度以浊度代替。即同时分别以溶解氧、氧化还原电位、氨氮和浊度对实测点位水体进行黑臭等级评价，取四个分级中的最高分级作为该点的黑臭等级。分级设置有：清洁水体、轻度黑臭和重度黑臭。
4.波段组合选择。对实测光谱数据进行包络线去除处理后，分别选取每种水质最高和最低的10条曲线进行对比分析，选取差异最大的波段特征组合，利用归一化指数的方式相结合，作为水质反演的输入项。
5.水质参数反演。反演模型，输入项为CASI传感器的75个单波段及每个水质参数对应的最佳波段组合，得到溶解氧、氧化还原电位、氨氮和浊度的反演结果。
6.黑臭水体分级。将得到的水质参数代入建立的贝叶斯黑水体分级模型。分别计算三类水体(清洁水体、轻度黑臭和重度黑臭)的值，最高值对应的分类即为最终水体分类。
效果图如图2所示。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种基于半监督学习策略的高光谱遥感黑臭水体分级方法，其特征在于，包括：
获取CASI高光谱遥感影像、实测光谱数据及实测水质数据并进行预处理；
以溶解氧、氧化还原电位、氨氮以及浊度为指标参数建立进行随机森林训练，得到每个水质参数的反演模型；
根据所述反演模型对所述CASI高光谱遥感影像进行逐像元的四个水质参数的反演；
针对水质反演结果，利用离差法对水质数据进行数据标准化；
将标准化后的水质数据输入预先建立的贝叶斯黑水体分级模型得到黑臭水体分级结果；
其中，贝叶斯黑水体分级模型为：
其中，
mODO、mORP和mTUR分别为氨氮、光学溶解氧、氧化还原电位和浊度的Fisher线性判别函数系数；
ZODO、ZORP和ZTUR分别为氨氮、光学溶解氧、氧化还原电位和浊度的标准化后输入变量；
yk表示对第k类进行Fisher线性判别计算后的结果，k＝1，2，3，其中1代表清洁水体、2代表轻度水体、3代表重度水体；n为常数，清洁水体、轻度黑臭和重度黑臭，三类水体的Fisher线性判别函数系数描述如下：
清洁水体：
mODO、mORP、mTUR和n分别为6.996、11.981、-3.248、4.258和-3.835；
轻度水体：
mODO、mORP、mTUR和n分别为4.913、11.944、0.802、18.143和-6.016；
重度水体：
mODO、mORP、mTUR和n分别为6.594、15.571、7.479、41.348和-17.854。
2.根据权利要求1所述的黑臭水体分级方法，其特征在于，对所述CASI高光谱影像预处理包括：
对所述CASI高光谱影像进行辐射校正、几何校正及大气校正。
3.根据权利要求2所述的黑臭水体分级方法，其特征在于，对所述CASI高光谱影像预处理还包括：水体区域提取及零碎像元修正；
其中，水体区域提取包括：
对所述CASI高光谱影像进行大气校正得到地表反射率；
根据大气校正后的地表反射率，对所述CASI高光谱影像中水体区域进行提取，获得水体区域的反射率，其余地区设为背景0值；
其中，零碎像元修正包括，对零碎像元的填充和去除。
4.根据权利要求3所述的黑臭水体分级方法，其特征在于，水体区域提取方法包括：
利用归一化水体指数NDWI突出CASI高光谱影像中的水体信息；同时设置单波段阈值，控制人造地表和阴影带来的干扰。
5.根据权利要求3所述的黑臭水体分级方法，其特征在于，对零碎像元的填充和去除具体包括：
像元填充，判断窗口内中心像元上下左右四方向的邻近像元中，如有大于等于3个水体像元，则将该中心像元填充为水体像元；
像元去除，判断窗口中除中心水体像元外的其他八像元中，如有大于等于7个非水体像元，则将中心水体像元去除，改判为非水体像元。
6.根据权利要求4所述的黑臭水体分级方法，其特征在于，所述利用离差法对水质参数进行数据标准化的表达式为：
其中，max和min分别为样本中的最大值和最小值，对地表实测点位所测得的四种水质数据，经过以上计算，将其标准化到[0,1]的区间内，得到每一参数的标准化公式。
7.根据权利要求4所述的黑臭水体分级方法，其特征在于，以溶解氧、氧化还原电位、氨氮以及浊度为指标参数建立进行随机森林训练，得到每个水质参数的反演模型包括：
(1)样本的扩充，对实测水质数据点对应CASI遥感影像像元，向周围扩种100-150个像元样本；
(2)鲁棒性验证，基于交叉验证的思想，以训练样本和测试样本4:1的比例随机分配，进行50次建模测试，验证精度稳定性；
(3)取袋外精度最高模型作为最终参数反演的模型。
8.根据权利要求4所述的黑臭水体分级方法，其特征在于，所述实测光谱数据预处理包括：
根据包络线去除处理后的实测光谱数据，对波段组合输入项进行选择，具体包括：
通过对波峰波谷进行分析，得到反演各参数的敏感波段组合，组合方式选取归一化方法。
9.根据权利要求7所述的黑臭水体分级方法，其特征在于，所述反演模型输入项为实测光谱的75个单波段及每个水质参数对应的最佳波段组合，得到溶解氧、氧化还原电位、氨氮和浊度的反演结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011637628.4A CN112766075B (zh) | 2020-12-31 | 2020-12-31 | 一种基于半监督学习策略的高光谱遥感黑臭水体分级方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011637628.4A CN112766075B (zh) | 2020-12-31 | 2020-12-31 | 一种基于半监督学习策略的高光谱遥感黑臭水体分级方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766075A CN112766075A (zh) | 2021-05-07 |
| CN112766075B true CN112766075B (zh) | 2021-12-28 |
Family
ID=75698158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011637628.4A Active CN112766075B (zh) | 2020-12-31 | 2020-12-31 | 一种基于半监督学习策略的高光谱遥感黑臭水体分级方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766075B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113433075B (zh) * | 2021-05-08 | 2022-06-14 | 中科海慧（天津）科技有限公司 | 一种简单的黑臭水体遥感快速监测方法 |
| CN113780071B (zh) * | 2021-07-30 | 2024-01-30 | 中南安全环境技术研究院股份有限公司 | 一种黑臭水体遥感识别系统及方法 |
| CN113792689B (zh) * | 2021-09-18 | 2022-09-09 | 安徽师范大学 | 一种基于深度学习的城市黑臭水体遥感识别方法 |
| CN114298562B (zh) * | 2021-12-29 | 2023-07-11 | 神彩科技股份有限公司 | 水环境监测预警方法、装置、计算机设备、存储介质 |
| CN114357891A (zh) * | 2022-01-11 | 2022-04-15 | 中国冶金地质总局矿产资源研究院 | 一种土壤镉元素含量的高光谱遥感定量反演方法 |
| CN114663783B (zh) * | 2022-05-23 | 2022-09-30 | 自然资源部第二海洋研究所 | 一种基于机器学习的入海河流水体污染遥感识别方法 |
| CN115824972B (zh) * | 2022-11-29 | 2023-07-25 | 中国科学院空天信息创新研究院 | 一种内陆水体半解析透明度反演方法和系统 |
| CN116702065B (zh) * | 2023-05-30 | 2024-04-16 | 浙江时空智子大数据有限公司 | 基于影像数据黑臭水体生态治理污染监测方法及系统 |
| CN116952873B (zh) * | 2023-07-26 | 2024-08-23 | 重庆市科学技术研究院 | 一种基于高光谱技术的水体黑臭程度测算方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103500344A (zh) * | 2013-09-02 | 2014-01-08 | 中国测绘科学研究院 | 一种遥感影像信息提取与解译方法及其模块 |
| CN103954567A (zh) * | 2014-04-15 | 2014-07-30 | 塔里木大学 | 基于连续统去除法的土壤盐分测定方法 |
| CN106779478A (zh) * | 2017-01-11 | 2017-05-31 | 东南大学 | 一种负荷调度价值评估方法 |
| CN107730527A (zh) * | 2017-10-16 | 2018-02-23 | 中国科学院遥感与数字地球研究所 | 一种基于遥感卫星影像的高原地区冰湖提取方法 |
| CN107844683A (zh) * | 2017-10-17 | 2018-03-27 | 华东医药（杭州）基因科技有限公司 | 一种数字pcr液滴浓度的计算方法 |
| CN107862174A (zh) * | 2017-11-21 | 2018-03-30 | 广东电网有限责任公司电网规划研究中心 | 一种基于改进熵权法的电力行业碳排放权分配方法 |
| CN108254518A (zh) * | 2017-12-30 | 2018-07-06 | 聚光科技(杭州)股份有限公司 | 密集分布式水质监测系统及方法 |
| CN109142296A (zh) * | 2018-08-16 | 2019-01-04 | 中国科学院合肥物质科学研究院 | 基于多源光谱特征的城市水体黑臭快速识别测定方法 |
| CN109269988A (zh) * | 2018-10-15 | 2019-01-25 | 广州地理研究所 | 一种氨氮的识别方法、装置、存储介质及设备 |
| CN110849821A (zh) * | 2019-11-12 | 2020-02-28 | 北华航天工业学院 | 基于贝叶斯定理的黑臭水体遥感识别方法 |
| CN110964713A (zh) * | 2019-12-20 | 2020-04-07 | 武汉理工大学 | 用于黑臭水体去除氨氮的固定化微生物颗粒的制备方法 |
| CN109374537B (zh) * | 2018-09-30 | 2020-06-05 | 中国科学院遥感与数字地球研究所 | 城市黑臭水体识别方法及装置 |
| CN112051222A (zh) * | 2020-08-30 | 2020-12-08 | 山东锋士信息技术有限公司 | 一种基于高分卫星影像的河湖水质监测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440489B (zh) * | 2013-09-16 | 2017-01-11 | 南京大学 | 基于像素级sar影像时间序列相似性分析的水体提取方法 |
| CN110082840A (zh) * | 2019-06-05 | 2019-08-02 | 中国地质大学（北京） | 基于Fisher判别分析的泥页岩岩相划分方法 |
| CN110987955B (zh) * | 2019-12-05 | 2022-09-20 | 南京师范大学 | 一种基于决策树的城市黑臭水体分级方法 |
| CN111339909B (zh) * | 2020-02-24 | 2023-05-05 | 南京大学 | 一种基于多尺度区域生长的地表线状水体的提取算法 |
-
2020
- 2020-12-31 CN CN202011637628.4A patent/CN112766075B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103500344A (zh) * | 2013-09-02 | 2014-01-08 | 中国测绘科学研究院 | 一种遥感影像信息提取与解译方法及其模块 |
| CN103954567A (zh) * | 2014-04-15 | 2014-07-30 | 塔里木大学 | 基于连续统去除法的土壤盐分测定方法 |
| CN106779478A (zh) * | 2017-01-11 | 2017-05-31 | 东南大学 | 一种负荷调度价值评估方法 |
| CN107730527A (zh) * | 2017-10-16 | 2018-02-23 | 中国科学院遥感与数字地球研究所 | 一种基于遥感卫星影像的高原地区冰湖提取方法 |
| CN107844683A (zh) * | 2017-10-17 | 2018-03-27 | 华东医药（杭州）基因科技有限公司 | 一种数字pcr液滴浓度的计算方法 |
| CN107862174A (zh) * | 2017-11-21 | 2018-03-30 | 广东电网有限责任公司电网规划研究中心 | 一种基于改进熵权法的电力行业碳排放权分配方法 |
| CN108254518A (zh) * | 2017-12-30 | 2018-07-06 | 聚光科技(杭州)股份有限公司 | 密集分布式水质监测系统及方法 |
| CN109142296A (zh) * | 2018-08-16 | 2019-01-04 | 中国科学院合肥物质科学研究院 | 基于多源光谱特征的城市水体黑臭快速识别测定方法 |
| CN109374537B (zh) * | 2018-09-30 | 2020-06-05 | 中国科学院遥感与数字地球研究所 | 城市黑臭水体识别方法及装置 |
| CN109269988A (zh) * | 2018-10-15 | 2019-01-25 | 广州地理研究所 | 一种氨氮的识别方法、装置、存储介质及设备 |
| CN110849821A (zh) * | 2019-11-12 | 2020-02-28 | 北华航天工业学院 | 基于贝叶斯定理的黑臭水体遥感识别方法 |
| CN110964713A (zh) * | 2019-12-20 | 2020-04-07 | 武汉理工大学 | 用于黑臭水体去除氨氮的固定化微生物颗粒的制备方法 |
| CN112051222A (zh) * | 2020-08-30 | 2020-12-08 | 山东锋士信息技术有限公司 | 一种基于高分卫星影像的河湖水质监测方法 |
Non-Patent Citations (2)
| Title |
|---|
| EXTRACTION OF BLACK AND ODOROUS WATER BASED ON AERIAL HYPERSPECTRAL CASI IMAGE;Zhaoqiang Huang等;《IGARSS 2019 - 2019 IEEE International Geoscience and Remote Sensing Symposium》;20191214;第6907-6910页 * |
| 基于遥感的黑臭水体识别方法研究及应用;纪纲;《中国优秀硕士学位论文全文数据库 工程科技I辑》;20180215;第2018年卷(第2期);第1.3、2.2、2.3、2.5、3.2、3.3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112766075A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766075B (zh) | 一种基于半监督学习策略的高光谱遥感黑臭水体分级方法 | |
| CN110765941B (zh) | 一种基于高分遥感影像的海水污染区域识别方法和设备 | |
| Trier et al. | Tree species classification in Norway from airborne hyperspectral and airborne laser scanning data | |
| Bontemps et al. | An object-based change detection method accounting for temporal dependences in time series with medium to coarse spatial resolution | |
| WO2022252242A1 (zh) | 一种基于多光谱图像的水污染区域识别方法和系统 | |
| CN113505865B (zh) | 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 | |
| CN114279982B (zh) | 水体污染信息获取方法及装置 | |
| CN107590816B (zh) | 一种基于遥感图像的水体信息拟合方法 | |
| Yan et al. | Nondestructive phenolic compounds measurement and origin discrimination of peated barley malt using near-infrared hyperspectral imagery and machine learning | |
| CN103226832A (zh) | 基于光谱反射率变化分析的多光谱遥感影像变化检测方法 | |
| CN116580308B (zh) | 一种土壤修复的监测方法及监测装置 | |
| Stankov et al. | Building detection in very high spatial resolution multispectral images using the hit-or-miss transform | |
| CN113887493B (zh) | 一种基于id3算法的黑臭水体遥感影像识别方法 | |
| CN117115077B (zh) | 一种湖泊蓝藻水华检测方法 | |
| CN115761038A (zh) | 一种基于图像光谱技术的隧道掌子面地质素描方法及系统 | |
| CN116559111A (zh) | 一种基于高光谱成像技术的高粱品种识别方法 | |
| CN111882573A (zh) | 一种基于高分辨率影像数据的耕地地块提取方法及系统 | |
| CN113570538A (zh) | 一种叶片rgb图像偏态分布参数信息采集及分析方法 | |
| CN105445222A (zh) | 一种利用近红外高光谱图像识别涂料的方法 | |
| CN114049571A (zh) | 高光谱影像的水体区域提取方法、装置及电子设备 | |
| CN113903407A (zh) | 成分识别方法、装置、电子设备和存储介质 | |
| CN112651428A (zh) | 一种用于远程拉曼矿物识别的深度学习模型多分类方法 | |
| CN117491293A (zh) | 一种基于高光谱的高陡岸坡碳酸盐岩体溶蚀快速评估方法 | |
| CN117726978A (zh) | 基于化工区域排放废水的水体检测方法及装置 | |
| CN117455828A (zh) | 一种基于mlp神经网络的燃烧质量检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |