CN116563092A - 基于机器学习算法的海洋环境要素降尺度方法及装置 - Google Patents

基于机器学习算法的海洋环境要素降尺度方法及装置 Download PDF

Info

Publication number
CN116563092A
CN116563092A CN202310376696.7A CN202310376696A CN116563092A CN 116563092 A CN116563092 A CN 116563092A CN 202310376696 A CN202310376696 A CN 202310376696A CN 116563092 A CN116563092 A CN 116563092A
Authority
CN
China
Prior art keywords
resolution
data
image data
machine learning
marine environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310376696.7A
Other languages
English (en)
Inventor
范冬林
熊远康
何宏昌
康传利
付波霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Technology
Original Assignee
Guilin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Technology filed Critical Guilin University of Technology
Priority to CN202310376696.7A priority Critical patent/CN116563092A/zh
Publication of CN116563092A publication Critical patent/CN116563092A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T3/06
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明提出了基于机器学习算法的海洋环境要素降尺度方法及装置,涉及海洋环境要素浓度获取领域;该方法包括:获取第一分辨率下遥感影像数据中的水体反射率,将所述水体反射率输入至预先训练好的机器学习模型中,得到所述水体反射率对应的预测海洋环境要素浓度;根据所述第一分辨率对预设的第二分辨率下的矫正残差进行降尺度处理,得到第一分辨率下的目标残差,所述第一分辨率大于所述第二分辨率;根据所述目标残差对所述预测海洋环境要素浓度进行矫正,得到矫正海洋环境要素浓度;通过机器学习模型以达到不依赖于原位实测数据的采集的目的,为原位实测数据有限的区域提供一种新的获取高空间分辨率的海洋环境数据的思路和方法。

Description

基于机器学习算法的海洋环境要素降尺度方法及装置
技术领域
本发明涉及海洋环境要素浓度获取领域,具体而言,涉及基于机器学习算法的海洋环境要素降尺度方法及装置。
背景技术
海洋环境要素(温度、盐度、叶绿素浓度等)是海洋环境系统的基本环节。以叶绿素a为例,叶绿素a是监测沿海水质环境的重要指标,它表明了浮游植物的生物量,反映了海洋的初级生产力。传统的叶绿素a浓度通过直接测量水质获取,例如,分光光度法、高效液相色谱法和荧光分析法等。由于这类方法是基于实地实测数据(水质)的收集,因此往往在空间或时间上受到限制,不能实时准确的反应沿海的叶绿素a的时空分布特征。
在过去20年里,遥感逐渐成为浮游植物生物量近实时测量的新技术手段。海洋宽视场传感器SeaWiFS、中分辨率成像光谱仪MERIS和MODIS、可见光红外成像辐射仪VIIRS、海陆颜色仪OLCI等搭载在不同卫星上的传感器相继投入海洋水色监测中。叶绿素a浓度可以通过卫星传感器测量的遥感反射率间接估算出来,用作全球和区域范围内浮游植物丰度的指标。陆地卫星Landsat8因其具有较高的空间分辨率(30m),良好的辐射测量和几何性能,在海洋水域得到了广泛应用。新型地球静止气象卫星机载H8上的高级成像仪(AHI)具有16个光谱通道,其中6个在可见光至短波红外波段范围内,相比于Landsat8具备更高精度的时间分辨率。AHI具有2种观测尺度,全盘观测和区域观测,提供了10min的时间分辨率观测,可以对海洋进行高频的定量观测。但其空间分辨率较差,其较粗的空间分辨率虽然可以有效地用于公海的同质区域,但无法解决在空间分布上的不均匀的近岸海域水质监测问题。
发明内容
本发明的目的在于提供基于机器学习算法的海洋环境要素降尺度方法及装置,通过利用降尺度的方式,结合高空间分辨率的遥感影像数据对海洋环境产品数据进行降尺度,获得更高分辨率的海洋环境数据,进而便于分析近岸海域的时空变化趋势,实现对近岸海域的复杂水体的水质监测。
本发明的实施例是这样实现的:
第一方面,本申请实施例提供了基于机器学习算法的海洋环境要素降尺度方法,包括以下步骤:
获取第一分辨率下遥感影像数据中的水体反射率,将水体反射率输入至预先训练好的机器学习模型中,得到水体反射率对应的预测海洋环境要素浓度;
根据第一分辨率对预设的第二分辨率下的矫正残差进行降尺度处理,得到第一分辨率下的目标残差,第一分辨率大于第二分辨率;
根据目标残差对预测海洋环境要素浓度进行矫正,得到矫正海洋环境要素浓度。
本发明的有益效果是:通过构建的机器学习模型,向机器学习模型中输入第一分辨率下遥感影像数据中的水体反射率,获得第一分辨率下对应的预测海洋环境要素浓度,再通过对第二分辨率下的矫正残差进行降尺度处理从而获得在第一分辨率下的目标残差,以获得与遥感影像数据对应的预测海洋环境要素浓度,本申请方案,在确定矫正海洋环境要素浓度的过程中,依赖的是第一分辨率下遥感影像数据,而不是原位实测数据,这样为原位实测数据有限的区域提供一种新的获取高空间分辨率的海洋环境数据的思路和方法。
在上述技术方案的基础上,本发明还可以做如下改进。
进一步,上述机器学习模型通过以下步骤建立:
获取同一区域对应的第一分辨率下的遥感影像数据和第二分辨率下的海洋环境数据,遥感影像数据包括同一区域内对应的各个波段数据,海洋环境数据包括各个波段数据在同一区域内对应的各海洋环境要素中每种要素的浓度值;
根据遥感影像数据,确定遥感影像数据中对应的波段数据,根据海洋环境数据,确定海洋环境数据中各个波段数据对应的每种要素的浓度值;
根据遥感影像数据中的波段数据,确定遥感影像数据中水体的第一水体反射率,第一水体反射率表征了同一区域内所有水体的波段数据的光谱信息;
根据第二分辨率,将第一分辨率下的遥感影像数据转换为第二分辨率下的遥感影像数据,将第二分辨率下的遥感影像数据作为目标影像数据,并基于第一水体反射率,获得目标影像数据中水体的第二水体反射率;
对目标影像数据和海洋环境数据进行时间上和空间上的匹配,得到匹配后的目标影像数据和匹配后的海洋环境数据,匹配后的目标影像数据和匹配后的海洋环境数据分别为同一时间和同一区域获取的目标影像数据和海洋环境数据,匹配后的目标影像数据中包括多个影像参照数据,匹配后的海洋环境数据中包括多个环境参照数据,每个影像参照数据对应一个环境参照数据;
根据海洋环境数据对应的每种要素的浓度值,获得每个影像参照数据对应的环境参照数据中的每种要素的目标浓度;
根据各个影像参照数据中的波段数据和每个影像参照数据对应的环境参照数据中的每种要素的目标浓度,得到样本集合;
根据样本集合,建立基于机器学习算法的机器学习模型。
采用上述进一步方案的有益效果是:通过该方式构建的样本集合来建立机器学习模型,不依赖于实地实测数据的采集,可以为实地实测数据有限的区域提供一种新的获取高空间分辨率的海洋环境数据的思路和方法。
进一步,上述若第一分辨率下的遥感影像数据和第二分辨率下的海洋环境数据处于不同的坐标系下;根据第二分辨率,将第一分辨率下的遥感影像数据转换为获第二分辨率下的遥感影像数据,包括:
将第一分辨率下的遥感影像数据和第二分辨率下的海洋环境数据转换为同一坐标系的遥感影像数据和海洋环境数据;
根据第二分辨率,将同一坐标系下的第一分辨率的遥感影像数据转换为第二分辨率下的遥感影像数据。
采用上述进一步方案的有益效果是:这样的好处在于对遥感影像数据和海洋环境数据进行时空上匹配,实现遥感影像数据和海洋环境数据在同一坐标系中,使遥感影像数据和海洋环境数据的坐标相对应。
进一步,上述方法还包括:
将匹配后的目标影像数据中的波段数据作为原始特征;
对原始特征进行特征扩展,得到扩展后的特征;
根据各个影像参照数据中的波段数据和每个影像参照数据对应的环境参照数据中的每种要素的目标浓度,得到样本集合,包括:
根据各个扩展后的特征和每个扩展后的特征对应的环境参照数据中的每种要素的目标浓度,得到样本集合。
采用上述进一步方案的有益效果是:通过原始特征进行特征扩展后得到的扩展后的特征即落入预置的范围内,扩展后的特征在使用时由于数值范围较小,因此扩展后的特征使用会更加便捷,由此使扩展后的特征更加的标准和规范,可以使样本集合中的数据在机器学习模型中的运用更加便捷和快速,最终提高机器学习模型的精度。
进一步,上述对原始特征进行特征扩展,得到扩展后的特征,包括:
根据第一公式组,对所述原始特征进行特征扩展,得到扩展后的特征,其中,第一公式组表示为:
feature=bandn-bandm
其中,bandn表示序号为n的原始特征,bandm表示序号为m的原始特征,feature表示扩展后的特征,m和n表示样本集合中原始特征的序号。
采用上述进一步方案的有益效果是:获得原始特征对应的扩展后的特征,使样本集合中的数据更加的规范,提高机器学习模型的使用精度。
进一步,上述方法还包括:
通过目标残差,判断机器学习模型的精准度并获得判断结果,判断结果为模型合格或模型不合格;
若判断结果为模型不合格,根据遥感影像数据和海洋环境数据图像重新建立机器学习模型,直到机器学习模型对应的精准度的判断结果为模型合格;
若判断结果为合格,对机器学习模型进行敏感性测试,并获得敏感性测试对应的测试结果,测试结果为测试合格或测试不合格。
采用上述进一步方案的有益效果是:目标残差来判断机器学习模型的精准度,并获得模型合格或模型不合格的判断结果,再对判断结果为模型合格的机器学习模型进行敏感性测试,最终达到提高机器学习模型的精准度的目的。
进一步,上述通过目标残差,判断机器学习模型的精准度并获得判断结果,包括:
根据目标残差,通过第一公式,计算获得机器学习模型中目标残差与矫正海洋环境要素浓度之间的线性相关程度值,第一公示表示为:
式中,R2表示线性相关程度值,表示预测海洋环境要素浓度,/>表示样本集合中目标浓度的平均值,yi表示矫正海洋环境要素浓度;
通过第二公式,计算预测海洋环境要素浓度和矫正海洋环境要素浓度的偏差程度值,第二公示表示为:
式中,RMSE表示偏差程度值,表示预测海洋环境要素浓度,yi表示矫正海洋环境要素浓度;n表示样本集合中目标浓度的数量;i表示样本集合中目标浓度的编号;
若线性相关程度值不小于预置线性值,且偏差程度值不大于预置偏差值,获得判断结果为模型合格;
若线性相关程度值小于预置线性值,或偏差程度值大于预置偏差值,获得判断结果为模型不合格。
采用上述进一步方案的有益效果是:通过计算和判断线性相关程度值和偏差程度值,从而来获得判断结果,以验证机器学习模型是否合格。
第二方面,本申请实施例提供了基于机器学习算法的海洋环境要素降尺度装置,包括:
获取模块,用于获取第一分辨率下遥感影像数据中的水体反射率,将水体反射率输入至预先训练好的机器学习模型中,得到水体反射率对应的预测海洋环境要素浓度;
降尺度模块,用于根据第一分辨率对预设的第二分辨率下的矫正残差进行降尺度处理,得到第一分辨率下的目标残差,第一分辨率大于第二分辨率;
矫正模块,用于根据目标残差对预测海洋环境要素浓度进行矫正,得到矫正海洋环境要素浓度。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现第一方面中任一项的方法。
第四方面,本申请实施例提供了一种非暂态计算机可读存储介质,其特征在于,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行第一方面中任一项的方法。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中海洋环境要素浓度的获取方法的流程图;
图2为本发明实施例中通过机器学习模型预测输出叶绿素a的浓度分布散点图;
图3为本发明实施例中海洋环境要素中叶绿素a浓度相关性的B3和B1波段的测试数据示意图;
图4为本发明实施例中第一分辨率下呈现的海洋环境要素中每种要素的浓度示意图;
图5为本发明实施例中第二分辨率下呈现的海洋环境要素中每种要素的浓度示意图;
图6为本发明实施例中的方法流程图;
图7为本发明实施例中海洋环境要素浓度的获取装置的连接示意图;
图8为本发明实施例中电子设备的连接示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
实施例
第一方面,本实施例提供基于机器学习算法的海洋环境要素降尺度方法,包括以下步骤:
S1、获取第一分辨率下遥感影像数据中的水体反射率,将水体反射率输入至预先训练好的机器学习模型中,得到水体反射率对应的预测海洋环境要素浓度;
其中,通过预先建立并且训练好的机器学习模型,在向机器学习模型中输入第一分辨率下的遥感影像数据中的水体反射率时,以获得水体反射率对应的预测海洋环境要素浓度;具体的,水体反射率为水体反射太阳辐射与该物体表面接收太阳总辐射的两者比率或分数度量,即水体反射辐射与入射总辐射的比值。
可选的,上述机器学习模型通过以下步骤建立:
获取同一区域对应的第一分辨率下的遥感影像数据和第二分辨率下的海洋环境数据,遥感影像数据包括同一区域内对应的各个波段数据,海洋环境数据包括各个波段数据在同一区域内对应的各海洋环境要素中每种要素的浓度值;
其中,波段数据指的是遥感影像数据中的光谱波段信息数据,光谱:是复色光经过色散系统(如棱镜、光栅)分光后,被色散开的单色光按波长(或频率)大小而依次排列的图案,全称为光学频谱;遥感影像数据中则是记录着太阳光照射在对应区域时、对应区域中的光谱波段;遥感影像数据中的各个波段数据与海洋环境要素中各种要素的浓度值相对应。
根据遥感影像数据,确定遥感影像数据中对应的波段数据,根据海洋环境数据,确定海洋环境数据中各个波段数据对应的每种要素的浓度值;
其中,一个波段数据对应一种要素的浓度值,当每个要素混合后,通过各个波段数据展现的要素的浓度值即为图5所示。
根据遥感影像数据中的波段数据,确定遥感影像数据中水体的第一水体反射率,第一水体反射率表征了同一区域内所有水体的波段数据的光谱信息;
其中,通过遥感影像数据中的波段数据,可实现对遥感影像数据中的海水和陆地的区分,并获得海水部分的第一水体反射率。
具体地,第一水体反射率的计算可以使用归一化差异水指数(NDWI)来计算,用于区分陆地和水体,以更好的获取水体的遥感反射率,减少陆地对水体反射率的干扰;其中NDWI的计算公式如下:
其中,ρGreen和ρNIR分别是30m分辨率下Landsat的绿色波段和近红外波段的反射率,根据NDWI计算结果,结合地物边缘位置的NDWI值,可以设置0.1为水陆分割阈值,则大于0.1的为水体,小于0.1的则为陆地。
根据第二分辨率,将第一分辨率下的遥感影像数据转换为第二分辨率下的遥感影像数据,将第二分辨率下的遥感影像数据作为目标影像数据,并基于第一水体反射率,获得目标影像数据中水体的第二水体反射率;
其中,获得与海洋环境数据分辨率一致的遥感影像数据,可以采用最邻近重采样方法进行升尺度处理,从而得到空间分辨率为5km的影像数据,并提取5km分辨率下的反射率数据,以获得第二水体反射率;参见图1,对LandsatOLI8影像数据进行预处理即获得第一水体反射率,通过上采样(升尺度)的方式以获得第二水体反射率,对于Himawari-8L3Ch-a产品(分辨率5km)即为在分辨率为5km下,叶绿素a的浓度数据,进行预处理后获得分辨率为5km下叶绿素a的浓度值分布。
对目标影像数据和海洋环境数据进行时间上和空间上的匹配,得到匹配后的目标影像数据和匹配后的海洋环境数据,匹配后的目标影像数据和匹配后的海洋环境数据分别为同一时间和同一区域获取的目标影像数据和海洋环境数据,匹配后的目标影像数据中包括多个影像参照数据,匹配后的海洋环境数据中包括多个环境参照数据,每个影像参照数据对应一个环境参照数据;
根据海洋环境数据对应的每种要素的浓度值,获得每个影像参照数据对应的环境参照数据中的每种要素的目标浓度;
根据各个影像参照数据中的波段数据和每个影像参照数据对应的环境参照数据中的每种要素的目标浓度,得到样本集合;
根据样本集合,建立基于机器学习算法的机器学习模型。
其中,遥感影像数据可以由USGS平台上下载Landsat8影像数据,海洋环境数据可以由气象网中下载,海洋环境要素是包括了温度、盐度、叶绿素浓度等多种要素,是海洋环境系统的基本环节,以叶绿素a为例,可以由气象网中下载相应的Himawari8叶绿素a的图像数据。
由USGS平台上下载的遥感影像数据的空间分辨率为30m对应的分辨率,本申请中可表示第一分辨率;而由气象网中下载的海洋环境数据的空间分辨率为5km对应的分辨率,本申请中可表示第二分辨率,由于海洋环境数据的空间分辨率较大,则清晰度较小,往往不能清晰的展示海洋环境要素的浓度值,具体可参见图4,即图4为第一分辨率下的遥感影像数据;通过将空间分辨率较小的遥感影像数据(第一分辨率下的遥感影像数据)来转化为空间分辨率较大的遥感影像数据(第二分辨率下的遥感影像数据),来展示海洋环境要素,以实现更加清晰的展示海洋环境要素的浓度值的目的,其中,第二分辨率下的遥感影像数据可参见图5。经图4和图5对比,在降尺度处理后,图5中所示的遥感影像数据所展示的各个海洋环境要素的浓度值更加清楚。
具体地,机器学习模型可以是随机森林回归模型,随机森林(RF)相比于其他“黑箱”机器学习算法,具有简单易实现、计算开销小、模型可解释性强的优点;同时随机森林(RF)的算法可有效防止变量共线性现象,避免模型过拟合的问题。
S2、根据第一分辨率对预设的第二分辨率下的矫正残差进行降尺度处理,得到第一分辨率下的目标残差,第一分辨率大于第二分辨率;
其中,目标残差可预先通过以下方式获取,先向机器学习模型中输入不同的水体反射率,机器学习模型输出每个水体反射率对应的预测海洋环境要素浓度,再通过计算各个水体反射率对应的实测浓度(实地监测的浓度值)和各个预测海洋环境要素浓度之间的差异,可以获得矫正残差,通过矫正残差再计算获得目标残差。
具体地,根据矫正残差计算获得对应的目标残差可以通过以下的方式:获得的矫正残差是在空间分辨率为5km,因为机器学习模型在使用时是输入清晰度较高的遥感影像数据,空间分辨率为30m,将矫正残差换算为在空间分辨率为30m下的目标残差。
其中,通过矫正残差获得目标残差可以利用克里金插值法获得,最终获得与矫正残差对应的目标残差;在进行克里金插值法前还需要将实地监测的浓度的分布情况与遥感影像数据进行匹配,第一步需要使获得实地监测的浓度的分辨率为第一分辨率,第二步可以以实地监测的浓度分布情况的示意图的中心位置建立5×5的窗口,再分别提取各个窗口的浓度特征,第三步通过各个窗口的浓度特征,与遥感影像数据中表征的浓度特征进行匹配,以保证实地监测的浓度的位置与遥感影像数据中的位置相对应。
具体地,克里金插值法原理如下:
其中,是坐标点(xo,yo)处的估计值(通过机器学习模型获得的预测海洋环境要素浓度),λi是权重系数,λi也同样是用空间上所有已知点的数据加权求和来估计未知点的值;再找出是能够满足坐标点(xo,yo)处的估计值/>与真实值zo(实地监测的浓度值)的方差最小的一套最优系数,从而最终获得目标残差,即目标残差表示为:
可选的,上述若第一分辨率下的遥感影像数据和第二分辨率下的海洋环境数据处于不同的坐标系下;根据第二分辨率,将第一分辨率下的遥感影像数据转换为获第二分辨率下的遥感影像数据,可以包括:
将第一分辨率下的遥感影像数据和第二分辨率下的海洋环境数据转换为同一坐标系的遥感影像数据和海洋环境数据;
根据第二分辨率,将同一坐标系下的第一分辨率的遥感影像数据转换为第二分辨率下的遥感影像数据。
具体地,例如在不同分辨率下(30m和5km)Landsat8波段特征和Himawari-8叶绿素a浓度数据之间存在如式(1)的关系,这种关系可以通过最大似然来估计;
Y=f(X) (1)
式中,Y表示5km分辨率下Himawari-8的叶绿素a浓度数据,X表示数据预处理后得到多种特征变量,f为机器学习模型中涉及的非线性回归函数;通过机器学习模型得到在5km分辨率下的误差R,残差R是实际值与机器学习模型估计值差异程度的一种评价,计算公式如下(2):
式中,为5km下机器学习模型预测的叶绿素a浓度值。
将残差R利用克里金插值法,以得到30m分辨率下的残差r;再利用Landsat830m分辨率下的水体反射率的数据,调用机器学习模型得到预测的30m分辨率的叶绿素a浓度数据y,结合30m分辨率下的残差r,修正预测叶绿素a浓度数据,最终得到30m分辨率的叶绿素a浓度数据Y30,如式(3),从而通过以上步骤构建降尺度方法,降尺度即是转换从大尺度到小尺度,即从大区域到小区域到局部点位,空间分辨率升高,信息量变丰富,其作用是借助额外数据源产生信息更为丰富的数据产品。
Y30=y+r (3)
可选的,上述方法还可以包括:
将匹配后的目标影像数据中的波段数据作为原始特征;
对原始特征进行特征扩展,得到扩展后的特征;
根据各个影像参照数据中的波段数据和每个影像参照数据对应的环境参照数据中的每种要素的目标浓度,得到样本集合,可以包括:
根据各个扩展后的特征和每个扩展后的特征对应的环境参照数据中的每种要素的目标浓度,得到样本集合。
进一步,上述对原始特征进行特征扩展,得到扩展后的特征,包括:
根据第一公式组,对所述原始特征进行特征扩展,得到扩展后的特征,其中,第一公式组表示为:
feature=bandn-bandm
其中,bandn表示序号为n的原始特征,bandm表示序号为m的原始特征,feature表示扩展后的特征,m和n表示样本集合中原始特征的序号。
可选的,可通过计算原始特征之间的差、比值以及对数的方式,从而获得原始特征对应的扩展后的特征。
可选的,还可以对各个波段数据进行标准化处理,获得每个波段数据对应的标准化数据的过程如下:将各个波段数据分别记为X1,基于波段组合方法对X1进行特征扩展,得到21种波段组合的特征变量X2,利用相关性分析对X1和X2进行特征筛选,得到适合建立机器学习模型的特征变量,选取相关性都在0.5以上的单波段(X1)及波段组合(X2)作为机器学习模型的特征变量X(共14中特征变量),以及各个目标浓度(记为Y)进行建模;建模前需要对这14种特征变量进行标准化处理,得到标准化数据,标准化数据通过减去样本集合中各个数据的均值、然后再除以样本集合中各个数据的方差(或标准差),这种数据标准化方法经过处理后数据符合标准正态分布,转化函数可通过以下表达式进行:
其中,μ表示平均值,σ表示方差。
进一步,上述方法还包括:
通过目标残差,判断机器学习模型的精准度并获得判断结果,判断结果为模型合格或模型不合格;
若判断结果为模型不合格,根据遥感影像数据和海洋环境数据图像重新建立机器学习模型,直到机器学习模型对应的精准度的判断结果为模型合格;
若判断结果为合格,对机器学习模型进行敏感性测试,并获得敏感性测试对应的测试结果,测试结果为测试合格或测试不合格。
其中,机器学习模型构建完成后,还需要对机器学习模型的精准度进行判断,并根据判断结果得到机器学习模型是否合格。
进一步,上述通过目标残差,判断机器学习模型的精准度并获得判断结果,包括:
根据目标残差,通过第一公式,计算获得机器学习模型中目标残差与矫正海洋环境要素浓度之间的线性相关程度值,第一公示表示为:
式中,R2表示线性相关程度值,表示预测海洋环境要素浓度,/>表示样本集合中目标浓度的平均值,yi表示矫正海洋环境要素浓度;
通过第二公式,计算预测海洋环境要素浓度和矫正海洋环境要素浓度的偏差程度值,第二公示表示为:
式中,RMSE表示偏差程度值,表示预测海洋环境要素浓度,yi表示矫正海洋环境要素浓度;n表示样本集合中目标浓度的数量;i表示样本集合中目标浓度的编号;
若线性相关程度值不小于预置线性值,且偏差程度值不大于预置偏差值,获得判断结果为模型合格;
若线性相关程度值小于预置线性值,或偏差程度值大于预置偏差值,获得判断结果为模型不合格。
其中,通过计算机器学习模型的线性相关程度值,以及机器学习模型的偏差程度值,根据线性相关程度值与预置线性值之间的对比,以及偏差程度值与预置偏差值之间的对比,从而获得机器学习模型是否合格的判断结果,在计算线性相关程度值和偏差程度值时,可以选取样本集合中20%的数据进行测试;具体可参见图2,图2为本发明实施例中通过机器学习模型预测输出叶绿素a的浓度分布散点图,图2中的每个坐标系分别表示在不同时间内机器学习模型预测输出叶绿素a的浓度分布散点图,对于其中任一个坐标系,横坐标表示真实的叶绿素a的浓度,纵坐标表示预测的叶绿素a的浓度,R2表示线性相关程度值,RMSE表示偏差程度值,N代表输出预测的叶绿素a的浓度值的数量,其中,R2越大以及RMSE越小,即表示机器学习模型的精度越高。
可选的,上述若判断结果为模型合格,对机器学习模型进行敏感性测试,并获得敏感性测试对应的测试结果,可以包括:
根据预置测试范围,以波段数据为中心,根据测试范围进行扩散,获得与波段数据对应的多个波段测试值;
向机器学习模型中分别输入多个波段测试值,获得每个波段测试值对应的浓度测试值;
根据各个浓度测试值,计算获得各个浓度测试值中最大值和最小值的测试差值;
将测试差值与预置差值进行对比,若测试差值小于预置差值,确定测试结果为测试不合格;若测试差值不小于预置差值,确定测试结果为测试合格。
其中,敏感性测试即是向机器学习模型中输入在预置测试范围内的多个波段测试值,并获得由机器学习模型输出的多个浓度测试值,再以多个波段测试值的大小差异为基础,核验多个浓度测试值的波动,通过波动情况来获得测试结果,即通过测试差值与预置差值之间对比,获得测试结果。
具体地,多个波段测试值可以选用B1和B3波段,参见图3,通过调整B1和B3波段的初值(波段测试值),获得在调整初值的情况下的变化率和标准差,最终达到判断机器学习模型的敏感性是否合格的目的。
其中,通过本申请中方式构建的机器学习模型的精度高,并且构建的机器学习模型不依赖于原位实测数据的采集,还可以为原位实测数据有限的区域提供一种新的获取高空间分辨率的海洋环境数据的思路和方法。
其中,从遥感影像数据中可以获得与遥感影像数据对应的波段数据,从海洋环境数据图像中可以获得与海洋环境数据图像对应的每种要素的浓度值。
S3、根据目标残差对预测海洋环境要素浓度进行矫正,得到矫正海洋环境要素浓度;
其中,通过预测海洋环境要素浓度和目标残差,计算获得矫正海洋环境要素浓度;具体地,通过目标残差加上机器学习模型输出的预测海洋环境要素浓度,从而获得与遥感影像数据对应的矫正海洋环境要素浓度;参见图4和图5,图4中为在空间分辨率为5km时呈现的海洋环境要素中每种要素的浓度值分布示意图,而图5即为分辨率为30m时呈现的海洋环境要素中每种要素的浓度值分布示意图。
第二方面,本申请实施例提供了基于机器学习算法的海洋环境要素降尺度装置,包括:
获取模块,用于获取第一分辨率下遥感影像数据中的水体反射率,将水体反射率输入至预先训练好的机器学习模型中,得到水体反射率对应的预测海洋环境要素浓度;
降尺度模块,用于根据第一分辨率对预设的第二分辨率下的矫正残差进行降尺度处理,得到第一分辨率下的目标残差,第一分辨率大于第二分辨率;
矫正模块,用于根据目标残差对预测海洋环境要素浓度进行矫正,得到矫正海洋环境要素浓度。
可选的,上述装置还包括模型模块,模型模块包括:
获取子模块,用于获取同一区域对应的第一分辨率下的遥感影像数据和第二分辨率下的海洋环境数据,所述遥感影像数据包括所述同一区域内对应的各个波段数据,所述海洋环境数据包括各个所述波段数据在所述同一区域内对应的各海洋环境要素中每种要素的浓度值;
确定子模块,用于根据所述遥感影像数据,确定所述遥感影像数据中对应的波段数据,根据所述海洋环境数据,确定所述海洋环境数据中各个所述波段数据对应的每种要素的浓度值;
反射率子模块,用于根据所述遥感影像数据中的波段数据,确定所述遥感影像数据中水体的第一水体反射率,所述第一水体反射率表征了所述同一区域内所有水体的波段数据的光谱信息;
转换子模块,用于根据所述第二分辨率,将所述第一分辨率下的遥感影像数据转换为所述第二分辨率下的遥感影像数据,将所述第二分辨率下的遥感影像数据作为目标影像数据,并根据所述第一水体反射率,获得所述目标影像数据中水体的第二水体反射率;
匹配子模块,用于对所述目标影像数据和所述海洋环境数据进行时间上和空间上的匹配,得到匹配后的目标影像数据和匹配后的海洋环境数据,所述匹配后的目标影像数据和所述匹配后的海洋环境数据分别为同一时间和同一区域获取的所述目标影像数据和所述海洋环境数据,所述匹配后的目标影像数据中包括多个影像参照数据,所述匹配后的海洋环境数据中包括多个环境参照数据,每个所述影像参照数据对应一个所述环境参照数据;
浓度子模块,用于根据所述海洋环境数据对应的每种要素的浓度值,获得每个所述影像参照数据对应的环境参照数据中的每种要素的目标浓度;
样本子模块,用于根据各个所述影像参照数据中的波段数据和每个所述影像参照数据对应的环境参照数据中的每种要素的目标浓度,得到样本集合;
建立子模块,用于根据所述样本集合,建立基于机器学习算法的机器学习模型。
可选的,在所述第一分辨率下的遥感影像数据和所述第二分辨率下的海洋环境数据处于不同的坐标系下时;所述转换子模块包括:
坐标子模块,用于将所述第一分辨率下的遥感影像数据和所述第二分辨率下的海洋环境数据转换为同一坐标系的遥感影像数据和海洋环境数据;
调整子模块,用于根据所述第二分辨率,将所述同一坐标系下的第一分辨率的遥感影像数据转换为第二分辨率下的遥感影像数据。
可选的,上述装置还可以包括扩展模块,扩展模块包括:
特征子模块,用于将所述匹配后的目标影像数据中的波段数据作为原始特征;
扩展子模块,用于对所述原始特征进行特征扩展,得到扩展后的特征;
上述样本子模块包括:
要素浓度单元,用于根据各个所述扩展后的特征和每个所述扩展后的特征对应的环境参照数据中的每种要素的目标浓度,得到所述样本集合。
可选的,上述要素浓度单元包括:
计算子单元,用于根据第一公式组,对所述原始特征进行特征扩展,得到扩展后的特征,其中,所述第一公式组表示为:
feature=bandn-bandm
其中,bandn表示序号为n的原始特征,bandm表示序号为m的原始特征,feature表示扩展后的特征,m和n表示样本集合中原始特征的序号。
可选的,上述装置还包括:
第一判断模块,用于通过所述目标残差,判断所述机器学习模型的精准度并获得判断结果,所述判断结果为模型合格或模型不合格;
第二判断模块,用于若所述判断结果为模型不合格,根据所述遥感影像数据和所述海洋环境数据图像重新建立所述机器学习模型,直到所述机器学习模型对应的精准度的判断结果为模型合格;
第三判断模块,用于若所述判断结果为合格,对所述机器学习模型进行敏感性测试,并获得所述敏感性测试对应的测试结果,所述测试结果为测试合格或测试不合格。
可选的,上述第一判断模块包括:
第一公式子模块,用于根据所述目标残差,通过第一公式,计算获得所述机器学习模型中目标残差与所述矫正海洋环境要素浓度之间的线性相关程度值,所述第一公示表示为:
式中,R2表示线性相关程度值,表示预测海洋环境要素浓度,/>表示所述样本集合中目标浓度的平均值,yi表示矫正海洋环境要素浓度;
第二公式子模块,用于通过第二公式,计算所述预测海洋环境要素浓度和矫正海洋环境要素浓度的偏差程度值,所述第二公示表示为:
式中,RMSE表示偏差程度值,表示预测海洋环境要素浓度,yi表示矫正海洋环境要素浓度;n表示所述样本集合中目标浓度的数量;i表示所述样本集合中目标浓度的编号;/>
第三子模块,用于若所述线性相关程度值不小于预置线性值,且所述偏差程度值不大于预置偏差值,获得所述判断结果为模型合格;
第四子模块,用于若所述线性相关程度值小于预置线性值,或所述偏差程度值大于预置偏差值,获得所述判断结果为模型不合格。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现第一方面中任一项的方法。
第四方面,本申请实施例提供了一种非暂态计算机可读存储介质,其特征在于,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行第一方面中任一项的方法。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.基于机器学习算法的海洋环境要素降尺度方法,其特征在于,包括以下步骤:
获取第一分辨率下遥感影像数据中的水体反射率,将所述水体反射率输入至预先训练好的机器学习模型中,得到所述水体反射率对应的预测海洋环境要素浓度;
根据所述第一分辨率对预设的第二分辨率下的矫正残差进行降尺度处理,得到第一分辨率下的目标残差,所述第一分辨率大于所述第二分辨率;
根据所述目标残差对所述预测海洋环境要素浓度进行矫正,得到矫正海洋环境要素浓度。
2.如权利要求1所述的一种基于机器学习算法的海洋环境要素降尺度方法,其特征在于,所述机器学习模型通过以下步骤建立:
获取同一区域对应的第一分辨率下的遥感影像数据和第二分辨率下的海洋环境数据,所述遥感影像数据包括所述同一区域内对应的各个波段数据,所述海洋环境数据包括各个所述波段数据在所述同一区域内对应的各海洋环境要素中每种要素的浓度值;
根据所述遥感影像数据,确定所述遥感影像数据中对应的波段数据,根据所述海洋环境数据,确定所述海洋环境数据中各个所述波段数据对应的每种要素的浓度值;
根据所述遥感影像数据中的波段数据,确定所述遥感影像数据中水体的第一水体反射率,所述第一水体反射率表征了所述同一区域内所有水体的波段数据的光谱信息;
根据所述第二分辨率,将所述第一分辨率下的遥感影像数据转换为所述第二分辨率下的遥感影像数据,将所述第二分辨率下的遥感影像数据作为目标影像数据,并根据所述第一水体反射率,获得所述目标影像数据中水体的第二水体反射率;
对所述目标影像数据和所述海洋环境数据进行时间上和空间上的匹配,得到匹配后的目标影像数据和匹配后的海洋环境数据,所述匹配后的目标影像数据和所述匹配后的海洋环境数据分别为同一时间和同一区域获取的所述目标影像数据和所述海洋环境数据,所述匹配后的目标影像数据中包括多个影像参照数据,所述匹配后的海洋环境数据中包括多个环境参照数据,每个所述影像参照数据对应一个所述环境参照数据;
根据所述海洋环境数据对应的每种要素的浓度值,获得每个所述影像参照数据对应的环境参照数据中的每种要素的目标浓度;
根据各个所述影像参照数据中的波段数据和每个所述影像参照数据对应的环境参照数据中的每种要素的目标浓度,得到样本集合;
根据所述样本集合,建立基于机器学习算法的机器学习模型。
3.如权利要求2所述的一种基于机器学习算法的海洋环境要素降尺度方法,其特征在于,若所述第一分辨率下的遥感影像数据和所述第二分辨率下的海洋环境数据处于不同的坐标系下;所述根据所述第二分辨率,将所述第一分辨率下的遥感影像数据转换为获所述第二分辨率下的遥感影像数据,包括:
将所述第一分辨率下的遥感影像数据和所述第二分辨率下的海洋环境数据转换为同一坐标系的遥感影像数据和海洋环境数据;
根据所述第二分辨率,将所述同一坐标系下的第一分辨率的遥感影像数据转换为第二分辨率下的遥感影像数据。
4.如权利要求2所述的一种基于机器学习算法的海洋环境要素降尺度方法,其特征在于,所述方法还包括:
将所述匹配后的目标影像数据中的波段数据作为原始特征;
对所述原始特征进行特征扩展,得到扩展后的特征;
所述根据各个所述影像参照数据中的波段数据和每个所述影像参照数据对应的环境参照数据中的每种要素的目标浓度,得到样本集合,包括:
根据各个所述扩展后的特征和每个所述扩展后的特征对应的环境参照数据中的每种要素的目标浓度,得到所述样本集合。
5.如权利要求2所述的一种基于机器学习算法的海洋环境要素降尺度方法,其特征在于,所述对所述原始特征进行特征扩展,得到扩展后的特征,包括:
根据第一公式组,对所述原始特征进行特征扩展,得到扩展后的特征,其中,所述第一公式组表示为:
feature=bandn-bandm
其中,bandn表示序号为n的原始特征,bandm表示序号为m的原始特征,feature表示扩展后的特征,m和n表示样本集合中原始特征的序号。
6.如权利要求1至5中任一项所述的一种基于机器学习算法的海洋环境要素降尺度方法,其特征在于,所述方法还包括:
通过所述目标残差,判断所述机器学习模型的精准度并获得判断结果,所述判断结果为模型合格或模型不合格;
若所述判断结果为模型不合格,根据所述遥感影像数据和所述海洋环境数据图像重新建立所述机器学习模型,直到所述机器学习模型对应的精准度的判断结果为模型合格;
若所述判断结果为合格,对所述机器学习模型进行敏感性测试,并获得所述敏感性测试对应的测试结果,所述测试结果为测试合格或测试不合格。
7.如权利要求6所述的一种基于机器学习算法的海洋环境要素降尺度方法,其特征在于,所述通过所述目标残差,判断所述机器学习模型的精准度并获得判断结果,包括:
根据所述目标残差,通过第一公式,计算获得所述机器学习模型中目标残差与所述矫正海洋环境要素浓度之间的线性相关程度值,所述第一公示表示为:
式中,R2表示线性相关程度值,表示预测海洋环境要素浓度,/>表示所述样本集合中目标浓度的平均值,yi表示矫正海洋环境要素浓度;
通过第二公式,计算所述预测海洋环境要素浓度和矫正海洋环境要素浓度的偏差程度值,所述第二公示表示为:
式中,RMSE表示偏差程度值,表示预测海洋环境要素浓度,yi表示矫正海洋环境要素浓度;n表示所述样本集合中目标浓度的数量;i表示所述样本集合中目标浓度的编号;
若所述线性相关程度值不小于预置线性值,且所述偏差程度值不大于预置偏差值,获得所述判断结果为模型合格;
若所述线性相关程度值小于预置线性值,或所述偏差程度值大于预置偏差值,获得所述判断结果为模型不合格。
8.基于机器学习算法的海洋环境要素降尺度装置,其特征在于,包括:
获取模块,用于获取第一分辨率下遥感影像数据中的水体反射率,将所述水体反射率输入至预先训练好的机器学习模型中,得到所述水体反射率对应的预测海洋环境要素浓度;
降尺度模块,用于根据所述第一分辨率对预设的第二分辨率下的矫正残差进行降尺度处理,得到第一分辨率下的目标残差,所述第一分辨率大于所述第二分辨率;
矫正模块,用于根据所述目标残差对所述预测海洋环境要素浓度进行矫正,得到矫正海洋环境要素浓度。
9.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现权利要求1-4中任一项所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行权利要求1-4中任一项所述的方法。
CN202310376696.7A 2023-04-10 2023-04-10 基于机器学习算法的海洋环境要素降尺度方法及装置 Pending CN116563092A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310376696.7A CN116563092A (zh) 2023-04-10 2023-04-10 基于机器学习算法的海洋环境要素降尺度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310376696.7A CN116563092A (zh) 2023-04-10 2023-04-10 基于机器学习算法的海洋环境要素降尺度方法及装置

Publications (1)

Publication Number Publication Date
CN116563092A true CN116563092A (zh) 2023-08-08

Family

ID=87487022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310376696.7A Pending CN116563092A (zh) 2023-04-10 2023-04-10 基于机器学习算法的海洋环境要素降尺度方法及装置

Country Status (1)

Country Link
CN (1) CN116563092A (zh)

Similar Documents

Publication Publication Date Title
Vanhellemont Sensitivity analysis of the dark spectrum fitting atmospheric correction for metre-and decametre-scale satellite imagery using autonomous hyperspectral radiometry
Schroeder et al. An ensemble neural network atmospheric correction for Sentinel-3 OLCI over coastal waters providing inherent model uncertainty estimation and sensor noise propagation
Chu et al. Technical framework for shallow-water bathymetry with high reliability and no missing data based on time-series sentinel-2 images
CN100365435C (zh) 一种遥感影像光谱细分方法
Mélin et al. Assessment of satellite ocean colour radiometry and derived geophysical products
Ye et al. Atmospheric correction of Landsat-8/OLI imagery in turbid estuarine waters: A case study for the Pearl River estuary
Zhu et al. Uncertainty analysis of remote sensing of colored dissolved organic matter: Evaluations and comparisons for three rivers in North America
Ye et al. Review of the Forel–Ule Index based on in situ and remote sensing methods and application in water quality assessment
Sharaf El Din Enhancing the accuracy of retrieving quantities of turbidity and total suspended solids using Landsat-8-based-principal component analysis technique
CN113408111B (zh) 大气可降水量反演方法及系统、电子设备和存储介质
CN111879709B (zh) 湖泊水体光谱反射率检验方法及装置
Oishi et al. Preliminary verification for application of a support vector machine-based cloud detection method to GOSAT-2 CAI-2
CN116482317B (zh) 湖泊水体营养状态实时监测方法、系统、设备及介质
Toro Herrera et al. Semi-automated production and filtering of satellite derived water quality parameters
Jay et al. Predicting minimum uncertainties in the inversion of ocean color geophysical parameters based on Cramer-Rao bounds
Tarasov et al. Estimating the water turbidity in the Selenga River and adjacent waters of Lake Baikal using remote sensing data
Kieu et al. Determination of surface film thickness of heavy fuel oil using hyperspectral imaging and deep neural networks
CN116563092A (zh) 基于机器学习算法的海洋环境要素降尺度方法及装置
Zheng et al. Comparisons of algorithms to estimate water turbidity in the coastal areas of China
Chen et al. Scale correction of two-band ratio of red to near-infrared using imagery histogram approach: A case study on Indian remote sensing satellite in Yellow River estuary
CN115825388A (zh) 一种重金属估算模型的训练方法、估算方法、装置及设备
Ruddick et al. Remote sensing of suspended particulate matter in turbid waters: state of the art and future perspectives
Allam et al. Atmospheric Correction Algorithms Assessment for Sentinel-2A Imagery over Inland Waters of China: Case Study, Qiandao Lake
Ahmed et al. Hyperspectral and multispectral above-water radiometric measurements to monitor satellite data quality over coastal area
Alsahli et al. Modeling Secchi Disk Depth Over the North Arabian Gulf Waters Using MODIS and MERIS Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination