CN114996327A - 污秽分布情况的监测方法、模型训练方法、设备和介质 - Google Patents
污秽分布情况的监测方法、模型训练方法、设备和介质 Download PDFInfo
- Publication number
- CN114996327A CN114996327A CN202210544782.XA CN202210544782A CN114996327A CN 114996327 A CN114996327 A CN 114996327A CN 202210544782 A CN202210544782 A CN 202210544782A CN 114996327 A CN114996327 A CN 114996327A
- Authority
- CN
- China
- Prior art keywords
- data
- research area
- value
- daily average
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Remote Sensing (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了污秽分布情况的监测方法、模型训练方法、设备和介质,包括:将目标训练研究区内获取的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据作为一个数据样本,并输入回归树模型,获取输出的预测盐密值;根据目标训练研究区的实测盐密值与预测盐密值计算误差值,并根据误差值调整回归树模型的参数,一直循环这个过程,直至验证通过预设的精度要求。接着再基于训练后的回归树模型预测目标研究区的等值盐密分布,并绘制污秽空间分布图,从而掌握目标研究区的污秽分布情况。可见,本发明可以快速高效的获取研究区内高分辨率的污秽情况,减少人力物力和资金的消耗,为有关部分污秽清扫提供参考与指示意义。
Description
技术领域
本发明涉及大气遥感和生态遥感技术领域,尤其是涉及污秽分布情况的监测方法、模型训练方法、设备和介质。
背景技术
目前,变电站的线路和输电线路存在明显的污秽问题,当绝缘子的污秽累积到一定程度时,就会发生污闪现象,从而造成区域断电或者严重的经济损失。传统的监测绝缘子污秽累积量的方法有人工测量法,主要是人为清扫绝缘子上的污秽并且根据经验对研究区的所有绝缘子的污秽进行估算。该方法消耗大量的人力物力,并且结果受人的主观因素的影响。不能准确有效的反应研究区的污秽分布情况。
发明内容
基于此,有必要针对上述问题,提供污秽分布情况的监测方法、模型训练方法、设备和介质,以解决不能准确有效的反应研究区的污秽分布情况的问题。
一种回归树模型训练方法,所述方法包括:
在预设的多个训练研究区内,获取目标训练研究区内的气溶胶光学厚度数据和红外数据,并根据所述红外数据计算近红外指数数据;其中,目标训练研究区为多个训练研究区中的任意一个;
获取目标训练研究区内的再分析气象数据;其中,所述再分析气象数据包括月均温度,月最高温度,降水,太阳下行辐射;
获取目标训练研究区内的日均分辨率地面站点数据,并通过迁移学习算法将每一日均分辨率地面站点数据升尺度为覆盖目标训练研究区的日均分辨率面数据;其中,所述日均分辨率地面站点数据包括覆盖地面站点的日均PM2.5数据,日均PM10数据,日均SO2数据,日均NO2数据和日均NO3数据;
将目标训练研究区内的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据作为一个数据样本,将一个数据样本输入回归树模型,获取输出的预测盐密值;其中,每次输入的数据样本不同;
根据所述目标训练研究区的实测盐密值与所述预测盐密值计算误差值,并根据所述误差值调整所述回归树模型的参数,返回执行所述将一个数据样本输入回归树模型,获取输出的预测盐密值的步骤及后续步骤,直至验证通过预设的精度要求,获取训练完成的回归树模型。
在其中一个实施例中,所述获取目标训练研究区内的气溶胶光学厚度数据和红外数据,并根据所述红外数据计算近红外指数数据,包括:
获取目标训练研究区内多天的日均分辨率气溶胶光学厚度数据,并通过最大值合成法将预设天数的日均分辨率气溶胶光学厚度数据的每个像元的值求月最大值,以得到月均分辨率气溶胶光学厚度数据,将所述日均分辨率气溶胶光学厚度数据和所述月均分辨率气溶胶光学厚度数据作为所述气溶胶光学厚度数据;
获取目标训练研究区内近红外波段的反射值和红光波段的反射值,根据所述近红外波段的反射值和红光波段的反射值计算归一化植被指数,并计算所述归一化植被指数与近红外波段反射率的乘积,将得到的乘积值作为所述近红外指数数据。
在其中一个实施例中,所述获取目标训练研究区内的气溶胶光学厚度数据和红外数据,并根据所述红外数据计算近红外指数数据之后,还包括:
通过最近邻采样法对所述近红外指数数据进行重采样,以使得重采样后的气溶胶光学厚度数据和近红外指数数据的空间分辨率保持一致。
在其中一个实施例中,所述获取目标训练研究区内的再分析气象数据之后,还包括:
对所述再分析气象数据进行裁剪,并通过克里金插值法对裁剪后的再分析气象数据进行重采样,以使得重采样后的再分析气象数与重采样后的气溶胶光学厚度数据和近红外指数数据的空间分辨率保持一致。
在其中一个实施例中,所述方法,还包括:
通过最大值合成法将所述日均分辨率面数据合成为月均分辨率面数据,并将所述月均分辨率面数据加入到所述数据样本中。
在其中一个实施例中,所述将目标训练研究区内的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据作为一个数据样本,将一个数据样本输入回归树模型,获取输出的预测盐密值,包括:
根据目标训练研究区的数据样本创建多个规则;其中,每个规则对应一类输入的数据,且关联一个相关的多元线性回归模型和判断条件,所有的多元线性回归模型和判断条件构成所述回归树模型;
在回归树模型的终端节对所有多元线性回归模型输出的回归值求和并取平均,将得到的平均值作为所述预测盐密值。
在其中一个实施例中,所述方法,还包括:
通过留一法将数据样本划分为训练集和验证集,计算验证集中数据样本的实测盐密值与预测盐密值的相关系数,当所述相关系数大于预设的系数阈值时,确定验证通过精度要求。
一种污秽分布情况的监测方法,所述方法包括:
获取目标研究区预设年份的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据,并输入回归树模型,获取输出的所述目标研究区的等值盐密分布;其中,所述回归树模型通过上述回归树模型训练方法训练得到;
根本所述目标研究区的等值盐密分布绘制污秽空间分布图;其中,所述污秽空间分布图用于指示所述目标研究区的污秽分布情况。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行回归树模型训练方法和污秽分布情况的监测方法的步骤。
一种污秽分布情况的监测设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行回归树模型训练方法和污秽分布情况的监测方法的步骤。
本发明提供了污秽分布情况的监测方法、模型训练方法、设备和介质,包括将目标训练研究区内获取的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据作为一个数据样本,将一个数据样本输入回归树模型,获取输出的预测盐密值;根据目标训练研究区的实测盐密值与预测盐密值计算误差值,并根据误差值调整回归树模型的参数,一直循环这个过程,直至验证通过预设的精度要求,获取训练完成的回归树模型。接着再基于训练后的回归树模型预测目标研究区的等值盐密分布,并绘制污秽空间分布图,从而掌握目标研究区的污秽分布情况。可见,本发明可以快速高效的获取研究区内高分辨率的污秽情况,减少人力物力和资金的消耗,为有关部分污秽清扫提供参考与指示意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为一个实施例中回归树模型训练方法的流程示意图;
图2为一个实施例中污秽分布情况的监测方法的流程示意图;
图3为一个实施例中终端设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,图1为一个实施例中回归树模型训练方法的流程示意图,本实施例中回归树模型训练方法提供的步骤包括:
步骤102,在预设的多个训练研究区内,获取目标训练研究区内的气溶胶光学厚度数据和红外数据,并根据红外数据计算近红外指数数据。
其中,预设的多个训练研究区用于训练Cubist回归树模型,目标训练研究区为多个训练研究区中的任意一个。
气溶胶光学厚度(aerosol optical depth,AOD)是指在晴空大气铅直气柱中,气溶胶的消光系数在垂直方向上的积分,是描述气溶胶对光衰减作用的一个无量纲量,在一定程度上能够描述区域大气污染程度。AOD值越小,大气越洁净;反之则越浑浊。
具体的,在科学上网的前提下,登录谷歌数据云平台(GEE),在开发者界面下载目标训练研究区内多天的日均分辨率AOD数据,下载为TIFF格式。并通过最大值合成法将预设天数的日均分辨率AOD数据(例如,八天分辨率的日均分辨率AOD数据)的每个像元的值求月最大值,以得到月均分辨率AOD数据,从而避免数据误差。最后,将日均分辨率AOD数据和月均分辨率AOD数据作为后续训练所需的AOD数据。
接着下载MOD09数据,包括目标训练研究区内近红外波段的反射值NIR和红光波段的反射值R。并根据如下的公式计算归一化植被指数NDVI和近红外指数数据NIRv:
NIRv=NDVI*NIR
其中,使用MOD09数据每个月的中值来计算NIRv数据。在计算NDVI时,将多有NDVI的值减去0.05,以避免裸土的背景噪声的影响。
NIRv数据的值范围一般在0-0.2之间。使用最近邻采样法把500m分辨率的NIRv数据重采样到0.05度,从而使得重采样后的AOD数据和NIRv数据的空间分辨率保持一致。同时,利用研究区的shapefile文件裁剪出所需的AOD数据和NIRv数据。
步骤104,获取目标训练研究区内的再分析气象数据。
其中,再分析气象数据包括月均温度,月最高温度,降水,太阳下行辐射。下载的数据集为nc格式。定义地理坐标系之后转为TIFF格式,方便后续的处理。并将所有的再分析气象数据使用研究区的shipfile数据进行裁剪。
进一步的,为了使所有输入Cubist模型的数据保持统一的空间分辨率,通过克里金插值法对裁剪后的再分析气象数据进行重采样,令0.5度的再分析气象数据转为0.05度的空间分辨率,以使得重采样后的再分析气象数与重采样后的AOD数据和NIRv数据的空间分辨率保持一致。
其中,克里金插值的原理为:
(1)构建半方差函数训练样本。
(2)根据半方差函数构建散点图。
(3)根据Circular函数拟合经验半方差图。
(4)根据拟合后的半方差函数获取Nugget,Sill和Range的值。
(5)预测未知点的值,对未知点的特定领域范围的测量点或者特定数量的相邻测量点的数值进行加权求和,以求得未知点的数值,实现对未知点的预测。
步骤106,获取目标训练研究区内的日均分辨率地面站点数据,并通过迁移学习算法将每一日均分辨率地面站点数据升尺度为覆盖目标训练研究区的日均分辨率面数据。
其中,日均分辨率地面站点数据包括覆盖地面站点的日均PM2.5数据,日均PM10数据,日均SO2数据,日均NO2数据和日均NO3数据。
其中迁移学习的原理为:
(1)选择源模型。选择一个具有丰富数据,且相关的预测源模型。其中,源模型和目标模型的输入数据、输出数据以及输入数据和输出数据之间的映射之间有特定关系。
(2)开发源模型。根据下载的日均PM2.5数据,日均PM10数据,日均SO2数据,日均NO2数据和日均NO3数据等数据进行模型的开发。
(3)重用模型。源模型作为目标模型的学习起点。
(4)调整模型。模型可以在目标数据集中的输入-输出对上选择性地进行微调,以生成升尺度的日均分辨率面数据。
进一步的,还通过最大值合成法将日均分辨率面数据合成为月均分辨率面数据,从而避免数据误差。
步骤108,将目标训练研究区内的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据作为一个数据样本。
也即,将目标训练研究区内的AOD数据、NIRv数据、月均温度,月最高温度,降水,太阳下行辐射、升尺度的日均PM10数据,日均S02数据,日均NO2数据和日均NO3数据作为一个数据样本。
步骤110,将一个数据样本输入回归树模型,获取输出的预测盐密值。
其中,每次输入的数据样本不同。也即,每次获取不同训练研究区的数据,输入到Cubist模型中进行训练。
Cubist模型经过机器学习后的输出结果为多个回归规则,每个回归规则对应一类输入的数据,且关联一个相关的多元线性回归模型和判断条件,所有的多元线性回归模型和判断条件构成Cubist模型,表示为:
if:X1 in range[α1],X2 in range[α2],...Xn in range[αn]
Then:Y=a+a1×X1+a2×X2+…+an×Xn
其中,X1,X2...Xn为数据样本中的自变量,Y为应变量,α1,α2...αn为每个自变量的判断条件;a为Cubist模型的常数项;a1,a2...an为回归系数。
最后在Cubist模型的终端节对所有多元线性回归模型输出的回归值求和并取平均,将得到的平均值作为预测盐密值。
步骤112,根据目标训练研究区的实测盐密值与预测盐密值计算误差值,并根据误差值调整回归树模型的参数,返回执行步骤110及后续步骤,直至验证通过预设的精度要求,执行步骤114,获取训练完成的回归树模型。
具体的,通过留一法将数据样本划分为训练集和验证集。留一法就是每次只留下一个数据样本做验证集,其它样本做训练集。如果有k个样本,则验证集为1,训练集为k-1。最多训练k次,验证k次。
在训练时,根据训练集中数据样本的实测盐密值与预测盐密值计算误差值,并根据误差值调整Cubist模型的参数。在验证时,计算验证集中数据样本的实测盐密值与预测盐密值的相关系数,当相关系数大于预设的系数阈值时,确定验证通过精度要求。
上述模型训练方法,将目标训练研究区内获取的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据作为一个数据样本,将一个数据样本输入回归树模型,获取输出的预测盐密值;根据目标训练研究区的实测盐密值与预测盐密值计算误差值,并根据误差值调整回归树模型的参数,一直循环这个过程,直至验证通过预设的精度要求,获取训练完成的回归树模型。该回归树模型可预测研究区的盐密值。
如图2所示,图2为一个实施例中污秽分布情况的监测方法的流程示意图,本实施例中污秽分布情况的监测方法提供的步骤包括:
步骤202,获取目标研究区预设年份的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据,并输入回归树模型,获取输出的目标研究区的等值盐密分布。
其中,Cubist模型通过上述Cubist模型训练方法训练得到。
首先,确定需要绘制污秽空间分布图的预设年份,输入该年份,并调取对应的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据,输入到训练好的Cubist模型,获取输出的目标研究区的等值盐密分布。
步骤204,根本目标研究区的等值盐密分布绘制污秽空间分布图。
其中,污秽空间分布图用于指示目标研究区的污秽分布情况。
再使用Matlab的函数包m_map,根据根本目标研究区的等值盐密分布绘制污秽空间分布图。
可见,本发明可以快速高效的获取研究区内高分辨率的污秽情况,减少人力物力和资金的消耗,为有关部分污秽清扫提供参考与指示意义。
图3示出了一个实施例中终端设备的内部结构图。如图3所示,该终端设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该终端设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现污秽分布情况的监测方法、模型训练。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行污秽分布情况的监测方法、模型训练。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端设备的限定,具体的终端设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
一种终端设备,包括存储器、处理器以及存储在该存储器中并可在该处理器上执行的计算机程序,该处理器执行该计算机程序时实现如下步骤:在预设的多个训练研究区内,获取目标训练研究区内的气溶胶光学厚度数据和红外数据,并根据红外数据计算近红外指数数据;获取目标训练研究区内的再分析气象数据;获取目标训练研究区内的日均分辨率地面站点数据,并通过迁移学习算法将每一日均分辨率地面站点数据升尺度为覆盖目标训练研究区的日均分辨率面数据;将目标训练研究区内的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据作为一个数据样本,将一个数据样本输入回归树模型,获取输出的预测盐密值;根据目标训练研究区的实测盐密值与预测盐密值计算误差值,并根据误差值调整回归树模型的参数,返回执行将一个数据样本输入回归树模型,获取输出的预测盐密值的步骤及后续步骤,直至验证通过预设的精度要求,获取训练完成的回归树模型。
以及执行:获取目标研究区预设年份的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据,并输入回归树模型,获取输出的目标研究区的等值盐密分布;根本目标研究区的等值盐密分布绘制污秽空间分布图。
一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如下步骤:在预设的多个训练研究区内,获取目标训练研究区内的气溶胶光学厚度数据和红外数据,并根据红外数据计算近红外指数数据;获取目标训练研究区内的再分析气象数据;获取目标训练研究区内的日均分辨率地面站点数据,并通过迁移学习算法将每一日均分辨率地面站点数据升尺度为覆盖目标训练研究区的日均分辨率面数据;将目标训练研究区内的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据作为一个数据样本,将一个数据样本输入回归树模型,获取输出的预测盐密值;根据目标训练研究区的实测盐密值与预测盐密值计算误差值,并根据误差值调整回归树模型的参数,返回执行将一个数据样本输入回归树模型,获取输出的预测盐密值的步骤及后续步骤,直至验证通过预设的精度要求,获取训练完成的回归树模型。
以及执行:获取目标研究区预设年份的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据,并输入回归树模型,获取输出的目标研究区的等值盐密分布;根本目标研究区的等值盐密分布绘制污秽空间分布图。
需要说明的是,上述污秽分布情况的监测方法、模型训练方法、设备和介质属于一个总的发明构思,污秽分布情况的监测方法、模型训练方法、设备和介质实施例中的内容可相互适用。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种回归树模型训练方法,其特征在于,所述方法包括:
在预设的多个训练研究区内,获取目标训练研究区内的气溶胶光学厚度数据和红外数据,并根据所述红外数据计算近红外指数数据;其中,目标训练研究区为多个训练研究区中的任意一个;
获取目标训练研究区内的再分析气象数据;其中,所述再分析气象数据包括月均温度,月最高温度,降水,太阳下行辐射;
获取目标训练研究区内的日均分辨率地面站点数据,并通过迁移学习算法将每一日均分辨率地面站点数据升尺度为覆盖目标训练研究区的日均分辨率面数据;其中,所述日均分辨率地面站点数据包括覆盖地面站点的日均PM2.5数据,日均PM10数据,日均SO2数据,日均NO2数据和日均NO3数据;
将目标训练研究区内的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据作为一个数据样本,将一个数据样本输入回归树模型,获取输出的预测盐密值;其中,每次输入的数据样本不同;
根据所述目标训练研究区的实测盐密值与所述预测盐密值计算误差值,并根据所述误差值调整所述回归树模型的参数,返回执行所述将一个数据样本输入回归树模型,获取输出的预测盐密值的步骤及后续步骤,直至验证通过预设的精度要求,获取训练完成的回归树模型。
2.根据权利要求1所述的方法,其特征在于,所述获取目标训练研究区内的气溶胶光学厚度数据和红外数据,并根据所述红外数据计算近红外指数数据,包括:
获取目标训练研究区内多天的日均分辨率气溶胶光学厚度数据,并通过最大值合成法将预设天数的日均分辨率气溶胶光学厚度数据的每个像元的值求月最大值,以得到月均分辨率气溶胶光学厚度数据,将所述日均分辨率气溶胶光学厚度数据和所述月均分辨率气溶胶光学厚度数据作为所述气溶胶光学厚度数据;
获取目标训练研究区内近红外波段的反射值和红光波段的反射值,根据所述近红外波段的反射值和红光波段的反射值计算归一化植被指数,并计算所述归一化植被指数与近红外波段反射率的乘积,将得到的乘积值作为所述近红外指数数据。
3.根据权利要求1所述的方法,其特征在于,所述获取目标训练研究区内的气溶胶光学厚度数据和红外数据,并根据所述红外数据计算近红外指数数据之后,还包括:
通过最近邻采样法对所述近红外指数数据进行重采样,以使得重采样后的气溶胶光学厚度数据和近红外指数数据的空间分辨率保持一致。
4.根据权利要求3所述的方法,其特征在于,所述获取目标训练研究区内的再分析气象数据之后,还包括:
对所述再分析气象数据进行裁剪,并通过克里金插值法对裁剪后的再分析气象数据进行重采样,以使得重采样后的再分析气象数与重采样后的气溶胶光学厚度数据和近红外指数数据的空间分辨率保持一致。
5.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
通过最大值合成法将所述日均分辨率面数据合成为月均分辨率面数据,并将所述月均分辨率面数据加入到所述数据样本中。
6.根据权利要求1所述的方法,其特征在于,所述将目标训练研究区内的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据作为一个数据样本,将一个数据样本输入回归树模型,获取输出的预测盐密值,包括:
根据目标训练研究区的数据样本创建多个规则;其中,每个规则对应一类输入的数据,且关联一个相关的多元线性回归模型和判断条件,所有的多元线性回归模型和判断条件构成所述回归树模型;
在回归树模型的终端节对所有多元线性回归模型输出的回归值求和并取平均,将得到的平均值作为所述预测盐密值。
7.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
通过留一法将数据样本划分为训练集和验证集,计算验证集中数据样本的实测盐密值与预测盐密值的相关系数,当所述相关系数大于预设的系数阈值时,确定验证通过精度要求。
8.一种污秽分布情况的监测方法,其特征在于,所述方法包括:
获取目标研究区预设年份的气溶胶光学厚度数据、近红外指数数据、再分析气象数据及日均分辨率面数据,并输入回归树模型,获取输出的所述目标研究区的等值盐密分布;其中,所述回归树模型通过如权利要求1所述的回归树模型训练方法训练得到;
根本所述目标研究区的等值盐密分布绘制污秽空间分布图;其中,所述污秽空间分布图用于指示所述目标研究区的污秽分布情况。
9.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
10.一种污秽分布情况的监测设备,包括存储器和处理器,其特征在于,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210544782.XA CN114996327A (zh) | 2022-05-19 | 2022-05-19 | 污秽分布情况的监测方法、模型训练方法、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210544782.XA CN114996327A (zh) | 2022-05-19 | 2022-05-19 | 污秽分布情况的监测方法、模型训练方法、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114996327A true CN114996327A (zh) | 2022-09-02 |
Family
ID=83027898
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210544782.XA Pending CN114996327A (zh) | 2022-05-19 | 2022-05-19 | 污秽分布情况的监测方法、模型训练方法、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114996327A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117218551A (zh) * | 2023-08-04 | 2023-12-12 | 华南师范大学 | 一种基于误差分析的估测算法优化方法及装置 |
-
2022
- 2022-05-19 CN CN202210544782.XA patent/CN114996327A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117218551A (zh) * | 2023-08-04 | 2023-12-12 | 华南师范大学 | 一种基于误差分析的估测算法优化方法及装置 |
CN117218551B (zh) * | 2023-08-04 | 2024-04-09 | 华南师范大学 | 一种基于误差分析的估测算法优化方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220043182A1 (en) | Spatial autocorrelation machine learning-based downscaling method and system of satellite precipitation data | |
CN112905560B (zh) | 一种多源时空大数据深度融合的空气污染预测方法 | |
CN114118640B (zh) | 长期降水预测模型构建方法、长期降水预测方法及装置 | |
CN110727665B (zh) | 物联网设备上报数据质量分析方法及系统 | |
CN110232471B (zh) | 一种降水传感网节点布局优化方法及装置 | |
Stauffer et al. | Ensemble postprocessing of daily precipitation sums over complex terrain using censored high-resolution standardized anomalies | |
CN107423537B (zh) | 一种基于自适应阈值的地表温度降尺度的方法 | |
CN113901384A (zh) | 顾及全局空间自相关性和局部异质性的地面pm2.5浓度建模方法 | |
CN108764643B (zh) | 大范围作物病害风险评估方法 | |
Bargaoui et al. | Seasonal precipitation variability in regional climate simulations over Northern basins of Tunisia. | |
CN113204061B (zh) | 一种构建格点风速订正模型的方法及装置 | |
Lee et al. | Applying machine learning methods to detect convection using Geostationary Operational Environmental Satellite-16 (GOES-16) advanced baseline imager (ABI) data | |
CN110276365B (zh) | 一种用于sar图像海冰分类的卷积神经网络的训练方法及其分类方法 | |
CN109389553B (zh) | 基于t样条的气象传真图等值线插值方法 | |
CN111695088A (zh) | 卫星降水空间降尺度最优回归窗口筛选方法与装置 | |
CN112418632A (zh) | 一种生态修复关键区域识别方法及系统 | |
CN114996327A (zh) | 污秽分布情况的监测方法、模型训练方法、设备和介质 | |
CN113408644B (zh) | 卫星数据重构方法、探测上层海洋对台风响应的方法 | |
CN114004163B (zh) | 一种基于modis和长短时记忆网络模型的pm2.5反演方法 | |
CN113435630B (zh) | 一种产流模式自适应的流域水文预报方法及系统 | |
CN114723188A (zh) | 水质预测方法、装置、计算机设备和存储介质 | |
CN114155429A (zh) | 基于时空双向注意力机制的水库地表温度预测方法 | |
CN114120101A (zh) | 一种土壤水分多尺度综合感知方法 | |
Tang et al. | The use of serially complete station data to improve the temporal continuity of gridded precipitation and temperature estimates | |
Carvalho et al. | Spatio-Temporal modeling of data imputation for daily rainfall series in Homogeneous Zones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |