CN114817221A - 一种双源蒸发数据治理提升方法、系统及存储介质 - Google Patents
一种双源蒸发数据治理提升方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114817221A CN114817221A CN202210490647.1A CN202210490647A CN114817221A CN 114817221 A CN114817221 A CN 114817221A CN 202210490647 A CN202210490647 A CN 202210490647A CN 114817221 A CN114817221 A CN 114817221A
- Authority
- CN
- China
- Prior art keywords
- evaporation
- data set
- matrix
- data
- dual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Control Of Non-Electrical Variables (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种双源蒸发数据治理提升方法、系统及存储介质,涉及蒸发量数据获取技术领域。具体步骤为:构建双源数据集;根据所述双源数据集,构建所述双源数据集的完整率矩阵;在所述完整率矩阵的基础上,构建所述双源数据集的代表性相关矩阵;结合所述代表性相关矩阵构建蒸发换算系数矩阵,将所述双源数据集换算为单源数据集;基于所述单源数据集,判断数据是否缺失,若缺失,则构建修正系数矩阵进行数据插补,否则结束计算。本发明通过水面蒸发量折算系数,进而了一套完整且具有系列代表性及较高精度的长序列水面蒸发量数据,具有极高的科学研究以及实践应用价值。
Description
技术领域
本发明涉及蒸发量数据获取技术领域,更具体的说是涉及一种双源蒸发数据治理提升方法、系统及存储介质。
背景技术
水面蒸发量是反映蒸散发最直接的资料,目前获取水面蒸发量资料的基本途径是应用蒸发器观测,以获取近似于自然水体水面蒸发量资料。我国目前气象台站主要使用的是20cm口径小型蒸发器和E-601型蒸发器。其中小型蒸发器资料开始于1950年,且该资料连续性好,对我国的气候研究有重要的价值。但是由于它安装在距地面70cm的高度上,容积小,器壁裸露于空气中,不能代表该地的实际蒸发量,在2001年以后逐渐被替代。1980年以后,我国相继安装E-601型蒸发器,它的蒸发量更接近于湖泊、水库等中小水体的实际蒸发量,但安装年份不同,地区分布不平衡,资料序列长短相差较大,因此,大区域长序列水面蒸发量数据单纯使用E-201或E-601蒸发器会存在数据缺失严重问题,混合使用会出现数据口径不一致的问题。
因为,对本领域技术人员来说,如何得到完整且具有较高精度的长序列水面蒸发量数据,是亟待解决的问题。
发明内容
有鉴于此,本发明提供了一种双源蒸发数据治理提升方法、系统及存储介质,以解决背景技术中提出的问题。
为了实现上述目的,本发明采用如下技术方案:一种双源蒸发数据治理提升方法,其特征在于,具体步骤包括如下:
构建双源数据集;
根据所述双源数据集,构建所述双源数据集的完整率矩阵;
在所述完整率矩阵的基础上,构建所述双源数据集的代表性相关矩阵;
结合所述代表性相关矩阵构建蒸发换算系数矩阵,将所述双源数据集换算为单源数据集;
基于所述单源数据集,判断数据是否缺失,若缺失,则构建修正系数矩阵进行数据插补,否则结束计算。
可选的,构建所述双源数据集的方式为:根据站点蒸发皿测得的长序列蒸发数据,构建初始矩阵A1、B1;
其中,at,i,j为第t年第i天第j站点的E-601蒸发皿日测量值;bt,i,j为第t年第i天第j站点的E-201蒸发皿日测量值。
可选的,所述完整率矩阵为:
其中,ct,j为第t年第j站点大小蒸发皿同时测到的天数占该年的比例, kt,i,j为第t年第i天第j站点的E-201及E-601蒸发皿是否存在实测的判别值;y为一年的天数,闰年为366天,其余为365天。
可选的,所述代表性相关矩阵为:
其中,d1,j=dj,dj为第j站点E-201及E-601蒸发皿蒸发量数据集的交集长度;t1为第j站点起始年份;t2为第j站点结束年份;W=1,表示该蒸发数据系列具有代表性;d2,j=t1,d3,j=t2。
可选的,利用换算系数构建所述蒸发换算系数矩阵,所述换算系数的公式为:
其中,ri,j为第j站点第i天的蒸发换算系数多年日均值,at,i,j为A1矩阵的E-601蒸发皿日测量值,bt,i,j为B1矩阵的E-201蒸发皿日测量值,d1,j、d2,j、d3,j为所述代表性相关矩阵的站点参数。
可选的,所述蒸发换算系数矩阵为:
另一方面,提供一种双源蒸发数据治理提升系统,包括数据集构建模块、完整率矩阵构建模块、代表性相关矩阵构建模块、换算模块、数据插补模块;其中,
所述数据集构建模块,用于构建双源数据集;
所述完整率矩阵构建模块,用于根据所述双源数据集,构建所述双源数据集的完整率矩阵;
所述代表性相关矩阵,用于在所述完整率矩阵的基础上,构建所述双源数据集的代表性相关矩阵;
所述换算模块,用于结合所述代表性相关矩阵构建蒸发换算系数矩阵,将所述双源数据集换算为单源数据集;
所述数据插补模块,用于基于所述单源数据集,判断数据是否缺失,若缺失,则构建修正系数矩阵进行数据插补,否则结束计算。
最后,提供一种计算机存储介质,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述的一种双源蒸发数据治理提升方法的步骤。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种双源蒸发数据治理提升方法、系统及存储介质,具有以下有益的技术效果:E-201或E-601蒸发器的长序列数据测量标准不统一,数据的非一致性显著,片段数据缺失及异常,本发明开发双源蒸发数据治理提升方法,将二者互为补充且提高蒸发数据质量,可以获得一套完整且具有较高精度的长序列水面蒸发量数据,具有极高的科学研究以及实践应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程图;
图2为本发明的系统结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例1公开了一种双源蒸发数据治理提升方法,如图1所示,具体步骤包括如下:
步骤一、构建双源数据集;
根据站点E-201及E-601蒸发皿测得的长序列蒸发数据,构建初始矩阵A1、B1。
其中,at,i,j为第t年第i天第j站点的E-601蒸发皿日测量值;bt,i,j为第t年第i天第j站点的E-201蒸发皿日测量值。
步骤二、根据双源数据集,构建双源数据集的完整率矩阵;
构建E-201及E-601蒸发量数据的完整率矩阵C,数据完整率达到Zmax%的年份方可用于蒸发换算系数的计算。
完整率矩阵为:
其中,ct,j为第t年第j站点大小蒸发皿同时测到的天数占该年的比例, kt,i,j为第t年第i天第j站点的E-201及E-601蒸发皿是否存在实测的判别值;y为一年的天数,闰年为366天,其余为365天。
步骤三、在完整率矩阵的基础上,构建双源数据集的代表性相关矩阵;
经过小波周期性分析确定了蒸发水文数据系列的第一主周期为23年,即23年连续水文系列的计算结果具有代表性,因此,需使用E-201及E-601蒸发皿蒸发量数据集的交集大于23年的数据系列计算蒸发换算系数,构建数据集代表性相关矩阵D。
代表性相关矩阵为:
其中,d1,j=dj,dj为第j站点E-201及E-601蒸发皿蒸发量数据集的交集长度;t1为第j站点起始年份;t2为第j站点结束年份;W=1,表示该蒸发数据系列具有代表性;d2,j=t1,d3,j=t2。将具有代表性的水文站点(dj>23)的对应代表性参数存入矩阵D。
其中,d1,j为第j站点代表性参数1:E-201及E-601蒸发皿蒸发量具有代表性的数据集的交集长度;d2,j为第j站点代表性参数2:数据集的交集长度的起始年份;d3,j为第j站点代表性参数3:数据集的交集长度的结束年份。
步骤四、结合代表性相关矩阵构建蒸发换算系数矩阵,将双源数据集换算为单源数据集;
利用换算系数构建蒸发换算系数矩阵,换算系数的公式为:
其中,ri,j为第j站点第i天的蒸发换算系数多年日均值,at,i,j为A1矩阵的E-601蒸发皿日测量值,bt,i,j为B1矩阵的E-201蒸发皿日测量值,d1,j、d2,j、d3,j为代表性相关矩阵的站点参数。
选用数据集年内数据完整且具有代表性的站点作为可以计算蒸发换算系数的合格站点,根据换算系数计算公式构建蒸发换算系数矩阵。
蒸发换算系数矩阵为:
进一步的,E-201及E-601蒸发皿蒸发量数据集合并
经查阅相关文献,大蒸发皿数据结果更佳贴近实际水面蒸发量,故选择大蒸发皿数据作为蒸发数据,将小蒸发皿数据换算为大蒸发皿数据作为补充,构建大蒸发皿矩阵A2。
其中,at,i,j为第t年第i天第j站点的E-601蒸发皿日测量值,完成数据集合并工作。保留原有的at,i,j,at,i,j的缺失值采用at,i,j(缺失)=bt,i,j*ri,j补充替换。
步骤五、基于单源数据集,判断数据是否缺失,若缺失,则构建修正系数矩阵进行数据插补,否则结束计算。
完成数据集合并后,此时,可能仍存在部分数据缺失,即大小蒸发皿均无蒸发测量值,采用两种方式进行数据质量提升,一是采用E-601蒸发皿多年日均值补充;二是选用附近站点的该时段的蒸发量日数据相对于自身多年均值的波动修正该站点的多年日均值。
方法1:周围站点可能无数据,采用多年日均值补充。
方法2:构建修正系数矩阵,采用多年日均值的修正值补充。
缺失站点使用多年日均值则缺少该时段光照、风速、日照等因素波动对于蒸发皿蒸发量的影响,采用多年日均值的修正值可以提升数据的质量。
针对数据缺失站点,构建修正系数矩阵(附近站点的该时段蒸发量日数据相对于附近站点自身多年均值的波动)。
以缺失站点2为例,其E-601蒸发皿数据为矩阵X1,第一年存在缺失数据:
建立修正系数矩阵E
其中,ei,j为第i天第j站点的E-601蒸发量多年日均值的修正值,a1,i,j为站点第1年第j站点第i天的蒸发量实测值。
计算E-601蒸发皿数据矩阵X3,补充缺失数据:
本发明实施例2提供了一种双源蒸发数据治理提升系统,如图2所示,包括数据集构建模块、完整率矩阵构建模块、代表性相关矩阵构建模块、换算模块、数据插补模块;其中,
数据集构建模块,用于构建双源数据集;
完整率矩阵构建模块,用于根据双源数据集,构建双源数据集的完整率矩阵;
代表性相关矩阵,用于在完整率矩阵的基础上,构建双源数据集的代表性相关矩阵;
换算模块,用于结合代表性相关矩阵构建蒸发换算系数矩阵,将双源数据集换算为单源数据集;
数据插补模块,用于基于单源数据集,判断数据是否缺失,若缺失,则构建修正系数矩阵进行数据插补,否则结束计算。
最后,提供一种计算机存储介质,计算机存储介质上存储有计算机程序,计算机程序被处理器执行时实现一种双源蒸发数据治理提升方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种双源蒸发数据治理提升方法,其特征在于,具体步骤包括如下:
构建双源数据集;
根据所述双源数据集,构建所述双源数据集的完整率矩阵;
在所述完整率矩阵的基础上,构建所述双源数据集的代表性相关矩阵;
结合所述代表性相关矩阵构建蒸发换算系数矩阵,将所述双源数据集换算为单源数据集;
基于所述单源数据集,判断数据是否缺失,若缺失,则构建修正系数矩阵进行数据插补,否则结束计算。
7.一种双源蒸发数据治理提升系统,其特征在于,包括数据集构建模块、完整率矩阵构建模块、代表性相关矩阵构建模块、换算模块、数据插补模块;其中,
所述数据集构建模块,用于构建双源数据集;
所述完整率矩阵构建模块,用于根据所述双源数据集,构建所述双源数据集的完整率矩阵;
所述代表性相关矩阵,用于在所述完整率矩阵的基础上,构建所述双源数据集的代表性相关矩阵;
所述换算模块,用于结合所述代表性相关矩阵构建蒸发换算系数矩阵,将所述双源数据集换算为单源数据集;
所述数据插补模块,用于基于所述单源数据集,判断数据是否缺失,若缺失,则构建修正系数矩阵进行数据插补,否则结束计算。
8.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的一种双源蒸发数据治理提升方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210490647.1A CN114817221B (zh) | 2022-05-07 | 2022-05-07 | 一种双源蒸发数据治理提升方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210490647.1A CN114817221B (zh) | 2022-05-07 | 2022-05-07 | 一种双源蒸发数据治理提升方法、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114817221A true CN114817221A (zh) | 2022-07-29 |
CN114817221B CN114817221B (zh) | 2023-06-02 |
Family
ID=82511841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210490647.1A Active CN114817221B (zh) | 2022-05-07 | 2022-05-07 | 一种双源蒸发数据治理提升方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114817221B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130036082A1 (en) * | 2011-08-05 | 2013-02-07 | International Business Machines Corporation | Multiple imputation of missing data in multi-dimensional retail sales data sets via tensor factorization |
US20150088907A1 (en) * | 2013-09-26 | 2015-03-26 | Sap Ag | Method and system for managing databases having records with missing values |
CN105117988A (zh) * | 2015-10-14 | 2015-12-02 | 国家电网公司 | 一种电力系统中缺失数据插补的方法 |
CN106384298A (zh) * | 2016-09-19 | 2017-02-08 | 合肥工业大学 | 一种基于两阶段插补模型的智能用电缺失数据修正方法 |
CN113935956A (zh) * | 2021-09-23 | 2022-01-14 | 中国矿业大学(北京) | 一种二向混合建模矿区土壤含水量数据缺失修复方法 |
-
2022
- 2022-05-07 CN CN202210490647.1A patent/CN114817221B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130036082A1 (en) * | 2011-08-05 | 2013-02-07 | International Business Machines Corporation | Multiple imputation of missing data in multi-dimensional retail sales data sets via tensor factorization |
US20150088907A1 (en) * | 2013-09-26 | 2015-03-26 | Sap Ag | Method and system for managing databases having records with missing values |
CN105117988A (zh) * | 2015-10-14 | 2015-12-02 | 国家电网公司 | 一种电力系统中缺失数据插补的方法 |
CN106384298A (zh) * | 2016-09-19 | 2017-02-08 | 合肥工业大学 | 一种基于两阶段插补模型的智能用电缺失数据修正方法 |
CN113935956A (zh) * | 2021-09-23 | 2022-01-14 | 中国矿业大学(北京) | 一种二向混合建模矿区土壤含水量数据缺失修复方法 |
Non-Patent Citations (2)
Title |
---|
QINGFANG HU等: "Rainfall Spatial Estimations: A Review from Spatial Interpolation to Multi-Source Data Merging", 《WATER》 * |
宋力: "考虑多源数据集的交通状态估计方法研究", 《中国优秀硕士论文电子期刊网》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114817221B (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Onea et al. | An evaluation of the wind energy in the North-West of the Black Sea | |
CN110501761B (zh) | 一种不同预见期区域作物ETc预测预报方法 | |
CN109086951B (zh) | 一种计及城市发展程度的多阶段空间负荷预测方法 | |
CN110599360A (zh) | 一种干旱区农作物生长季蒸散发高分辨率遥感估算方法 | |
CN115344815B (zh) | 考虑植被空间变化的天然径流变化归因分析方法和系统 | |
CN1651860A (zh) | 用不同尺度遥感数据估计面积变化的对称系统抽样技术 | |
CN114817221A (zh) | 一种双源蒸发数据治理提升方法、系统及存储介质 | |
Ramsebner et al. | Estimating storage needs for renewables in Europe: the correlation between renewable energy sources and heating and cooling demand | |
CN112883577B (zh) | 一种海上风电场出力典型场景生成方法及存储介质 | |
CN104766245B (zh) | 一种基于气象信息和熵权理论的电缆负荷曲线估算方法 | |
CN113569409A (zh) | 耦合气候累积效应的植被生产力模型优化方法 | |
CN106355264B (zh) | 一种参考作物腾发量组合预测方法 | |
CN115330269B (zh) | 平原河网水稻灌区农业灌溉超定额用水的预警方法及装置 | |
CN110688622A (zh) | 一种基于人体舒适度的电力负荷预测方法 | |
Zhang et al. | Simulation of daily precipitation from CMIP5 in the Qinghai-Tibet Plateau | |
CN114092831A (zh) | 一种草本沼泽植被物候信息提取方法 | |
CN111104640A (zh) | 一种基于层次分析法的降雨观测评价方法及系统 | |
CN113052433B (zh) | 基于关键时相和农田景观特征参量的作物单产估算方法 | |
CN107292414B (zh) | 基于峰谷电量预测的居民用户分布式上网最优选择方法 | |
Nurhusein | Water consumption by hydropower, does it worth allocation under Ethiopian context | |
CN114282148A (zh) | 一种土壤水分对气象变量时滞效应的量化方法 | |
CN108564308B (zh) | 一种光伏电站总辐射变化特征评估方法和装置 | |
Brabec et al. | Statistical properties of clear and dark duration lengths | |
CN110751657A (zh) | 一种基于三角形覆盖的图像三维分形维数计算方法 | |
Xia et al. | Monthly calibration and optimization of Ångström-Prescott equation coefficients for comprehensive agricultural divisions in China |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |