CN112527853B - 基于大数据的水生态承载力分析方法 - Google Patents
基于大数据的水生态承载力分析方法 Download PDFInfo
- Publication number
- CN112527853B CN112527853B CN201910880661.0A CN201910880661A CN112527853B CN 112527853 B CN112527853 B CN 112527853B CN 201910880661 A CN201910880661 A CN 201910880661A CN 112527853 B CN112527853 B CN 112527853B
- Authority
- CN
- China
- Prior art keywords
- ecological
- data
- water
- bearing capacity
- footprint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 184
- 238000004458 analytical method Methods 0.000 title claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000012544 monitoring process Methods 0.000 claims description 29
- 238000004519 manufacturing process Methods 0.000 claims description 11
- 238000013515 script Methods 0.000 claims description 9
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 claims description 8
- 238000003912 environmental pollution Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000005251 gamma ray Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000013523 data management Methods 0.000 abstract 1
- 238000013500 data storage Methods 0.000 abstract 1
- 230000001939 inductive effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000008235 industrial water Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Computational Linguistics (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及大数据技术领域，具体来说是基于大数据的水生态承载力分析方法。其主要在于重新归纳选取了水生态承载力分析所需的大数据来源,利用HDFS强大的数据存储、管理功能，解决水资源数据量的问题，利用MapReduce及Sqoop等工具，快速处理水资源数据，最后将数据存储到数据库中。然后根据生态足迹和生态承载力计算公式抽取所需要的数据，利用已有数据训练水生态承载力模型，最后将流域范围内该年的数据输入已训练好的模型中，输出生态足迹(EF)评估值，与生态承载力相比较，得出该年流域内生态承载力是否赤字或盈余。本发明通过实际案例验证了模型的准确性。
Description
技术领域
本发明涉及大数据技术与水环境信息应用领域，具体来说是一种基于大数据的水生态承载力分析方法。
背景技术
随着全球气候变暖，经济和人民物质的提高，工业、生产生活方面的用水量增加，导致对水资源的使用加剧，导致环境污染加重，从海量监测数据中进行承载力分析变得更加有意义。水生态承载力分析：就是对水生态环境在一定的特定环境下，生态系统的自我调节与自我维持能力，以及资源与环境子系统的供给能力。为了提高生态承载力的多样性研究，提出了基于大数据的水生态承载力模型。
在科学技术、IT技术以及传感技术等现在技术的迅猛发展下，全面扩展了环境的时空尺度的监测，导致监测数据的数量种类的海量增长。将大数据技术应用其中是必然的趋势。目前生态承载力计算的难点主要在于计算比较复杂，在面对海量监测数据时，得到的结果不准确。
针对目前水生态承载力分析研究中的问题，本文提出了一种基于大数据的水生态承载力分析模型，以提高数据结果的准确性以及简化计算结果的复杂性，提高生态承载力分析计算的多样性。
发明内容
针对现有技术的不足，本发明提供一种基于大数据的水生态承载力分析模型，解决了相关水资源数据量大、水生态数据多样的特点，解决了计算水生态承载力的复杂性、数据固定化的传统思维，增加数据多样性的特点，提高了计算水生态承载力分析计算的效率。
本发明采用技术方案如下：
一种基于大数据的水生态承载力分析方法，包括以下步骤：
(1)采集监测数据存储到数据中心，进行预处理后保存至HDFS中；
(2)通过MapReduce对HDFS中的数据进行转换，生成Hive数据表；
(3)通过Sqoop工具将Hive数据表加载到MySql数据库中；
(4)利用MySql数据库中已有的数据以及Hive数据表中的监测数据进行生态承载力足迹计算；
(5)将MySql数据库中已有的数据以及Hive数据表中的监测数据作为生态承载力模型的输入，将计算所得的生态承载力足迹的值作为水生态承载力模型的输出，对水生态承载力模型进行训练；
(6)将待测区域的数据输入到训练好的水生态承载力模型中，得到生态承载力足迹的值作为生态足迹评估值；
(7)将水生态承载力模型输出的生态足迹评估值与总生态承载力值比较，得出生态赤字或盈余情况。
所述监测数据包括环境污染数据。
所述已有数据包括人类活动数据、生态数据。
步骤(2)包括以下步骤：将HDFS中的数据，通过Hive工具制定的规则编写SQL脚本，将SQL脚本翻译成MapReduce任务，提交任务给JobTracce,执行程序中的Map操作和Reduce操作映射至TaskTracer节点，进行MapRedece计算，计算后的结果生成Hive数据表。
所述水生态承载力模型的输入数据分为三个部分，包括生态压力层数据、生态承载力层数据、生态弹性力层数据；
所述生态压力层数据包括人类活动数据、经济增长数据、环境污染数据；
所述生态承载力层数据包括水资源自身、人类支持的数据；
所述生态弹性力层数据包括生态数据。
所述生态承载力足迹计算如下：
WEFl＝Nγw(Wl/Pw)
WEFp＝Nγw(Wp/Pw)
WEFc＝Nγw(Wc/Pw)
WEF＝WEFl+WEFp+WEFc
WEF为总生态足迹,由生活用水生态足迹WEFl、生产用水生态足迹WEFp、生态用水生态足迹WEFc组成；生活用水生态足迹表示居民日常生活对水资源的占用,生产用水生态足迹表示农业、林木业以及工业对水资源的占用,生态用水生态足迹是保证生态系统需要的水资源量,其中，生活用水、生产用水、生态用水的消耗量分别用含有l、p、c的参数表示，为Wi(i＝l,p,c)，N为人口总数，γw为水资源均衡因子。
所述水生态承载力模型采用神经网络，为三层网络数据结构；其中输入层数据为三个节点，输出层数据为一个节点，其中隐藏层的节点计算个数为：
其中n为输入节点的个数，m为输出节点的个数，a为1-10之间的整数；
将水生态压力层数据、水生态承载力层数据、水生态弹性力层数据作为水生态承载力模型输入层的三个节点进行输入，将生态承载力足迹值作为水生态承载力模型输出层节点输出，利用上述公式计算出隐藏层节点的个数，进行水生态承载力模型训练。
所述总生态承载力计算如下：
WEC,i,n＝0.88NγwywQw/Pw
WEC,i,n表示总生态承载力，yw为区域水资源产量因子；Qw为该区域水资源总量；N为人口总数；γw为水资源均衡因子；Pw为区域水资源平均产能。
步骤(7)包括以下步骤：
将水生态承载力模型输出的生态足迹评估值与总生态承载力值比较：
ΔE＝WEC,i,n-WEF
其中WEC,i,n为总生态承载力，WEF为总生态足迹；
若比较值ΔE＞0，水资源盈余，说明该区域水生态供给充足，水资源可持续发展利用；若ΔE＜0，水资源赤字，水生态环境无法进行足够的供给,容易对环境过度使用，对环境造成破坏。
本发明具有以下有益效果及优点：
1.本发明通过使用大数据技术对水监测数据处理，选取最能够提现水生态承载力分析的数据，提高了水生态承载力分析数据的多元性、动态性以及结果的客观性。
2.本发明通过使用提出的水生态承载力分析模型，可以对输入数据以及输出结果之间通过训练不断调整模型的权重，确保输出结果的准确性。
3.本发明应用于实际水环境监测系统中，为水生态赤字或盈余分析提供科学依据，能够对水资源合理开发利用提供参考依据。
附图说明
图1是本发明的方法流程图。
图2是本发明的水生态承载力分析模型图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
为使本发明的上述目的、特征和有点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
基于大数据的水生态承载力分析模型，包括以下步骤：
步骤1：自动监测站采集监测数据，例如COD(化学需氧量)、氨氮、PH值等。经过网络传输存储到数据中心的过滤器，进行简单预处理，去除格式错误、不符合常理的数据，然后将处理的数据保存至HDFS(Hadoop分布式文件系统)中；
步骤2：利用Hive工具制定相关规则，根据制定的规则编写SQL脚本，然后将SQL脚本翻译成复杂的MapReduce任务，用户提交任务给JobTracce,然后把用户程序中的Map操作和Reduce操作映射至TaskTracer节点，进行MapRedece计算，将计算后的结果生成所需的Hive数据表，例如COD、氨氮等总排放量。
步骤3：利用Sqoop工具将上述生成的Hive数据表加载到关系型数据库(MySql)中，从而提高获取数据的效率。
步骤4：利用关系型数据库中已有的数据进行生态足迹计算，已有数据包括已经整理完成的数据，例如人口数量、森林覆盖率等以及经过处理加载至关系型数据库中的监测环境数据。利用两部分数据进行生态承载力足迹计算。
步骤5：将上述数据库中的数据分为三个部分，包括生态压力层数据、生态承载力层数据以及生态弹性力层数据，作为水生态承载力模型的三个输入，将计算所得的生态足迹的值作为水生态承载力模型的输出，根据输入输出值对水生态承载力模型进行训练。
步骤6：然后将训练好的模型应用于辽河流域的水生态承载力分析中，将辽河流域流经区域的水环境、水监测以及水生态数据输入到模型中，得到生态足迹评估值。
步骤7：将模型输出的生态足迹评估值以及生态承载力值相比较，得出生态赤字或盈余情况。
对水资源水环境水生态数据、水资源数据以及水环境数据等监测数据用大数据技术进行处理、存储。对水监测数据进行预处理、存储、并行处理、上传步骤生成规范的Hive表，存储到关系型数据库中。
水生态承载力的影响因素及水生态承载力模型输入包括生态压力层数据、生态承载力层数据和生态弹性力层数据。见下表：
表1
水生态承载力模型的输入为一级指标层中的三部分数据，水生态压力层数据主要包括人类活动数据、经济增长数据和环境污染数据；水生态承载力层数据主要包括水资源自身数据以及人类支持数据；水生态弹性力层数据主要有生态类数据。
大数据处理相关水监测数据包括以下过程：
利用大数据技术ETL(Extract、Transform、Load)将收集到的数据进行抽取、转换和加载到数据仓库，比如PH值一般在0～14之间，对于不合理的数据要丢弃,并将处理后的数据保存到HDFS中。
利用Hive工具根据业务规则编写SQL脚本，然后将SQL脚本翻译为MapReduce Job，Job顺序执行，生成所需要的Hive数据表，比如各个监测点监测到的COD的总量、氨氮的排放总量。
利用Sqoop工具将上述生成的Hive表加载到关系型数据库(Mysql)中。提高获取数据的效率。
水生态足迹计算如下：
WEFl＝Nγw(Wl/Pw)
WEFp＝Nγw(Wp/Pw)
WEFc＝Nγw(Wc/Pw)
WEF＝WEFl+WEFp+WEFc
WEF为总生态足迹,分别由生活用水生态足迹WEFl、生产用水生态足迹WEFp和生态用水生态足迹WEFc组成；生活用水生态足迹是指居民日常生活对水资源的占用,生产用水生态足迹是指农业、林木业以及工业对水资源的占用情况,生态用水生态足迹是保证生态系统健康需要的水资源量,其中为生活用水、生产用水(农业、林业和工业用水)和生态用水的消耗量为Wi(i＝l,p,c),m3.
水生态承载力计算如下：
WEC,i,n＝0.88NγwywQw/Pw
根据世界环保发展委员会(WECD)的建议,水生态承载力用于生物多样性保护的生态补偿应该扣除12％的部分，yw为区域水资源产量因子；Qw为该区域水资源总量；N为人口总数，人；γw为水资源均衡因子，ghm2/km2；Pw为区域水资源平均产能m3/km2。
水生态承载力模型为三层网络数据结构，其中输入数据为三个节点，输出数据为一个节点，其中隐藏层的节点计算个数为以下公式：
其中n为输入节点的个数，m为输出节点的个数，a为1-10之间的整数。
水生态承载力模型为三层节点数据组成的结构，将水生态压力层数据、水生态承载力层数据以及水生态弹性力层数据分别作为水生态承载力模型输入层的三个节点进行输入，将生态足迹值作为水生态承载力模型输出层节点输出，利用上述公式计算出隐藏层节点的个数，进行水生态承载力模型训练。
水生态承载力赤字盈余分析计算如下：
ΔE＝WEC,i,n-WEF
其中WEC,i,n为总生态承载力，WEF为总生态足迹。若ΔE＞0，水资源盈余，说明该区域水生态供给充足，水资源可持续发展利用。若ΔE＜0，水资源赤字，水生态环境无法进行足够的供给,容易对环境过度使用，对环境造成破坏。
如图1、图2所示，一种基于大数据的水生态承载力分析方法，包括以下步骤：
步骤1：获取监测站监测的数据通过网络发送到远程数据中心作为输入起始；
步骤2：经过网络传输的数据存储到数据中心，对数据进行简单预处理，去除格式错误、不符合常数的数据；
步骤3：将经过步骤2处理过的数据上传保存至HDFS中；
步骤4：将已上传的数据通过编写SQL脚本，翻译成MapReduce任务，利用MapReduce的数据处理能力，对HDFS中的数据进行转换处理，生成所需的Hive表；
步骤5：利用Sqoop工具将步骤4生成的Hive表加载到MySql数据库中；
步骤6：将步骤5已经加载的监测数据以及基础资源库中的数据作为水生态承载力模型的输入；
步骤7：对步骤6的数据进行生态承载力计算结合已有数据对水生态承载力模型进行训练；
步骤8：利用步骤7已经训练的模型按年份输入已有数据，对该年的水生态承载力进行分析；
步骤9：最后根据输出结果判断水生态承载力是否赤字或盈余。
其中，步骤2：数据预处理，数据中心的数据文件格式如下：
表2
根据国家相关准则和业务准则对数据进行清洗、处理。
步骤5中：利用Sqoop工具导入关系型数据库MySql中的相关命令如下：
①连接mysql数据库列出库中的表命令
Sqoop list-tables--connect jdbc:mysql://IP地址:端口号/数据库名称--username用户名--password密码
②将hive中的表数据导入到mysql中
./sqoop export--connect jdbc:mysql://IP地址:端口号/test--username用户名--password密码--table表名--export-dir/user/hive/warehouse/uv/dt＝2011-08-03
步骤6中：关于加载到MySql中的数据以及基础资源库中计算水生态承载力的数据见表1：
主要分为压力层数据、承载力层数据和弹性力层数据。
步骤7中：对于输入水生态承载力模型的数据先抽取相关数据进行生态足迹(EF)计算，生态承载力(ECC)计算，具体计算过程及计算公式如下：
⑴首先对关系型数据库和基础数据库中的数据进行生态足迹计算，计算如下：
WEFl＝Nγw(Wl/Pw)
WEFp＝Nγw(Wp/Pw)
WEFc＝Nγw(Wc/Pw)
WEF＝WEFl+WEFp+WEFc
WEF为总生态足迹，分别由生活用水生态足迹WEFl、生产用水生态足迹WEFp和生态用水生态足迹WEFc组成；其中为生活用水、生产用水(农业、林业和工业用水)和生态用水的消耗量为Wi(i＝l,p,c),m3。
⑵对数据资源库中的数据进行生态承载力计算，具体计算如下：
WEC,i,n＝0.88NγwywQw/Pw
yw为区域水资源产量因子；Qw为该区域水资源总量；N为人口总数，人；γw为水资源均衡因子，ghm2/km2；Pw为区域水资源平均产能m3/km2。
步骤8中：将已有数据输入到训练好的模型中，输出模型得到EF评估值，根据以下公式分析水生态环境赤字或盈余。
ΔE＝WEC,i,n-WEF
若ΔE＞0，水资源盈余，说明该区域水生态供给充足，水资源可持续发展利用。若ΔE＜0，水资源赤字，水生态环境无法进行足够的供给，容易对环境过度使用，对环境造成破坏。
最终得到该年度水生态环境分析结果。
Claims (5)
1.基于大数据的水生态承载力分析方法，其特征在于，包括以下步骤：
(1)采集监测数据存储到数据中心，进行预处理后保存至HDFS中；
(2)通过MapReduce对HDFS中的数据进行转换，生成Hive数据表；
(3)通过Sqoop工具将Hive数据表加载到MySql数据库中；
(4)利用MySql数据库中已有的数据以及Hive数据表中的监测数据进行生态承载力足迹计算；
(5)将MySql数据库中已有的数据以及Hive数据表中的监测数据作为生态承载力模型的输入，将计算所得的生态承载力足迹的值作为水生态承载力模型的输出，对水生态承载力模型进行训练；
(6)将待测区域的数据输入到训练好的水生态承载力模型中，得到生态承载力足迹的值作为生态足迹评估值；
(7)将水生态承载力模型输出的生态足迹评估值与总生态承载力值比较，得出生态赤字或盈余情况；
所述生态承载力足迹计算如下：
WEFl＝Nγw(Wl/Pw)
WEFp＝Nγw(Wp/Pw)
WEFc＝Nγw(Wc/Pw)
WEF＝WEFl+WEFp+WEFc
WEF为总生态足迹,由生活用水生态足迹WEFl、生产用水生态足迹WEFp、生态用水生态足迹WEFc组成；生活用水生态足迹表示居民日常生活对水资源的占用,生产用水生态足迹表示农业、林木业以及工业对水资源的占用,生态用水生态足迹是保证生态系统需要的水资源量,其中，生活用水、生产用水、生态用水的消耗量分别用含有l、p、c的参数表示，为Wi(i＝l,p,c)，N为人口总数，γw为水资源均衡因子；
所述水生态承载力模型采用神经网络，为三层网络数据结构；其中输入层数据为三个节点，输出层数据为一个节点，其中隐藏层的节点计算个数为：
其中n为输入节点的个数，m为输出节点的个数，a为1-10之间的整数；
将水生态压力层数据、水生态承载力层数据、水生态弹性力层数据作为水生态承载力模型输入层的三个节点进行输入，将生态承载力足迹值作为水生态承载力模型输出层节点输出，利用上述公式计算出隐藏层节点的个数，进行水生态承载力模型训练；
所述总生态承载力计算如下：
WEC,i,n＝0.88NγwywQw/Pw
WEC,i,n表示总生态承载力，yw为区域水资源产量因子；Qw为该区域水资源总量；N为人口总数；γw为水资源均衡因子；Pw为区域水资源平均产能；
步骤(7)包括以下步骤：
将水生态承载力模型输出的生态足迹评估值与总生态承载力值比较：
ΔE＝WEC,i,n-WEF
其中WEC,i,n为总生态承载力，WEF为总生态足迹；
若比较值ΔE＞0，水资源盈余，说明该区域水生态供给充足，水资源可持续发展利用；若ΔE＜0，水资源赤字，水生态环境无法进行足够的供给,容易对环境过度使用，对环境造成破坏。
2.根据权利要求1所述基于大数据的水生态承载力分析方法，其特征在于，所述监测数据包括环境污染数据。
3.根据权利要求1所述基于大数据的水生态承载力分析方法，其特征在于，所述已有数据包括人类活动数据、生态数据。
4.根据权利要求1所述基于大数据的水生态承载力分析方法，其特征在于，步骤(2)包括以下步骤：将HDFS中的数据，通过Hive工具制定的规则编写SQL脚本，将SQL脚本翻译成MapReduce任务，提交任务给JobTracce,执行程序中的Map操作和Reduce操作映射至TaskTracer节点，进行MapRedece计算，计算后的结果生成Hive数据表。
5.根据权利要求1所述基于大数据的水生态承载力分析方法，其特征在于：所述水生态承载力模型的输入数据分为三个部分，包括生态压力层数据、生态承载力层数据、生态弹性力层数据；
所述生态压力层数据包括人类活动数据、经济增长数据、环境污染数据；
所述生态承载力层数据包括水资源自身、人类支持的数据；
所述生态弹性力层数据包括生态数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910880661.0A CN112527853B (zh) | 2019-09-18 | 2019-09-18 | 基于大数据的水生态承载力分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910880661.0A CN112527853B (zh) | 2019-09-18 | 2019-09-18 | 基于大数据的水生态承载力分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112527853A CN112527853A (zh) | 2021-03-19 |
| CN112527853B true CN112527853B (zh) | 2023-12-15 |
Family
ID=74975021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910880661.0A Active CN112527853B (zh) | 2019-09-18 | 2019-09-18 | 基于大数据的水生态承载力分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112527853B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0511635A (pt) * | 2004-05-28 | 2008-01-02 | Univ Newcastle | processo para estimulação da produção de metano a partir de petróleo em formações subterráneas |
| CN106680442A (zh) * | 2015-11-10 | 2017-05-17 | 中国科学院沈阳计算技术研究所有限公司 | 一种用于水环境风险预警的阈值计算方法 |
| CN106815480A (zh) * | 2017-01-17 | 2017-06-09 | 武汉科技大学 | 一种基于生态足迹模型的生态可持续性综合评价方法 |
| CN108564296A (zh) * | 2018-04-26 | 2018-09-21 | 济南大学 | 一种基于生态足迹模型的流域水资源承载力评价方法 |
| CN109102193A (zh) * | 2018-08-17 | 2018-12-28 | 湖南城市学院 | 地理设计生态红线划定与管理系统及数据库、评价模型 |
| CN110189059A (zh) * | 2019-06-17 | 2019-08-30 | 北京师范大学 | 一种流域水系统协同承载力评价指标体系构建方法 |
-
2019
- 2019-09-18 CN CN201910880661.0A patent/CN112527853B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0511635A (pt) * | 2004-05-28 | 2008-01-02 | Univ Newcastle | processo para estimulação da produção de metano a partir de petróleo em formações subterráneas |
| CN106680442A (zh) * | 2015-11-10 | 2017-05-17 | 中国科学院沈阳计算技术研究所有限公司 | 一种用于水环境风险预警的阈值计算方法 |
| CN106815480A (zh) * | 2017-01-17 | 2017-06-09 | 武汉科技大学 | 一种基于生态足迹模型的生态可持续性综合评价方法 |
| CN108564296A (zh) * | 2018-04-26 | 2018-09-21 | 济南大学 | 一种基于生态足迹模型的流域水资源承载力评价方法 |
| CN109102193A (zh) * | 2018-08-17 | 2018-12-28 | 湖南城市学院 | 地理设计生态红线划定与管理系统及数据库、评价模型 |
| CN110189059A (zh) * | 2019-06-17 | 2019-08-30 | 北京师范大学 | 一种流域水系统协同承载力评价指标体系构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 中国西部地区环境承载力多情景模拟分析;宁佳等;《中国人口资源与环境》;第24卷(第11期);第136-146页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112527853A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543943B (zh) | 一种基于大数据深度学习的电价稽查执行方法 | |
| CN105260820B (zh) | 调水工程受水区水生态系统风险评估方法 | |
| CN112614011B (zh) | 电力配网物资需求预测方法和装置、存储介质及电子设备 | |
| CN106779219A (zh) | 一种用电量预测方法及系统 | |
| CN106600037B (zh) | 一种基于主成分分析的多参量辅助负荷预测方法 | |
| CN111667164A (zh) | 一种企业科技创新能力评价优化方法、系统及存储介质 | |
| CN113240341A (zh) | 一种基于大数据的信息系统效能评估方法 | |
| CN115358644A (zh) | 一种基于机器学习的县域森林碳汇估算方法和装置 | |
| CN110751416A (zh) | 一种用水量的预测方法、装置及设备 | |
| CN111324635A (zh) | 工业大数据云平台数据处理方法及系统 | |
| CN114154672A (zh) | 一种用于客户流失预测的数据挖掘方法 | |
| CN113705015A (zh) | 一种林地多数据融合的林业碳汇算法 | |
| CN117556369B (zh) | 一种动态生成的残差图卷积神经网络的窃电检测方法及系统 | |
| CN112527853B (zh) | 基于大数据的水生态承载力分析方法 | |
| CN107944066B (zh) | 一种基于大数据的余热锅炉节能潜力分析方法 | |
| CN108427742B (zh) | 一种基于低秩矩阵的配电网可靠性数据修复方法及系统 | |
| CN116091103A (zh) | 一种周期环境整治测算方法、装置、电子设备及介质 | |
| CN113837486B (zh) | 一种基于rnn-rbm的配网馈线长期负荷预测方法 | |
| Guerra | A proposal to combine classical and hypothetical extraction input–output methods to identify key sectors for the production and distribution of electricity | |
| CN115511230A (zh) | 一种电能替代潜力分析预测方法 | |
| CN114565286A (zh) | 工业废水排放量的智能分析方法及装置 | |
| CN113158134B (zh) | 非侵入式负荷辨识模型的构建方法、装置和存储介质 | |
| CN113435857A (zh) | 应聘者数据分析方法及装置 | |
| CN113887992A (zh) | 一种耦合资源环境和经济技术的钢铁企业能效评价方法 | |
| Nenkova et al. | Government expenditure efficiency and macroeconomic performance of Balkan countries: DEA approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |