CN116862132A - 基于大数据的资源调度方法 - Google Patents
基于大数据的资源调度方法 Download PDFInfo
- Publication number
- CN116862132A CN116862132A CN202310423791.8A CN202310423791A CN116862132A CN 116862132 A CN116862132 A CN 116862132A CN 202310423791 A CN202310423791 A CN 202310423791A CN 116862132 A CN116862132 A CN 116862132A
- Authority
- CN
- China
- Prior art keywords
- data
- water
- resource scheduling
- water resource
- scheme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 225
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000003066 decision tree Methods 0.000 claims abstract description 20
- 238000005516 engineering process Methods 0.000 claims abstract description 16
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 8
- 238000004140 cleaning Methods 0.000 claims abstract description 8
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 239000002689 soil Substances 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000007621 cluster analysis Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000003973 irrigation Methods 0.000 claims description 3
- 230000002262 irrigation Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Life Sciences & Earth Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Water Supply & Treatment (AREA)
- Educational Administration (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于大数据的资源调度方法，该方法包括以下步骤：步骤一：采集水资源相关的数据并进行数据处理；步骤二：利用机器学习、人工智能等技术，建立水资源调度模型；步骤三：基于建模结果生成水资源调度方案；步骤四：水资源调度方案评估与优化，所述数据处理模块，用于处理收集到的水资源数据；所述方案生成与评估模块，用于根据调度模型生成水资源调度方案；所述数据处理模块，用于对采集到的数据进行数据清洗、分类、聚类等步骤；所述决策树算法模块，用于建立水资源调度模型。所述方案优化模块，用于对未来的水资源供需情况进行预测，以便及时调整调度方案，本发明，具有智能高效和水资源调度准确的特点。
Description
技术领域
本发明涉及资源调度技术领域，具体为基于大数据的资源调度方法。
背景技术
水资源是人类社会生存、发展的基础性资源，但随着社会经济的快速发展和人口增长，水资源的供需矛盾越来越突出，水资源的利用效率和保障水资源的可持续利用已成为重要问题。
目前，已经有一些基于大数据的水资源调配方法被提出，如水资源智能调度系统、基于GIS技术的水资源管理系统等。这些方法通过采集、分析和处理大量的水资源数据，以实现对水资源的有效调度和管理，但是，这些方法还存在一些问题，如数据处理效率低、水资源需求预测精度不高、调度决策过程缺乏智能化等。因此，设计智能高效和水资源调度准确的基于大数据的资源调度方法是很有必要的。
发明内容
本发明的目的在于提供基于大数据的资源调度方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：基于大数据的资源调度方法，该方法包括以下步骤：
步骤一：采集水资源相关的数据并进行数据处理；
步骤二：利用机器学习、人工智能技术，建立水资源调度模型；
步骤三：基于建模结果生成水资源调度方案；
步骤四：水资源调度方案评估与优化。
根据上述技术方案，所述采集水资源相关的数据并进行数据处理的步骤，包括：
通过物联网技术和传感器装置采集水资源相关的数据；
对采集到的大数据进行清洗、分类、聚类处理。
根据上述技术方案，所述通过物联网技术和传感器装置采集水资源相关的数据的步骤，包括：
传感器数据采集以及气象、土壤数据采集，传感器数据采集是通过安装在水库、河流、湖泊、水井各种水资源上的传感器采集水位、流量、水温、水质多种参数数据，对水资源的状态进行实时监测，同时，传感器数据将以实时数据流的形式传输至数据处理中心，供后续的数据处理和分析使用，而气象、土壤数据采集则是通过气象站、土壤监测站采集与水资源调度相关的气象数据、土壤数据、水土保持数据，这些数据也将以实时数据流的形式传输至数据处理中心。
根据上述技术方案，所述对采集到的大数据进行清洗、分类、聚类处理的步骤，包括：
数据清洗采用了多种方法，包括去重、缺失值处理、异常值处理，数据分类是为了将数据按照不同的特征属性进行分类，如水位、流量、水质，数据分类采用了基于特征属性的分类方法，将传感器采集的数据按照不同的参数特征属性进行分类，数据聚类是为了将数据按照相似性进行聚合，以发现数据的内在规律和异常情况，在本发明实施例中，数据聚类采用了基于K-Means聚类算法的方法，将数据按照相似性进行聚合，以发现数据的内在规律和异常情况。
根据上述技术方案，所述利用机器学习、人工智能技术，建立水资源调度模型的步骤，包括：
使用k-means算法对水资源相关数据进行聚类；
利用决策树算法进行决策。
根据上述技术方案，所述利用决策树算法进行决策的步骤，包括：
将不同数据簇作为决策树的分支，制定针对不同数据簇的水资源调度方案，决策树建模的过程中需要选择合适的分支节点、分支判断条件和叶节点分类，在选择分支节点时，需要考虑分支判断条件的合理性，分支判断条件能够刻画不同数据簇的区别，并且能够在不同数据簇之间形成较大的区分度，可以选择用户用水量大于某一阈值、用水时间集中在某一时段、用水地点在某一区域条件作为分支判断条件，最后使用测试数据集对建立的模型进行测试，评估模型的性能和准确性，确定模型的可用性和优化方向，通过利用聚类分析和决策树算法的优势，通过将相似的数据点分为同一簇，实现对水资源调度的有效分类，然后针对不同的数据簇，制定相应的调度方案，提高了决策的精度和效率，同时，该模型还可以不断优化和升级，适应不同环境下的水资源调度需求。
根据上述技术方案，所述基于建模结果生成水资源调度方案的步骤，包括：
将不同数据簇分为高水位、中水位和低水位三类；
将水资源按照水质、水量、污染等级划分为不同的类别。
根据上述技术方案，所述将不同数据簇分为高水位、中水位和低水位三类的步骤，包括：
根据聚类分析的结果，可以将不同数据簇分为高水位、中水位和低水位三类，对于高水位的数据簇，可以制定降雨天气来临时的调度方案，采取加强水库水位监测、增加水库放水量措施来防止水库溢洪；对于中水位的数据簇，可以制定常规调度方案，维持水库水位在安全水位范围内，保证水库储水和供水功能；对于低水位的数据簇，可以制定节水方案，减少水库的供水量和灌溉量，保证水资源的可持续利用。
根据上述技术方案，所述水资源调度方案评估与优化的步骤，包括：
对水资源利用效率、节水效果、供水可靠性方面进行测算和分析；
通过模拟和预测方法，对未来的水资源调度情况进行预测和评估；
对水资源调度方案进行优化，提高调度方案的准确性和可行性。
根据上述技术方案，所述该系统包括：
数据处理模块，用于处理收集到的水资源数据；
模型建立模块，用于建立水资源调度模型；
方案生成与评估模块，用于根据调度模型生成水资源调度方案。
与现有技术相比，本发明所达到的有益效果是：本发明，通过设置有数据处理模块、模型建立模块、方案生成与评估模块实现基于大数据的水资源调度，首先通过物联网技术和传感器装置采集水资源相关的数据，并对采集到的大数据进行清洗、分类、聚类处理，其次利用机器学习、人工智能技术，建立水资源调度模型，随后根据建立的模型生成水资源调度方案，根据方案进行水资源调度，在后续则通过对水资源利用效率、节水效果、供水可靠性方面进行测算和分析，以此对模型进行评估，同时也对水资源调度方案进行优化，提高调度方案的准确性和可行性，本发明有效提高了水资源调度的高效性和准确性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例一提供的基于大数据的资源调度方法的流程图；
图2为本发明实施例二提供的基于大数据的资源调度系统的模块组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：图1为本发明实施例一提供的基于大数据的资源调度方法的流程图，本实施例可应用水资源调度的场景，该方法可以由本实施例提供的基于大数据的资源调度系统来执行，如图1所示，该方法具体包括以下步骤：
步骤一：采集水资源相关的数据并进行数据处理；
在本发明实施例中，通过物联网技术和传感器等装置采集水资源相关的数据，形成大数据集，并对采集到的大数据进行清洗、分类、聚类等处理，筛选出与水资源调度相关的数据，提高数据分析能力和水资源调度效率；
示例性的，数据采集包括传感器数据采集以及气象、土壤数据采集，传感器数据采集是通过安装在水库、河流、湖泊、水井等各种水资源上的传感器采集水位、流量、水温、水质等多种参数数据，对水资源的状态进行实时监测，同时，传感器数据将以实时数据流的形式传输至数据处理中心，供后续的数据处理和分析使用，而气象、土壤数据采集则是通过气象站、土壤监测站等采集与水资源调度相关的气象数据、土壤数据、水土保持数据等，这些数据也将以实时数据流的形式传输至数据处理中心；
示例性的，对采集到的数据进行处理，数据处理阶段包括数据清洗、分类、聚类等步骤，数据清洗是为了保证数据的准确性和完整性，去除无效数据和异常数据，在本发明实施例中，数据清洗采用了多种方法，包括去重、缺失值处理、异常值处理等，数据分类是为了将数据按照不同的特征属性进行分类，如水位、流量、水质等，数据分类采用了基于特征属性的分类方法，将传感器采集的数据按照不同的参数特征属性进行分类，数据聚类是为了将数据按照相似性进行聚合，以发现数据的内在规律和异常情况，在本发明实施例中，数据聚类采用了基于K-Means聚类算法的方法，将数据按照相似性进行聚合，以发现数据的内在规律和异常情况；
示例性的，在水资源调度中，聚类可以将各个区域或水源的水资源数据进行分类，识别出不同的水质、水量等特征，从而根据各个簇的特征进行精准的调度，例如，某一区域水源的水质特征与其他区域有所不同，可以将其聚类成一个簇，然后针对该簇的特征采取相应的调度措施，如增加水处理设施的容量、调整水质监测频率等，通过聚类分析，可以为水资源调度提供更加科学的依据，提高水资源利用效率和保障水资源安全。
步骤二：利用机器学习、人工智能等技术，建立水资源调度模型；
在本发明实施例中，建立水资源调度模型，根据收集到的水资源数据集，利用机器学习、人工智能等技术，建立水资源调度模型；
示例性的，建立基于聚类和决策树算法的水资源调度模型，首先使用k-means算法对水资源相关数据进行聚类，得到各个数据点所属的不同类别，然后利用决策树算法进行决策，得出针对不同类别的调度方案，具体实现过程如下：首先将从数据采集中得到的原始数据，经过处理和特征提取后，得到可用于建模的数据集，其次对数据集进行标准化处理，使得数据处于同一数量级，避免数据之间的因数差异造成误差，随后使用k-means算法对标准化后的数据集进行聚类分析，将相似的数据点分为同一簇，形成不同的数据簇，聚类过程需要确定聚类数目和初始聚类中心，接着对聚类分析的结果进行决策树建模；
示例性的，决策树建模的方法为：将不同数据簇作为决策树的分支，制定针对不同数据簇的水资源调度方案，决策树建模的过程中需要选择合适的分支节点、分支判断条件和叶节点分类，在选择分支节点时，需要考虑分支判断条件的合理性，分支判断条件能够刻画不同数据簇的区别，并且能够在不同数据簇之间形成较大的区分度，例如，可以选择用户用水量大于某一阈值、用水时间集中在某一时段、用水地点在某一区域等条件作为分支判断条件，最后使用测试数据集对建立的模型进行测试，评估模型的性能和准确性，确定模型的可用性和优化方向，通过利用聚类分析和决策树算法的优势，通过将相似的数据点分为同一簇，实现对水资源调度的有效分类，然后针对不同的数据簇，制定相应的调度方案，提高了决策的精度和效率，同时，该模型还可以不断优化和升级，适应不同环境下的水资源调度需求。
步骤三：基于建模结果生成水资源调度方案；
在本发明实施例中，根据步骤二中生成的聚类结果，结合步骤二中使用的决策树算法，制定针对不同数据簇的水资源调度方案；
示例性的，根据聚类分析的结果，可以将不同数据簇分为高水位、中水位和低水位三类，对于高水位的数据簇，可以制定降雨天气来临时的调度方案，采取加强水库水位监测、增加水库放水量等措施来防止水库溢洪；对于中水位的数据簇，可以制定常规调度方案，维持水库水位在安全水位范围内，保证水库储水和供水功能；对于低水位的数据簇，可以制定节水方案，减少水库的供水量和灌溉量，保证水资源的可持续利用；
示例性的，可以将水资源按照水质、水量、污染等级划分为不同的类别，针对不同类别的水源，制定相应的调度方案，如增加水处理设施的容量、调整供水周期、加强水质监测等，并在不断优化和完善方案，以提高水资源的利用效率和保障水资源的安全，通过数据分析、建模和方案制定，可以为水资源调度提供更加科学和可靠的决策支持，提高水资源的管理和利用水平，在制定调度方案的过程中，还需要考虑到不同地区的水资源需求和环境保护等因素，并制定相应的调度策略。
步骤四：水资源调度方案评估与优化。
在本发明中，通过步骤三所述的水资源调度方案实现后，对其进行评估和优化，以进一步提高调度方案的准确性和可行性；
示例性的，首先对调度方案实施后的效果进行评估，包括水资源利用效率、节水效果、供水可靠性等方面进行测算和分析，以了解实施后的调度方案是否达到预期的效果，是否需要进行调整和优化，在此基础上，可以根据调度方案效果和实际情况，对模型中的参数和算法进行优化和调整，以提高模型的预测精度和适用性，
示例性的，可以通过模拟和预测等方法，对未来的水资源调度情况进行预测和评估，以提前采取相应的措施和调整方案，例如，可以利用历史数据和趋势分析等方法，对未来的水资源供需情况进行预测，以便及时调整调度方案，提高水资源利用效率和供水可靠性，通过对水资源调度方案的评估和优化，可以不断提高调度方案的准确性和可行性，从而更好地满足社会和经济发展的需求，保障水资源的可持续利用和发展。
实施例二：本发明实施例二提供了基于大数据的资源调度系统，图2为本发明实施例二提供的基于大数据的资源调度系统的模块组成示意图，如图2所示，该系统包括：
数据处理模块，用于处理收集到的水资源数据；
模型建立模块，用于建立水资源调度模型；
方案生成与评估模块，用于根据调度模型生成水资源调度方案；
在本发明的一些实施例中，数据处理模块包括：
数据采集模块，用于传感器数据采集以及气象、土壤数据采集；
数据处理模块，用于对采集到的数据进行数据清洗、分类、聚类等步骤；
数据分类模块，用于将数据按照不同的参数特征属性进行分类；
在本发明的一些实施例中，模型建立模块包括：
聚类分析模块，用于对水资源数据进行分类，识别出不同的水质、水量等特征；
决策树算法模块，用于建立水资源调度模型；
在本发明的一些实施例中，方案生成与评估模块包括：
方案生成模块，用于制定针对不同数据簇的水资源调度方案；
方案评估模块，用于对水资源利用效率、节水效果、供水可靠性等方面进行测算和分析；
方案优化模块，用于对未来的水资源供需情况进行预测，以便及时调整调度方案。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于大数据的资源调度方法，其特征在于：该方法包括以下步骤：
步骤一：采集水资源相关的数据并进行数据处理；
步骤二：利用机器学习、人工智能技术，建立水资源调度模型；
步骤三：基于建模结果生成水资源调度方案；
步骤四：水资源调度方案评估与优化。
2.根据权利要求1所述的基于大数据的资源调度方法，其特征在于：所述采集水资源相关的数据并进行数据处理的步骤，包括：
通过物联网技术和传感器装置采集水资源相关的数据；
对采集到的大数据进行清洗、分类、聚类处理。
3.根据权利要求2所述的基于大数据的资源调度方法，其特征在于：所述通过物联网技术和传感器装置采集水资源相关的数据的步骤，包括：
传感器数据采集以及气象、土壤数据采集，传感器数据采集是通过安装在水库、河流、湖泊、水井各种水资源上的传感器采集水位、流量、水温、水质多种参数数据，对水资源的状态进行实时监测，同时，传感器数据将以实时数据流的形式传输至数据处理中心，供后续的数据处理和分析使用，而气象、土壤数据采集则是通过气象站、土壤监测站采集与水资源调度相关的气象数据、土壤数据、水土保持数据，这些数据也将以实时数据流的形式传输至数据处理中心。
4.根据权利要求2所述的基于大数据的资源调度方法，其特征在于：所述对采集到的大数据进行清洗、分类、聚类处理的步骤，包括：
数据清洗采用了多种方法，包括去重、缺失值处理、异常值处理，数据分类是为了将数据按照不同的特征属性进行分类，如水位、流量、水质，数据分类采用了基于特征属性的分类方法，将传感器采集的数据按照不同的参数特征属性进行分类，数据聚类是为了将数据按照相似性进行聚合，以发现数据的内在规律和异常情况，在本发明实施例中，数据聚类采用了基于K-Means聚类算法的方法，将数据按照相似性进行聚合，以发现数据的内在规律和异常情况。
5.根据权利要求1所述的基于大数据的资源调度方法，其特征在于：所述利用机器学习、人工智能技术，建立水资源调度模型的步骤，包括：
使用k-means算法对水资源相关数据进行聚类；
利用决策树算法进行决策。
6.根据权利要求5所述的基于大数据的资源调度方法，其特征在于：所述利用决策树算法进行决策的步骤，包括：
将不同数据簇作为决策树的分支，制定针对不同数据簇的水资源调度方案，决策树建模的过程中需要选择合适的分支节点、分支判断条件和叶节点分类，在选择分支节点时，需要考虑分支判断条件的合理性，分支判断条件能够刻画不同数据簇的区别，并且能够在不同数据簇之间形成较大的区分度，可以选择用户用水量大于某一阈值、用水时间集中在某一时段、用水地点在某一区域条件作为分支判断条件，最后使用测试数据集对建立的模型进行测试，评估模型的性能和准确性，确定模型的可用性和优化方向，通过利用聚类分析和决策树算法的优势，通过将相似的数据点分为同一簇，实现对水资源调度的有效分类，然后针对不同的数据簇，制定相应的调度方案，提高了决策的精度和效率，同时，该模型还可以不断优化和升级，适应不同环境下的水资源调度需求。
7.根据权利要求1所述的基于大数据的资源调度方法，其特征在于：所述基于建模结果生成水资源调度方案的步骤，包括：
将不同数据簇分为高水位、中水位和低水位三类；
将水资源按照水质、水量、污染等级划分为不同的类别。
8.根据权利要求7所述的基于大数据的资源调度方法，其特征在于：所述将不同数据簇分为高水位、中水位和低水位三类的步骤，包括：
根据聚类分析的结果，可以将不同数据簇分为高水位、中水位和低水位三类，对于高水位的数据簇，可以制定降雨天气来临时的调度方案，采取加强水库水位监测、增加水库放水量措施来防止水库溢洪；对于中水位的数据簇，可以制定常规调度方案，维持水库水位在安全水位范围内，保证水库储水和供水功能；对于低水位的数据簇，可以制定节水方案，减少水库的供水量和灌溉量，保证水资源的可持续利用。
9.根据权利要求1所述的基于大数据的资源调度方法，其特征在于：所述水资源调度方案评估与优化的步骤，包括：
对水资源利用效率、节水效果、供水可靠性方面进行测算和分析；
通过模拟和预测方法，对未来的水资源调度情况进行预测和评估；
对水资源调度方案进行优化，提高调度方案的准确性和可行性。
10.基于大数据的资源调度系统，其特征在于：所述该系统包括：
数据处理模块，用于处理收集到的水资源数据；
模型建立模块，用于建立水资源调度模型；
方案生成与评估模块，用于根据调度模型生成水资源调度方案。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310423791.8A CN116862132A (zh) | 2023-04-20 | 2023-04-20 | 基于大数据的资源调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310423791.8A CN116862132A (zh) | 2023-04-20 | 2023-04-20 | 基于大数据的资源调度方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116862132A true CN116862132A (zh) | 2023-10-10 |
Family
ID=88234633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310423791.8A Pending CN116862132A (zh) | 2023-04-20 | 2023-04-20 | 基于大数据的资源调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116862132A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117436727A (zh) * | 2023-12-18 | 2024-01-23 | 深圳中科超远科技有限公司 | 一种智能水利调度优化系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108470249A (zh) * | 2018-03-16 | 2018-08-31 | 大连理工大学 | 一种耦合聚类分析和决策树的梯级水电站群短期发电调度方法 |
| CN110991687A (zh) * | 2019-09-26 | 2020-04-10 | 深圳市东深电子股份有限公司 | 一种基于经验模型的水资源调度优化方法 |
| CN111291076A (zh) * | 2020-01-16 | 2020-06-16 | 江苏禹治流域管理技术研究院有限公司 | 基于大数据的异常用水监测报警系统及其构建方法 |
| CN113626923A (zh) * | 2021-08-16 | 2021-11-09 | 河海大学 | 一种平原河网区域水资源调度精准率计算与提升方法 |
| CN113962463A (zh) * | 2021-10-25 | 2022-01-21 | 河海大学 | 一种动态时变结构的水库优化调度规则提取方法 |
-
2023
- 2023-04-20 CN CN202310423791.8A patent/CN116862132A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108470249A (zh) * | 2018-03-16 | 2018-08-31 | 大连理工大学 | 一种耦合聚类分析和决策树的梯级水电站群短期发电调度方法 |
| CN110991687A (zh) * | 2019-09-26 | 2020-04-10 | 深圳市东深电子股份有限公司 | 一种基于经验模型的水资源调度优化方法 |
| CN111291076A (zh) * | 2020-01-16 | 2020-06-16 | 江苏禹治流域管理技术研究院有限公司 | 基于大数据的异常用水监测报警系统及其构建方法 |
| CN113626923A (zh) * | 2021-08-16 | 2021-11-09 | 河海大学 | 一种平原河网区域水资源调度精准率计算与提升方法 |
| CN113962463A (zh) * | 2021-10-25 | 2022-01-21 | 河海大学 | 一种动态时变结构的水库优化调度规则提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 蒋文航: "基于多源信息的水库群多目标调度研究", 《中优秀硕士学位论文全文数据库》, pages 55 - 57 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117436727A (zh) * | 2023-12-18 | 2024-01-23 | 深圳中科超远科技有限公司 | 一种智能水利调度优化系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113379109B (zh) | 一种基于预测模型自适应的径流预报方法 | |
| CN106779223B (zh) | 一种光伏系统发电功率实时预测方法及装置 | |
| CN109872003B (zh) | 对象状态预测方法、系统、计算机设备及存储介质 | |
| Dayal et al. | Development of ARIMA model for monthly rainfall forecasting over an Indian River Basin | |
| CN105956788A (zh) | 一种输变电工程造价的动态管理控制方法 | |
| CN117036104B (zh) | 一种基于电力物联网的智慧用电方法和系统 | |
| CN116865258B (zh) | 一种层级构造的分布式电源智能电网构建方法 | |
| CN105868887A (zh) | 一种基于分项计量的楼宇综合能效分析方法 | |
| CN116862132A (zh) | 基于大数据的资源调度方法 | |
| CN110555058A (zh) | 基于改进决策树的电力通信设备状态的预测方法 | |
| CN109446243B (zh) | 一种基于大数据分析检测光伏电站发电异常的方法 | |
| CN111861023A (zh) | 基于统计学的混合风电功率预测方法、装置 | |
| CN113222368B (zh) | 一种基于雨水花园监测数据的雨洪预警方法 | |
| CN111237646A (zh) | 一种供水管网漏损的自动识别和定位方法 | |
| CN113486950A (zh) | 一种智能管网漏水检测方法及系统 | |
| CN113780377B (zh) | 基于物联网数据在线学习的降雨等级预测方法及系统 | |
| CN113822587B (zh) | 一种基于总线电流数据的工厂产能评估方法 | |
| CN114936590A (zh) | 一种光伏电站弃光数据识别方法、装置及存储介质 | |
| CN115374991A (zh) | 一种基于改进统计升尺度的光伏集群出力预测方法 | |
| Zhao et al. | Spatio-temporal load forecasting considering aggregation features of electricity cells and uncertainties in input variables | |
| Maity et al. | Predhonk: A framework to predict vehicular honk count using deep learning models | |
| CN113902164A (zh) | 一种基于大数据技术的配电网故障预测系统及方法 | |
| CN112561153A (zh) | 一种基于模型集成的景区人群聚集预测方法 | |
| Hong et al. | Drainage network flow anomaly classification based on XGBoost | |
| CN112330003B (zh) | 基于双向循环神经网络的周期型容量数据预测方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |