CN101930566B - 基于平行系统的水利实验模拟系统及实验模拟方法 - Google Patents
基于平行系统的水利实验模拟系统及实验模拟方法 Download PDFInfo
- Publication number
- CN101930566B CN101930566B CN2010102535351A CN201010253535A CN101930566B CN 101930566 B CN101930566 B CN 101930566B CN 2010102535351 A CN2010102535351 A CN 2010102535351A CN 201010253535 A CN201010253535 A CN 201010253535A CN 101930566 B CN101930566 B CN 101930566B
- Authority
- CN
- China
- Prior art keywords
- data
- knowledge
- engine
- module
- forecast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于平行系统的水利实验模拟系统,包括过程参数及数据预测分析模块和学习记忆模块,过程参数及数据预测分析模块与数据、数据集成模块、预报模型模块和预报结果分别连接,学习记忆模块与数据、数据集成模块、预报模型模块和预报结果分别连接,数据、数据集成模块、预报模型模块和预报结果依次连接。本发明还公开了利用上述系统进行水利实验模拟的方法,根据实际需要确定数据拟合、数据挖掘、问题分析、知识应用、参数分析之间的组件组合,以及数据集成、预报模型选择、学习记忆等。本发明的系统及其方法,解决了现有水利应用中,高性能计算需要大量计算资源,水利数据难以进行有效集成和开展应用模拟的难题。
Description
技术领域
本发明属于水利实验模拟技术领域,涉及一种基于平行系统的水利实验模拟系统,本发明还涉及一种基于平行系统的水利实验模拟方法。
背景技术
平行系统属于高性能计算技术领域,主要面向复杂问题的解决和分析,与传统单一的高性能并行计算有一定的不同。传统的高性能计算技术是指使用多处理器或者计算机集群,研究并行算法和开发相关软件,并致力于开发高性能计算机的一门计算机科学,通常包括多种类型的HPC系统。从上世纪80年代开始,国内外陆续建设了多个超级计算中心,为实际工程提供高性能计算服务。但是,其实施需要大量高性能计算机的硬件支持,投资较大,这在很大程度上限制了技术的发展。
在高性能计算发展遇到瓶颈的背景下,平行系统应运而生。平行系统是指由某一个自然的现实系统和对应的一个或多个虚拟或理想的人工系统所组成的共同系统。主要包括实际系统和人工系统,通过两者的相互作用,完成对实际系统的管理与控制,对相关行为和决策的实验与评估。平行系统的主要目的是通过实际系统与人工系统的相互连接,对二者之间的行为进行对比和分析,完成对各自未来状况的“借鉴”和“预估”,相应地调节各自的管理与控制方式,达到实施有效解决方案以及学习和培训的目的。
目前,平行系统整体仍然处于理论研究阶段,其构建方法还很不成熟,还没有一个真正实用的产品面世。在系统目标方面,现有的构建方法主要侧重于高性能计算力的实现上,单方面的追求高计算力,对改进决策支持方面关心较少,由此构建出的系统多是一种离线式的分析服务系统,而非在线实时式的决策支持、分析和产生系统。在硬件支持方面,现有的平行系统构建方法需要一定程度的硬件支持力度,例如计算集群、高效网络等,但随着计算任务的增加,其硬件支持需求呈指数增长。在预期应用领域方面,现有的平行系统构建主要用于解决社会、经济等问题,对于平行系统在水文上的应用研究还很不充分,例如王飞跃在《人工社会、计算实验、平行系统——关于复杂社会经济系统计算研究的讨论》中所提出的旨在解决复杂社会经济系统问题的平行系统构建方法。
水文业务的复杂性使得对高精度、高效率数据处理服务的需求逐渐增加,水文信息资源的快速增加,不同系统之间的数据交换、异构平台之间的数据访问、数据的高效率利用、系统间的协同工作、软件的复用等逐步暴露出一系列问题,当前普通的网络技术不能满足跨行政区域、跨学科的数据共享和协作,急需一种具有高性能计算服务功能的平行系统。平行系统在高性能计算服务的支撑下,有效整合数据资源,开发计算应用服务,实现对水文数据尤其是空间数据的高效、实时处理,提高数据的可用性,成为一种有发展前景的选择。
发明内容
本发明的目的是提供一种基于平行系统的水利实验模拟系统,解决了现有水文预报应用中,高性能计算需要大量计算资源,水利数据难以进行有效集成和开展应用模拟的难题。
本发明的另一目的是提供一种基于平行系统的水利实验模拟方法。
本发明所采用的技术方案是,一种基于平行系统的水利实验模拟系统,包括过程参数及数据预测分析模块和学习记忆模块,过程参数及数据预测分析模块与数据、数据集成模块、预报模型模块和预报结果分别连接,学习记忆模块与数据、数据集成模块、预报模型模块和预报结果分别连接,数据、数据集成模块、预报模型模块和预报结果依次连接;
过程参数及数据预测分析模块内部包括数据拟合引擎、数据挖掘引擎、问题分析引擎、知识应用引擎、参数分析引擎五个组件组合而成;
数据集成模块通过采用数据生成与数据集成的双通道集成方式,利用过程参数及数据预测分析模块中的数据拟合引擎来生成所需数据,并且根据实际获得数据的不断丰富而不断地修正计算结果;
预报模型模块内封装了所有的主流水文预报模型,也能够使用系统外部提供的模型;
学习记忆模块用于完成数据和知识的积累,包括编码组件、反馈数据、解析引擎、补充数据组合而成。
本发明所采用的另一技术方案是,一种基于平行系统的水利实验模拟方法,利用一种基于平行系统的水文预报模拟系统,该系统的结构是,
包括过程参数及数据预测分析模块和学习记忆模块,过程参数及数据预测分析模块与数据、数据集成模块、预报模型模块和预报结果分别连接,学习记忆模块与数据、数据集成模块、预报模型模块和预报结果分别连接,数据、数据集成模块、预报模型模块和预报结果依次连接;
过程参数及数据预测分析模块内部包括数据拟合引擎、数据挖掘引擎、问题分析引擎、知识应用引擎、参数分析引擎五个组件组合而成;
数据集成模块通过采用数据生成与数据集成的双通道集成方式,利用过程参数及数据预测分析模块中的数据拟合引擎来生成所需数据,并且根据实际获得数据的不断丰富而不断地修正计算结果;
预报模型模块内封装了所有的主流水文预报模型,也能够使用平台外部提供的模型;
学习记忆模块用于完成数据和知识的积累,包括编码组件、反馈数据、解析引擎、补充数据组合而成,
通过上述系统,该方法按照以下步骤实施:
根据实际需要确定数据拟合引擎、数据挖掘引擎、问题分析引擎、知识应用引擎、参数分析引擎之间的组件组合,
其中数据拟合,通过数据拟合引擎内部集成的样条差值和最小二乘拟合方法编制的程序,输入一个离散数据组成的队列,即得到定义域上平滑的拟合方程;
数据挖掘,通过数据挖掘引擎使用冒泡法对数据中的历史数据和知识积累进行排序,在排序的基础上利用二分法对数据进行检索,检索结果为精确的数据或是满足一定条件的数据集;
问题分析的实施包括:通过问题分析引擎,首先,根据问题的描述确定待选知识;然后,解析问题的逻辑组成部分,与知识的解决步骤一一比对,生成相似度队列;最后,选择相似度最大的知识来解决问题;
知识应用的实施包括:通过知识应用引擎,首先,经过分析现有问题和知识中对问题的描述,将知识中所描述的部分和问题中的各个组成部分一一对照,获取可解决部分;然后,将本知识无法解决的部分封装为新的问题,重新进入问题分析引擎,寻求新的解决知识,基于这种迭代机制,最终得到精确的或较为满意的解;
参数分析的实施包括:通过参数分析引擎,首先,根据第一个计算出来的参数值,比对历史数据和知识,找到最为相似的历史情况;其次,解析挑选出来的历史情况,获得当时的参数取值;最后,将这些值赋给当前计算模型,保证模型在传入第一个参数后就开始运行;
数据集成的实施包括:通过数据集成模块,数据源为实际数据或补充数据、历史数据和知识,通过采用数据生成与数据集成的双通道集成方式,利用过程参数及数据预测分析模块中的数据拟合引擎来生成所需数据,并且根据实际获得数据的不断丰富而不断地修正计算结果;
模型预报的实施包括:通过预报模型模块内封装了所有的主流水文预报模型,足以解决大多数水文预报问题,除了可以使用自带的预报模型外,也可以使用平台外部提供的模型,预报模型模块的入口参数为预报模型集合和预报对象的特征数据,输出为优化的预报方案;
学习记忆的实施包括:通过学习记忆模块用于完成数据和知识的积累。
本发明的有益效果是,基于高性能计算服务,构建水利实验环境,建立与水文预报对应的人工系统,采用平行系统方法进行管理和控制,从而实现对复杂数据处理服务的计算实验和实时处理,便于对水利数据进行科学的量化评估分析,通过平行系统为复杂的水文预报提供服务,并将传统高性能计算需要的硬件设备费用降到最低。
附图说明
图1是本发明系统的结构框图;
图2是本发明系统中的过程参数及数据预测分析模块结构图;
图3是本发明系统中的动态数据集成结构图;
图4是本发明系统中的学习记忆模块的结构图;
图5是本发明方法应用实施例的洪水预报流程图。
图中,1.过程参数及数据预测分析模块,2.数据,3.学习记忆模块,4.数据集成模块,5.预报模型模块,6.预报结果,7.编码组件,8.反馈数据,9.解析引擎,10.补充数据,11.数据拟合引擎,12.数据挖掘引擎,13.问题分析引擎,14.知识应用引擎,15.参数分析引擎,16.知识编码组件,17.数据编码组件,18.洪水预报方法模型,19.功能模块。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
如图1,本发明的基于平行系统的水利实验模拟系统,包括过程参数及数据预测分析模块1和学习记忆模块3,过程参数及数据预测分析模块1与数据2、数据集成模块4、预报模型模块5和预报结果6分别连接,学习记忆模块3与数据2、数据集成模块4、预报模型模块5和预报结果6分别连接,数据2、数据集成模块4、预报模型模块5和预报结果6依次连接。其基本结构是以空间地理数据、历史数据、影像数据、非结构化数据为数据源,以高性能计算为计算平台,构建水利数据计算实验环境;在此基础上,实现水利信息仿真模拟,并融合特征数据和预报模型以平行化的方式进行应用。
以下详细介绍各个模块的组成及其功能。
1、过程参数及数据预测分析模块1:
传统实时应用服务之所以没有完全实现实时性和并行性,就在于各模块之间数据交接的“整体性”。这是因为复杂问题计算中,数据在单个模块内的停留时间往往不可忽视,而基于“整体性”提交的机制不允许其他模块在未得到整体数据前运行,这就破坏了系统的实时性。为了从根本上解决传统实时系统存在的弊端,在并行系统构建方法中引入了过程参数及数据预测分析模块,该模块是不同功能模块和计算单元之间的桥梁,为模块的运行提供了最初的动力,保证了各模块之间的平行关系。
参照图2,过程参数及数据预测分析模块1内部包括数据拟合引擎11、数据挖掘引擎12、问题分析引擎13、知识应用引擎14、参数分析引擎15五个组件组合而成,组合的数目和方式根据实际需要而定,功能模块19根据情况,可以是数据2、数据集成模块4、预报模型模块5和预报结果6中的任一个。
1.1)数据拟合引擎11:
由于某种原因导致一些数据不能及时获取,或者获取速度过慢,数据拟合引擎将根据已知离散数据或者历史数据来拟合模块运行所需数据,以保证模块及时运行。拟合引擎内部集成了样条差值和最小二乘拟合方法编制的程序,输入一个离散数据组成的队列,即得到定义域上平滑的拟合方程。
1.2)数据挖掘引擎12:
随着系统的运行,历史数据和知识积累会越来越多,检索时间将不可忽略,为了提高数据检索速度,引入了数据挖掘引擎。数据挖掘引擎通过使用冒泡法对数据2中的历史数据和知识积累进行排序,在排序的基础上利用二分法对数据进行检索,检索结果为精确的数据或是满足一定条件的数据集。
1.3)问题分析引擎13:
随着系统的运行,知识得到了不断地积累,系统解决问题的能力也在不断地提高,但是知识数量的增加也提高了问题与知识匹配的难度,为了提高知识应用的准确性,引入了问题分析引擎。首先,根据问题的描述,例如问题所属领域、要达到的目标、精度要求等条件,确定待选知识;然后,解析问题的逻辑组成部分,即问题的描述流程,与知识的解决步骤一一比对,生成相似度队列;最后,选择相似度最大的知识来解决问题。
1.4)知识应用引擎14:
获取解决一个问题的知识后,下一步需要做的就是将知识应用到具体问题的求解中,知识应用引擎完成的就是这种工作。首先,经过分析现有问题和知识中对问题的描述,将知识中所描述的部分和问题中的各个组成部分一一对照,获取可解决部分;然后,将本知识无法解决的部分封装为新的问题,重新进入问题分析引擎,寻求新的解决知识。基于这种迭代机制,最终得到精确的或较为满意的解。
1.5)参数分析引擎15:
水文模型的入口参数较多,动辄十几个,且参数值的生成有先后顺序,往往会出现先计算出来的参数等待未计算出来的参数的情况,如果存在需要经过大量计算才能得到的参数值,将会产生较长的等待时间,从而破坏系统的平行性。为了解决这种问题,引入了参数分析引擎。首先,根据第一个计算出来的参数值,比对历史数据和知识,找到最为相似的历史情况;其次,解析挑选出来的历史情况,获得当时的参数取值;最后,将这些值赋给当前计算模型,保证模型在传入第一个参数后就开始运行。
2、数据集成模块4
面向水利,特别是水文方面的预报及决策服务,动辄需要收集几十年甚至上百年的数据,这往往是一个较为复杂和漫长的过程。传统的数据集成采用“应用等数据”的静态流程,只有当所有的数据都从数据源集成过来后,应用才能够开始提供服务。这就导致决策者宝贵的时间在数据集成过程中被浪费掉,而且这种数据集成方法不具有较好的重现性和验证性。针对这种情况,本发明提出了一种零等待的动态数据集成方案。该动态数据集成方案的结构参照图3,数据源1,数据源2....数据源n为实际数据(补充数据)、历史数据和知识。通过采用数据生成与数据集成的双通道集成方式,关键是利用过程参数及数据预测分析模块中的数据拟合引擎11来生成所需数据,并且根据实际获得数据的不断丰富而不断地修正计算结果。
3、预报模型模块5
水文数据是有一定规律可循的,采用预报模型比简单的数据拟合有更高可信度。为此,引入了预报模型模块,其内封装了所有的主流水文预报模型,足以解决大多数水文预报问题,除了可以使用自带的预报模型外,也可以使用平台外部提供的模型。预报模型模块5的入口参数为预报模型集合和预报对象的特征数据,比如地质特征、气候特征、水文特征、预报时间、预报精度等,输出为优化的预报方案,通过预报模型模块5,模型预报内部流程分为模型初选、模型检验与选择、预报方案评价和预报方案选择四个阶段。
3.1)模型初选:
首先,根据预报对象的特征(比如地质特征、气候特征、水文特征、预报时间、预报精度等),将此次预报封装成为一个问题(按照之前所述的问题描述进行封装),以问题作为参数调用问题分析引擎,得到解决该问题的知识;然后,应用前一步得到的知识,在模型集合中查找出符合条件的模型,符合条件的模型大多数情况下不止一个;最后,根据符合条件的程度(比如地质特征、气候特征、水文特征、预报时间、预报精度等),把选择出来的模型进行排列(从高到低或者从低到高都可以),并形成反馈信息。
3.2)模型检验与选择:
洪水预报对模型精度要求较高,引入了模型检验与选择阶段,用于筛选和优化模型。其对历史数据系列进行模型和预测检验,筛选预报精度达到问题要求的洪水预报模型。例如针对洪水流量及洪峰情况,选取50年洪水资料,用其中的30年洪水资料进行模型参数估计,用另外的20年洪水资料进行模型检验,根据检验结果来选择效果较好的洪水预报模型,作为洪水预报方案的推荐模型,并更新知识和历史数据。
3.3)预报方案评价:通过上述两个阶段得到较为合适的预报模型,利用这些模型可以制作多个预报方案,然后对这些预报方案进行评价,得到推荐使用的预报方案和反馈信息。具体的方案评价标准分为:精度最优(针对特定断面等)、时间最优(针对突发事件等)和损失最小(针对泄洪等),该阶段所产生的预报方案由满足以上相应要求的方案组成。
3.4)预报方案选择:经过上阶段的预报方案评价,形成了多个预报方案,这些预报方案相对较为粗糙,指导实际工作的意义不大,需要对其进行选择,首先将问题交由问题分析引擎,得出问题属性,主要包括时间要求、精度要求和事件性质(重大,中等,轻度)。然后,从知识库中查找相应的解决办法。最后,利用知识应用引擎完成洪水预报方案的选择,得到最终的优选方案,并形成反馈信息。
4、学习记忆模块3
学习记忆模块主要完成数据和知识的积累,是保证平行系统稳定运行的基础,也是不断提升平行系统计算准确度的核心部件。包括编码组件7、反馈数据8、解析引擎9、补充数据10组合而成,参照图4,编码组件7内部又分为知识编码组件16和数据编码组件17,其详细结构说明如下:
4.1)反馈数据8:
反馈数据是平行系统在数据集成、参数预测、模型预报以及知识应用过程中生成的用于反馈调节或者丰富以上过程的数据,是一种矫正和补充数据。每一个反馈数据被封装为一个实体,内部包含编号(该条数据在系统中的唯一标识),类型(数据反馈或者知识反馈),反馈源(产生反馈数据的过程编码),反馈对象(接受反馈调节的过程编码),调整项(过程中需要调整的参数编号),调整值(调整后的值)。
4.2)补充数据10:
补充数据是平行系统运行过程中从外部后续集成的,用来丰富现有历史数据和知识的数据,这种数据的积累可以使历史问题的解决变得简单而快速。每一个补充数据被封装为一个实体,内部包括编号(该条数据在系统中的唯一标识),类型(数据或者知识),产生源(产生补充数据的过程编号),属性(属性编号),属性值(对应属性的取值)。
4.3)解析引擎9:
反馈数据和补充数据是历史数据与知识的补充,但是他们的存储格式不同,需要解析引擎作为中间桥梁。解析引擎9根据历史数据和知识的结构对反馈数据和补充数据进行解析,将解析出来的数据统一使用属性:属性值的方式存储。
4.4)知识编码组件16和数据编码组件17
知识编码组件16和数据编码组件17是保证历史数据和知识标准化存储的工具,根据知识和历史数据的格式将解析引擎产生的数据进行编码,分别生成知识累积和历史数据。
本发明通过模块化结构,将不可拆分的最小功能单元模块化,相互拼接组合形成上层(最完整的情况下,过程参数及数据预测分析模块1、数据2、学习记忆模块3相对于各自的子模块为上层)功能单元,实现学习过程和预测过程的有机结合,数据集成过程与数据分析过程的有机结合。例如学习记忆模块中解析引擎、知识编码组件和数据编码组件都是可独立运行模块,使服务的动态组建成为可能,为搭建简洁、稳定、高效、鲁棒的应用系统提供了结构保证。
本发明基于平行系统的水利实验模拟方法,该方法利用上述的模块化结构,按照以下步骤实施:
根据实际需要确定数据拟合引擎11、数据挖掘引擎12、问题分析引擎13、知识应用引擎14、参数分析引擎15之间的组件组合,并行或分别实施,
数据拟合,通过数据拟合引擎11内部集成的样条差值和最小二乘拟合方法编制的程序,输入一个离散数据组成的队列,即得到定义域上平滑的拟合方程;
数据挖掘,通过数据挖掘引擎12使用冒泡法对数据2中的历史数据和知识积累进行排序,在排序的基础上利用二分法对数据进行检索,检索结果为精确的数据或是满足一定条件的数据集;
问题分析的实施包括:通过问题分析引擎13,首先,根据问题的描述确定待选知识;然后,解析问题的逻辑组成部分,与知识的解决步骤一一比对,生成相似度队列;最后,选择相似度最大的知识来解决问题;
知识应用的实施包括:通过知识应用引擎14,首先,经过分析现有问题和知识中对问题的描述,将知识中所描述的部分和问题中的各个组成部分一一对照,获取可解决部分;然后,将本知识无法解决的部分封装为新的问题,重新进入问题分析引擎,寻求新的解决知识,基于这种迭代机制,最终得到精确的或较为满意的解;
参数分析的实施包括:通过参数分析引擎15,首先,根据第一个计算出来的参数值,比对历史数据和知识,找到最为相似的历史情况;其次,解析挑选出来的历史情况,获得当时的参数取值;最后,将这些值赋给当前计算模型,保证模型在传入第一个参数后就开始运行;
数据集成的实施包括:通过数据集成模块4,数据源为实际数据或补充数据、历史数据和知识,通过采用数据生成与数据集成的双通道集成方式,利用过程参数及数据预测分析模块1中的数据拟合引擎11来生成所需数据,并且根据实际获得数据的不断丰富而不断地修正计算结果;
模型预报的实施包括:通过预报模型模块5内封装了所有的主流水文预报模型,足以解决大多数水文预报问题,除了可以使用自带的预报模型外,也可以使用平台外部提供的模型,预报模型模块5的入口参数为预报模型集合和预报对象的特征数据,输出为优化的预报方案;
学习记忆的实施包括:通过学习记忆模块3用于完成数据和知识的积累。
图5为基于本发明系统设计的洪水预报系统在预报过程中的实施例流程图。由图可见,最初可选择的预报模型有很多,经过预报模型模块四个阶段的筛选后,最终形成了较为准确可靠的三水源新安江模型预报方案,整个预报过程都是在平行环境下进行的,如此复杂的流程,耗时只有5秒。
综上所述,本发明的基于平行系统的水利实验模拟系统,引入了过程参数及数据预测分析模块,具有硬件需求低,维护简单,实时知识积累,离线式动态决策支持等特点,能够实现基于平行系统的水利实验的构建,进行水利数据的集成与复杂应用的模拟,减少了传统计算方法的不便,将传统高性能计算硬件设备费用降到最低,提高了应用系统的搭建效率,且随着系统运行时间的增加,知识和历史数据的不断积累,系统计算的精度会越来越高,为水文预报的快速高效解决提供了一种新的思路和方法。
Claims (3)
1.一种基于平行系统的水利实验模拟系统,其特征在于:包括过程参数及数据预测分析模块(1)和学习记忆模块(3),过程参数及数据预测分析模块(1)与数据(2)、数据集成模块(4)、预报模型模块(5)和预报结果(6)分别连接,学习记忆模块(3)与数据(2)、数据集成模块(4)、预报模型模块(5)和预报结果(6)分别连接,数据(2)、数据集成模块(4)、预报模型模块(5)和预报结果(6)依次连接;
过程参数及数据预测分析模块(1)内部包括数据拟合引擎(11)、数据挖掘引擎(12)、问题分析引擎(13)、知识应用引擎(14)、参数分析引擎(15)五个组件组合而成;
数据集成模块(4)通过采用数据生成与数据集成的双通道集成方式,利用过程参数及数据预测分析模块(1)中的数据拟合引擎(11)来生成所需数据,并且根据实际获得数据的不断丰富而不断地修正计算结果;
预报模型模块(5)内封装了所有的主流水文预报模型,也能够使用系统外部提供的模型;
学习记忆模块(3)用于完成数据和知识的积累,包括编码组件(7)、反馈数据(8)、解析引擎(9)、补充数据(10)组合而成,
所述的数据拟合引擎(11)用于根据已知离散数据或者历史数据来拟合模块运行所需数据;
所述的数据挖掘引擎(12)用于对数据(2)中的历史数据和知识积累进行排序,在排序的基础上利用二分法对数据进行检索,检索结果为精确的数据或是满足一定条件的数据集;
所述的问题分析引擎(13)用于提高知识应用的准确性;
所述的知识应用引擎(14)用于将知识应用到具体问题的求解中;
所述的参数分析引擎(15)用于解决先计算出来的参数等待未计算出来的参数的问题,
所述的反馈数据(8)是平行系统在数据集成、参数预测、模型预报以及知识应用过程中生成的用于反馈调节或者丰富以上过程的数据;
所述的解析引擎(9)根据历史数据和知识的结构对反馈数据和补充数据进行解析,将解析出来的数据统一使用属性:属性值的方式存储;
所述的补充数据(10)是平行系统运行过程中从外部后续集成的,用来丰富现有历史数据和知识的数据;
所述的编码组件(7)包括知识编码组件(16)和数据编码组件(17),是保证历史数据和知识标准化存储的工具,根据知识和历史数据的格式将解析引擎产生的数据进行编码,分别生成知识累积和历史数据。
2.一种基于平行系统的水利实验模拟方法,其特征在于:利用一种基于平行系统的水文预报模拟系统,该系统的结构是,
包括过程参数及数据预测分析模块(1)和学习记忆模块(3),过程参数及数据预测分析模块(1)与数据(2)、数据集成模块(4)、预报模型模块(5)和预报结果(6)分别连接,学习记忆模块(3)与数据(2)、数据集成模块(4)、预报模型模块(5)和预报结果(6)分别连接,数据(2)、数据集成模块(4)、预报模型模块(5)和预报结果(6)依次连接;
过程参数及数据预测分析模块(1)内部包括数据拟合引擎(11)、数据挖掘引擎(12)、问题分析引擎(13)、知识应用引擎(14)、参数分析引擎(15)五个组件组合而成;
数据集成模块(4)通过采用数据生成与数据集成的双通道集成方式,利用过程参数及数据预测分析模块中的数据拟合引擎(11)来生成所需数据,并且根据实际获得数据的不断丰富而不断地修正计算结果;
预报模型模块(5)内封装了所有的主流水文预报模型,也能够使用平台外部提供的模型;
学习记忆模块(3)用于完成数据和知识的积累,包括编码组件(7)、反馈数据(8)、解析引擎(9)、补充数据(10)组合而成,
通过上述系统,该方法按照以下步骤实施:
根据实际需要确定数据拟合引擎(11)、数据挖掘引擎(12)、问题分析引擎(13)、知识应用引擎(14)、参数分析引擎(15)之间的组件组合,
其中数据拟合,通过数据拟合引擎(11)内部集成的样条差值和最小二乘拟合方法编制的程序,输入一个离散数据组成的队列,即得到定义域上平滑的拟合方程;
数据挖掘,通过数据挖掘引擎(12)使用冒泡法对数据(2)中的历史数据和知识积累进行排序,在排序的基础上利用二分法对数据进行检索,检索结果为精确的数据或是满足一定条件的数据集;
问题分析的实施包括:通过问题分析引擎(13),首先,根据问题的描述确定待选知识;然后,解析问题的逻辑组成部分,与知识的解决步骤一一比对,生成相似度队列;最后,选择相似度最大的知识来解决问题;
知识应用的实施包括:通过知识应用引擎(14),首先,经过分析现有问题和知识中对问题的描述,将知识中所描述的部分和问题中的各个组成部分一一对照,获取可解决部分;然后,将本知识无法解决的部分封装为新的问题,重新进入问题分析引擎,寻求新的解决知识,基于这种迭代机制,最终得到精确的或较为满意的解;
参数分析的实施包括:通过参数分析引擎(15),首先,根据第一个计算出来的参数值,比对历史数据和知识,找到最为相似的历史情况;其次,解析挑选出来的历史情况,获得当时的参数取值;最后,将这些值赋给当前计算模型,保证模型在传入第一个参数后就开始运行;
数据集成的实施包括:通过数据集成模块(4),数据源为实际数据或补充数据、历史数据和知识,通过采用数据生成与数据集成的双通道集成方式,利用过程参数及数据预测分析模块(1)中的数据拟合引擎(11)来生成所需数据,并且根据实际获得数据的不断丰富而不断地修正计算结果;
模型预报的实施包括:通过预报模型模块(5)内封装了所有的主流水文预报模型,足以解决大多数水文预报问题,除了可以使用自带的预报模型外,也可以使用平台外部提供的模型,预报模型模块(5)的入口参数为预报模型集合和预报对象的特征数据,输出为优化的预报方案;
学习记忆的实施包括:通过学习记忆模块(3)用于完成数据和知识的积累;
所述的学习记忆步骤如下:
反馈数据,通过反馈数据(8),每一个反馈数据被封装为一个实体,内部包含编号,是该条数据在系统中的唯一标识,类型,是数据反馈或者知识反馈,反馈源,是产生反馈数据的过程编码,反馈对象,是接受反馈调节的过程编码,调整项,是过程中需要调整的参数编号,调整值,是调整后的值;
补充数据,通过补充数据(10),每一个补充数据被封装为一个实体,内部包括编号,是该条数据在系统中的唯一标识,类型,是数据或者知识,产生源,是产生补充数据的过程编号,属性,是属性编号,属性值,是对应属性的取值;
解析过程,通过解析引擎(9),根据历史数据和知识的结构对反馈数据和补充数据进行解析,将解析出来的数据统一使用属性:属性值的方式存储;
知识编码和数据编码,通过编码组件(7)中的知识编码组件(16)和数据编码组件(17),根据知识和历史数据的格式将解析引擎产生的数据进行编码,分别生成知识累积和历史数据。
3.根据权利要求2所述的水利实验模拟方法,其特征在于:所述的模型预报的流程包括模型初选、模型检验与选择、预报方案评价和预报方案选择四个阶段,具体实施步骤是:
模型初选,首先,根据预报对象的特征,将此次预报封装成为一个问题,以问题作为参数调用问题分析引擎,得到解决该问题的知识;然后,应用前一步得到的知识,在模型集合中查找出符合条件的模型,符合条件的模型大多数情况下不止一个;最后,根据符合条件的程度,把选择出来的模型进行排列,并形成反馈信息;
模型检验与选择,洪水预报对模型精度要求较高,引入了模型检验与选择阶段,用于筛选和优化模型,其对历史数据系列进行模型和预测检验,筛选预报精度达到问题要求的洪水预报模型,作为洪水预报方案的推荐模型,并更新知识和历史数据;
预报方案评价,通过上述两个阶段得到较为合适的预报模型,利用这些模型可以制作多个预报方案,然后对这些预报方案进行评价,得到推荐使用的预报方案和反馈信息,具体的方案评价标准分为:针对特定断面情况的精度最优、针对突发事件情况的时间最优和针对泄洪情况的损失最小,该阶段所产生的预报方案由满足以上相应要求的方案组成;
预报方案选择,经过上阶段的预报方案评价,形成了多个预报方案,这些预报方案相对较为粗糙,需要对其进行选择,首先将问题交由问题分析引擎,得出问题属性,主要包括时间要求、精度要求和事件性质的重大、中等或轻度,然后,从知识库中查找相应的解决办法;最后,利用知识应用引擎完成洪水预报方案的选择,得到最终的优选方案,并形成反馈信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102535351A CN101930566B (zh) | 2010-08-12 | 2010-08-12 | 基于平行系统的水利实验模拟系统及实验模拟方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102535351A CN101930566B (zh) | 2010-08-12 | 2010-08-12 | 基于平行系统的水利实验模拟系统及实验模拟方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101930566A CN101930566A (zh) | 2010-12-29 |
CN101930566B true CN101930566B (zh) | 2013-11-06 |
Family
ID=43369728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102535351A Expired - Fee Related CN101930566B (zh) | 2010-08-12 | 2010-08-12 | 基于平行系统的水利实验模拟系统及实验模拟方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101930566B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3166016A1 (en) * | 2014-07-03 | 2017-05-10 | Able World International Limited | Combinatory working method for standardized elements in personal workspace, and computer program product and system using said method |
CN104977855B (zh) * | 2015-07-07 | 2017-06-30 | 南京南瑞集团公司 | 一种水调自动化系统仿真数据模拟方法 |
CN105243107B (zh) * | 2015-09-23 | 2018-07-20 | 环境保护部环境工程评估中心 | Calpuff大气模型多线程计算系统 |
CN106803131B (zh) * | 2016-12-23 | 2018-03-20 | 华中科技大学 | 一种基于离散广义Nash汇流模型的河道洪水预报方法 |
CN109784708A (zh) * | 2019-01-07 | 2019-05-21 | 江河瑞通(北京)技术有限公司 | 水行业多模型耦合计算的云服务系统 |
CN118521232A (zh) * | 2024-07-23 | 2024-08-20 | 中国电建集团昆明勘测设计研究院有限公司 | 一种基于蓄满产流的全过程水文预报数据处理方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1190229A (zh) * | 1997-12-12 | 1998-08-12 | 付福弟 | 避洪水情的报警方法及参照标志 |
CN101673369A (zh) * | 2009-09-28 | 2010-03-17 | 北京工业大学 | 基于投影寻踪的排水管网洪涝风险评价方法 |
CN101692273A (zh) * | 2009-09-28 | 2010-04-07 | 北京工业大学 | 城市排水管网在线水力模型建模方法 |
-
2010
- 2010-08-12 CN CN2010102535351A patent/CN101930566B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1190229A (zh) * | 1997-12-12 | 1998-08-12 | 付福弟 | 避洪水情的报警方法及参照标志 |
CN101673369A (zh) * | 2009-09-28 | 2010-03-17 | 北京工业大学 | 基于投影寻踪的排水管网洪涝风险评价方法 |
CN101692273A (zh) * | 2009-09-28 | 2010-04-07 | 北京工业大学 | 城市排水管网在线水力模型建模方法 |
Non-Patent Citations (6)
Title |
---|
中间件技术在多模型洪水预报WEB中的应用;蔡阳等;《水利学报》;20050328;第36卷(第03期);350-354 * |
安康水库洪水实时调度系统研究;王义民等;《水力发电学报》;20011225(第04期);18-24 * |
汪妮等.面向对象技术在流域洪水预报系统中的应用.《西安理工大学学报》.2004,第20卷(第01期),36-39. |
王义民等.安康水库洪水实时调度系统研究.《水力发电学报》.2001,(第04期),18-24. |
蔡阳等.中间件技术在多模型洪水预报WEB中的应用.《水利学报》.2005,第36卷(第03期),350-354. |
面向对象技术在流域洪水预报系统中的应用;汪妮等;《西安理工大学学报》;20040330;第20卷(第01期);36-39 * |
Also Published As
Publication number | Publication date |
---|---|
CN101930566A (zh) | 2010-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lakhan et al. | Deep neural network-based application partitioning and scheduling for hospitals and medical enterprises using IoT assisted mobile fog cloud | |
CN101930566B (zh) | 基于平行系统的水利实验模拟系统及实验模拟方法 | |
US20200081898A1 (en) | A Method for Constructing Electricity Transaction Index System Based on Big Data Technology | |
Cheng et al. | Short‐Term Hydroscheduling with Discrepant Objectives Using Multi‐Step Progressive Optimality Algorithm 1 | |
Niu et al. | Parallel computing and swarm intelligence based artificial intelligence model for multi-step-ahead hydrological time series prediction | |
CN108876019A (zh) | 一种基于大数据的用电负荷预测方法及系统 | |
CN101894058B (zh) | 针对自动测试系统的测试覆盖性自动分析方法及其装置 | |
CN105469204A (zh) | 深度融合大数据分析技术的重装制造企业综合评价系统 | |
CN105808853B (zh) | 一种面向工程应用的本体构建管理与本体数据自动获取方法 | |
CN103488537A (zh) | 一种数据抽取、转换和加载etl的执行方法及装置 | |
Sun et al. | Research and application of parallel normal cloud mutation shuffled frog leaping algorithm in cascade reservoirs optimal operation | |
Aravena et al. | A distributed asynchronous algorithm for the two-stage stochastic unit commitment problem | |
CN104182489A (zh) | 一种文本大数据的查询处理方法 | |
Lao et al. | The optimized multivariate grey prediction model based on dynamic background value and its application | |
CN116843083A (zh) | 基于混合神经网络模型的碳排放预测系统及方法 | |
Wang et al. | A potential solution for intelligent energy management-knowledge graph | |
CN116613815A (zh) | 一种风光荷联合预测方法 | |
Min et al. | Data mining and economic forecasting in DW-based economical decision support system | |
CN110222877A (zh) | 一种基于自定义神经网络的负荷预测系统及负荷预测方法 | |
CN109324953A (zh) | 一种虚拟机能耗预测方法 | |
CN102270190B (zh) | 一种复杂决策问题的计算机建模与求解处理方法 | |
Hartmann et al. | CSAR: The cross-sectional autoregression model | |
Pandey et al. | Data modeling and performance analysis approach of big data | |
Kondaiah et al. | Short-term load forecasting with deep learning | |
Djanatliev et al. | Partial paradigm hiding and reusability in hybrid simulation modeling using the frameworks Health-DS and i7-AnyEnergy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20131106 Termination date: 20190812 |