CN102651115B - 并行异步混合算法处理系统和水库或水库群优化调度方法 - Google Patents

Abstract

本发明的用于水库或者水库群优化调度的并行异步混合算法处理系统包括结构层和支持层，具有并行性、异步性和混合性的特征，基于并行操作环境，通过利用并行计算机的并行性能及各个算法的特性，综合各个算法的优势，针对水库或者水库群优化调度中具有的大规模、高维性、动态性、非线性等特点，达到提高求解质量和求解速度的目的，进而获得满意的水库或者水库群调度运行方案。

Description

并行异步混合算法处理系统和水库或水库群优化调度方法

技术领域

本发明涉及水库调度和并行算法技术领域，特别地，涉及一种并行异步混合算法处理系统和使用该并行异步混合算法处理系统的水库或者水库群优化调度方法。

背景技术

水库优化调度研究的基本内容是，根据水库来流过程，遵照调度准则，运用优化方法，寻求能使水库发电、防洪、灌溉、供水等各部门在整个分析期内的总效益最大的调度方案。水库优化调度问题极为复杂，具有大规模、高维性、动态性、非线性等特点。自上世纪六十年代以来，国内外学者围绕水库优化调度算法开展了大量的研究工作，将线性规划(LP)、非线性规划(NLP)、动态规划(DP)和其改进算法，如逐步优化算法(POA)、逐步逼近算法(DPSA)、离散微分动态规划算法(DDDP)，以及智能优化算法，如遗传算法(GA)、粒子群算法(PSO)、蚁群算法(ACO)、模拟退火算法(SA)等，应用于水库优化调度问题求解。

关于上述算法的优劣，一直是专家学者关注讨论的焦点。一般对于水库优化调度问题来讲，判别一个算法的优劣有四个原则：一是否快速收敛；二是否满足计算要求；三是否需要初始解；四是否便于应用。然而，上述算法却不能同时具备所有优点。线性规划算法能够有效克服高维问题，找到全局最优解，不需要提供初始解，理论与实际中都有广泛应用，但水库调度问题本质上属于非线性这一特点限制了其应用。非线性规划算法是解决水库调度问题的理想算法，但它收敛速度慢，同时难以克服高维问题。基本动态规划算法理论上能够得到全局最优解，但需要对水库状态进行离散，诚然离散越细越接近全局最优解，但由此将引起巨大的计算代价，另外动态规划在处理水库群问题时引起的“维数灾”使研究者望而却步。基本动态规划的“维数灾”问题，使研究者不断对其改进，发展了逐步优化算法、逐步逼近算法、离散微分动态规划算法等算法，这类算法虽然在一定程度上回避了基本动态规划的“维数灾”问题，同时带来了只能得到局部最优解、需要提供初始解等新的问题。另外，动态规划一类算法并行化困难，对于水库调度这类随着问题规模扩大计算量指数增长的算法来讲，并行化处理不能显著提高其计算效率。遗传算法、粒子群算法、蚁群算法属于基于种群的优化算法，其中遗传算法不依赖于问题的具体领域，具有很强的鲁棒性，直接以目标函数值作为概率搜索的基本信息，占用计算机内存少，适用于求解复杂系统的全局优化问题，但存在早熟和局部寻优能力差等缺点；粒子群算法具备遗传算法的上述优势，同时收敛速度快，但同样存在早熟和局部寻优能力差等缺点；蚁群算法在求解组合优化问题中获得较好的实验结果，蚂蚁群体的集体行为表现出的“群体智能”保证了蚁群算法的有效性和先进性，但需要对水库状态进行离散，同时易早熟。计算机物理极限速度的约束表明，只有通过并行才能够不断提高求解速度；另外，并行算法相应于串行算法在求解质量上的改进表明，并行算法必然是未来发展的趋势。并行算法在过去二十多年不断发展，例如基于种群的优化算法，如遗传算法、粒子群算法等，这类算法有四类并行模型，具体是主从式模型、粗粒度式模型、细粒度式模型三类基本模型，以及由这三类基本模型组合而成的混合式模型。然而，这些并行算法处理通常仅仅局限于一种算法，例如在上述四类并行模型中，各个从进程都执行同一种算法的部分操作，因而这些并行算法处理本质上难以克服该算法固有的“劣根性”。

发明内容

本发明是鉴于上述问题提出的，目的在于提供一种并行异步混合算法处理系统以及使用它的水库或者水库群优化调度方法，用于针对水库或者水库群优化调度问题的大规模、高维性、动态性、非线性等特点，解决单个算法独立应用时所存在的求解速度慢、求解质量差以及单个算法固有“劣根性”等问题。

为了实现上述目的，本发明的一种并行异步混合算法处理系统，包括结构层和支持层，所述结构层由主控进程、多个并行的从进程和中转进程组成，所述支持层包括模型库、算法库、数据库和知识库，所述主控进程控制程序进程，包括启动程序、终止程序、控制所述从进程的操作及顺序、控制所述中转进程的操作，所述多个并行的从进程分别执行各个不同的算法和相应的模型计算操作，同时向所述中转进程发送当前最优值，所述中转进程实现各个不同的算法的异步交换和最优值保存，将从所述从进程发送来的所述当前最优值与历史最优值进行比较，返回所述从进程比较后的最优值，从而使各个从进程中的各个算法通过中转进程实现交互和混合。

优选地，本发明的并行异步混合算法处理系统中，所述模型库中存储有：按模型是否线性化划分的线性模型和非线性模型；按模型的状态是否离散化划分的离散模型和连续模型；按模型的计算时段划分的中长期调度模型、短期调度模型、实时调度模型；按模型的目标函数划分的发电量最大模型、发电效益最大模型、保证出力最大模型、弃水流量最小模型等模型，所述算法库中存储有：线性规划算法(LP)、非线性规划算法(NLP)、动态规划算法(DP)和其改进算法，如逐步优化算法(POA)、逐步逼近算法(DPSA)、离散微分动态规划法(DDDP)，以及智能优化算法，如遗传算法(GA)、粒子群算法(PSO)、蚁群算法(ACO)、模拟退火算法(SA)等算法，所述数据库中存储有：水位数据、流量数据、出力数据、机组数据、约束条件数据等，所述知识库中存储有：历史水库运行情况数据、基于历史水库运行情况的挖掘数据、优化运行数据、模拟运行数据等数据，所述知识库在优化计算时，可以为算法提供初始解。

优选地，本发明的并行异步混合算法处理系统中，并不仅仅局限于一个从进程执行一个串行算法操作，通过从进程推广为从进程组，每个从进程组执行一个并行算法，从进程组间通过所述中转进程实现交互。

为了实现上述目的，本发明的一种水库或者水库群优化调度方法，其特征在于，使用上述的并行异步混合算法处理系统，达到提高求解质量和求解速度的目的，进而获得满意的水库或者水库群调度运行方案。

本发明具有以下的技术效果：

其一，本发明的并行异步混合算法处理系统具有二层结构，即结构层和支持层，层次分明，易于结构化和模块化。同时具有三种特征，即并行性、异步性和混合性，同时也是三个优势，能够独立执行算法、交互信息、避免通信等待。

其二，本发明的并行异步混合算法处理系统和使用该系统的水库或者水库群优化调度方法，针对水库或者水库群优化调度问题的大规模、高维性、动态性、非线性等特点，是并行计算机高速发展以及各算法独立应用遇到瓶颈这一背景下的趋势，是一种能够解决水库或者水库群优化调度问题的通用处理和方法，同时也是一种克服当前各算法独立应用困难的有效处理和方法。

其三，本发明的并行异步混合算法处理系统不仅仅局限于一种算法，而是综合各算法的优势，因而能够克服单个算法的“劣根性”，通过对特定问题算法处理的设计可以达到使用者期望的效果。

其四，本发明的并行异步混合算法处理系统并不仅仅局限于单一从进程执行一个串行算法的操作，通过从进程推广为从进程组，每个从进程组可以执行一个并行算法。

附图说明

图1是表示本发明的并行异步混合算法处理系统的结构示意图。

图2是表示本发明的进行并行异步混合算法处理的流程图。

图3是表示本发明在不需要初始解和需要初始解的适用一个从进程的情况下的示意图。

图4是表示本发明在不需要初始解和需要初始解的适用二个从进程的情况下的示意图。

图5是表示本发明的将从进程推广为从进程组的情况的示意图。

具体实施方式

首先说明为了达到处理系统的通用性，需要对当前水库优化调度的各种算法特征进行归纳，根据算法是否需要初始解以及是否需要迭代计算总结各个算法的特征如下(见表1)。当然，本发明的处理系统并不局限于仅仅使用表中所列出的各种算法。

表1算法特征

下面参考附图说明本发明的实施方式。

图1是表示本发明的水库或者水库群优化调度并行异步混合算法处理系统的结构示意图。

本发明的水库或者水库群调度并行异步混合算法处理系统具有结构层(模块)和支持层(模块)二层结构。

结构层由主控进程、多个并行的从进程和中转进程组成。

主控进程的主要任务是控制程序进程，包括启动程序、终止程序、控制各个从进程操作顺序、控制中转进程操作。

各个并行的从进程的主要任务是执行各个不同的算法和相应的模型计算操作，同时向中转进程发送当前最优值。

中转进程的主要任务是实现各个算法异步交换和最优值保存。作为另一种选择，这里的中转进程的任务可以并入主控进程的任务中，但是，为了各进程任务分明、异步进行算法交互、提高效率，优选地，增加中转进程。

支持层包括模型库、算法库、数据库和知识库。

模型库：按模型是否线性化划分的线性模型和非线性模型；按模型的状态是否离散化划分的离散模型和连续模型；按模型的计算时段划分的中长期调度模型、短期调度模型、实时调度模型；按模型的目标函数划分的发电量最大模型、发电效益最大模型、保证出力最大模型、弃水流量最小模型等。当然还包括按其他分类的诸多模型。

算法库：包括线性规划算法(LP)、非线性规划算法(NLP)、动态规划算法(DP)和其改进算法，如逐步优化算法(POA)、逐步逼近算法(DPSA)、离散微分动态规划算法(DDDP)等，以及智能优化算法，如遗传算法(GA)、粒子群算法(PSO)、蚁群算法(ACO)、模拟退火算法(SA)等算法。

数据库：包括水位数据、流量数据、出力数据、机组数据、约束条件数据等数据。

知识库：包括历史水库运行情况数据、基于历史水库运行情况的挖掘数据、优化运行数据、模拟运行数据等。在优化计算时，知识库可以为算法提供初始解。

图2是表示本发明的进行并行异步混合算法处理的流程图。图2中，包括主进程流程图、从进程流程图、中转进程流程图。主进程根据需要控制从进程计算先后顺序，利用各个从进程异步执行各个算法操作，同时利用中转进程在各个从进程中的各个不同的算法间实现异步交换最优值，从而有效避免各个从进程直接交互的通信或等待。由于各个不同的算法在各个从进程上独立执行算法操作，当满足一定交换条件时向中转进程发送算法当前最优值，中转进程比较当前最优值与历史最优值并返回从进程比较后的最优值，各个算法通过中转进程实现交互和混合。

需要说明的是，在执行从进程操作时，根据算法是否需要迭代计算，分为两种情况：当需要迭代计算时，执行算法操作，当满足传递条件时，传递算法当前解给中转进程；当不需要迭代计算时，执行算法操作直至算法终止，传递算法最终解给中转进程。

因此，本发明的并行异步混合算法处理系统具有并行性、异步性和混合性三种属性特征。

并行性：各个从进程能够利用并行计算机的并行性能并行执行各个不同的算法操作。

异步性：主控进程控制程序进程，利用各个从进程异步执行各个算法操作，同时利用中转进程在各个从进程中的各个不同的算法间实现异步交换最优值，从而有效避免各个从进程直接交互的通信或等待。

混合性：各个不同的算法在各个从进程上独立执行算法操作，当满足一定交换条件时向中转进程发送算法当前最优值，中转进程比较当前最优值与历史最优值并返回从进程比较后的最优值，各算法通过中转进程实现交互和混合。

下面根据从进程数量和算法是否需要初始解详细说明。

图3是表示本发明在不需要初始解和需要初始解的适用一个从进程的情况下的示意图。需要注意的是，所示为一个从进程的情况并未实现各种不同算法的混合处理，但是这里仅为说明处理系统的通用性，因此列出。如果算法不需要初始解，例如线性规划算法，主控进程调用从进程执行算法操作，得到满意解后停止计算；如果算法需要初始解，例如离散微分动态规划算法，主控进程调用从进程，从进程从知识库获取初始解并执行算法操作，得到满意解后停止计算。需要注意，这种情况下中转进程仍然存在，由于未实现交换最优值操作，所以未绘出。

图4是表示本发明在不需要初始解和需要初始解的适用二个从进程的情况下的示意图。如图4所示，如果算法不需要初始解，例如从进程1执行遗传算法，从进程2执行粒子群算法，从进程1在执行10代操作后传递当前结果给中转进程，从进程2在执行20代操作后传递当前结果给中转进程，中转进程传递最优值给从进程1和从进程2。如果从进程1算法需要初始解，例如遗传算法，从进程2算法不需要初始解，例如动态规划算法，从进程1可以直接从知识库获取初始解，或者通过主进程控制先执行从进程2操作，在获得从进程2最终解后，从进程1通过中转进程交互获取初始解后执行操作。如果从进程1和从进程2算法都需要初始解，例如逐步优化算法和蚁群算法，从进程1和从进程2可以直接通过知识库获取初始解后执行计算，或者某一从进程直接通过知识库获取初始解后，通过中转进程交互传递给另一从进程初始解(未绘出)。对于三个及三个以上从进程的情况，可以根据二个从进程的示例情况进行推广得到。

图5是表示本发明的将从进程推广为从进程组的情况的示意图。需要说明，本发明的并行异步混合算法处理系统并不仅仅局限于单一从进程执行一个串行算法的操作，通过从进程推广为从进程组，每个从进程组可以执行一个并行算法，从进程组间通过中转进程实现交互。例如，从进程组1执行粗粒度遗传算法，从进程组2执行粗粒度粒子群算法；又例如，从进程组1执行粗粒度遗传算法，从进程组2执行细粒度遗传算法等。

因此，本发明提出的并行异步混合算法处理系统包括二层结构即结构层和支持层，同时具有三种特征即并行性、异步性和混合性，是基于并行操作环境，充分利用并行计算机的并行性能及各个不同算法的特性，是一种综合各个不同算法优势的通用处理系统，同时也是一种能够克服当前各个不同算法独立应用困难的有效处理系统。

作为另一个实施方式，本发明的水库或者水库群优化调度方法的特征在于使用所述的并行异步混合算法处理系统，达到提高求解质量和求解速度的目的，进而获得满意的水库或者水库群调度运行方案。将本发明的并行异步混合算法处理系统有效地使用于水库或者水库群优化调度中，能够解决水库或者水库群调度中具有的大规模、高维性、动态性、非线性等特点的极为复杂的问题，同时能够克服单个算法独立应用时所存在的求解速度慢、求解质量差以及单个算法固有“劣根性”等问题。

本发明与现有技术相比具有以下的显著进步和突出的效果：

其一，本发明的并行异步混合算法处理系统包括二层结构，即结构层和支持层，层次分明，易于结构化和模块化。同时具有三种特征，即并行性、异步性和混合性，同时也是三个优势，能够独立执行算法、交互信息、避免通信等待。

其二，本发明的并行异步混合算法处理系统和使用该系统的水库或者水库群优化调度方法，针对水库或者水库群优化调度问题的大规模、高维性、动态性、非线性等特点，是并行计算机高速发展以及各算法独立应用遇到瓶颈这一背景下的趋势，是一种能够解决水库或者水库群优化调度问题的通用处理和方法，同时也是一种克服当前各算法独立应用困难的有效处理和方法。

其三，本发明的并行异步混合算法处理系统不仅仅局限于一种算法，而是综合各算法的优势，因而能够克服单个算法的“劣根性”，通过对特定问题算法处理的设计可以达到使用者期望的效果。

其四，本发明的并行异步混合算法处理系统并不仅仅局限于单一从进程执行一个串行算法的操作，通过从进程推广为从进程组，每个从进程组可以执行一个并行算法。

对于本领域技术人员来说，根据和应用本发明公开的构思，能够容易地对本发明方案进行各种变形和改变，应当注意的是，所有这些变形和改变都应当属于本发明的范围。

Claims (4)

1.一种并行异步混合算法处理系统，其特征在于，通过进程设置和通信，并行地、异步地执行各个不同的算法和相应的模型计算操作，在计算过程中进行各个不同的算法的求解信息的交互和混合，

该系统包括结构层和支持层，

所述结构层由主控进程、多个并行的从进程和中转进程组成，所述支持层包括模型库、算法库、数据库和知识库，

所述主控进程控制程序进程，包括启动程序、终止程序、控制所述从进程的操作及顺序、控制所述中转进程的操作，

所述多个并行的从进程分别执行各个不同的算法和相应的模型计算操作，同时向所述中转进程发送当前最优值，

所述中转进程实现各个不同的算法的求解信息的异步交换和最优值的保存，将所述从进程发送来的所述从进程中的当前最优值与中转进程中的历史最优值进行比较，然后将比较后的最优值返回所述从进程，从而使各个从进程中的各个不同的算法通过中转进程实现求解信息的交互和混合。

2.根据权利要求1的并行异步混合算法处理系统，其特征在于，所述模型库中存储有：按模型是否线性化划分的线性模型和非线性模型；按模型的状态是否离散化划分的离散模型和连续模型；按模型的计算时段划分的中长期调度模型、短期调度模型、实时调度模型；按模型的目标函数划分的发电量最大模型、发电效益最大模型、保证出力最大模型、弃水流量最小模型，

所述算法库中存储有：线性规划算法(LP)、非线性规划算法(NLP)、动态规划算法(DP)和其改进算法，包括逐步优化算法(POA)、逐步逼近算法(DPSA)、离散微分动态规划法(DDDP)，以及智能优化算法，包括遗传算法(GA)、粒子群算法(PSO)、蚁群算法(ACO)、模拟退火算法(SA)，

所述数据库中存储有：水位数据、流量数据、出力数据、机组数据、约束条件数据，

所述知识库中存储有：历史水库运行情况数据、基于历史水库运行情况的挖掘数据、优化运行数据、模拟运行数据，

所述知识库在优化计算时，为算法提供初始解。

3.根据权利要求1或2的并行异步混合算法处理系统，其特征在于，所述的并行异步混合算法处理系统并不仅仅局限于一个从进程执行一个串行算法操作，通过从进程推广为从进程组，每个从进程组执行一个并行算法，各个从进程组中的各个不同的并行算法通过中转进程实现求解信息的交互和混合。

4.一种水库或者水库群优化调度方法，其特征在于，使用权利要求1到3的任何一项所述的并行异步混合算法处理系统，达到提高求解质量和求解速度的目的，进而获得满意的水库或者水库群调度运行方案。