CN101464799A - 基于可视化建模的mpi并行程序设计系统及框架代码自动生成方法 - Google Patents

Abstract

本发明公开了一种基于可视化建模的MPI并行程序设计系统及框架代码自动生成方法，用户界面层基于可视化操作界面向代码生成层提供模型；代码生成层用于对模型进行解析，其中用户界面层包括用于图形化建模的图形编辑器和作为生成代码框架修改环境的代码编辑器，代码生成层包括算法骨架模块、模型验证模块和代码生成模块，算法骨架模块用于描述模式的特征和行为，将设计模式进行再次的封装，提供程序框架；模型验证模块用于在代码生成前对模型的逻辑正确性进行验证，代码生成模块用于根据用户需求不同调用不同的并行标准库。与现有技术相比，本发明具有很好的通用性，即使不具备专业编程知识的专业人员，也可以通过可视化的建模方式自形生成代码框架。

Description

基于可视化建模的MPI并行程序设计系统及框架代码自动生成方法

技术领域

本发明涉及一种MPI高性能并行计算中的编程环境、模型与方法，特别是涉及MPI并行程序框架代码的自动生成及程序设计方法。

背景技术

随着计算机的应用范围和应用水平的不断拓展和提高，人们对于计算机的计算和处理能力等性能要求也随之增加。近些年来，尤其是在天文、气象、海洋、生物、能源、化工、地质勘探、军事以及理论物理、数学等科学计算能力要求高的领域，对计算与信息处理能力提出了越来越高的要求。并行计算的出现和发展，也正是为了克服和解决这个问题而不断努力的。

目前，构建并行计算硬件环境的技术也已日臻成熟，搭建一个理论上计算能力相当强的并行计算环境，现在已经不是难题。然而，如何高效地在并行计算环境中进行各种并行计算应用程序的设计与开发，对于多数非计算机专业出身并且缺乏并行计算程序开发的专业训练的各应用领域的技术人员来说，已成为并行计算技术转化为实际生产力所面临的关键问题。

经文献检索发现，传统的支持并行程序设计与开发的系统和方法主要有：并行程序设计语言(HPF、Erlang、X10、Cilk)、并行编译器、高性能并行函数库(Intel的TBB、Microsoft TPL、IBM Amino)、可移植的多线程库(Pthread)、消息传递库(MPI、PVM)、自动并行化工具(OpenMP)、协同编程语言(Linda)、基于模板的并行程序设计方法(Frameworks)、并行组件编程方法(CCA)等等。

上述现有技术中的这些系统和方法，有的抽象程度太低，需要并行程序设计人员过多的关注底层细节，如消息传递、同步、加减锁等，致使编程效率低，程序代码错误多；有的不能满足当前最新的应用和系统需求；有的存在可移植性、可扩展性差的缺陷；有的是因为面向特殊专用领域，如空气动力学模拟、求解偏微分方程等，因而通用性很差。

因此，目前随着多核微处理器的普及，并行计算机走进了更加大众化的计算领域，研究并提出一套通用的并行程序设计方法和系统已经迫在眉睫。

发明内容

鉴于上述技术问题，本发明提出了一种基于可视化建模的MPI并行程序设计系统及其框架代码自动生成方法，提供一套辅助并行程序设计与开发的系统与方法，利用可视化的用户操作界面，根据用户在系统设计阶段建立的各种模型，通过解析模型，自动生成结构完整且优化的并行程序框架代码。

本发明提出了一种基于可视化建模的MPI并行程序设计系统，包括用户界面层和代码生成层和并行标准库，用户界面模块向其即代码生成层提供模型，代码生成层对模型进行解析，根据用户的需要通过对已有的并行标准库进行调用，其中用户界面层包括用于图形化建模的图形编辑器和用于生成代码框架的修改的代码编辑器，代码生成层包括算法骨架模块、模型验证模块和代码生成模块，算法骨架模块用于定义模式的属性集的方法来描述相应模式的特征和行为，将多种设计模式进行再次的封装，提供程序框架；模型验证模块用于在代码生成前对模型的逻辑正确性进行验证，以确保生成代码的有效性，代码生成模块用于根据用户需求不同调用不同的并行标准库。

1.一种基于可视化建模的MPI并行程序设计系统，包括用户界面层、代码生成层，用户界面层基于可视化操作界面向代码生成层提供模型；代码生成层用于对模型进行解析，其中用户界面层包括用于图形化建模的图形编辑器和作为生成代码框架修改环境的代码编辑器，代码生成层包括算法骨架模块、模型验证模块和代码生成模块，算法骨架模块用定义模式的属性集的方法来描述相应模式的特征和行为，将设计模式进行再次的封装，提供程序框架；模型验证模块用于在代码生成前对模型的逻辑正确性进行验证，以确保生成代码的有效性，代码生成模块用于根据用户需求不同调用不同的并行标准库。

该系统还包括并行设计标准库，所提供的模型根据用户的需要通过对已有的并行设计标准库进行调用。

在该系统中定义一组用来刻画模型的构造块，该构造块由在不同模型间被重复使用的基本元素定义。

每个所述模型对应着一个树型数据结构，该树型数据结构包括：作为根的ContentsModel类，该类抽象成员属性列表，该列表中保存有该系统中所有构造块成员，当访问模型数据结构时，得到这个数据结构的根，即在DiagramEditor类中定义的成员函数：Contents Model类的对象parent，通过parent.getChildren()可访问到所有的构造块，并且根据构造块可以访问对应的属性；NodeModel记录了一类构造块的相关信息，包括名称、位置、基本属性；构造块的共有属性，即List类型的sourceConnection和targetConnection，这两个属性分别保存了连接到这个构造块的连接线和从这个构造块发出的连接线的另一端链接的对象；连接线有NodeModel类型的属性source和target，描述一个连接线的起始点和结束点。

所述模型的保存是将Java对象转化为XML格式的文件保存。

本发明还提出一种基于可视化建模的MPI并行程序设计系统的框架代码自动生成方法，该方法包括以下步骤：

用户根据底层的并行计算硬件平台和运行环境选择一类并行编程语言或者并行程序库，由代码生成器根据该语言的编程模型选择基本的程序结构骨架；同时由代码生成器遍历已创建的并行应用的树型数据结构，形成并行应用程序的控制流信息，插入到程序结构骨架中生成最终的程序源代码；其中将模型进行解析，自动生成框架代码流程，该流程包括以下步骤：

步骤1：首先查找开始节点，查找成功时生成头文件以及main()函数头；

步骤2：根据连接线连接到的方向解析下一个节点，并生成相应代码；

步骤3：若遇到上循环，生成循环开始语句；

步骤4：解析循环体中的各个节点，生成对应代码；

步骤5：若遇到下循环，循环结束，返回到步骤2，继续解析其余节点；

步骤6：若经过检查该节点不是循环，则检查是否遇到分支节点；

步骤7：若遇到了分支节点则计算此次分支的合并节点是哪个，然后按解析分支节点到合并节点之间的构造块，并生成对应代码，放入分支的一个条件下；

步骤8：参与步骤7中的功能；

步骤9、10：共同完成分支中另一条路径的解析；

步骤11、12：若该节点不是循环或者分支节点，则检查是否碰到了结束节点。若是则进入步骤12，退出解析过程，若不是则该节点就是一个普通节点，生成相应代码，然后继续解析下一个节点；

步骤12：结束解析过程。

与现有技术相比，本发明具有很好的通用性，即使不具备专业编程知识的专业人员，也可以通过可视化的建模方式字形生成代码框架，操作方便，无需编程。

附图说明

图1为MPI并行程序设计及框架代码自动化生成系统的结构示意图；

图2为面向构造块的MPI并行程序的可视化建模流程示意图；

图3为将模型进行解析，自动生成框架代码流程示意图；

表1表示基于可视化建模的MPI并行程序设计系统层次。

具体实施方式

MPI是基于消息传递的高性能并行计算环境中的消息传递标准，目前已经被高校、研究机构和工业界在集群系统、工作站网络等高性能并行计算硬件平台上广泛的采用，成为事实上的消息传递标准规范。现有的各种MPI实现版本，如MPICH、CHIMP、LAM等函数库在局域网和广域网环境高性能并行计算中取得了良好的效果。因此，本发明的并行程序设计中也采纳MPI标准。

MPI并行程序设计及框架代码自动化生成系统在所创建模型的基础上，能够生成基于消息传递的并行程序代码框架。用户只需要补充更具体的算法细节，就能够开发出完整的、可运行的并行应用程序的源代码。该平台拥有良好的用户界面，对于各种常用的功能提供了操作系统风格的图形化操作界面，从而方便了程序员和其他系统用户；该平台为并行应用程序的可视化建模过程和代码生成功能提供完整的模块支持，如交互式模型编辑器，基本构造块库，代码控制模块，代码生成等；该平台提供了不同类型的建模构造块，以满足不同类型并行应用程序的设计需要，用户可通过配置选项设置不同的属性；为了使平台具有较好的可维护性、可扩展性与可使用性，在开发过程中使用了多种已经验证过的设计模式，保证其具有良好的软件体系结构。

软件工程中将软件系统开发分为问题定义、需求分析、系统设计、系统编码、系统测试、系统维护等阶段，本发明方法以此为基础，但是只涉及到了系统设计与系统编码阶段。

在系统设计阶段，本发明提供用户交互界面，包括一套预定义的图形元素和一个编辑区；这些图形元素可供建立各种模型，每一个元素块都有特定名称、属性、含义和用法，并行程序设计用户根据需求分析的结果，依据一定的限定规则，通过拖拽左边的图形元素到右边的编辑区，建立程序的各种模型，如进程模型、消息传递模型、系统流程模型等，编辑各种图形元素的属性并进行赋值。设计完成以后，用户可以把各种模型保存为xml文件，供以后的编辑、修改与优化，并提供了不同系统之间的模型复用。

系统设计阶段完成之后，在进入编码阶段之前，本发明根据用户在系统设计阶段建立的各种模型，自动生成结构完整且优化的并行程序框架代码，涉及到所有的并行通信与控制的细节，包括并行运行环境初始化代码、并行运行环境动态参数获取代码、多个进程生成代码、进程任务分配代码、进程间消息传递代码、进程间同步代码、并行运行环境终止代码等。并且，以可编辑的文档窗口展示给用户，用户可以在此编辑窗口进行更加具体的串行程序代码(面向具体问题域的解决方案)编写，而所有涉及到并行框架代码和并行通信模式都已经由本方法自动生成。各层的功能如表1所示。

表1

本发明的基于可视化建模的MPI并行程序设计系统分为两层：第一层是与语言和运行的硬件环境无关的用户界面模块，它向其下一层(即代码生成层)提供建立好的模型，以供下面的模块分析并且生成用户需要的代码框架；第二层是核心代码生成的模块，它对上一层建好模型进行翻译，并根据用户的需要通过对已有的并行标准库进行调用，从而生成代码，大大减小了用户的代码开发强度。

本发明的处理对象是对并行计算应用程序业务逻辑和算法流程所创建的模型。为了能够更加精确的描述模型，进而描述并行应用程序，在系统中定义一组用来刻画模型(Models)、定义明确的构造块(Constructing blocks)是非常必要的。使用这种方法的好处可以表现在以下几个方面：第一，构造块是比模型规模更小的描述单元，因此构造块的精确定义和描述要比模型更加容易实现，而且构造块要比模型更容易使用。第二，构造块的实现为模型的精确描述提供了可能性，只要构造块的定义是精确的，那么只需要精确定义从构造块组成模型的规则，得到的模型也能够被证明是精确的。第三，描述不同模型的基本元素之间是存在重叠的，如果将这些在不同模型间被重复使用的基本元素定义为构造块，那么将实现构造块的复用，简化了模型描述。如图2所示，为本发明的划分为构造块的MPI并行程序设计系统的功能模块图，它包括构造块设计、结合构造规则设计，可以实现进程模型设计、通信模型设计和编程模型设计，进一步实现主视图设计和分层视图设计。

除了对构造块的划分和定义，还要将构造块以合理的方式组织成模型。一个结构良好的模型应该在语义上是前后一致的，并且与所有的相关模型协调一致。

MPI并行程序设计及框架代码自动化生成系统，支持自动化的处理可视化建模系统创建的并行应用。该类并行应用通过树型的数据结构保存在内存中，并通过自定义的XML文件储存在文件系统里。

每个模型对应着一个树型数据结构，如图3所示，其中根为Contents Mode1类，它包括一个成员属性列表，每当添加一个新的构造块，就在这个列表中添加一项，删除构造块则相反。当访问模型数据结构时，得到这个数据结构的根，即在DiagramEditor类中定义的成员函数：Contents Mode1类的对象parent，通过parent.getChildren()可访问到所有的构造块，并且根据构造块可以访问对应的属性。

每一个NodeMode1(例如NodeMode11、NodeMode21、NodeMode13)类记录了一类构造块的相关信息，包括名称、位置、基本属性等。构造块根据实际情况不同存在不同的属性，但是它们都拥有两个共同的属性，即List类型的sourceConnection和targetConnection。这两个属性分别保存了连接到这个构造块的连接线和从这个构造块发出的连接线的另一端链接的对象。

连接线有NodeMode1类型的属性source和target，描述一个连接线的起始点和结束点。

保存模型有几种可以选择的方式：

第一种方法是使跟模型相关的Java类都实现Serializable接口，通过Java的序列化方法，将模型对象序列化到文件中。这种方式实现起来简单，也最容易上手，可以作为快速原型开发的方式。Java序列化方式最大的缺点就是版本冲突问题，如果模型增加了新的属性或结构发生变化，那就很难恢复上一个模型版本保存的数据了。

第二种方法是将Java对象转化为XML(可扩展标记语言)格式的文件保存，Java对象到XML格式文件转化有很多框架，可以将Java对象转化为XML格式文件来保存。使用这种方法的好处是XML是一种国际通用的标准，有利于模型的转换操作和在不同环境下的移植。目前XML相关技术已经非常成熟，也有比较多的商业软件包和开源软件包对该项技术提供软件支持。

第三种方法是将模型保存到关系数据中，这就需要建立一个对象关系数据库映射框架，然后将模型保存到关系数据库中。这种方式依赖于底层的数据库软件的支持，因此对系统有着较强的依赖性，不利于扩展和移植。

本系统选择第二种方式实现对模型的保存，并且采用Dom4j开源XML解析包作为XML解析工具。Dom4j是一个易用的、开源的库，用于XML，XPath和XSLT。它应用于Java平台，采用了Java集合框架并完全支持DOM，SAX和JAXP。作为一个易用的、开源的库，Dom4j在处理性能上非常出色，使用方法十分灵活。它使用带有多个继承层的基于接口的方法，拥有大量的接口，专门针对Java开发，使用起来非常简单、直观，简化了对XML格式文件的构造和解析过程。Dom4j基于多个继承层接口的方法和特性设置等功能保证了处理XML格式文件的性能及稳定性。

具体的处理流程如下：用户根据底层的并行计算硬件平台和运行环境选择一类并行编程语言或者并行程序库，由代码生成器根据该语言的编程模型选择基本的程序结构骨架；同时由代码生成器遍历已创建的并行应用的树型数据结构，形成并行应用程序的控制流信息，插入到程序结构骨架中生成最终的程序源代码。

将模型进行解析，自动生成框架代码流程示意图如图3所示，该流程包括以下步骤：

步骤1：首先查找开始节点，查找成功时生成头文件以及main()函数头；

步骤2：根据连接线连接到的方向解析下一个节点，并生成相应代码；

步骤3：若遇到上循环，生成循环开始语句；

步骤4：解析循环体中的各个节点，生成对应代码；

步骤5：若遇到下循环，循环结束，返回到步骤2，继续解析其余节点；

步骤6：若经过检查该节点不是循环，则检查是否遇到分支节点；

步骤7：若遇到了分支节点则计算此次分支的合并节点是哪个，然后按解析分支节点到合并节点之间的构造块，并生成对应代码，放入分支的一个条件下；

步骤8：参与步骤7中的功能；

步骤9、10：共同完成分支中另一条路径的解析；

步骤11、12：若该节点不是循环或者分支节点，则检查是否碰到了结束节点。若是则进入步骤12，退出解析过程，若不是则该节点就是一个普通节点，生成相应代码，然后继续解析下一个节点；

步骤12：结束解析过程。

根据用户建立的模型生成并行程序框架代码，可以表示用户根据具体的应用域问题建立任意的应用求解域进程模型，展示了本方法良好的通用性。除此之外，本方法还引入了并行设计模式的思想，对一些成熟的、经常被复用的并行问题解决模式(并行设计模式)进行了模型描述和预定义实现，提供了代码结构优化的并行设计模式库，用户可以根据具体的应用问题，选择合适的设计模式来直接实现自己的问题解决框架结构和并行框架代码结构，而不需要自己手工的进行应用建模。

Claims (6)

1.一种基于可视化建模的MPI并行程序设计系统，包括用户界面层、代码生成层，用户界面层基于可视化操作界面向代码生成层提供模型；代码生成层用于对模型进行解析，其中用户界面层包括用于图形化建模的图形编辑器和作为生成代码框架修改环境的代码编辑器，代码生成层包括算法骨架模块、模型验证模块和代码生成模块，算法骨架模块用定义模式的属性集的方法来描述相应模式的特征和行为，将设计模式进行再次的封装，提供程序框架；模型验证模块用于在代码生成前对模型的逻辑正确性进行验证，以确保生成代码的有效性，代码生成模块用于根据用户需求不同调用不同的并行标准库。

2.如权利要求1所述的基于可视化建模的MPI并行程序设计系统，其特征在于，还包括并行设计标准库，所提供的模型根据用户的需要通过对已有的并行设计标准库进行调用。

3.如权利要求1所述的基于可视化建模的MPI并行程序设计系统，其特征在于，在该系统中定义一组用来刻画模型的构造块，该构造块由在不同模型间被重复使用的基本元素定义。

4.如权利要求1所述的基于可视化建模的MPI并行程序设计系统，其特征在于，每个所述模型对应着一个树型数据结构，该树型数据结构包括：作为根的Contents Model类，该类抽象成员属性列表，该列表中保存有该系统中所有构造块成员，当访问模型数据结构时，得到这个数据结构的根，即在DiagramEditor类中定义的成员函数：ContentsMode1类的对象parent，通过parent.getChildren()可访问到所有的构造块，并且根据构造块可以访问对应的属性；NodeModel记录了一类构造块的相关信息，包括名称、位置、基本属性；构造块的共有属性，即List类型的sourceConnection和targetConnection，这两个属性分别保存了连接到这个构造块的连接线和从这个构造块发出的连接线的另一端链接的对象；连接线有NodeModel类型的属性source和target，描述一个连接线的起始点和结束点。

5.如权利要求1所述的基于可视化建模的MPI并行程序设计系统，其特征在于，所述模型的保存是将Java对象转化为XML格式的文件保存。

6.如权利要求1所述的基于可视化建模的MPI并行程序设计系统的框架代码自动生成方法，该方法包括以下步骤：

用户根据底层的并行计算硬件平台和运行环境选择一类并行编程语言或者并行程序库，由代码生成器根据该语言的编程模型选择基本的程序结构骨架；同时由代码生成器遍历已创建的并行应用的树型数据结构，形成并行应用程序的控制流信息，插入到程序结构骨架中生成最终的程序源代码；其中将模型进行解析，自动生成框架代码流程，该流程包括以下步骤：

步骤1：首先查找开始节点，查找成功时生成头文件以及main()函数头；

步骤2：根据连接线连接到的方向解析下一个节点，并生成相应代码；

步骤3：若遇到上循环，生成循环开始语句；

步骤4：解析循环体中的各个节点，生成对应代码；

步骤5：若遇到下循环，循环结束，返回到步骤2，继续解析其余节点；

步骤6：若经过检查该节点不是循环，则检查是否遇到分支节点；

步骤7：若遇到了分支节点则计算此次分支的合并节点是哪个，然后按解析分支节点到合并节点之间的构造块，并生成对应代码，放入分支的一个条件下；

步骤8：参与步骤7中的功能；

步骤9、10：共同完成分支中另一条路径的解析；

步骤11、12：若该节点不是循环或者分支节点，则检查是否碰到了结束节点。若是则进入步骤12，退出解析过程，若不是则该节点就是一个普通节点，生成相应代码，然后继续解析下一个节点；

步骤12：结束解析过程。

Images