CN103019844B - 一种支持多线程调用mpi函数的方法和装置 - Google Patents
一种支持多线程调用mpi函数的方法和装置 Download PDFInfo
- Publication number
- CN103019844B CN103019844B CN201210518573.4A CN201210518573A CN103019844B CN 103019844 B CN103019844 B CN 103019844B CN 201210518573 A CN201210518573 A CN 201210518573A CN 103019844 B CN103019844 B CN 103019844B
- Authority
- CN
- China
- Prior art keywords
- mpi
- function
- request
- call
- call request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 42
- 238000005538 encapsulation Methods 0.000 claims description 49
- 230000000903 blocking effect Effects 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 7
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 58
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001846 repelling effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Landscapes
- Telephonic Communication Services (AREA)
Abstract
本申请提供了一种支持多线程调用MPI函数的方法和装置，涉及测试技术领域。所述方法包括：针对云计算中的一个计算服务器，当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作；按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。本发明针对多线程的应用环境，解决了多线程调用OpenMPI库的MPI函数时，破坏MPI函数的关键数据结构的情况，导致OpenMPI内部处理出错，使程序发生异常，进而无法不能完全发挥云计算细粒度、高并行的优势的问题，达到了可以使多线程调用MPI库，在云计算环境中，可充分发挥云计算细粒度、高并行的优势有益效果。
Description
技术领域
本申请涉及测试技术领域，特别是涉及一种支持多线程调用MPI函数的方法和装置。
背景技术
云计算(云计算：一种通过计算机网络以服务的方式提供动态可伸缩的虚拟化的资源的计算模式)程序的种类可分为并行程序无通信类型，和并行程序有通信类型。对于并行程序无通信类型，该计算(通常称为作业)的每个进程(即每个子任务)，可以在任何时候启动，不需要和其他子任务同时启动，因为子任务间不需通信，每个子任务处理完自己的计算就可以直接结束。因此云计算平台调度器可以在不同时间调度不同的子任务，处理这种调度需求的调度方式称为任务级调度。对于并行程序有通信类型，由于该计算(即作业)的每个子任务都需要互相通信，因此需要等全部子任务都启动以后，才能开始计算。也即需要云计算平台当前拥有能启动该作业的所有子任务的资源后，才能将这个作业启动，否则，需要等到其他作业计算完毕，释放出足够资源，才能启动该作业。处理这种调度需求的调度方式称为作业级调度。
MPI(MessagePassingInterface，讯息传递接口；一种消息传递编程接口，同时提供了实现其一系列接口的多语言函数库)是云计算集群上常用的消息传递机制之一，云计算程序可以使用MPI来进行数据的发送与接收。MPI标准定义了一组函数，使应用程序可以将消息从一个MPI进程送到另一个MPI进程。
对于并行程序有通信类型，现有技术中基本上采用OpenMPI进行各计算节点的进程之间的通信。OpenMPI是一种高性能消息传递库，最初是作为融合的技术和资源从其他几个项目(FT-MPI，LA-MPI，LAM/MPI，以及PACX-MPI)，它是MPI-2标准的一个开源实现，由一些科研机构和企业一起开发和维护。因此，OpenMPI能够从高性能社区中获得专业技术、工业技术和资源支持，来创建最好的MPI库。OpenMPI提供给系统和软件供应商、程序开发者和研究人员很多便利。易于使用，并运行本身在各种各样的操作系统，网络互连，以及一批/调度系统。
OpenMPI目前只支持单线程调用，因为在它设计的时候并没有考虑将其运用于多线程环境，一些关键数据结构没有添加多线程访问的保护。如果在不同的线程中调用OpenMPI的函数，会破坏这些关键数据结构，导致OpenMPI内部处理出错，使程序发生异常。
现有技术中，若使用OpenMPI时，每个计算节点只能使用单线程模式，或者使用严格分阶段的程序。其中，严格分阶段模式，会将程序生命周期分为几个阶段，每个阶段做不同的事情。例如分为计算和网络收发阶段，两个阶段不会重叠，即计算阶段时，不会有网络收发调用，集中把数据全部计算完毕(可用多线程来计算)；而网络收发阶段时，所有计算线程全部处于阻塞等待状态，由单个网络收发线程来调用OpenMPI函数，将刚刚的计算结果发送到其他机器上，并从其他机器接收它们的计算结果。然后又再次进行计算和网络收发的交替。
而上述两种方式中，单线程模式没有充分利用计算节点可支持多线程进行处理的优点；
而严格分阶段模式，只适合传统的并行计算环境。而在云计算环境下，会有如下缺点：
1、在云计算环境中，往往需要使用多线程来对数据进行更细粒度的切分，并且将计算更充分地并行起来，使得计算和网络能够同时进行，提高程序性能。而严格分阶段程序中计算和网络不能同时进行，并不能完全发挥云计算细粒度、高并行的优势。
2、程序编写者需要时刻记住不能在多个线程使用OpenMPI函数，这对于云计算程序编写者来说，很容易出错，导致程序出现难以察觉的问题。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的多线程调用MPI函数的啧啧啧和相应的支持多线程调用MPI函数的方法。
依据本发明的一个方面，提供了一种支持多线程调用MPI函数的方法，包括：
针对云计算中的一个计算服务器，当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作；
按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
可选的，还包括：
针对OpenMPI库构建一个队列；针对OpenMPI库中的每个MPI函数构建相应的封装函数；所述队列和所述封装函数用于当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作。
可选的，所述当所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数时，将所述各MPI调用请求进行统一的排序操作包括：
针对各线程发送的对于一MPI函数的MPI调用请求，所述MPI函数对应的封装函数拦截所述MPI调用请求，并根据所述MPI调用请求处理为第一请求，再将所述第一请求放入所述队列中。
可选的，所述MPI函数对应的封装函数拦截所述MPI调用请求，根据所述MPI调用请求处理为第一请求，再将所述第一请求放入所述队列中包括：
通过所述MPI封装函数拦截所述MPI调用请求；
将所述MPI调用请求的参数以及对应的MPI函数封装进一结构体中；
将所述结构体作为第一请求放入所述队列。
可选的，还包括：
构建一个生命周期等于或者大于所述任务生命周期的收发线程；所述收发线程用于按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
可选的，所述按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作包括：
通过所述收发线程从所述队列中按序读取MPI调用请求，并根据请求内容调用相应的MPI函数进行操作。
可选的，所述封装函数的参数列表与相对应的MPI函数的参数列表一致。
依据本发明的另外一个方面，提供了一种支持多线程调用MPI函数的装置，包括：
排序操作模块，适于针对云计算中的一个计算服务器，当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作；
调用执行模块，适于按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
可选的，还包括：
第一预置模块，适于针对OpenMPI库构建一个队列；针对OpenMPI库中的每个MPI函数构建相应的封装函数；所述队列和所述封装函数用于当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作。
可选的，所述排序操作模块包括：
第一排序操作模块，适于针对各线程发送的对于一MPI函数的MPI调用请求，所述MPI函数对应的封装函数拦截所述MPI调用请求，并根据所述MPI调用请求处理为第一请求，再将所述第一请求放入所述队列中。
可选的，所述第一排序操作模块包括：
拦截模块，适于通过所述MPI封装函数拦截所述MPI调用请求；
结构体封装模块，适于将所述MPI调用请求的参数以及对应的MPI函数封装进一结构体中；
结构体放置模块，适于将所述结构体作为第一请求放入所述队列。
可选的，还包括：
第二预置模块，适于构建一个生命周期等于或者大于所述任务生命周期的收发线程；所述收发线程用于按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
可选的，所述调用执行模块包括：
第一调用执行模块，适于通过所述收发线程从所述队列中按序读取MPI调用请求，并根据请求内容调用相应的MPI函数进行操作。
可选的，所述封装函数的参数列表与相对应的MPI函数的参数列表一致。
根据本发明的支持多线程调用MPI函数的方法可以针对多线程中每个线程的MPI调用请求，将所述各MPI调用请求进行统一的排序操作，由此解决了现有技术中取得了针对现有OpenMPI只支持单线程调用的机制，针对多线程的应用环境，多线程调用OpenMPI库的MPI函数时，破坏MPI函数的关键数据结构的情况，导致OpenMPI内部处理出错，使程序发生异常，进而无法不能完全发挥云计算细粒度、高并行的优势的问题，达到了可以使多线程调用MPI库，在云计算环境中，可充分发挥云计算细粒度、高并行的优势有益效果。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的本发明一种支持多线程调用MPI函数的方法实施例一的流程示意图；
图2示出了根据本发明一个实施例的本发明一种支持多线程调用MPI函数的方法实施例二的流程示意图；
图3示出了根据本发明一个实施例的本发明一种支持多线程调用MPI函数的装置实施例一的结构示意图；以及
图4示出了根据本发明一个实施例的一种支持多线程调用MPI函数的装置实施例二的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1，其示出了本发明一种支持多线程调用MPI函数的方法实施例一的流程示意图，具体可以包括：
步骤110，针对云计算中的一个计算服务器，当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作；
对于现有技术的OpenMPI库的各种MPI函数，只支持单线程调用，因为在它设计的时候并没有考虑将其运用于多线程环境，一些关键数据结构没有添加多线程访问的保护。即每个MPI函数公用一个内存数组存储运行参数，如果同时存在多个线程请求调用多个MPI函数，则该多个线程的参数会同时往该共同的内存数组中存储，那么可能存在冲突，导致关键数据结构被破坏。而本发明实施例中，对云计算中的每个计算服务器来说，针对每个计算服务器采用多线程执行一个有通信类型的作业(即任务)时，当有线程发送MPI调用请求调用OpenMPI库中的MPI函数时，则将这些线程的MPI调用请求进行排序操作。比如将各线程发送的MPI调用请求采用同步加锁机制，针对多个请求同时调用OpenMPI库中的函数时，只在每一时刻只允许一个线程将参数写入公用的关键数据结构中(内存数组)。
步骤120，按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
对各MPI调用请求进行统一的排序操作后，那么对于各MPI调用请求则存在先后顺序，则可按顺序逐个调用排序后的MPI调用请求进行操作。即使多线程的同步工作方式在调用OpenMPI库的MPI函数时可符合OpenMPI库的单线程机制。
参照图2，其示出了本发明优选的一种支持多线程调用MPI函数的方法实施例二的流程示意图，具体可以包括：
步骤200，针对OpenMPI库构建一个队列；针对OpenMPI库中的每个MPI函数构建相应的封装函数；所述队列和所述封装函数用于当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作。
本发明实施例中，因为OpenMPI库的各MPI函数公用一个关键数据结构进行参数的存储等动作，因此为了避免出现线程同步调用MPI函数的情况出现，针对整个OpenMPI库构建一个队列，而为了使针对各MPI函数的、可能由多个线程发送的多个MPI调用请求，均放入前述队列中，则针对每个MPI函数加一个封装函数，该封装函数用于将针对对应封装的MPI函数的MPI调用请求处理为第一请求放入前述队列中。
其中，所述封装函数的参数列表与相对应的MPI函数的参数列表一致。
具体为每个OpenMPI函数提供一个封装函数，例如为MPI_Send函数提供一个名为MPI_ThreadSend函数，MPI_ThreadSend的参数列表与MPI_Send函数保持一致。用户不直接调用MPI_Send函数，而是通过MPI_ThreadSend函数，使用OpenMPI的发送功能。MPI_ThreadSend将对应MPI_Send函数的调用请求处理为第一请求放入所述队列中。
步骤210，构建一个生命周期等于或者大于所述任务生命周期的收发线程；所述收发线程用于按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
在本发明实施例中，为将对前述队列中的第一请求进行处理，创建一个生命周期大于或者等于所述任务生命周期(即前述作业的生命周期)的收发线程，专门读取所述队列中的第一请求。该线程从队列里按次序读出一个个请求，并根据请求内容调用相应的OpenMPI函数。例如对于前述放入队列的针对MPI_Send的第一请求，该收发线程从队列中读到一个MPI_Send的请求时，就直接调用第一请求里的MPI_Send函数进行执行。
在本发明实施例中，收发线程最优的生命周期等于所述任务生命周期。
那么，在前述针对OpenMPI库构建一个队列；针对OpenMPI库中的每个MPI函数构建相应的封装函数的情况下，则进入，当所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数时，将所述各MPI调用请求进行统一的排序操作过程：
步骤220，针对各线程发送的对于一MPI函数的MPI调用请求，所述MPI函数对应的封装函数拦截所述MPI调用请求，并根据所述MPI调用请求处理为第一请求，再将所述第一请求放入所述队列中。
如前所述的针对每一MPI函数的封装函数，其功能为将针对对应封装的MPI函数的MPI调用请求处理为第一请求放入前述队列中。那么本步骤中，当某个线程发送一个MPI调用请求，请求调用某个MPI函数时，该MPI函数对于的封装函数则拦截所述MPI调用请求，然后根据所述MPI调用请求处理为第一请求，再将所述第一请求放入所述队列中。
进一步的，所述针对各线程发送的对于一MPI函数的MPI调用请求，所述MPI函数对应的封装函数拦截所述MPI调用请求，并根据所述MPI调用请求处理为第一请求，再将所述第一请求放入所述队列中包括：
步骤S221，通过所述MPI封装函数拦截所述MPI调用请求；
如前所述，针对每个MPI函数的MPI封装函数，其封装函数的参数列表与实际的MPI函数保持一致。那么线程发送的针对MPI函数的调用请求，则被封装该MPI函数的封装函数截取了，线程不直接调用实际的MPI函数，也就不会直接使用各MPI函数公用的关键数据结构。
比如前述针对MPI_Send的调用请求，其封装函数MPI_ThreadSend则将针对MPI_Send的调用请求进行拦截。
步骤S222，将所述MPI调用请求的参数以及对应的MPI函数封装进一结构体中；
通过所述封装函数将MPI调用请求中的参数提取出来，然后和相应MPI函数一起封装至一个结构体里，而该结构体即可作为第一请求。
步骤S223，将所述结构体作为第一请求放入所述队列。
将作为第一请求的结构体放入所述队列中。
基于前述构建的收发线程，所述按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作包括：
步骤230，通过所述收发线程从所述队列中按序读取MPI调用请求，并根据请求内容调用相应的MPI函数进行操作。
如前所述的收发线程专门进行网络收发。该线程从队列里按次序读出一个个请求，并根据请求内容调用相应的OpenMPI函数。例如该线程从队列中读到一个MPI_Send的第一请求时，就直接调用MPI_Send函数执行(把第一请求里包含的参数作为MPI_Send的参数进行执行)。
另外，本发明实施例中，对于封装的目标MPI函数优选的为非阻塞MPI函数。
本发明实施例的OpenMPI的MPI函数的使用方式，可以提供多线程使用OpenMPI的语义。由于相应的请求被放到队列里进行排队，不会产生同时调用OpenMPI函数的情况，因此用户只需要用封装函数替代真正的OpenMPI函数，就可以将其用在多线程环境中。即在计算的时候可以随时调用OpenMPI函数，充分利用CPU和网卡资源。
另外，本发明还可针对一个计算服务器的多个线程采用条件变量机制对各线程的MPI调用请求进行同步控制。比如针对每个线程设置一个条件变量，当一线程的变量改变为true时，则允许该线程的MPI调用请求去调用MPI函数，当线程的变量为false时，则拒绝该线程的MPI调用请求去调用MPI函数，即阻塞该线程。那么，当存在多个线程同步发送MPI调用请求时，首先只改变其中一个线程的变量为true，其他线程则排队等待发送MPI调用请求，该线程完成后其变量改为false，然后通知等待线程中的一个的变量改为true，那么该线程可发送MPI调用请求进行访问。另外，本发明还可采用信号量机制对多线程的MPI调用请求进行同步控制，即针对OpenMPI库设置可同时调用线程的数量i＝n，当n中的一个线程执行完毕，则i-1，直至减为0，那么本发明的信号量i＝1，即每次放入一个线程发送MPI调用请求访问MPI函数，其他发送的MPI调用请求则等待，当i减为0，则再从等待的线程中挑选1个放入，i变为1，然后执行。如此也可以提供多线程使用OpenMPI的语义，在计算的时候可以随时调用OpenMPI函数，充分利用CPU和网卡资源。
参照图3，其示出本发明一种支持多线程调用MPI函数的装置实施例一的结构示意图，具体可以包括：
排序操作模块310，适于针对云计算中的一个计算服务器，当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作；
调用执行模块320，适于按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
本发明实施例可针对多个云计算中，存在多个计算服务器(计算节点)并行的情况，每个计算服务器中可包括支持多线程调用MPI函数的装置。
可选的，还包括：
第一预置模块，适于针对OpenMPI库构建一个队列；针对OpenMPI库中的每个MPI函数构建相应的封装函数；所述队列和所述封装函数用于当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作。
可选的，所述排序操作模块包括：
第一排序操作模块，适于针对各线程发送的对于一MPI函数的MPI调用请求，所述MPI函数对应的封装函数拦截所述MPI调用请求，并根据所述MPI调用请求处理为第一请求，再将所述第一请求放入所述队列中。
可选的，其特征在于，所述第一排序操作模块包括：
拦截模块，适于通过所述MPI封装函数拦截所述MPI调用请求；
结构体封装模块，适于将所述MPI调用请求的参数以及对应的MPI函数封装进一结构体中；
结构体放置模块，适于将所述结构体作为第一请求放入所述队列。
可选的，还包括：
第二预置模块，适于构建一个生命周期等于或者大于所述任务生命周期的收发线程；所述收发线程用于按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
可选的，所述调用执行模块包括：
第一调用执行模块，适于通过所述收发线程从所述队列中按序读取MPI调用请求，并根据请求内容调用相应的MPI函数进行操作。
其中，所述封装函数的参数列表与相对应的MPI函数的参数列表一致。
参照图4，其示出本发明一种支持多线程调用MPI函数的装置实施例二的结构示意图，具体可以包括：
第一预置模块400，适于针对OpenMPI库构建一个队列；针对OpenMPI库中的每个MPI函数构建相应的封装函数；所述队列和所述封装函数用于当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作。
第二预置模块410，适于构建一个生命周期等于或者大于所述任务生命周期的收发线程；所述收发线程用于按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
第一排序操作模块420，适于针对各线程发送的对于一MPI函数的MPI调用请求，所述MPI函数对应的封装函数拦截所述MPI调用请求，并根据所述MPI调用请求处理为第一请求，再将所述第一请求放入所述队列中。
第一调用执行模块430，适于通过所述收发线程从所述队列中按序读取MPI调用请求，并根据请求内容调用相应的MPI函数进行操作。
其中，可选的，所述第一排序操作模块包括：
拦截模块，适于通过所述MPI封装函数拦截所述MPI调用请求；
结构体封装模块，适于将所述MPI调用请求的参数以及对应的MPI函数封装进一结构体中；
结构体放置模块，适于将所述结构体作为第一请求放入所述队列。
其中，所述封装函数的参数列表与相对应的MPI函数的参数列表一致。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一种支持多线程调用MPI函数的设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种支持多线程调用MPI函数的方法，其特征在于，包括：
针对云计算中的一个计算服务器，当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作；所述排序操作包括:针对各线程发送的对于一MPI函数的MPI调用请求，所述MPI函数对应的封装函数拦截所述MPI调用请求，并根据所述MPI调用请求处理为第一请求，再将所述第一请求放入队列中，具体包括：
通过MPI函数对应的封装函数拦截所述MPI调用请求；
将所述MPI调用请求的参数以及对应的MPI函数封装进一结构体中；
将所述结构体作为第一请求放入所述队列；
按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
2.根据权利要求1所述的方法，其特征在于，还包括：
针对OpenMPI库构建一个队列；针对OpenMPI库中的每个MPI函数构建相应的封装函数；所述队列和所述封装函数用于当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作。
3.根据权利要求1所述的方法，其特征在于，还包括：
构建一个生命周期等于或者大于所述任务的生命周期的收发线程；所述收发线程用于按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
4.根据权利要求3所述的方法，其特征在于，所述按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作包括：
通过所述收发线程从所述队列中按序读取MPI调用请求，并根据请求内容调用相应的MPI函数进行操作。
5.根据权利要求1或2所述的方法，其特征在于，
所述封装函数的参数列表与相对应的MPI函数的参数列表一致。
6.一种支持多线程调用MPI函数的装置，其特征在于，包括：
排序操作模块，适于针对云计算中的一个计算服务器，当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作；
所述排序操作模块包括：
第一排序操作模块，适于针对各线程发送的对于一MPI函数的MPI调用请求，所述MPI函数对应的封装函数拦截所述MPI调用请求，并根据所述MPI调用请求处理为第一请求，再将所述第一请求放入队列中；
所述第一排序操作模块包括：
拦截模块，适于通过MPI函数对应的封装函数拦截所述MPI调用请求；
结构体封装模块，适于将所述MPI调用请求的参数以及对应的MPI函数封装进一结构体中；
结构体放置模块，适于将所述结构体作为第一请求放入所述队列；
调用执行模块，适于按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
7.根据权利要求6所述的装置，其特征在于，还包括：
第一预置模块，适于针对OpenMPI库构建一个队列；针对OpenMPI库中的每个MPI函数构建相应的封装函数；所述队列和所述封装函数用于当所述计算服务器执行一任务时，若所述计算服务器中的线程发送各自的MPI调用请求调用OpenMPI库中的MPI函数，将所述各MPI调用请求进行统一的排序操作。
8.根据权利要求6所述的装置，其特征在于，还包括：
第二预置模块，适于构建一个生命周期等于或者大于所述任务的生命周期的收发线程；所述收发线程用于按所述排序操作后的顺序，逐个调用所述MPI调用请求对应的MPI函数进行操作。
9.根据权利要求8所述的装置，其特征在于，所述调用执行模块包括：
第一调用执行模块，适于通过所述收发线程从所述队列中按序读取MPI调用请求，并根据请求内容调用相应的MPI函数进行操作。
10.根据权利要求7或8所述的装置，其特征在于，
所述封装函数的参数列表与相对应的MPI函数的参数列表一致。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210518573.4A CN103019844B (zh) | 2012-12-05 | 2012-12-05 | 一种支持多线程调用mpi函数的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210518573.4A CN103019844B (zh) | 2012-12-05 | 2012-12-05 | 一种支持多线程调用mpi函数的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103019844A CN103019844A (zh) | 2013-04-03 |
| CN103019844B true CN103019844B (zh) | 2016-05-04 |
Family
ID=47968475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210518573.4A Active CN103019844B (zh) | 2012-12-05 | 2012-12-05 | 一种支持多线程调用mpi函数的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103019844B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699449B (zh) * | 2013-12-20 | 2017-01-18 | 北京遥测技术研究所 | 一种适用于监控mpi并行软件的通信方法 |
| CN106846457B (zh) * | 2016-11-25 | 2020-05-26 | 国家超级计算天津中心 | 一种ct切片数据可视化重构的八叉树并行构造方法 |
| CN107193632A (zh) * | 2017-05-16 | 2017-09-22 | 上海斐讯数据通信技术有限公司 | 一种模拟证券交易的基准测试方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1289962A (zh) * | 1999-09-23 | 2001-04-04 | 国际商业机器公司 | 在多线程计算环境中建立跨越多个进程的通信程序 |
| CN101937367A (zh) * | 2009-06-30 | 2011-01-05 | 英特尔公司 | Mpi源代码程序到基于mpi线程的程序的自动转换 |
-
2012
- 2012-12-05 CN CN201210518573.4A patent/CN103019844B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1289962A (zh) * | 1999-09-23 | 2001-04-04 | 国际商业机器公司 | 在多线程计算环境中建立跨越多个进程的通信程序 |
| CN101937367A (zh) * | 2009-06-30 | 2011-01-05 | 英特尔公司 | Mpi源代码程序到基于mpi线程的程序的自动转换 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103019844A (zh) | 2013-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10733019B2 (en) | Apparatus and method for data processing | |
| US10169728B1 (en) | Opportunistic job processing of input data divided into partitions of different sizes | |
| CN103069390B (zh) | 在混合计算环境中重新调度工作量的方法和系统 | |
| CN106980492B (zh) | 用于计算的装置、系统、方法、机器可读存储介质和设备 | |
| Allcock et al. | Experience and practice of batch scheduling on leadership supercomputers at argonne | |
| US11579908B2 (en) | Containerized workload scheduling | |
| CN110569090A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN105975261B (zh) | 一种面向统一接口调用的运行时系统及运行方法 | |
| CN109408286A (zh) | 数据处理方法、装置、系统、计算机可读存储介质 | |
| CN101751288A (zh) | 应用进程调度的方法、设备及系统 | |
| CN103019844B (zh) | 一种支持多线程调用mpi函数的方法和装置 | |
| Antony et al. | Task scheduling algorithm with fault tolerance for cloud | |
| US9832137B1 (en) | Provisioning system and method for a distributed computing environment using a map reduce process | |
| RU2694153C2 (ru) | Обработка потока с использованием виртуальных агентов обработки | |
| CN103019843B (zh) | Mpi函数调用方法和装置 | |
| Shai et al. | Heuristics for resource matching in intel’s compute farm | |
| CN110457124A (zh) | 针对业务线程的处理方法及其装置、电子设备和介质 | |
| US20140337864A1 (en) | Multithreaded Event Handling Using Partitioned Event De-Multiplexers | |
| Liu et al. | KubFBS: A fine‐grained and balance‐aware scheduling system for deep learning tasks based on kubernetes | |
| Netti et al. | Heterogeneity-aware resource allocation in HPC systems | |
| US11630834B2 (en) | Label-based data representation I/O process and system | |
| Wang et al. | Pub/Sub on stream: A multi-core based message broker with QoS support | |
| Lebesbye et al. | Boreas–a service scheduler for optimal kubernetes deployment | |
| Nguyen et al. | Making a case for the on-demand multiple distributed message queue system in a Hadoop cluster | |
| Riteau et al. | Bringing elastic mapreduce to scientific clouds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220725 Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015 Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |
|
| TR01 | Transfer of patent right |