CN1710542A - 基于自由市场模型的海量空间信息分布式处理方法 - Google Patents

Abstract

一种信息处理技术领域的基于自由市场模型的海量空间信息分布式处理方法，具体为：资源即执行主机向服务器提出加入集群申请；接收服务器收到任务提交者提交的任务后，服务器对所有任务进行执行代价估算，按执行代价最小原则对执行任务进行调度分配；分布式集群里空闲的执行主机检测到自己任务存储空间里有等待执行的任务，执行主机对所有候选任务进行执行效益的处理，并按照执行效益对候选任务进行排序调度；根据任务的描述，执行主机向指定的文件服务器请求程序文件和数据文件，文件服务器将任务所需文件传送给执行主机，任务完成后，执行主机将输出文件传送给提交者。本发明实现了市场信息的即时性，减少服务器端的负担，提高系统性能。

Description

基于自由市场模型的海量空间信息分布式处理方法

技术领域

本发明涉及的是一种信息处理技术领域的方法，具体是一种基于自由市场模型的海量空间信息分布式处理方法。

背景技术

空间信息处理这类问题有以下特征：1)处理量大。空间信息处理一般都是大规模图像处理，处理量非常大。2)数据量大。空间信息的数据量都是TB级的。3)每个数据点上的处理形式相同(除边界外)。将区域分成若干小区域，则问题可以化为若干个规模较小、关于小区域的子问题。4)变量之间的交互作用是局部的。在每一个数据点上的处理中，只需用到较小距离内的邻近点上的值。以上特征中，特征1)、2)促成了遥感图像处理对并行处理技术的客观需求；特征4)、5)则正是并行处理所要求的，显然实现分布式并行处理是可能的；空间信息处理采用分布式集群处理方式是非常适合的。

经对现有技术的文献检索发现，R.Buyya and S.Vazhkudai.在首届IEEE/ACM集群计算与网格国际研讨会上发表的“计算力市场：面向基于市场的网格”(First IEEE/ACM International Symposium on Cluster Computing andthe Grid(CCGrid 2001)，Brisbane，Australia，May 15-18，2001.-Computepower market：Towards a market-oriented grid)，该文提出了基于市场模型的分布式处理调度模型，市场模型非常适合解决网络资源分配问题：经济活动中的市场是一种基于分布自主决策的资源分配机制，而分布式处理的资源分配恰好需要实现类似的分布自主决策；市场模型通过价格浮动反映资源供需状况的动态变化，通过供需均衡实现优化分配。这种动态协调的资源分配机制恰恰适合分布式处理的动态特性，并且在此基础上市场模型还能支持资源的联合分配。然而，该方法在任务分配时对资源状态采用预测机制，预测方法缺点比较明显：大多数预测方法的原理基于线性定常系统的理论，而资源的状态值只有在某个一定的时间范围内才可近似地认为是平稳随机过程，就全局而言，它毫无疑问是时变的，因此，预测同样存在检测频率的问题，如果检测间隔过短，则对系统影响太大，反之则很难保证预测值的准确性。而且，所有处理任务都是在服务器端进行分配，对于处理海量空间信息，服务器负担非常重，必须要有一种改进方法减轻服务器负担、补偿预测机制的误差。

发明内容

本发明的目的在于针对现有技术的上述不足，提出一种基于自由市场模型的海量空间信息分布式处理方法，使其一方面继承了传统模型的预测机制对处理任务进行预处理，另一方面又克服了传统模型中消息滞后的缺点，自由市场模型增加资源端调度机制，执行任务的选取在资源端进行，实现了市场信息的即时性，减少服务器端的负担，提高系统性能。

本发明是通过以下技术方案实现的，本发明任务调度是通过服务器任务分配调度和执行主机任务排序调度两个调度互动实现任务动态调度的，方法如下：

(1)资源(执行主机)向服务器提出加入集群申请，服务器接收执行主机申请，并为该执行主机分配任务存储空间，执行主机进入待机状态。

(2)接收服务器收到任务提交者提交的任务后，服务器对所有任务进行执行代价估算，按执行代价最小原则对执行任务进行调度分配，然后把分配好的任务存储到各个执行主机相应的任务存储空间里。

(3)分布式集群里空闲的执行主机检测到自己任务存储空间里有等待执行的任务，执行主机对所有候选任务进行执行效益的处理，并按照执行效益对候选任务进行排序调度，淘汰若干个效益最低的任务，淘汰后的任务由服务器重新分配。提取若干个效益最高的任务，执行主机将该任务相关的记录从数据库提取出来，并准备执行该任务。

(4)根据任务的描述，执行主机向指定的文件服务器请求程序文件和数据文件；文件服务器将任务所需文件传送给执行主机；任务完成后，执行主机将输出文件传送给提交者，然后转下一个任务的执行。

本发明方法区别于现有处理方法的关键环节在于流程第二步和第三步，两个步骤都含有基于市场模型的调度，而现有技术只有一个调度过程。第二步中，服务器根据任务的市场报价按最小执行代价原则对候选任务集进行调度分配，因为资源在服务器端的记录总是有滞后，服务器对资源状态认识只能预测，所以对任务分隔只能是粗略的分隔预处理；第三步，资源端根据市场报价按最大执行效益对任务进行排序调度，执行前面若干个执行效益最大的任务，删除若干个执行效益最小的任务，补偿服务器对资源预测的误差，优化处理任务的合理分配。

以下对本发明作进一步的说明：

(1)服务器端对执行任务进行调度分配

用启发式静态调度预处理是分布式处理系统服务器端不停运行的一个进程。

①初始化候选任务集为全体任务(₁，₂，...，_m)，候选资源集为全体资源(1，2，...，n)，调度结果为空，步数k为0；

②判断候选任务集是否为空，是则调度完成退出，否则转下一步；

③判断候选资源集是否只包含最后一个资源了，是则将剩余任务分配给它，调度完成退出，否则转下一步；

④步数k加1，从候选资源集中任意选取一个资源i作为t(k)，估算执行代价，在候选任务集中选取子集_k，使得执行代价最小，在调度结果中记录_k分配给t(k)；

⑤从候选资源集中除去t(k)，从候选任务集中除去_k，转②。

其中服务器端的任务调度的执行代价估算：

一般地，设资源量x＝(x¹，x²，...，x^p)为p维欧氏空间中向量，任务量y＝(y¹，y²，...，y^q)为q维欧氏空间中向量，z＝(x，y)表示y在x上执行，其代价f(z)≥0，一般有f((x，0))＝0。例如，取执行代价为执行时间。

给定(z₁，z₂，...，z_n)，就给出了一个集群的各资源状态及其任务分配，其总代价为g(z₁，z₂，...，z_n)。一般地，g(z₁，z₂，...，z_n)应当满足：

1)g(z，0，...，0)＝f(z)；

2)对t∈T，g(z₁，z₂，...，z_n)＝g(z_t(1)，z_t(2)，...，z_t(n))，其中T为(1，2，...，n)上的置换集；

3)对k，1≤k≤n，若g(z₁，z₂，...，z_k，z_k+1，...，z_n)≥g(u₁，u₂，...，u_k，z_k+1，...，z_n)，则对u_k+1，u_k+2，...，u_n，有g(z₁，z₂，...，z_k，u_k+1，...，u_n)≥g(u₁，u₂，...，u_k，u_k+1，...，u_n)。

1)说明全局代价是基于某个执行代价的；2)表明全局代价与资源的顺序无关；3)是因为，子机群代价的增大必然会导致整个机群代价的增大，不论别的主机出于什么状态。

例如：

$g(z_1,z_2,...,z_n)=\underset{i}{\max }f\left(z_i\right);$

$g(z_1,z_2,...,z_n)=\sqrt{\underset{i}{\mathrm{\Σ}}{f}^2\left(z_i\right)}.$

全局代价函数满足如下公式：

若 $\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{z}_i=z,$ 则有g(z₁，z₂，...，z_n)≥g(z，0，...，0)；

由该性质，再结合全局代价的性质3)，可得：

k，1≤k≤n，若 $\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{z}_i=z,$ 则有g(z₁，z₂，...，z_n)≥g(z，0，...，0，z_k+1，...，z_n)

定义了执行代价，就可以描述调度目标及模型了。

给定任务集Y＝{y₁，y₂，...，y_m}和资源集X＝{x₁，x₂，...，x_n}，求分配序列ψ＝{ψ_n}，满足：

1)ψ_iY；

$2)----\underset{1\≤i\≤n}{\∪}{\mathrm{\ψ}}_i=Y;$

3)i≠j→ψ_i∩ψ_j＝φ

若ψ_i≠φ，设 $z_i=(x_i,\underset{y\∈{\mathrm{\ψ}}_i}{\mathrm{\Σ}}y),$ 否则z_i＝(x_i，0)，则可定义关于分配序列的代价函数：

对每个资源，执行代价F(ψ_i，x_i)＝f(z_i)；

对整个集群，执行代价G(ψ)＝g(z₁，z₂，...，z_n)

调度的目标就是最小化全局执行代价G(ψ)＝g(z₁，z₂，...，z_n)，即：

$G^{*}=\underset{\mathrm{\ψ}}{\min }G\left(\mathrm{\ψ}\right)$

记此时的任务分配解为 ${\mathrm{\ψ}}^{*}=\left\{{\mathrm{\ψ}}_n^{*}\right\}.$

调度可以理解为对每个资源i，确定相应的任务分配子集ψ_i的过程。每一步都为某个资源i选择其ψ_i，然后分别将i和ψ_i从候选资源集和候选任务集中移去。如果对每个资源i都已确定了ψ_i，则调度完成。可以看到，在每一步时遇到的问题性质上是一样的，就是在当前候选资源集中选择一个资源i，并在当前候选任务集中确定其任务分配子集ψ_i。

假设在第k步，任务子集序列(₁，₂，...，_k)已经分配，其中_i分配给t(i)，1≤i≤k，t为(1，2，...，n)上的某个置换，即已为某k个资源分配了任务，则可定义：

其中Ψ＝{ψ|ψt(i)＝_i，1≤i≤k}，即Q_k(₁，₂，...，_k，t)表示所有满足当前分配状况的分配方法中最优的分配方法的全局执行代价。因此，在调度的每一步k，应当为资源t(k)分配使Qk(₁，₂，...，_k-1，_k，t)最小的任务集_k。

很显然，Q_k(₁，₂，...，_k-1，_k，t)一般是无法处理的，因此本发明用它的估值代替。Q_k(₁，₂，...，_k-1，_k，t)的估值可定义为：

其中，

很显然，有：

该方法还可以进一步改进。

为每个资源t(k)选择_k的依据是，给定(₁，₂，...，_k-1)及t，_k最小化泛函Q_k(₁，₂，...，_k，t)，然而在实际中本发明用

作为Q_k(₁，₂，...，_k，t)的估值，最小化泛函

一般

与Q_k(₁，₂，...，_k，t)会有比较大的偏差，如果能够获得比 更接近于Q_k(₁，₂，...，_k，t)的估值，就可能改善调度的性能。

对第k步，可以通过处理第k+1步来获得Q_k(₁，₂，...，_k，t)更准确的估值。

令：

T(t，k)＝{s|s(i)＝t(i)，1≤i≤k，s∈T}，T为(1，2，...，n)上的置换集；

Y为任务集；

其中s^*∈T(t，k)。

又：

，其中

所以：

所以，对ε≥0，有：

也就是说，

和 比 更接近Q_k。在上述方法中用

代替 就可改进调度的性能。

(2)资源端对候选任务执行排序调度

资源端每次执行完当前任务即向服务器端请求获取任务。

①.初始化候选任务集为服务器预处理分配给该资源端的任务集(y₁，y₂，...，y_m)，更新本资源端状态列表(S₁，S₂，...，S_n)，调度结果为空，步数k为0；

②.判断候选任务集是否为空，是则调度完成退出，否则转下一步；

③.判断候选任务集任务数量是否小于资源端一次接收任务数(N)，是则将所有任务分配给它，调度完成退出，否则转下一步；

④.步数k加1，处理执行效益，依次选取N个执行效益最大的任务组成子集y_N，在调度结果中记录y_N分配给该资源节点，y_N中所有任务标志为已选并从候选任务集中除去y_N；

⑤.在剩余任务集中依次删除M个效益最小的候选任务。所删除子集y_M中任务重新进入服务器任务预处理进程；

⑥.调度结束，转任务执行

其中资源端排序调度的执行效益的处理：

给定任务集Y＝{y₁，y₂，...，y_m}和本地资源状态S，定义每个任务的执行效益

                      E_i＝f(y_i，S)  其中y_iY；

选中候选任务集中的N个任务：Y_N＝{y₁，y₂，...，y_N}，其满足条件

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i=\max C\begin{array}{c}\{y_1,y_2,...,y_N\}\\ \{y_1,y_2,...,y_m\}\end{array}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i;$

淘汰候选任务集中的M个任务：Y_M＝{y₁，y₂，...，y_M}，其满足条件

$\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{E}_i=\min C\begin{array}{c}\{y_1,y_2,...,y_M\}\\ \{y_1,y_2,...,y_m\}\end{array}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{E}_i$

本发明主要的创新点在于，处理海量空间信息时候是把服务器端繁重的调度负担有效分担至各个资源端，资源端又通过反馈的形式把不合理(执行效益低)的任务反馈回服务器端，补偿服务器对资源预测分配任务的误差，优化了处理任务的合理分配，均衡负载。

具体实施方式

为更好地理解本发明的技术方案，结合实施例对该方法的实现作进一步描述。

对该分布式处理环境进行了遥感数据处理的实验。用于实验的遥感图像处理任务是图像无缝分割处理程序。遥感图像无缝分割非常适合在分布式处理环境中运行，因为遥感图像无缝分隔具有数据量大、处理量大的特点。

基于遥感图像gabor纹理特征的边界合并算法，主要由以下几步组成：

●将一幅遥感图像分成大小为512×512或1024×1024的块；

●然后对每一块进行JSEG分割；

●利用分割结果，对分割的每个区域提取的gabor纹理特征。

整个基于自由市场模型的分布式处理系统实验平台由8台普通台式机组成，其中一个数据库、一台接收服务器兼监控器，一台客户机兼文件服务器，剩下五台作为执行主机。PC机之间的局域网采用10/100M交换机连接保证信息传递的畅通。

本实施例步骤如下：

(1)对任务市场报价进行建模。对于图像大小一致的图像，分隔处理量由图像纹理决定，纹理复杂的图像处理量大，因此图像纹理作为市场报价的一个重要依据。对集群提交900个总共675M大小的原始图像处理任务。

(2)服务器根据任务的市场报价按最小执行代价原则进行任务分配，原则上处理能力强的执行主机分配到的任务市场报价高，任务量大。

(3)执行主机按执行效益大小提取任务并执行，本实施例中，执行代价高的任务其执行效益大，因此执行代价和执行效益的计算可以用类似方法。

(4)执行主机处理完任务后把结果传会任务提交者，900个任务处理后返回的结果文件1800个总共304M。

                                 表1实验数据

执行主机	CPU	内存	OS	网络带宽	执行任务数	单任务平均执行时间(s)
							12345	P4 1.4GP4 2.4GC4 1.7GP4 2.4GP4 1.7G	256M512M256M512M256M	Win2000Win2000Win2000WinXpWinXp	10M10/100M10M10/100M10/100M	140220160220160	1478714088130

表1为各执行主机指标和各执行主机处理任务个数，从表1的实验数据可以看到，每个节点接收的任务量基本与其处理能力(CPU频率)成正比，处理能力强的接受任务多，处理能力小的接受任务少。从实验结果来看，整个实验中的负载都比较均衡，任务分配合理。

Claims (5)

1、一种基于自由市场模型的海量空间信息分布式处理方法，其特征在于，

(1)资源即执行主机向服务器提出加入集群申请，服务器接收执行主机申请，并为该执行主机分配任务存储空间，执行主机进入待机状态；

(2)接收服务器收到任务提交者提交的任务后，服务器对所有任务进行执行代价估算，按执行代价最小原则对执行任务进行调度分配，然后把分配好的任务存储到各个执行主机相应的任务存储空间里；

(3)分布式集群里空闲的执行主机检测到自己任务存储空间里有等待执行的任务，执行主机对所有候选任务进行执行效益的处理，并按照执行效益对候选任务进行排序调度，淘汰若干个效益最低的任务，淘汰后的任务由服务器重新分配，提取若干个效益最高的任务，执行主机将该任务相关的记录从数据库提取出来，并准备执行该任务；

(4)根据任务的描述，执行主机向指定的文件服务器请求程序文件和数据文件，文件服务器将任务所需文件传送给执行主机，任务完成后，执行主机将输出文件传送给提交者，然后转下一个任务的执行。

2、根据权利要求1所述的基于自由市场模型的海量空间信息分布式处理方法，其特征是，所述的(2)中，服务器端对执行任务进行调度分配，具体实现如下：

①初始化候选任务集为全体任务(₁，₂，...，_m)，候选资源集为全体资源(1，2，...，n)，调度结果为空，步数k为0；

②判断候选任务集是否为空，是则调度完成退出，否则转下一步；

③判断候选资源集是否只包含最后一个资源了，是则将剩余任务分配给它，调度完成退出，否则转下一步；

④步数k加1，从候选资源集中任意选取一个资源i作为t(k)，估算执行代价，在候选任务集中选取子集_k，使得执行代价最小，在调度结果中记录_k分配给t(k)；

⑤从候选资源集中除去t(k)，从候选任务集中除去_k，转②。

3、根据权利要求2所述的基于自由市场模型的海量空间信息分布式处理方法，其特征是，所述的估算执行代价，具体实现如下：

资源量x＝(x¹，x²，...，x^p)为p维欧氏空间中向量，任务量y＝(y¹，y²，...，y^q)为q维欧氏空间中向量，z＝(x，y)表示y在x上执行，其代价f(z)≥0，给定(z₁，z₂，...，z_n)，就给出了一个集群的各资源状态及其任务分配，其总代价为G(ψ)＝g(z₁，z₂，...，z_n)，

假设在第k步，任务子集序列(₁，₂，...，_k)已经分配，其中_i分配给t(i)，1≤i≤k，t为(1，2，...，n)上的某个置换，即已为某k个资源分配了任务，则定义：

Q_k(₁，₂，...，_k-1，_k，t)用其估值代替，Q_k(₁，₂，...，_k-1，_k，t)的估值定义为：

其中，

4、根据权利要求1所述的基于自由市场模型的海量空间信息分布式处理方法，其特征是，所述的(3)中，资源端对候选任务执行排序调度，具体为：

①初始化候选任务集为服务器预处理分配给该资源端的任务集(y₁，y₂，...，y_m)，更新本资源端状态列表(S₁，S₂，...，S_n)，调度结果为空，步数k为0；

②判断候选任务集是否为空，是则调度完成退出，否则转下一步；

③判断候选任务集任务数量是否小于资源端一次接收任务数(N)，是则将所有任务分配给它，调度完成退出，否则转下一步；

④步数k加1，处理执行效益，依次选取N个执行效益最大的任务组成子集y_N，在调度结果中记录y_N分配给该资源节点，y_N中所有任务标志为已选并从候选任务集中除去y_N；

⑤在剩余任务集中依次删除M个效益最小的候选任务，所删除子集y_M中任务重新进入服务器任务预处理进程；

⑥调度结束，转任务执行。

5、根据权利要求4所述的基于自由市场模型的海量空间信息分布式处理方法，其特征是，所述的处理执行效益，具体实现如下：

给定任务集Y＝{y₁，y₂，...，y_m}和本地资源状态S，定义每个任务的执行效益

                           E_i＝f(y_i，S)  其中y_iY；

选中候选任务集中的N个任务：Y_N＝{y₁，y₂，...，y_N}，其满足条件

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i=\max C_{\{y_1,y_2,..,y_m\}}^{\{y_1,y_2,..,y_N\}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i;$

淘汰候选任务集中的M个任务：Y_M＝{y₁，y₂，...，y_M}，其满足条件

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i=\min C_{\{y_1,y_2,..,y_m\}}^{\{y_1,y_2,..,y_M\}}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i.$