CN106649441A - 图数据的重划分方法及系统 - Google Patents
图数据的重划分方法及系统 Download PDFInfo
- Publication number
- CN106649441A CN106649441A CN201610821437.0A CN201610821437A CN106649441A CN 106649441 A CN106649441 A CN 106649441A CN 201610821437 A CN201610821437 A CN 201610821437A CN 106649441 A CN106649441 A CN 106649441A
- Authority
- CN
- China
- Prior art keywords
- diagram data
- subgraphs
- servers
- subgraph
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了图数据的重划分方法及系统。其中,方法为:获取图数据和资源部署指令,资源部署指令表示将图数据分配到多个第一服务器上;将图数据进行划分,得到多个子图,子图的数量与第一服务器的数量一致,且每个子图间是相互独立的;获取资源重新部署指令,资源重新部署指令表示将图数据重新分配到多个第二服务器上,多个第二服务器的数量的平方不大于多个第一服务器的数量;根据多个子图,按照预定规则,得到多个新子图,新子图的数量与第二服务器的数量一致,且多个新子图间是相互独立的。本发明图数据的重划分方法及系统,在资源重新部署时,采用将子图合并处理,实现图数据的重划分,不用重新遍历和挖掘,提高了图数据重新划分的速度。
Description
技术领域
本发明涉及数据处理领域,尤其涉及图数据划分。
背景技术
图是数据结构的一种,是一种数据存储方式,其数据通过点和边存储。由于海量数据对于系统存储空间与计算能力的需要,需要将数据进行分布式并行存储与计算。
在分布式计算环境下,由于图数据记录之间的强耦合性,图数据的不合理分配,往往会造成机器之间负载不均衡,机器之间会增加大量网络通信,而且由于图挖掘算法往往具有多轮迭代运行的特性,大数据分配不合理的影响被明显放大,严重拖慢系统整体的运行效率,所以合理切分图数据对于离线挖掘类型图应用的运行效率来说非常重要。通常将图数据的点或边进行分割,分配到不同的机器上,现有以下三种分割方法:第一种是将图数据中的所有边随机分到不同的子图中;第二种是将具有相同的出点或相同的入点的边分在相同的子图中;第三种是通过矩阵的方式进行图数据的分割,得到图数据分配后的子图。这三种方法中,第三种分割方式更合理,可减少设备之间的通信开销。
但当分布式系统需要进行资源的重新部署,即需要将同样的图数据重新分配,通常需要将图数据重新遍历和挖掘,再进行重新划分。此时,无论采用上述哪种分割方式,图数据的重新划分的速度慢,都会增加系统负担。
因此,现有技术中的缺陷是,当分布式系统需要进行资源的重新部署,需要将图数据重新遍历和挖掘,再进行重新划分,导致图数据重新划分速度慢,增加系统负担。
发明内容
针对上述技术问题,本发明提供一种图数据的重划分方法及系统,采用了基于重新划分的图数据之前的子图,进行图数据的重新划分,不用重新遍历和挖掘,提高了图数据重新划分的速度,减轻了系统负担。
为解决上述技术问题,本发明提供的技术方案是:
第一方面,本发明提供图数据的重划分方法,包括:
步骤S1,获取图数据和资源部署指令,所述资源部署指令表示将所述图数据分配到多个第一服务器上;
步骤S2,根据所述资源部署指令,将所述图数据进行划分,得到多个子图,多个所述子图的数量与多个所述第一服务器的数量一致,且每个所述子图间是相互独立的;
步骤S3,获取资源重新部署指令,所述资源重新部署指令表示将所述图数据重新分配到多个第二服务器上,多个所述第二服务器的数量的平方不大于多个所述第一服务器的数量;
步骤S4,根据多个所述子图,按照预定规则,得到多个新子图,多个所述新子图的数量与多个所述第二服务器的数量一致,且多个所述新子图间是相互独立的。
本发明的技术方案为先获取图数据和资源部署指令,所述资源部署指令表示将所述图数据分配到多个第一服务器上;接着根据所述资源部署指令,将所述图数据进行划分,得到多个子图,多个所述子图的数量与多个所述第一服务器的数量一致,且每个所述子图间是相互独立的;然后获取资源重新部署指令,所述资源重新部署指令表示将所述图数据重新分配到多个第二服务器上,多个所述第二服务器的数量的平方不大于多个所述第一服务器的数量;最后根据多个所述子图,按照预定规则,得到多个新子图,多个所述新子图的数量与多个所述第二服务器的数量一致,且多个所述新子图间是相互独立的。
本发明图数据的重划分方法,采用了基于重新划分的图数据之前的子图,直接通过子图得到图数据重新划分后的新子图,实现资源重新部署时,图数据的重新划分,该方法不用重新遍历和挖掘图数据,进行图数据的重划分,提高了图数据重新划分的速度,减轻了系统负担。
进一步地,所述步骤S2包括:
步骤S21,根据所述资源部署指令,结合所述图数据,建立矩阵,所述矩阵中的元素用来表示所述图数据;
步骤S22,根据所述矩阵,将矩阵进行分块处理,得到多个分块矩阵,每个所述分块矩阵用来表示对所述图数据划分后得到的子图;
步骤S23,根据多个所述分块矩阵,对应得到多个所述子图,多个所述子图的数量与多个所述第一服务器的数量一致,且每个所述子图间是相互独立的。
在根据资源部署指令,对图数据进行划分时,具体是通过矩阵的方式进行图数据的划分,矩阵中每个元素表示所在行、列的点之间的边。通过矩阵的方式将数据分成多个子图,即分配到多个服务器上进行存储和计算。
进一步地,所述步骤S4中,根据所述第一服务器的数量,对多个所述子图进行处理:
当多个所述第一服务器的数量为X2,且X为自然数时,将多个所述子图按照第一预定规则进行合并处理;
当多个所述第一服务器的数量为Y2,且Y为小数时,将多个所述子图按照第二预定规则进行处理。
根据第一服务器的数量,对于图数据的重划分包括两种情况,第一种情况是当第一服务器的数量为某个数的平方,根据多个子图,将多个子图按照第一预定规则进行合并处理;第二种情况是,当第一服务器的数量不是某个数的平方,开根号之后是个小数,那么就将多个子图按照第二预定规则进行处理。其中,第一服务器的数量一定不小于第二服务器数量的平方。
进一步地,所述第一预定规则为将相邻且平行的多个所述子图进行合并。根据资源重新部署指令,将图数据进行重新划分,就是将相同数量的图数据,分配到更少的服务器上,由于服务器数量变少,那么就要对多个子图进行合并处理,由于每个子图之间是相互独立的,当第一服务器的数量为X2时,就表示在资源重新部署时,将图数据重新分配给至多X个第二服务器,因此将多个子图合并的第一预定规则设定为,将相邻且平行的多个子图进行合并,就得到了新的子图,规则简单,实现起来更容易。保证了每个服务器分配的图数据尽可能是平均的,保证资源分配的合理性,使服务器之间的通信代价相对减小。
进一步地,所述第二预订规则为将Y2个所述子图按照所述第一预定规则进行合并,Y2>M2,M为自然数,得到多个中间子图,并将Y2-M2个子图随机分配到多个所述中间子图中。
如上所述,当第一服务器的数量为Y2时,且Y为小数,就是表示第一服务器的数量不是某个数的平方时,比如18,那么根据第二预定规则将多个子图进行处理,具体的就是先按照第一预定规则将M2个子图按照第一预定规则进行合并,得到对个中间子图,然后将剩余的Y2-M2个子图随机分配到中间子图中,得到多个新子图。
这样,无论第一服务器的数量为多少,都可以根据多个子图实现图数据的重划分,提高了资源重新配置时,图数据重新划分的速度,使服务期间的负担减小,运行更稳定。
第二方面,本发明图数据的重划分系统,包括:
数据获取模块,用于获取图数据和资源部署指令,所述资源部署指令表示将所述图数据分配到多个第一服务器上;
图数据划分模块,用于根据所述资源部署指令,将所述图数据进行划分,得到多个子图,多个所述子图的数量与多个所述第一服务器的数量一致,且每个所述子图间是相互独立的;
资源重新部署模块,用于获取资源重新部署指令,所述资源重新部署指令表示将所述图数据重新分配到多个第二服务器上,多个所述第二服务器的数量的平方不大于多个所述第一服务器的数量;
图数据重划分模块,用于根据多个所述子图,按照预定规则,得到多个新子图,多个所述新子图的数量与多个所述第二服务器的数量一致,且多个所述新子图间是相互独立的。
本发明的技术方案为先通过数据获取模块,获取图数据和资源部署指令,所述资源部署指令表示将所述图数据分配到多个第一服务器上;接着通过图数据划分模块,根据所述资源部署指令,将所述图数据进行划分,得到多个子图,多个所述子图的数量与多个所述第一服务器的数量一致,且每个所述子图间是相互独立的;然后通过资源重新部署模块,获取资源重新部署指令,所述资源重新部署指令表示将所述图数据重新分配到多个第二服务器上,多个所述第二服务器的数量的平方不大于多个所述第一服务器的数量;最后通过图数据重划分模块,根据多个所述子图,按照预定规则,得到多个新子图,多个所述新子图的数量与多个所述第二服务器的数量一致,且多个所述新子图间是相互独立的。
本发明图数据的重划分系统,采用了基于重新划分的图数据之前的子图,直接通过子图得到图数据重新划分后的新子图,实现资源重新部署时,图数据的重新划分,该系统不用重新遍历和挖掘图数据,进行图数据的重划分,提高了图数据重新划分的速度,减轻了系统负担。
进一步地,所述图数据划分模块包括:
矩阵建立子模块,用于根据所述资源部署指令,结合所述图数据,建立矩阵,所述矩阵中的元素用来表示所述图数据;
矩阵分块子模块,用于根据所述矩阵,将矩阵进行分块处理,得到多个分块矩阵,每个所述分块矩阵用来表示对所述图数据划分后得到的子图;
子图获取子模块,用于根据多个所述分块矩阵,对应得到多个所述子图,多个所述子图的数量与多个所述第一服务器的数量一致,且每个所述子图间是相互独立的。
在根据资源部署指令,对图数据进行划分时,具体是通过矩阵的方式进行图数据的划分,矩阵中每个元素表示所在行、列的点之间的边。通过矩阵的方式将数据分成多个子图,即分配到多个服务器上进行存储和计算。
进一步地,所述图数据重划分模块中,对多个所述子图进行处理,包括:
第一预定规则处理模块,用于当多个所述第一服务器的数量为X2,且X为自然数时,将多个所述子图按照第一预定规则进行合并处理;
第二预定规则处理模块,用于当多个所述第一服务器的数量为Y2,且Y为小数时,将多个所述子图按照第二预定规则进行处理。
根据第一服务器的数量,对于图数据的重划分包括两种情况,第一种情况是当第一服务器的数量为某个数的平方,根据多个子图,将多个子图按照第一预定规则进行合并处理;第二种情况是,当第一服务器的数量不是某个数的平方,开根号之后是个小数,那么就将多个子图按照第二预定规则进行处理。其中,第一服务器的数量一定不小于第二服务器数量的平方。
进一步地,所述第一预定规则为将相邻且平行的多个所述子图进行合并。根据资源重新部署指令,将图数据进行重新划分,就是将相同数量的图数据,分配到更少的服务器上,由于服务器数量变少,那么就要对多个子图进行合并处理,由于每个子图之间是相互独立的,当第一服务器的数量为X2时,就表示在资源重新部署时,将图数据重新分配给至多X个第二服务器,因此将多个子图合并的第一预定规则设定为,将相邻且平行的多个子图进行合并,就得到了新的子图,规则简单,实现起来更容易。保证了每个服务器分配的图数据尽可能是平均的,保证资源分配的合理性,使服务器之间的通信代价相对减小。
进一步地,所述第二预订规则为将Y2个所述子图按照所述第一预定规则进行合并,Y2>M2,M为自然数,得到多个中间子图,并将Y2-M2个子图随机分配到多个所述中间子图中。
如上所述,当第一服务器的数量为Y2时,且Y为小数,就是表示第一服务器的数量不是某个数的平方时,比如18,那么根据第二预定规则将多个子图进行处理,具体的就是先按照第一预定规则将M2个子图按照第一预定规则进行合并,得到对个中间子图,然后将剩余的Y2-M2个子图随机分配到中间子图中,得到多个新子图。
这样,无论第一服务器的数量为多少,都可以根据多个子图实现图数据的重划分,提高了资源重新配置时,图数据重新划分的速度,使服务期间的负担减小,运行更稳定。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1示出了本发明第一实施例所提供的图数据的重划分方法的流程图;
图2示出了本发明第一实施例所提供的图数据的重划分方法中按照矩阵方式进行图数据划分的示意图;
图3示出了本发明第一实施例所提供的图数据的重划分方法中按照第一预定规则进行子图合并的示意图;
图4示出了本发明第一实施例所提供的图数据的重划分方法中按照第二预定规则进行子图合并的示意图;
图5示出了本发明第二实施例所提供的图数据的重划分系统的示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只是作为示例,而不能以此来限制本发明的保护范围。
实施例一
图1示出了本发明第一实施例所提供的图数据的重划分方法的流程图;如图1所示,根据本发明第一实施例的图数据的重划分方法,包括:
步骤S1,获取图数据和资源部署指令,资源部署指令表示将图数据分配到多个第一服务器上;
步骤S2,根据资源部署指令,将图数据进行划分,得到多个子图,多个子图的数量与多个第一服务器的数量一致,且每个子图间是相互独立的;
步骤S3,获取资源重新部署指令,资源重新部署指令表示将图数据重新分配到多个第二服务器上,多个第二服务器的数量的平方不大于多个第一服务器的数量;
步骤S4,根据多个子图,按照预定规则,得到多个新子图,多个新子图的数量与多个第二服务器的数量一致,且多个新子图间是相互独立的。
本发明的技术方案为先获取图数据和资源部署指令,资源部署指令表示将图数据分配到多个第一服务器上;接着根据资源部署指令,将图数据进行划分,得到多个子图,多个子图的数量与多个第一服务器的数量一致,且每个子图间是相互独立的;然后获取资源重新部署指令,资源重新部署指令表示将图数据重新分配到多个第二服务器上,多个第二服务器的数量的平方不大于多个第一服务器的数量;最后根据多个子图,按照预定规则,得到多个新子图,多个新子图的数量与多个第二服务器的数量一致,且多个新子图间是相互独立的。
本发明图数据的重划分方法,采用了基于重新划分的图数据之前的子图,直接通过子图得到图数据重新划分后的新子图,实现资源重新部署时,图数据的重新划分,该方法不用重新遍历和挖掘图数据,进行图数据的重划分,提高了图数据重新划分的速度,减轻了系统负担。
具体地,步骤S2包括:
步骤S21,根据资源部署指令,结合图数据,建立矩阵,矩阵中的元素用来表示所述图数据;
步骤S22,根据矩阵,将矩阵进行分块处理,得到多个分块矩阵,每个分块矩阵用来表示对图数据划分后得到的子图;
步骤S23,根据多个分块矩阵,对应得到多个子图,多个子图的数量与多个第一服务器的数量一致,且每个子图间是相互独立的。
图2示出了本发明第一实施例所提供的图数据的重划分方法中按照矩阵方式进行图数据划分的示意图;在根据资源部署指令,对图数据进行划分时,具体是通过矩阵的方式进行图数据的划分,矩阵中每个元素表示所在行、列的点之间的边。通过矩阵的方式将数据分成多个子图,每个子图之间是相互独立的,没有交集的,即将图数据分配到多个服务器上进行存储和计算。
具体地,步骤S4中,根据第一服务器的数量,对多个子图进行处理:
当多个第一服务器的数量为X2,且X为自然数时,将多个子图按照第一预定规则进行合并处理;
当多个第一服务器的数量为Y2,且Y为小数时,将多个子图按照第二预定规则进行处理。
根据第一服务器的数量,对于图数据的重划分包括两种情况,第一种情况是当第一服务器的数量为某个数的平方,根据多个子图,将多个子图按照第一预定规则进行合并处理;第二种情况是,当第一服务器的数量不是某个数的平方,开根号之后是个小数,那么就将多个子图按照第二预定规则进行处理。其中,第一服务器的数量一定不小于第二服务器数量的平方。
具体地,第一预定规则为将相邻且平行的多个子图进行合并。根据资源重新部署指令,将图数据进行重新划分,就是将相同数量的图数据,分配到更少的服务器上,由于服务器数量变少,那么就要对多个子图进行合并处理,由于每个子图之间是相互独立的,当第一服务器的数量为X2时,就表示在资源重新部署时,将图数据重新分配给至多X个第二服务器,因此将多个子图合并的第一预定规则设定为,将相邻且平行的多个子图进行合并,就得到了新的子图,规则简单,实现起来更容易。保证了每个服务器分配的图数据尽可能是平均的,保证资源分配的合理性,使服务器之间的通信代价相对减小。
具体地,第二预订规则为将Y2个所述子图按照所述第一预定规则进行合并,Y2>M2,M为自然数,得到多个中间子图,并将Y2-M2个子图随机分配到多个中间子图中。
如上所述,当第一服务器的数量为Y2时,且Y为小数,就是表示第一服务器的数量不是某个数的平方时,比如18,那么根据第二预定规则将多个子图进行处理,具体的就是先按照第一预定规则将M2个子图按照第一预定规则进行合并,得到对个中间子图,然后将剩余的Y2-M2个子图随机分配到中间子图中,得到多个新子图。
下面结合图2至图4,对图数据的重划分进行具体的说明:
如图2所示,将16个图数据分配到4个服务器中,即将16个图数据划分成4个子图,就可以采用图2中的矩阵划分方式,分成四个分块矩阵,其中每个分块矩阵中有4个图数据,×代表图数据,这样就实现了图数据的划分,得到4个子图。如果将16个图数据分配到3个服务器中,即第一服务器的数量为3,那么可以通过图2右侧的方式进行划分,首先将9个图数据进行矩阵划分,每个矩阵中4个图数据,得到3个子图,然后将剩余的4个图数据随机分配到上述3个子图中。通过矩阵的方式划分图数据,不止上述的划分方式,但要保证划分出的每个子图之间相互独立。
图3示出了本发明第一实施例所提供的图数据的重划分方法中按照第一预定规则进行子图合并的示意图;如图3所示,还以16个图数据为例,第一服务器的数量为4,第二服务器的数量为2,那么将四个子图中的图数据进行重划分,就是将相邻的且平行的子图进行合并处理,得到2个新子图。
图4示出了本发明第一实施例所提供的图数据的重划分方法中按照第二预定规则进行子图合并的示意图;如图4所示,因为第二预订规则为将M2个子图按照所述第一预定规则进行合并,M2>Y2,M为自然数,以Y2为18,M2为16,第一服务器数量为18,第二服务器数量为4为例,图中△代表一个子图,先将16个子图按照第一预定规则进行合并,得到4个中间子图,然后将18-16=2个子图随机分配到4个中间子图中,最后得到4个新子图。
优选地,在第二预订规则中,将Y2个所述子图按照所述第一预定规则进行合并,Y2>M2,M为自然数,且(M+1)2>Y2时,即M2是最近接Y2的平方数,比如,Y2为18,M2为16,在资源重新划分时,将资源最大化分配,可减轻服务器之间的负担。
实施例二
图5示出了本发明第二实施例所提供的图数据的重划分系统10的示意图。如图5所示,本发明提供的图数据的重划分系统10,包括:
数据获取模块101,用于获取图数据和资源部署指令,资源部署指令表示将图数据分配到多个第一服务器上;
图数据划分模块102,用于根据资源部署指令,将图数据进行划分,得到多个子图,多个子图的数量与多个第一服务器的数量一致,且每个子图间是相互独立的;
资源重新部署模块103,用于获取资源重新部署指令,资源重新部署指令表示将图数据重新分配到多个第二服务器上,多个第二服务器的数量的平方不大于多个第一服务器的数量;
图数据重划分模块104,用于根据多个子图,按照预定规则,得到多个新子图,多个新子图的数量与多个第二服务器的数量一致,且多个新子图间是相互独立的。
本发明的技术方案为先通过数据获取模块101,获取图数据和资源部署指令,资源部署指令表示将图数据分配到多个第一服务器上;接着通过图数据划分模块102,根据资源部署指令,将图数据进行划分,得到多个子图,多个子图的数量与多个第一服务器的数量一致,且每个子图间是相互独立的;然后通过资源重新部署模块103,获取资源重新部署指令,资源重新部署指令表示将图数据重新分配到多个第二服务器上,多个第二服务器的数量的平方不大于多个第一服务器的数量;最后通过图数据重划分模块104,根据多个子图,按照预定规则,得到多个新子图,多个新子图的数量与多个第二服务器的数量一致,且多个新子图间是相互独立的。
本发明图数据的重划分系统10,采用了基于重新划分的图数据之前的子图,直接通过子图得到图数据重新划分后的新子图,实现资源重新部署时,图数据的重新划分,该系统不用重新遍历和挖掘图数据,进行图数据的重划分,提高了图数据重新划分的速度,减轻了系统负担。
具体地,图数据划分模块102包括:
矩阵建立子模块1021,用于根据资源部署指令,结合图数据,建立矩阵,矩阵中的元素用来表示图数据;
矩阵分块子模块1022,用于根据矩阵,将矩阵进行分块处理,得到多个分块矩阵,每个分块矩阵用来表示对图数据划分后得到的子图;
子图获取子模块1023,用于根据多个分块矩阵,对应得到多个子图,多个子图的数量与多个第一服务器的数量一致,且每个子图间是相互独立的。
在根据资源部署指令,对图数据进行划分时,具体是通过矩阵的方式进行图数据的划分,矩阵中每个元素表示所在行、列的点之间的边。通过矩阵的方式将数据分成多个子图,即分配到多个服务器上进行存储和计算。
具体地,图数据重划分模块104中,对多个所述子图进行处理,包括:
第一预定规则处理模块1041,用于当多个第一服务器的数量为X2,且X为自然数时,将多个子图按照第一预定规则进行合并处理;
第二预定规则处理模块1042,用于当多个第一服务器的数量为Y2,且Y为小数时,将多个子图按照第二预定规则进行处理。
根据第一服务器的数量,对于图数据的重划分包括两种情况,第一种情况是当第一服务器的数量为某个数的平方,根据多个子图,将多个子图按照第一预定规则进行合并处理;第二种情况是,当第一服务器的数量不是某个数的平方,开根号之后是个小数,那么就将多个子图按照第二预定规则进行处理。其中,第一服务器的数量一定不小于第二服务器数量的平方。
具体地,第一预定规则为将相邻且平行的多个子图进行合并。根据资源重新部署指令,将图数据进行重新划分,就是将相同数量的图数据,分配到更少的服务器上,由于服务器数量变少,那么就要对多个子图进行合并处理,由于每个子图之间是相互独立的,当第一服务器的数量为X2时,就表示在资源重新部署时,将图数据重新分配给至多X个第二服务器,因此将多个子图合并的第一预定规则设定为,将相邻且平行的多个子图进行合并,就得到了新的子图,规则简单,实现起来更容易。保证了每个服务器分配的图数据尽可能是平均的,保证资源分配的合理性,使服务器之间的通信代价相对减小。
具体地,第二预订规则为将Y2个所述子图按照所述第一预定规则进行合并,Y2>M2,M为自然数,得到多个中间子图,并将Y2-M2个子图随机分配到多个中间子图中。
如上所述,当第一服务器的数量为Y2时,且Y为小数,就是表示第一服务器的数量不是某个数的平方时,比如18,那么根据第二预定规则将多个子图进行处理,具体的就是先按照第一预定规则将M2个子图按照第一预定规则进行合并,得到对个中间子图,然后将剩余的Y2-M2个子图随机分配到中间子图中,得到多个新子图。图数据重新划分使服务期间的负担减小,运行更稳定。
综上,本发明图数据的重划分方法及系统,在资源重新部署时,基于通过矩阵的方式划分的子图,将子图按照预定规则进行合并处理,实现图数据的重划分,避免在对图数据进行重划分时,不用在图数据中进行重新遍历和挖掘,提高了图数据重新划分的速度,使系统运行更稳定。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.图数据的重划分方法,其特征在于,包括:
步骤S1,获取图数据和资源部署指令,所述资源部署指令表示将所述图数据分配到多个第一服务器上;
步骤S2,根据所述资源部署指令,将所述图数据进行划分,得到多个子图,多个所述子图的数量与多个所述第一服务器的数量一致,且每个所述子图间是相互独立的;
步骤S3,获取资源重新部署指令,所述资源重新部署指令表示将所述图数据重新分配到多个第二服务器上,多个所述第二服务器的数量的平方不大于多个所述第一服务器的数量;
步骤S4,根据多个所述子图,按照预定规则,得到多个新子图,多个所述新子图的数量与多个所述第二服务器的数量一致,且多个所述新子图间是相互独立的。
2.根据权利要求1所述图数据的重划分方法,其特征在于,
所述步骤S2包括:
步骤S21,根据所述资源部署指令,结合所述图数据,建立矩阵,所述矩阵中的元素用来表示所述图数据;
步骤S22,根据所述矩阵,将矩阵进行分块处理,得到多个分块矩阵,每个所述分块矩阵用来表示对所述图数据划分后得到的子图;
步骤S23,根据多个所述分块矩阵,对应得到多个所述子图,多个所述子图的数量与多个所述第一服务器的数量一致,且每个所述子图间是相互独立的。
3.根据权利要求1所述图数据的重划分方法,其特征在于,
所述步骤S4中,根据所述第一服务器的数量,对多个所述子图进行处理:
当多个所述第一服务器的数量为X2,且X为自然数时,将多个所述子图按照第一预定规则进行合并处理;
当多个所述第一服务器的数量为Y2,且Y为小数时,将多个所述子图按照第二预定规则进行处理。
4.根据权利要求3所述图数据的重划分方法,其特征在于,
所述第一预定规则为将相邻且平行的多个所述子图进行合并。
5.根据权利要求3或4所述图数据的重划分方法,其特征在于,
所述第二预订规则为将Y2个所述子图按照所述第一预定规则进行合并,Y2>M2,M为自然数,得到多个中间子图,并将Y2-M2个子图随机分配到多个所述中间子图中。
6.图数据的重划分系统,其特征在于,包括:
数据获取模块,用于获取图数据和资源部署指令,所述资源部署指令表示将所述图数据分配到多个第一服务器上;
图数据划分模块,用于根据所述资源部署指令,将所述图数据进行划分,得到多个子图,多个所述子图的数量与多个所述第一服务器的数量一致,且每个所述子图间是相互独立的;
资源重新部署模块,用于获取资源重新部署指令,所述资源重新部署指令表示将所述图数据重新分配到多个第二服务器上,多个所述第二服务器的数量的平方不大于多个所述第一服务器的数量;
图数据重划分模块,用于根据多个所述子图,按照预定规则,得到多个新子图,多个所述新子图的数量与多个所述第二服务器的数量一致,且多个所述新子图间是相互独立的。
7.根据权利要求6所述图数据的重划分系统,其特征在于,
所述图数据划分模块包括:
矩阵建立子模块,用于根据所述资源部署指令,结合所述图数据,建立矩阵,所述矩阵中的元素用来表示所述图数据;
矩阵分块子模块,用于根据所述矩阵,将矩阵进行分块处理,得到多个分块矩阵,每个所述分块矩阵用来表示对所述图数据划分后得到的子图;
子图获取子模块,用于根据多个所述分块矩阵,对应得到多个所述子图,多个所述子图的数量与多个所述第一服务器的数量一致,且每个所述子图间是相互独立的。
8.根据权利要求6所述图数据的重划分系统,其特征在于,
所述图数据重划分模块中,对多个所述子图进行处理,包括:
第一预定规则处理模块,用于当多个所述第一服务器的数量为X2,且X为自然数时,将多个所述子图按照第一预定规则进行合并处理;
第二预定规则处理模块,用于多个所述第一服务器的数量为Y2,且Y为小数时,将多个所述子图按照第二预定规则进行处理。
9.根据权利要求8所述图数据的重划分系统,其特征在于,
所述第一预定规则为将相邻且平行的多个所述子图进行合并。
10.根据权利要求8或9所述图数据的重划分系统,其特征在于,
所述第二预订规则为将Y2个所述子图按照所述第一预定规则进行合并,Y2>M2,M为自然数,得到多个中间子图,并将Y2-M2个子图随机分配到多个所述中间子图中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610821437.0A CN106649441B (zh) | 2016-09-13 | 2016-09-13 | 图数据的重划分方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610821437.0A CN106649441B (zh) | 2016-09-13 | 2016-09-13 | 图数据的重划分方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106649441A true CN106649441A (zh) | 2017-05-10 |
CN106649441B CN106649441B (zh) | 2020-10-09 |
Family
ID=58851701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610821437.0A Active CN106649441B (zh) | 2016-09-13 | 2016-09-13 | 图数据的重划分方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106649441B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090259652A1 (en) * | 2008-04-11 | 2009-10-15 | Fujitsu Limited | Information searching apparatus, information searching method, and computer product |
CN101753534A (zh) * | 2008-12-10 | 2010-06-23 | 徐文祥 | 基于集群服务器的分区自适应网络系统及其构建方法 |
CN102332009B (zh) * | 2011-09-02 | 2013-09-04 | 北京大学 | 一种大规模数据集上的关系查询方法 |
CN104077280A (zh) * | 2013-03-25 | 2014-10-01 | 中兴通讯股份有限公司 | 社区发现并行化方法和系统、主节点和运算节点设备 |
-
2016
- 2016-09-13 CN CN201610821437.0A patent/CN106649441B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090259652A1 (en) * | 2008-04-11 | 2009-10-15 | Fujitsu Limited | Information searching apparatus, information searching method, and computer product |
CN101753534A (zh) * | 2008-12-10 | 2010-06-23 | 徐文祥 | 基于集群服务器的分区自适应网络系统及其构建方法 |
CN102332009B (zh) * | 2011-09-02 | 2013-09-04 | 北京大学 | 一种大规模数据集上的关系查询方法 |
CN104077280A (zh) * | 2013-03-25 | 2014-10-01 | 中兴通讯股份有限公司 | 社区发现并行化方法和系统、主节点和运算节点设备 |
Non-Patent Citations (2)
Title |
---|
李立 等: "基于地图分割与以矢量信息描述地图的A_寻路算法", 《四川大学学报(自然科学版)》 * |
贾秀芳 等: "规则库的合并以及冗余、环路和冲突的检测", 《计算机应用与软件》 * |
Also Published As
Publication number | Publication date |
---|---|
CN106649441B (zh) | 2020-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103312763B (zh) | 客户端系统、管理服务器、工作区环境设置方法和工作区环境设置程序 | |
EP2656208B1 (en) | Agile communication operator | |
Tschoke et al. | Solving the traveling salesman problem with a distributed branch-and-bound algorithm on a 1024 processor network | |
CN102495723B (zh) | 小块通信算子 | |
CN102262244B (zh) | 大面积三维地震数据体快速处理方法 | |
CN105046443A (zh) | 一种业务工单分配方法及系统 | |
CN104461737B (zh) | 一种内存管理方法和装置 | |
CN113269424B (zh) | 机器人集群任务分配方法、系统、设备及存储介质 | |
Ghadle et al. | Revised Ones Assignment Method for solving assignment problem | |
CN105094984A (zh) | 资源调度的方法及系统 | |
CN103617494A (zh) | 一种广域多级分布式并行电网分析系统 | |
CN103309867A (zh) | 基于Hadoop平台的Web数据挖掘系统 | |
CN106649441A (zh) | 图数据的重划分方法及系统 | |
Ceselli et al. | A branch-and-price algorithm for the multilevel generalized assignment problem | |
CN104657216B (zh) | 一种资源池的资源分配方法及装置 | |
CN104731968B (zh) | 一种单机的大规模数据集的聚类挖掘方法 | |
CN110879753B (zh) | 基于自动化集群资源管理的gpu加速性能优化方法和系统 | |
CN109547238A (zh) | 一种在设备管理系统中实现自动组网的方法 | |
Parouha et al. | Parallel hybridization of differential evolution and particle swarm optimization for constrained optimization with its application | |
Gonthier et al. | Memory-aware scheduling of tasks sharing data on multiple gpus with dynamic runtime systems | |
CN105589745A (zh) | 一种支持非均衡任务分配的动态漏洞挖掘系统和方法 | |
CN110111203A (zh) | 业务数据的批量操作方法、装置及电子设备 | |
CN106548512A (zh) | 网格模型数据的生成方法 | |
CN110162483A (zh) | 静态内存碎片整理方法、装置、计算机设备及存储介质 | |
CN112925566B (zh) | 建立虚拟寄存器生存区间的方法和装置及编译方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: 518000 2203/2204, Building 1, Huide Building, Beizhan Community, Minzhi Street, Longhua District, Shenzhen, Guangdong Patentee after: SHENZHEN AUDAQUE DATA TECHNOLOGY Ltd. Address before: 518000 units J and K, 12 / F, block B, building 7, Baoneng Science Park, Qinghu Industrial Zone, Qingxiang Road, Longhua New District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN AUDAQUE DATA TECHNOLOGY Ltd. |
|
CP02 | Change in the address of a patent holder |