CN106254403A - 数据的迁移方法及装置 - Google Patents
数据的迁移方法及装置 Download PDFInfo
- Publication number
- CN106254403A CN106254403A CN201510311624.XA CN201510311624A CN106254403A CN 106254403 A CN106254403 A CN 106254403A CN 201510311624 A CN201510311624 A CN 201510311624A CN 106254403 A CN106254403 A CN 106254403A
- Authority
- CN
- China
- Prior art keywords
- node
- priority
- point set
- cluster center
- nodal point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000005012 migration Effects 0.000 claims abstract description 53
- 238000013508 migration Methods 0.000 claims abstract description 53
- 238000004891 communication Methods 0.000 claims abstract description 35
- 239000013598 vector Substances 0.000 claims description 41
- 238000007621 cluster analysis Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 18
- 238000011084 recovery Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/563—Data redirection of data network streams
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
Abstract
本发明提供了一种数据的迁移方法及装置,其中,该方法包括:获取通信网络中多个节点的启动速率以及多个节点的存储空间利用率;通过预设规则对启动速率和存储空间利用率进行多个节点的优先级分类,得到优先级不同分类的节点集合;依据优先级的不同执行对节点集合之间的数据迁移。通过本发明,解决了相关技术中的在进行数据迁移时,仅仅只考虑空间利用率等空间因素或者服务质量运行效率等时间因素其中一方面的问题,进而达到了提升系统效率的效果。
Description
技术领域
本发明涉及通信领域,具体而言,涉及一种数据的迁移方法及装置。
背景技术
随着通信技术的飞速发展,通信网络布局中的各个节点(通信设备)的业务量越来越大,虽然大容量、高性能的通信设备不断的出现,但为了合理的利用资源,提升各个通信节点的业务处理能力,保证更好的网络质量,需要将相应的配置数据迁移到启动速率快、空间利用率小的节点,这样使得整体的通信节点业务处理更加的均衡。
相关技术中有较多数据迁移方法,例如,专利申请号CN 201280000571.4的方案中,采用了根据网络中源节点至目的节点的服务质量QOS,确定所述各源节点中待调度的数据迁移任务;向所述待调度的数据迁移任务对应的目标源节点下发调度命令,所述调度命令用于对所述数据迁移任务进行调度,该方法可提高数据迁移效率,避免网络拥塞,但该方法仅仅从节点间的服务质量这个“时间”因素来作为数据迁移优先级判断准则,没有兼顾节点间存储的“空间”因素来判断,有可能会导致某些空间利用率大的节点存储压力过大,降低硬盘的使用寿命。
专利申请号:CN201210486988.8的方案中,采用了计算同种类型的硬盘的空间利用率的平均值的方法,获取任一存储池中每个硬盘的空间利用率,将所述同种类型中空间利用率大于所述平均值的硬盘中的数据迁移到所述同种类型中空间利用率小于所述平均值的硬盘中。减轻了数据存储量大的硬盘的压力,延长了数据存储量大的硬盘的使用寿命,但该方法仅仅从节点的存储“空间利用率”作为数据迁移的优先级判断准则,没有兼顾使用该存储介质对象的“时间”因素来判断。
可见,相关技术中往往只考虑到空间利用率等空间因素或者服务质量运行效率等时间因素其中一方面,并未综合考虑到时间与空间这两种因素;针对相关技术中的上述问题,目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种数据的迁移方法及装置,以至少解决相关技术中在进行数据迁移时,仅仅只考虑空间利用率等空间因素或者服务质量运行效率等时间因素其中一方面的问题。
根据本发明的一个方面,提供了一种数据的迁移方法,包括:获取通信网络中多个节点的启动速率以及所述多个节点的存储空间利用率;通过预设规则对所述启动速率和所述存储空间利用率进行所述多个节点的优先级分类,得到优先级不同分类的节点集合;依据优先级的不同执行对所述节点集合之间的数据迁移。
进一步地,获取通信网络中多个节点的启动速率以及所述多个节点的存储空间利用率包括:获取所述多个节点的上电时间与正常运行时间之间的时间差,并将所述时间差作为所述多个节点的启动速率;获取所述多个节点的存储空间中当前所有文件的空间大小占总的空间大小的比重,并将所述比重作为所述存储空间利用率。
进一步地,通过预设规则对所述启动速率和所述存储空间利用率进行所述多个节点的优先级分类,得到优先级不同分类的节点集合包括:以所述启动速率和所述存储空间利用率生成所述多个节点特征向量;依据聚类分析的方式对多个特征向量进行优先级分类,并依据分析结果将所述多个节点分为第一节点集合和第二节点集合,其中,所述第一节点集合中的节点优先级高于所述第二节点集合中的节点优先级。
进一步地,依据聚类分析对多个特征向量进行优先级分类,并依据分析结果将所述多个节点分为第一节点集合和第二节点集合包括:预设第一初始聚类中心和第二初始聚类中心的特征向量,其中,所述第一初始聚类中心属于所述第一节点集合,所述第二初始聚类中心属于所述第二节点集合;获取所述多个节点的特征向量分别与第一初始聚类中心和第二初始聚类中心的特征向量之间的距离值;依据所述距离值和最近距离分配原则,将所述多个节点分配到离自身距离较近的所述第一初始聚类中心或所述第二初始聚类中心;获取所述第一节点集合中节点相对于所述第一初始聚类中心的距离均值,以及获取所述第二节点集合中节点相对于所述第二初始聚类中心的距离均值,并通过所述距离均值调整所述第一初始聚类中心或所述初始第二初始聚类中心。
进一步地,依据优先级的不同执行对所述节点集合之间的数据迁移包括:将所述第二节点集合中迁出节点的待迁移数据迁移至第一节点集合的迁入节点中。
进一步地,在依据优先级的不同执行对所述节点集合之间的数据迁移之后,所述方法还包括:在所述迁出节点的系统需要访问已迁出的数据时,将所述迁入节点中迁入的数据恢复至所述迁出节点中。
根据本发明的另一个方面,提供了一种数据的迁移装置,包括:获取模块,用于获取通信网络中多个节点的启动速率以及所述多个节点的存储空间利用率;分类模块,用于通过预设规则对所述启动速率和所述存储空间利用率进行所述多个节点的优先级分类,得到优先级不同分类的节点集合;迁移模块,用于依据优先级的不同执行对所述节点集合之间的数据迁移。
进一步地,所述获取模块包括:第一获取单元,用于获取所述多个节点的上电时间与正常运行时间之间的时间差,并将所述时间差作为所述多个节点的启动速率;第二获取单元,用于获取所述多个节点的存储空间中当前所有文件的空间大小占总的空间大小的比重,并将所述比重作为所述存储空间利用率。
进一步地,所述分类模块包括:生成单元,用于以所述启动速率和所述存储空间利用率生成为所述多个节点特征向量;分类单元,用于依据聚类分析的方式对多个特征向量进行优先级分类,并依据分析结果将所述多个节点分为第一节点集合和第二节点集合,其中,所述第一节点集合中的节点优先级高于所述第二节点集合中的节点优先级。
进一步地,所述分类单元包括:预设子单元,用于预设第一初始聚类中心和第二初始聚类中心的特征向量,其中,所述第一初始聚类中心属于所述第一节点集合,所述第二初始聚类中心属于所述第二节点集合;获取子单元,用于获取所述多个节点的特征向量分别与第一初始聚类中心和第二初始聚类中心的特征向量之间的距离值;分配子单元,用于依据所述距离值和最近距离分配原则,将所述多个节点分配到离自身距离较近的所述第一初始聚类中心或所述第二初始聚类中心;调整子单元,用于获取所述第一节点集合中节点相对于所述第一初始聚类中心的距离均值,以及获取所述第二节点集合中节点相对于所述第二初始聚类中心的距离均值,并通过所述距离均值调整所述第一初始聚类中心或所述初始第二初始聚类中心。
在本发明中,采用通过预设规则对启动速率和存储空间利用率进行多个节点的优先级分类,得到优先级不同分类的节点集合,并依据优先级的不同执行对节点集合之间的数据迁移的方式,即在本发明中结合了通信网络中节点的启动速率和存储空间利用率,并通过优先级的方式执行节点之间的数据迁移,解决了相关技术中的在进行数据迁移时,仅仅只考虑空间利用率等空间因素或者服务质量运行效率等时间因素其中一方面的问题,进而达到了提升系统效率的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据的迁移方法的流程图;
图2是根据本发明实施例的数据的迁移装置的结构框图;
图3是根据本发明实施例的数据的迁移装置的可选结构框图一;
图4是根据本发明实施例的数据的迁移装置的可选结构框图二;
图5是根据本发明实施例的数据的迁移装置的可选结构框图三;
图6是根据本发明实施例的数据的迁移装置的可选结构框图四;
图7是根据本发明可选实施例的基于多点优先级数据迁移装置结构框图;
图8是根据本发明可选实施例的基于多点优先级数据迁移方法的流程图;
图9是根据本发明可选实施例的对通信节点进行聚类分析的流程图;
图10是根据本发明可选实施例的迁移数据备份与恢复的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本实施例提供了一种数据的迁移方法,图1是根据本发明实施例的数据的迁移方法的流程图,如图1所示,该方法的步骤包括:
步骤S102:获取通信网络中多个节点的启动速率以及多个节点的存储空间利用率;
步骤S104:通过预设规则对启动速率和存储空间利用率进行多个节点的优先级分类,得到优先级不同分类的节点集合;
步骤S106:依据优先级的不同执行对节点集合之间的数据迁移。
在本实施例上述步骤S102至步骤S106中,采用通过预设规则对启动速率和存储空间利用率进行多个节点的优先级分类,得到优先级不同分类的节点集合,并依据优先级的不同执行对节点集合之间的数据迁移的方式,即在本实施例中结合了通信网络中节点的启动速率和存储空间利用率,并通过优先级的方式执行节点之间的数据迁移,解决了相关技术中的在进行数据迁移时,仅仅只考虑空间利用率等空间因素或者服务质量运行效率等时间因素其中一方面的问题,进而达到了提升系统效率的效果。
在本实施例的步骤S102中获取通信网络中多个节点的启动速率以及多个节点的存储空间利用率的方式,在本实施例的可选实施方式中可以通过如下方式来实现:
步骤S11:获取多个节点的上电时间与正常运行时间之间的时间差,并将时间差作为多个节点的启动速率;
步骤S12:获取多个节点的存储空间中当前所有文件的空间大小占总的空间大小的比重,并将比重作为存储空间利用率。
对于上述步骤S11和步骤S12涉及到的启动速率和存储空间利用率,在本实施例的一个应用场景中可以是:
如10:00给该节点上电,5分钟后该节点恢复到正常运行,则该节点的启动速率为5分钟。该单元可以为该节点运行的一段程序,如若节点上电时间为ti1,待该节点正常投入运行使用时,再次统计相应的工作时间ti1,则节点xi的启动速率可如下表示:vi=ti1-ti2
如第2个节点的存储总容量为4G大小,而该存储总文件所占大小为2G,则该节点空间利用率为50%。该单元可以作为该节点中运行的一段程序,如若节点中存储卡所有文件大小为si,该节点存储卡总容量大小为si,则节点的存储空间利用率可如下表示:si=s1/s2
而对于本实施例中的步骤S104,通过预设规则对启动速率和存储空间利用率进行多个节点的优先级分类,得到优先级不同分类的节点集合的方式,在本可选实施方式中,通过如下方式来实现:
步骤S22:以启动速率和存储空间利用率生成多个节点特征向量;
步骤S23:依据聚类分析的方式对多个特征向量进行优先级分类,并依据分析结果将多个节点分为第一节点集合和第二节点集合,其中,第一节点集合中的节点优先级高于第二节点集合中的节点优先级。
而对于上述步骤S23依据聚类分析对多个特征向量进行优先级分类,并依据分析结果将多个节点分为第一节点集合和第二节点集合的方式,在在本实施例中可以通过如下方式来实现:
步骤S31:预设第一初始聚类中心和第二初始聚类中心的特征向量,其中,第一初始聚类中心属于第一节点集合,第二初始聚类中心属于第二节点集合;
步骤S32:获取多个节点的特征向量分别与第一初始聚类中心和第二初始聚类中心的特征向量之间的距离值;
步骤S33:依据距离值和最近距离分配原则,将多个节点分配到离自身距离较近的第一初始聚类中心或第二初始聚类中心;
步骤S34:获取第一节点集合中节点相对于第一初始聚类中心的距离均值,以及获取第二节点集合中节点相对于第二初始聚类中心的距离均值,并通过距离均值调整第一初始聚类中心或初始第二初始聚类中心。
结合上述启动速率以及存储空间利用率的取值,对于上述步骤S21和步骤S22中的方式,在本实施例的一应用场景可以是:
将所获得的模式特征向量作为该单元的输入进行聚类分析,首先统计各个特征向量之间的距离,设节点xi与节点xj之间的距离如下表示:
根据优先级权值高低的聚类准则,选取K个初始聚类中心;
其中,在本可选实例中K=2,通过启发式选取K个初始聚类中心的初始值,假设上述的第二个节点为初始聚类中心,则Z={zj|j=1,...k},该聚类中心初始值可如下表示:Z={zj|j=1,...k}
将样本集中的样本xi按照最小距离原则分配到最邻近聚类zj,可如下表示:
dij=min(||xi-zj||),xi∈X,zj∈Z
可见,在本应用场景中,依据上述两个初始聚类中心得到了两个节点集合,该两个集合中对启动速率和存储空间利用率进行划分,得到了优先级不同的两个节点集合。
对于本实施例的步骤S106依据优先级的不同执行对节点集合之间的数据迁移的方式包括:将第二节点集合中迁出节点的待迁移数据迁移至第一节点集合的迁入节点中。
此外,在本实施例的另一个可选实施方式中在依据优先级的不同执行对节点集合之间的数据迁移之后,本实施例的方法还可以包括:在迁出节点的系统需要访问已迁出的数据时,将迁入节点中迁入的数据恢复至迁出节点中。
在本实施例中还提供了一种数据的迁移装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明实施例的数据的迁移装置的结构框图,如图2所示,该装置包括:获取模块22,用于获取通信网络中多个节点的启动速率以及多个节点的存储空间利用率;分类模块24,与获取模块22耦合连接,用于通过预设规则对启动速率和存储空间利用率进行多个节点的优先级分类,得到优先级不同分类的节点集合;迁移模块26,与分类模块24耦合连接,用于依据优先级的不同执行对节点集合之间的数据迁移。
图3是根据本发明实施例的数据的迁移装置的可选结构框图一,如图3所示,该获取模块22包括:第一获取单元32,用于获取多个节点的上电时间与正常运行时间之间的时间差,并将时间差作为多个节点的启动速率;第二获取单元34,用于获取多个节点的存储空间中当前所有文件的空间大小占总的空间大小的比重,并将比重作为存储空间利用率。
图4是根据本发明实施例的数据的迁移装置的可选结构框图二,如图4所示,该分类模块24包括:生成单元42,用于以启动速率和存储空间利用率生成为多个节点特征向量;分类单元44,与生成单元42耦合连接,用于依据聚类分析的方式对多个特征向量进行优先级分类,并依据分析结果将多个节点分为第一节点集合和第二节点集合,其中,第一节点集合中的节点优先级高于第二节点集合中的节点优先级。
图5是根据本发明实施例的数据的迁移装置的可选结构框图三,如图5所示,该分类单元44包括:预设子单元52,用于预设第一初始聚类中心和第二初始聚类中心的特征向量,其中,第一初始聚类中心属于第一节点集合,第二初始聚类中心属于第二节点集合;获取子单元54,与预设子单元52耦合连接,用于获取多个节点的特征向量分别与第一初始聚类中心和第二初始聚类中心的特征向量之间的距离值;分配子单元56,与获取子单元54耦合连接,用于依据距离值和最近距离分配原则,将多个节点分配到离自身距离较近的第一初始聚类中心或第二初始聚类中心;调整子单元,与分配子单元56耦合连接,用于获取第一节点集合中节点相对于第一初始聚类中心的距离均值,以及获取第二节点集合中节点相对于第二初始聚类中心的距离均值,并通过距离均值调整第一初始聚类中心或初始第二初始聚类中心。
可选地,该迁移模块26,还用于将第二节点集合中迁出节点的待迁移数据迁移至第一节点集合的迁入节点中。
图6是根据本发明实施例的数据的迁移装置的可选结构框图四,如图6所示,在依据优先级的不同执行对节点集合之间的数据迁移之后,装置还包括:恢复模块62,与迁移模块26耦合连接,用于在迁出节点的系统需要访问已迁出的数据时,将迁入节点中迁入的数据恢复至迁出节点中。
下面结合本发明的可选实施对本发明进行详细说明;
本可选实施例提出了一种基于多点优先级数据迁移方法及装置,通过本可选实施例能够基于通信节点的时间因素与空间因素的综合考量,将优先级权值低的配置数据迁移到优先级权值低的节点上,有效的整合了系统资源,提升了通信节点的整体业务处理能力。
图7是根据本发明可选实施例的基于多点优先级数据迁移装置结构框图,如图7所示,该装置包括:数据预处理模块(上述本实施例中的获取模块和分类模块的结合)、数据备份模块(对应上述本实施例中的数据迁移模块)和数据恢复模块(对应于上述本实施例中的恢复模块),其中,数据预处理模块包括:统计启动速率单元(相当于上述实施例中的第一获取单元)、统计空间利用率单元(相当于上述实施例中的第二获取单元)、模式特征处理单元(对应上述实施例的生成单元)、权值优先级处理单元(对应于上述本实施例中的分类单元)。
图8是根据本发明可选实施例的基于多点优先级数据迁移方法的流程图,基于图7中该装置的模块,图8所示的该方法的步骤包括:
步骤S802:将通信网络布局中的各个节点进行编号,作为后续模式聚类的模式样本集合;
步骤S804:统计通信网络布局中各个节点的启动速率;
步骤S806:统计通信网络布局中各个节点的存储卡的空间利用率;
步骤S808:将各个节点的启动速率及空间利用率作为该节点的分类特征向量;
步骤S810:根据各个节点的分类特征向量进行聚类分析,将通信节点集合分类为数据迁移优先级权值高与低两个分类;
步骤S812:将优先级权值低的相应节点配置数据迁移到优先级权值高的分类节点中去。
基于上述数据预处理模块,对于步骤S804可以是:通过统计启动速率单元通过计算通信布局中各个节点的上电时间与正常运行时间差,作为该节点的启动速率。
对于步骤S806可以是:通过统计空间利用率单元计算各个节点的存储卡的当前所有文件的空间大小占总空间大小的比重,获得该节点的空间利用率。
对于上述步骤S808可以是,通过模式特征处理单元将各个节点统计启动速率单元与统计空间利用率单元获得的值作为优先级处理单元的输入,获得相应的模式特征向量。
对于上述步骤S810可以是,通过权值优先级处理单元将各个节点的模式特征向量进行聚类分析,得到优先级权值高与优先级权值低的两个集合。
对于步骤S804至步骤S810中的方式,进一步地,
对于步骤S804,通过统计启动速率单元,统计通信网络布局中各个节点的上电时间以及节点正常工作后的时间,将上电时间和正常工作时间作为统计启动速率单元的输入,输出为节点相应的启动速率。
对于步骤S806,通过统计空间利用率单元,统计通信网络布局中各个节点的存储卡所有文件的大小以及存储卡的总容量大小,将所有文件大小以及存储卡总容量大小作为统计空间利用率单元的输入,输出为节点相应的空间利用率。
对于步骤S808,通过模式特征处理单元,将统计启动速率单元的输出以及统计空间利用率单元的输出作为模式特征处理单元的输入,模式特征处理单元的输出为相应节点的模式特征向量。
对于步骤S810,通过权值优先级处理单元,将模式特征处理单元的输出作为权值优先级处理单元输入,经过该单元的处理,权值优先级处理单元的输出为优先级权值高与优先级权值低节点的两个集合。
其中,权值优先级处理单元的处理方式进一步细化可以是:
划分两个分类集合;其中,一类是优先级权值高的分类,特点是节点的空间利用率小且节点的启动速率高,一类是优先级权值低的分类,特点是节点的空间利用率大且节点的启动速率低。分别为这两个分类集合确定一个初始聚类中心,将样本点按照最近距离分配原则分配到最近的聚类集合去,再使用每个聚类集合的样本均值作为新的聚类中心。重复上述步骤,使得两个聚类集合的聚类中心不再变化;其中,如果最后有样本点距离两个聚类中心距离是一样的,则去掉这个样本点,表明该节点不需要进行数据迁移。最后得到相应的优先级权值高与优先级权值低的两个聚类集合。
图9是根据本发明可选实施例的对通信节点进行聚类分析的流程图,如图9所示,该流程的步骤包括:
步骤S902:得到模式样本的特征向量;
步骤S904:启发式选取2个聚类中心的初始值;
步骤S906:每个数据点归类到离它最近的那个中心点所代表的分类中;
步骤S908:计算出每个分类的新的中心点;
步骤S910:判断中心点是否变化,判断为否时,继续执行步骤S906,判断为是时,执行步骤S912;
步骤S912:聚类分析依据权值得到两个分类。
对于本可选实施例中的上述步骤S812涉及到通过数据备份模块进行备份的方法步骤包括:
步骤S41:将数据迁移预处理单元的输出,即两个节点的分类集合,确定哪些节点是将数据迁移出去,哪些节点将数据迁移进来;
步骤S42:确定数据迁出节点所要迁移的基础配置数据以及待迁移数据的存储路径;
步骤S43:确定数据迁入节点的节点IP地址、机架的槽位号、迁入数据的磁盘存储路径;
步骤S44:将源节点中相应的基础配置数据迁移至目的节点IP的相应存储路径中。
而对于本可选实施例中的数据迁移的数据恢复方法,该数据迁移的数据恢复可以通过本可选实施例中的数据恢复模块来实现,该方法的步骤包括:
步骤S51:确定数据迁移的源节点IP地址、机架的槽位号以及数据的存储路径;
步骤S52:确定数据迁移目的节点IP地址、机架的槽位号以及数据的存储路径;
步骤S53:当数据迁出节点的系统需要访问迁出的配置数据时,将前面数据迁入的节点中的相应配置数据恢复至数据迁出的节点中去。
对于上述步骤S41至步骤S44,以及步骤S51至步骤S53涉及到的数据备份与恢复如图10所示,图10是根据本发明可选实施例的迁移数据备份与恢复的示意图。
通过本可选实施例的基于多点优先级数据迁移方法,采用多节点启动后,通过节点启动速率及存储空间利用率建立起来的优先级进行判断,将优先级权值低的节点基础配置数据迁移给优先级较高的节点,该方法不仅提升了存储量大的节点SD卡的使用寿命,且较好的提升了系统效率。
结合上述图7和图8,以及本可选实施例的具体实施例对本发明进行说明;
本可选实施例提供的数据迁移方法的方法包括如下方式:
步骤S61,通信网络布局中的各个节点可以为通信单板,迁移的存储单元为单板中的存储卡;
其中,将通信网络布局中的各个节点进行编号,假设该网络布局中需要进行数据迁移的总节点数为n个,则该通信网络布局中n个节点可如下表示:
X={x1,x2,...xi,...xn}
步骤S62,统计启动速率单元用来统计节点的启动速率;
其中,如10:00给该节点上电,5分钟后该节点恢复到正常运行,则该节点的启动速率为5分钟。该单元可以为该节点运行的一段程序,如若节点上电时间为ti1,待该节点正常投入运行使用时,再次统计相应的工作时间ti1,则节点xi的启动速率可如下表示:
vi=ti1-ti2
步骤S63,统计空间利用率单元用来统计节点存储卡的空间利用率;
其中,如第2个节点的存储卡总容量为4G大小,而该存储卡总文件所占大小为2G,则该节点空间利用率为50%。该单元可以作为该节点中运行的一段程序,如若节点中存储卡所有文件大小为si,该节点存储卡总容量大小为si,则节点的存储空间利用率可如下表示:
si=s1/s2
模式特征处理单元将节点xi的启动速率vi和空间利用率si一起作为其进行聚类的模式特征向量,节点xi的模式特征向量可如下表示:
yi=(vi,si)i=1,2,...n
步骤S64,优先级权值处理单元将模式特征处理单元所获得的模式特征向量作为该单元的输入进行聚类分析,首先统计各个特征向量之间的距离,设节点xi与节点xj之间的距离如下表示:
步骤S65,根据优先级权值高低的聚类准则,选取K个初始聚类中心;
其中,在本可选实例中K=2,通过启发式选取K个初始聚类中心的初始值,假设上述的第二个节点为初始聚类中心,则Z={zj|j=1,...k},该聚类中心初始值可如下表示:
Z={zj|j=1,...k}
将样本集中的样本xi按照最小距离原则分配到最邻近聚类zj,可如下表示:
dij=min(||xi-zj||),xi∈X,zj∈Z
步骤S66,使用每个聚类中的样本均值作为新的聚类中心,重复步骤S64和步骤S65使得样本中心的聚类中心点不再发生变化。得到数据迁移优先级权值高与低的两个分类,优先级高的分类特点是节点空间利用率高且节点启动速率慢,优先级权值低的分类特点是节点空间利用率低且节点启动速率快。
步骤S67,数据备份单元将以上的数据迁移预处理单元所分得的数据迁出集合与数据迁入集合进行相应备份。确定数据迁出节点的IP地址,由于通信节点中的单板分为主用单板和备用单板,其IP地址是一样的,需要继续确定其机架的槽位号。IP地址和槽位号可以确定一个迁移节点的对象,再确定该对象的数据迁移单元,统计该迁移数据的存储路径。如现在确定好了要将IP地址为192.100.90.1、槽位号为2的节点中存储路径为/home/sd中的基础数据迁移出去。
步骤S68,确定好数据迁入节点的IP地址、槽位号,再确定该目的节点的数据迁入的的存储路径。如数据迁入节点IP地址为192.100.90.3,目的节点的槽位号为1,数据迁入的存储路径为/home/sd/bak。
步骤S69,将数据迁出节点中的相应配置数据通过网络迁移至数据迁入节点的相应存储路径中去。如将IP地址为192.100.90.1、槽位号为2的节点中存储路径为/home/sd中的基础数据全部迁移至IP地址为192.100.90.3、槽位号为1的节点中存储路径为/home/sd/bak中去。
步骤S70,数据恢复单元,当数据迁出节点的系统需要访问迁出的配置数据时,触发数据恢复流程。首先恢复出数据备份单元中存储的源节点与目的节点的IP地址、机架槽位号以及数据单元的存储路径。
步骤S71,将前面数据迁入的节点中的相应配置数据恢复至数据迁出的节点中去。如将IP地址为192.100.90.3、槽位号为1的节点中存储路径为/home/sd/bak的配置数据恢复至IP地址为192.100.90.1、槽位号为2的节点中存储路径为/home/sd中去。
在另外一个实施例中,还提供了一种软件,该软件用于执行上述实施例及可选实施方式中描述的技术方案。
在另外一个实施例中,还提供了一种存储介质,该存储介质中存储有上述软件,该存储介质包括但不限于:光盘、软盘、硬盘、可擦写存储器等。
显然,本领域的技术人员应该明白,上述本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
上述仅为本发明的可选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据的迁移方法,其特征在于,包括:
获取通信网络中多个节点的启动速率以及所述多个节点的存储空间利用率;
通过预设规则对所述启动速率和所述存储空间利用率进行所述多个节点的优先级分类,得到优先级不同分类的节点集合;
依据优先级的不同执行对所述节点集合之间的数据迁移。
2.根据权利要求1所述的方法,其特征在于,获取通信网络中多个节点的启动速率以及所述多个节点的存储空间利用率包括:
获取所述多个节点的上电时间与正常运行时间之间的时间差,并将所述时间差作为所述多个节点的启动速率;
获取所述多个节点的存储空间中当前所有文件的空间大小占总的空间大小的比重,并将所述比重作为所述存储空间利用率。
3.根据权利要求1所述的方法,其特征在于,通过预设规则对所述启动速率和所述存储空间利用率进行所述多个节点的优先级分类,得到优先级不同分类的节点集合包括:
以所述启动速率和所述存储空间利用率生成所述多个节点的特征向量;
依据聚类分析的方式对多个特征向量进行优先级分类,并依据分析结果将所述多个节点分为第一节点集合和第二节点集合,其中,所述第一节点集合中的节点优先级高于所述第二节点集合中的节点优先级。
4.根据权利要求3所述的方法,其特征在于,依据聚类分析对多个特征向量进行优先级分类,并依据分析结果将所述多个节点分为第一节点集合和第二节点集合包括:
预设第一初始聚类中心和第二初始聚类中心的特征向量,其中,所述第一初始聚类中心属于所述第一节点集合,所述第二初始聚类中心属于所述第二节点集合;
获取所述多个节点的特征向量分别与第一初始聚类中心和第二初始聚类中心的特征向量之间的距离值;
依据所述距离值和最近距离分配原则,将所述多个节点分配到离自身距离较近的所述第一初始聚类中心或所述第二初始聚类中心;
获取所述第一节点集合中节点相对于所述第一初始聚类中心的距离均值,以及获取所述第二节点集合中节点相对于所述第二初始聚类中心的距离均值,并通过所述距离均值调整所述第一初始聚类中心或所述初始第二初始聚类中心。
5.根据权利要求4所述的方法,其特征在于,依据优先级的不同执行对所述节点集合之间的数据迁移包括:
将所述第二节点集合中迁出节点的待迁移数据迁移至第一节点集合的迁入节点中。
6.根据权利要求5所述的方法,其特征在于,在依据优先级的不同执行对所述节点集合之间的数据迁移之后,所述方法还包括:
在所述迁出节点的系统需要访问已迁出的数据时,将所述迁入节点中迁入的数据恢复至所述迁出节点中。
7.一种数据的迁移装置,其特征在于,包括:
获取模块,用于获取通信网络中多个节点的启动速率以及所述多个节点的存储空间利用率;
分类模块,用于通过预设规则对所述启动速率和所述存储空间利用率进行所述多个节点的优先级分类,得到优先级不同分类的节点集合;
迁移模块,用于依据优先级的不同执行对所述节点集合之间的数据迁移。
8.根据权利要求7所述的装置,其特征在于,所述获取模块包括:
第一获取单元,用于获取所述多个节点的上电时间与正常运行时间之间的时间差,并将所述时间差作为所述多个节点的启动速率;
第二获取单元,用于获取所述多个节点的存储空间中当前所有文件的空间大小占总的空间大小的比重,并将所述比重作为所述存储空间利用率。
9.根据权利要求7所述的装置,其特征在于,所述分类模块包括:
生成单元,用于以所述启动速率和所述存储空间利用率生成为所述多个节点的特征向量;
分类单元,用于依据聚类分析的方式对多个特征向量进行优先级分类,并依据分析结果将所述多个节点分为第一节点集合和第二节点集合,其中,所述第一节点集合中的节点优先级高于所述第二节点集合中的节点优先级。
10.根据权利要求9所述的装置,其特征在于,所述分类单元包括:
预设子单元,用于预设第一初始聚类中心和第二初始聚类中心的特征向量,其中,所述第一初始聚类中心属于所述第一节点集合,所述第二初始聚类中心属于所述第二节点集合;
获取子单元,用于获取所述多个节点的特征向量分别与第一初始聚类中心和第二初始聚类中心的特征向量之间的距离值;
分配子单元,用于依据所述距离值和最近距离分配原则,将所述多个节点分配到离自身距离较近的所述第一初始聚类中心或所述第二初始聚类中心;
调整子单元,用于获取所述第一节点集合中节点相对于所述第一初始聚类中心的距离均值,以及获取所述第二节点集合中节点相对于所述第二初始聚类中心的距离均值,并通过所述距离均值调整所述第一初始聚类中心或所述初始第二初始聚类中心。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510311624.XA CN106254403A (zh) | 2015-06-09 | 2015-06-09 | 数据的迁移方法及装置 |
PCT/CN2016/079915 WO2016197706A1 (zh) | 2015-06-09 | 2016-04-21 | 数据的迁移方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510311624.XA CN106254403A (zh) | 2015-06-09 | 2015-06-09 | 数据的迁移方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106254403A true CN106254403A (zh) | 2016-12-21 |
Family
ID=57503167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510311624.XA Pending CN106254403A (zh) | 2015-06-09 | 2015-06-09 | 数据的迁移方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106254403A (zh) |
WO (1) | WO2016197706A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109325016A (zh) * | 2018-09-12 | 2019-02-12 | 杭州朗和科技有限公司 | 数据迁移方法、装置、介质及电子设备 |
CN111897962A (zh) * | 2020-07-27 | 2020-11-06 | 绿盟科技集团股份有限公司 | 一种物联网资产标记方法及装置 |
CN114510742A (zh) * | 2022-04-15 | 2022-05-17 | 纬创软件(武汉)有限公司 | 一种基于隐私安全的混合云数据迁移方法及系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009204A (zh) * | 2017-11-02 | 2018-05-08 | 深圳市网心科技有限公司 | 基于扩展名分类并去冗余的方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2692197B1 (en) * | 2011-03-31 | 2017-05-03 | Telefonaktiebolaget LM Ericsson (publ) | Method and arrangement in a communications system for handling a gbr bearer |
CN103034615B (zh) * | 2012-12-07 | 2016-04-13 | 无锡美森微电子科技有限公司 | 一种适用于流应用多核处理器的存储管理方法 |
CN104539730B (zh) * | 2015-01-16 | 2018-01-02 | 浙江大学 | 一种hdfs中面向视频的负载均衡方法 |
-
2015
- 2015-06-09 CN CN201510311624.XA patent/CN106254403A/zh active Pending
-
2016
- 2016-04-21 WO PCT/CN2016/079915 patent/WO2016197706A1/zh active Application Filing
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109325016A (zh) * | 2018-09-12 | 2019-02-12 | 杭州朗和科技有限公司 | 数据迁移方法、装置、介质及电子设备 |
CN111897962A (zh) * | 2020-07-27 | 2020-11-06 | 绿盟科技集团股份有限公司 | 一种物联网资产标记方法及装置 |
CN111897962B (zh) * | 2020-07-27 | 2024-03-15 | 绿盟科技集团股份有限公司 | 一种物联网资产标记方法及装置 |
CN114510742A (zh) * | 2022-04-15 | 2022-05-17 | 纬创软件(武汉)有限公司 | 一种基于隐私安全的混合云数据迁移方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2016197706A1 (zh) | 2016-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8495201B2 (en) | Assigning telecommunications nodes to community of interest clusters | |
CN107666412B (zh) | 服务功能链的虚拟网络功能部署方法 | |
US8122281B2 (en) | System and method for dependent failure-aware allocation of distributed data-processing systems | |
CN106161610A (zh) | 一种分布式存储的方法和系统 | |
CN106254403A (zh) | 数据的迁移方法及装置 | |
US7526540B2 (en) | System and method for assigning data collection agents to storage area network nodes in a storage area network resource management system | |
Yao et al. | Minimizing disaster backup window for geo-distributed multi-datacenter cloud systems | |
CN103179052A (zh) | 一种基于接近度中心性的虚拟资源分配方法及系统 | |
CN113784373B (zh) | 云边协同网络中时延和频谱占用联合优化方法及系统 | |
CN109451540A (zh) | 一种网络切片的资源分配方法和设备 | |
CN112764920B (zh) | 一种边缘应用部署方法、装置、设备和存储介质 | |
CN104683488A (zh) | 流式计算系统及其调度方法和装置 | |
Hu et al. | A distributed decision mechanism for controller load balancing based on switch migration in SDN | |
CN111082960A (zh) | 数据的处理方法及装置 | |
Zotov et al. | Resource allocation algorithm in data centers with a unified scheduler for different types of resources | |
CN113766544A (zh) | 一种基于多边缘协同的电力物联网切片优化方法 | |
Ghaleb et al. | Surviving multiple failures in multicast virtual networks with virtual machines migration | |
CN103023936A (zh) | 一种多层次网络系统及基于该网络系统的任务执行方法 | |
US20180181422A1 (en) | Virtual machine migration device and method | |
WO2015055502A2 (en) | Method of partitioning storage in a distributed data storage system and corresponding device | |
Feng et al. | COVE: Co-operative virtual network embedding for network virtualization | |
Xia et al. | Data locality-aware big data query evaluation in distributed clouds | |
CN105512268A (zh) | 一种数据查询方法及装置 | |
Yu et al. | Robust resource provisioning in time-varying edge networks | |
TW200525943A (en) | Method for determining registration area in a wireless communication system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161221 |
|
WD01 | Invention patent application deemed withdrawn after publication |