CN110555014B - 一种数据迁移方法和系统、电子设备、存储介质 - Google Patents
一种数据迁移方法和系统、电子设备、存储介质 Download PDFInfo
- Publication number
- CN110555014B CN110555014B CN201910840765.9A CN201910840765A CN110555014B CN 110555014 B CN110555014 B CN 110555014B CN 201910840765 A CN201910840765 A CN 201910840765A CN 110555014 B CN110555014 B CN 110555014B
- Authority
- CN
- China
- Prior art keywords
- migration
- data
- migrated
- module
- storage module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 221
- 230000005012 migration Effects 0.000 title claims abstract description 221
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000015654 memory Effects 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 238000013500 data storage Methods 0.000 description 27
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供一种数据迁移方法和系统、电子设备、存储介质。该方法包括:获取第一存储模块中各用户对应的业务数据,据业务数据为每个用户分配业务标签,确定每个业务标签对应的待迁移数据量,响应于各待迁移数据量的和大于预设的第一阈值,根据各待迁移数据量选定迁移策略,其中,迁移策略包括正向迁移和反向迁移,根据迁移策略将至少部分业务数据迁移至第二存储模块,通过根据业务数据为每个用户分配业务标签,以避免现有技术中通过分配索引的方式造成的操作复杂的弊端,以便提高数据迁移的效率,且通过选定不同的迁移策略实现对至少部分业务数据的迁移,可以实现数据迁移的多样性和灵活性。
Description
技术领域
本公开涉及互联网技术领域,具体涉及数据处理技术领域,尤其涉及一种数据迁移方法和系统、电子设备、存储介质。
背景技术
随着互联网技术的发展和应用的普及,数据的数据量也在急剧的增加,如业务数据的数据量。其中,业务数据包括支付业务的业务数据、出行业务的业务数据和流量业务的业务数据等等。
在现有技术中,采用不同的存储模块(如服务器、存储器、表格等)对不同的业务数据进行存储,考虑到受存储空间的局限性,因此需要将业务数据从一个存储模块迁移至另一个存储模块,且通常采用的数据迁移方法为:对业务数据标注索引,当某存储模块对应的存储空间不足时,根据索引将该存储模块中业务数据迁移至其他存储模块。
然而发明人在实现本公开的过程中,发现至少存在如下问题:迁移方式单一,灵活性不强。
发明内容
本公开提供一种数据迁移方法和系统、电子设备、存储介质,用以解决现有技术中迁移方式单一,灵活性不强的问题。
一方面,本公开实施例提供一种数据迁移方法,包括:获取第一存储模块中各用户对应的业务数据;
根据所述业务数据为每个所述用户分配业务标签;
确定每个所述业务标签对应的待迁移数据量;
响应于各所述待迁移数据量的和大于预设的第一阈值,根据各所述待迁移数据量选定迁移策略,其中,所述迁移策略包括正向迁移和反向迁移;
根据所述迁移策略将至少部分所述业务数据迁移至第二存储模块。
在一些实施例中,所述根据各所述待迁移数据量选定迁移策略包括:
选取各所述待迁移数据量中最大的待迁移数据量;
响应于所述最大的待迁移数据量大于预设的第二阈值,将所述迁移策略确定为所述反向迁移;或者,
响应于所述最大的待迁移数据量小于或等于所述第二阈值,将所述迁移策略确定为所述正向迁移。
在一些实施例中,若所述迁移策略为所述反向迁移,则所述根据所述迁移策略将至少部分所述业务数据迁移至第二存储模块包括:
将除所述最大的待迁移数据量对应的业务数据之外的业务数据迁移至所述第二存储模块;或者,
若所述迁移策略为所述正向迁移,则所述根据所述迁移策略将至少部分所述业务数据迁移至第二存储模块包括:
将所述最大的待迁移数据量对应的业务数据迁移至所述第二存储模块。
在一些实施例中,在所述根据所述迁移策略将至少部分所述业务数据迁移至第二存储模块之后,所述方法还包括:
对迁移任务进行检测;
响应于所述迁移任务失败,获取迁移日志;
对所述迁移日志进行分析,形成失败原因;
对所述失败原因进行显示。
另一方面,本公开实施例还提供了一种数据迁移系统,包括:第一获取模块,用于获取第一存储模块中各用户对应的业务数据;
分配模块,用于根据所述业务数据为每个所述用户分配业务标签;
确定模块,用于确定每个所述业务标签对应的待迁移数据量;
选定模块,用于响应于各所述待迁移数据量的和大于预设的第一阈值,根据各所述待迁移数据量选定迁移策略,其中,所述迁移策略包括正向迁移和反向迁移;
迁移模块,用于根据所述迁移策略将至少部分所述业务数据迁移至第二存储模块。
在一些实施例中,所述选定模块具体用于,选取各所述待迁移数据量中最大的待迁移数据量,响应于所述最大的待迁移数据量大于预设的第二阈值,将所述迁移策略确定为所述反向迁移,或者,响应于所述最大的待迁移数据量小于或等于所述第二阈值,将所述迁移策略确定为所述正向迁移。
在一些实施例中,若所述迁移策略为所述反向迁移,则所述迁移模块具体用于,将除所述最大的待迁移数据量对应的业务数据之外的业务数据迁移至所述第二存储模块;或者,若所述迁移策略为所述正向迁移,则所述迁移模块具体用于,将所述最大的待迁移数据量对应的业务数据迁移至所述第二存储模块。
在一些实施例中,所述系统还包括:
检测模块,用于对迁移任务进行检测;
第二获取模块,用于响应于所述迁移任务失败,获取迁移日志;
分析模块,用于对所述迁移日志进行分析,形成失败原因;
显示模块,用于对所述失败原因进行显示。
另一个方面,本公开实施例还提供了一种电子设备,包括:存储器,处理器;
所述存储器用于存储所述处理器可执行指令的存储器;
其中,当执行所述存储器中的指令时,所述处理器被配置为实现如上任一实施例所述的方法。
另一个方面,本公开实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上任一实施例所述的方法。
本公开提供一种新的数据迁移方法,该方法包括:获取第一存储模块中各用户对应的业务数据,据业务数据为每个用户分配业务标签,确定每个业务标签对应的待迁移数据量,响应于各待迁移数据量的和大于预设的第一阈值,根据各待迁移数据量选定迁移策略,其中,迁移策略包括正向迁移和反向迁移,根据迁移策略将至少部分业务数据迁移至第二存储模块,通过根据业务数据为每个用户分配业务标签,以避免现有技术中通过分配索引的方式造成的操作复杂的弊端,以便提高数据迁移的效率,且通过选定不同的迁移策略实现对至少部分业务数据的迁移,可以实现数据迁移的多样性和灵活性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本公开实施例的数据迁移方法的场景示意图;
图2为本公开实施例的数据迁移方法的流程示意图;
图3为本公开实施例的数据迁移方法的流程示意图;
图4为本公开实施例的数据迁移系统的模块示意图;
图5为本公开另一实施例的数据迁移系统的模块示意图;
图6为本公开实施例的电子设备的结构示意图;
附图标记:100、物联网管理设备,200、源数据存储模块,300、目的数据存储模块,1、第一获取模块,2、分配模块,3、确定模块,4、选定模块,5、迁移模块,6、检测模块,7、第二获取模块,8、分析模块,9、显示模块。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供的数据迁移方法,可以适用于如图1所示的场景。
无论是互联网数据存储模块还是云计算数据存储模块,若基于无线移动网络或者互联网进行数据迁移,都会因为数据存储模块中巨大的数据量,而长时间占用大量的网络资源,导致数据迁移效率低。
随着信息技术的不断发展,物联网(Internet of Things,IoT)应运而生。顾名思义,物联网就是物物相连的互联网,通过在物品与物品之间进行信息交换和通信,实现物物相息。物联网设备包括但不限于移动电话、平板设备、个人数字助理等。
通常情况下,物联网设备都拥有多余的存储资源、计算资源等,例如,一个存储空间为256G的智能手机中,可能会存在100G的空闲存储资源,这些资源在大部分时间都处于闲置状态。另一方面,物联网设备具有可移动性,例如智能手机可以随着用户的移动在各个城市间移动。
其中,数据迁移可以包括将互联网数据存储模块中的数据迁移至云计算数据存储模块中,也可以包括将云计算数据存储模块中的数据迁移至互联网数据存储模块中。
当然,在一些实施例中,互联网数据存储模块可包括多个互联网数据存储子模块,则数据迁移还可以包括将数据从某一互联网数据存储子模块迁移至另一互联网数据存储子模块。其中,互联网数据存储子模块具体可以以数据表的形式表现。则在该实施例中,是将数据从某一互联网数据表迁移至另一互联网数据表。
同理,在另一些实施例中,云计算数据存储模块可包括多个云计算数据存储子模块,则数据迁移还可以包括将数据从某一云计算数据存储子模块迁移至另一云计算数据存储子模块。其中,云计算数据存储子模块具体可以以数据表的形式表现。则在该实施例中,是将数据从某一云计算数据表迁移至另一云计算数据表。
在如图1所示的应用场景中,其中,物联网管理设备100例如可以为单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。需要说明的是,物联网管理设备100既可以集成在源数据存储模块中,也可以独立于源数据存储模块单独存在,本实施例对此不作限制。源数据存储模块200和目的数据存储模块300的类型可以相同,也可以不同,本实施例对此不作限制。
其中,源数据存储模块200为存储待迁移数据的存储模块,目的数据存储模块300为将待迁移数据迁移后,存储该迁移后的数据的存储模块。如,源数据存储模块200可以为本公开实施例钟的数据迁移方法中的第一存储模块,目的数据存储模块300可以为本公开实施例中的数据迁移方法中的第二存储模块。
下面以具体地实施例对本公开的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本公开的实施例进行描述。
一个方面,本公开实施例提供了一种适用于上述场景的数据迁移方法。
请参阅图2,图2为本公开实施例的数据迁移方法的流程示意图。
如图2所示,该方法包括:
S101:获取第一存储模块中各用户对应的业务数据。
在一些实施例中,执行本公开实施例的数据迁移方法的主体可以为数据迁移装置,数据迁移装置具体可以为服务器或者云端系统。
其中,第一存储模块对各用户的业务数据进行存储。业务数据包括但不限于支付业务的业务数据、出行业务的业务数据和流量业务的业务数据。
示范性地,当业务数据为支付业务的业务数据时,用户基于用户终端形成支付业务的业务数据,用户终端与第一存储模块无线连接,并将支付业务的业务数据通过无线通信链路发送至第一存储模块,第一存储模块对支付业务的业务数据进行存储。
在一些实施例中,数据迁移装置每隔预设时长执行本公开实施例提供的数据迁移方法,即每隔预设时长对第一存储模块中的各用户对应的业务数据进行获取,并执行后续步骤。
其中,预设时长可基于需求进行设定。针对不同类型的业务数据,设置的预设时长可能不同。
S102:根据业务数据为每个用户分配业务标签。
在一些实施例中,对历史业务数据进行分析,确定业务数据与业务标签之间的映射关系,并形成映射关系表,并根据映射关系表确定业务标签。
在另一些实施例中,对第一存储模块中各用户对应的业务数据进行划分区间处理,并基于区间的数量以及不同区间之间的差异信息确定相应的业务标签。
示范性地,基于用户A的支付业务的业务数据可知,用户A在一个星期内的支付次数为11次,且支付金额为两千元,则为用户A分配的业务标签为忠诚用户标签;基于用户B的支付业务的业务数据可知,用户B在一个星期内的支付次数为5次,且支付金额为一千元,则为用户B分配的业务标签为普通用户标签;基于用户C的支付业务的业务数据可知,用户C在一个星期内的支付次数为1次,且支付金额为十元,则为用户C分配的业务标签为潜在用户标签。
在现有技术中,通过为每个业务数据分配索引,而分配索引需要由数据库管理员(DBA,Database Administrator)实现,因此操作过程繁琐,且搜索过程耗时较长。而在本公开实施例中,通过基于业务数据为用户进行业务标签的分配,避免了上述现有技术中所述的问题,缩短了时间,以便提高数据迁移的整体效率。
S103:确定每个业务标签对应的待迁移数据量。
可以理解的是,不同的用户对应的业务数据可能相同,因此不同的用户对应的业务标签也可能相同。
如基于上述示例,若基于用户D的支付业务的业务数据可知,用户D在一个星期内的支付次数为11次,且支付金额为两千元,则为用户D分配的业务标签为忠诚用户标签,则用户A和用户D具有相同的业务标签。
在该步骤中,对每个业务标签对应的待迁移数据量进行确定。具体地,将每个业务标签分别按照预设规则翻译成SQL表达式,根据SQL表达式统计各业务标签下的待迁移数据量。
S104:响应于各待迁移数据量的和大于预设的第一阈值,根据各待迁移数据量选定迁移策略,其中,迁移策略包括正向迁移和反向迁移。
该步骤具体包括:计算各待迁移数据量的和,并将计算得到的和与第一阈值进行比较,如果计算得到的和大于第一阈值,则选定迁移策略,如果计算得到的和小于或者等于第一阈值,则流程结束。
其中,第一阈值根据需求进行设定。如,第一阈值为第一存储模块的存储容量的80%。也就是说,若计算得到的和大于80%的第一存储模块的存储容量,则选定迁移策略,以便对至少部分业务数据进行迁移;若计算得到的和小于或者等于80%的第一存储模块的存储容量,则流程结束(或者返回至S101)。
S105:根据迁移策略将至少部分业务数据迁移至第二存储模块。
在一些实施例中,可基于预设的配置信息确定第二存储模块,以便根据迁移策略将至少部分业务数据迁移至第二存储模块。配置信息中包括第二存储模块的名称(如表名)、执行迁移任务的时间、迁移策略、数据处理方式(如删除所有历史数据还是覆盖更新历史数据)和工作人员联系方式等等。
在另一些实施例中,可获取除第一存储模块之外的每个存储模块的剩余存储空间,将剩余存储空间最大的存储模块确定为第二存储模块,并根据迁移策略将至少部分业务数据迁移至第二存储模块。
本公开实施例提供了一种新的数据迁移方法,该方法包括:获取第一存储模块中各用户对应的业务数据,据业务数据为每个用户分配业务标签,确定每个业务标签对应的待迁移数据量,响应于各待迁移数据量的和大于预设的第一阈值,根据各待迁移数据量选定迁移策略,其中,迁移策略包括正向迁移和反向迁移,根据迁移策略将至少部分业务数据迁移至第二存储模块,通过根据业务数据为每个用户分配业务标签,以避免现有技术中通过分配索引的方式造成的操作复杂的弊端,以便提高数据迁移的效率,且通过选定不同的迁移策略实现对至少部分业务数据的迁移,可以实现数据迁移的多样性和灵活性。
在一些实施例中,根据各待迁移数据量选定迁移策略包括:
S1041:选取各待迁移数据量中最大的待迁移数据量。
示范性地,若共有10个业务标签,则对应10个待迁移数据量,对该10个待迁移数据量进行降序排列,并将排列中的第一个待迁移数据量确定为最大的待迁移数据量;或者,对该10个待迁移数据量进行升序排列,将排列的中最后一个待迁移数据量确定为最大的待迁移数据量。
S1042:响应于最大的待迁移数据量大于预设的第二阈值,将迁移策略确定为反向迁移;或者,响应于最大的待迁移数据量小于或等于第二阈值,将迁移策略确定为正向迁移。
该步骤具体包括:将最大的待迁移数据量与第二阈值进行比较,如果最大的待迁移数据量大于第二阈值,则将迁移策略确定为反向迁移,如果最大的待迁移数据量小于或等于第二阈值,则将迁移策略确定为正向迁移。
其中,第二阈值可基于需求进行设定,如将第二阈值设定为各待迁移数据量的和的95%。也就是说,若最大的待迁移数据量占总的数据量(即各待迁移数据量的和)的95%以上,则将迁移策略确定为反向迁移策略,若最大的待迁移数据量占(或者小于)总的数据量的95%,则将迁移策略确定为正向迁移策略。
在一些实施例中,若占总的数据量的95%以上待迁移数据量为多个,则返回至分配业务标签的步骤。
在一些实施例中,若迁移策略为反向迁移,则S105包括:将除最大的待迁移数据量对应的业务数据之外的业务数据迁移至第二存储模块。
若迁移策略为正向迁移,则S105包括:将最大的待迁移数据量对应的业务数据迁移至第二存储模块。
基于上述示例,若忠诚用户标签对应的业务数据为最大的待迁移数据量,且最大的待迁移数据量大于第二阈值,具体为最大的待迁移数据量占总的数据量的98%,则保留忠诚用户标签对应的业务数据,将除忠诚用户标签之外的其他业务标签对应的业务数据从第一存储模块迁移至第二存储模块。
若忠诚用户标签对应的业务数据为最大的待迁移数据量,且最大的待迁移数据量小于第二阈值,具体为最大的待迁移数据量占总的数据量的90%,则忠诚用户标签对应的业务数据从第一存储模块迁移至第二存储模块。
通过上述示例可知,在本公开实施例中,通过多样化的模式对业务数据进行迁移,可以尽可能减少迁移次数和迁移数量,实现维护成本低,减少负载等技术效果。
请参阅图3,图3为本公开实施例的数据迁移方法的流程示意图。
如图3所示,该方法包括:
S201:获取第一存储模块中各用户对应的业务数据。
其中,S201的描述可参见S101,此处不再赘述。
S202:根据业务数据为每个用户分配业务标签。
其中,S202的描述可参见S102,此处不再赘述。
S203:确定每个业务标签对应的待迁移数据量。
其中,S203的描述可参见S103,此处不再赘述。
S204:响应于各待迁移数据量的和大于预设的第一阈值,根据各待迁移数据量选定迁移策略,其中,迁移策略包括正向迁移和反向迁移。
其中,S204的描述可参见S104,此处不再赘述。
S205:根据迁移策略将至少部分业务数据迁移至第二存储模块。
其中,S205的描述可参见S105,此处不再赘述。
S206:对迁移任务进行检测。
在该步骤中,具体为对迁移任务是否成功进行检测。
S207:响应于迁移任务失败,获取迁移日志。
可以理解的是,在任务迁移过程中,会形成迁移日志。因此,当迁移任务失败时,则获取迁移日志。
S208:对迁移日志进行分析,形成失败原因。
其中,迁移日志中包括迁移时间,迁移至的存储模块的信息和迁移策略等。
在一些实施例中,将迁移日志与配置信息进行比对,以确定失败原因,如迁移日志中的迁移策略与配置信息中的迁移策略不同等。
S209:对失败原因进行显示。
通过将失败原因进行显示,具体为在数据迁移装置的显示界面上进行显示,以使工作人员直观的获悉失败原因,并进行相应的调整和修复。
在一些实施例中,可将失败原因发送至工作人员对应的用户终端。
在另一些实施例中,还可发出告警提示信息,如通过语音提示的方式实现。
根据本公开实施例的另一个方面,本公开实施例还提供了一种数据迁移系统。
请参阅图4,图4为本公开实施例的数据迁移系统的模块示意图。
如图4所示,该系统包括:
第一获取模块1,用于获取第一存储模块中各用户对应的业务数据;
分配模块2,用于根据所述业务数据为每个所述用户分配业务标签;
确定模块3,用于确定每个所述业务标签对应的待迁移数据量;
选定模块4,用于响应于各所述待迁移数据量的和大于预设的第一阈值,根据各所述待迁移数据量选定迁移策略,其中,所述迁移策略包括正向迁移和反向迁移;
迁移模块5,用于根据所述迁移策略将至少部分所述业务数据迁移至第二存储模块。
在一些实施例中,所述选定模块4具体用于,选取各所述待迁移数据量中最大的待迁移数据量,响应于所述最大的待迁移数据量大于预设的第二阈值,将所述迁移策略确定为所述反向迁移,或者,响应于所述最大的待迁移数据量小于或等于所述第二阈值,将所述迁移策略确定为所述正向迁移。
在一些实施例中,若所述迁移策略为所述反向迁移,则所述迁移模块5具体用于,将除所述最大的待迁移数据量对应的业务数据之外的业务数据迁移至所述第二存储模块;或者,
若所述迁移策略为所述正向迁移,则所述迁移模块5具体用于,将所述最大的待迁移数据量对应的业务数据迁移至所述第二存储模块。
请参阅图5,图5为本公开另一实施例的数据迁移系统的模块示意图。
如图5所示,在一些实施例中,所述系统还包括:
检测模块6,用于对迁移任务进行检测;
第二获取模块7,用于响应于所述迁移任务失败,获取迁移日志;
分析模块8,用于对所述迁移日志进行分析,形成失败原因;
显示模块9,用于对所述失败原因进行显示。
根据本公开实施例的另一个方面,本公开实施例还提供了一种电子设备,包括:存储器,处理器;
存储器用于存储处理器可执行指令的存储器;
其中,当执行存储器中的指令时,处理器被配置为实现如上任一实施例所述的方法。
请参阅图6,图6为本公开实施例的电子设备的结构示意图。
如图6所示,该电子设备包括存储器和处理器,该电子设备还可以包括通信接口和总线,其中,处理器、通信接口和存储器通过总线连接;处理器用于执行存储器中存储的可执行模块,例如计算机程序。
其中,存储器可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。
其中,存储器用于存储程序,处理器在接收到执行指令后,执行程序,前述本公开实施例任一实施例揭示的方法可以应用于处理器中,或者由处理器实现。
处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
根据本公开实施例的另一个方面,本公开实施例还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上任一实施例所述的方法。
读者应理解,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对的是相同的实施例或示例。而且,描述的具体特征、结构或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本公开实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
还应理解,在本公开各实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
以上,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种数据迁移方法,其特征在于,所述方法包括:
获取第一存储模块中各用户对应的业务数据;
根据所述业务数据为每个所述用户分配业务标签;
确定每个所述业务标签对应的待迁移数据量;
响应于各所述待迁移数据量的和大于预设的第一阈值,根据各所述待迁移数据量选定迁移策略,其中,所述迁移策略包括正向迁移和反向迁移;
根据所述迁移策略将至少部分所述业务数据迁移至第二存储模块;
所述根据各所述待迁移数据量选定迁移策略包括:
选取各所述待迁移数据量中最大的待迁移数据量;
响应于所述最大的待迁移数据量大于预设的第二阈值,将所述迁移策略确定为所述反向迁移;或者,
响应于所述最大的待迁移数据量小于或等于所述第二阈值,将所述迁移策略确定为所述正向迁移。
2.根据权利要求1所述的方法,其特征在于,
若所述迁移策略为所述反向迁移,则所述根据所述迁移策略将至少部分所述业务数据迁移至第二存储模块包括:
将除所述最大的待迁移数据量对应的业务数据之外的业务数据迁移至所述第二存储模块;或者,
若所述迁移策略为所述正向迁移,则所述根据所述迁移策略将至少部分所述业务数据迁移至第二存储模块包括:
将所述最大的待迁移数据量对应的业务数据迁移至所述第二存储模块。
3.根据权利要求1至2中任一项所述的方法,其特征在于,在所述根据所述迁移策略将至少部分所述业务数据迁移至第二存储模块之后,所述方法还包括:
对迁移任务进行检测;
响应于所述迁移任务失败,获取迁移日志;
对所述迁移日志进行分析,形成失败原因;
对所述失败原因进行显示。
4.一种数据迁移系统,其特征在于,所述系统包括:
第一获取模块,用于获取第一存储模块中各用户对应的业务数据;
分配模块,用于根据所述业务数据为每个所述用户分配业务标签;
确定模块,用于确定每个所述业务标签对应的待迁移数据量;
选定模块,用于响应于各所述待迁移数据量的和大于预设的第一阈值,根据各所述待迁移数据量选定迁移策略,其中,所述迁移策略包括正向迁移和反向迁移;
迁移模块,用于根据所述迁移策略将至少部分所述业务数据迁移至第二存储模块;
所述选定模块具体用于,选取各所述待迁移数据量中最大的待迁移数据量,响应于所述最大的待迁移数据量大于预设的第二阈值,将所述迁移策略确定为所述反向迁移,或者,响应于所述最大的待迁移数据量小于或等于所述第二阈值,将所述迁移策略确定为所述正向迁移。
5.根据权利要求4所述的系统,其特征在于,
若所述迁移策略为所述反向迁移,则所述迁移模块具体用于,将除所述最大的待迁移数据量对应的业务数据之外的业务数据迁移至所述第二存储模块;或者,
若所述迁移策略为所述正向迁移,则所述迁移模块具体用于,将所述最大的待迁移数据量对应的业务数据迁移至所述第二存储模块。
6.根据权利要求4至5中任一所述的系统,其特征在于,所述系统还包括:
检测模块,用于对迁移任务进行检测;
第二获取模块,用于响应于所述迁移任务失败,获取迁移日志;
分析模块,用于对所述迁移日志进行分析,形成失败原因;
显示模块,用于对所述失败原因进行显示。
7.一种电子设备,包括:存储器,处理器;
所述存储器用于存储所述处理器可执行指令的存储器;
其中,当执行所述存储器中的指令时,所述处理器被配置为实现如权利要求1至3中任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至3中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910840765.9A CN110555014B (zh) | 2019-09-06 | 2019-09-06 | 一种数据迁移方法和系统、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910840765.9A CN110555014B (zh) | 2019-09-06 | 2019-09-06 | 一种数据迁移方法和系统、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110555014A CN110555014A (zh) | 2019-12-10 |
CN110555014B true CN110555014B (zh) | 2022-04-15 |
Family
ID=68739275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910840765.9A Active CN110555014B (zh) | 2019-09-06 | 2019-09-06 | 一种数据迁移方法和系统、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110555014B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112131179B (zh) * | 2020-09-23 | 2023-11-21 | 平安科技(深圳)有限公司 | 任务状态检测方法、装置、计算机设备及存储介质 |
CN112817742B (zh) * | 2021-01-12 | 2024-03-01 | 平安科技(深圳)有限公司 | 数据迁移方法、装置、设备及存储介质 |
CN116089358B (zh) * | 2022-06-02 | 2023-11-24 | 荣耀终端有限公司 | 数据迁移方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108228672A (zh) * | 2016-12-22 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 一种元数据迁移方法、装置、系统及设备 |
CN108280148A (zh) * | 2018-01-02 | 2018-07-13 | 中国民生银行股份有限公司 | 一种数据迁移方法和数据迁移服务器 |
CN109299115A (zh) * | 2018-11-30 | 2019-02-01 | 北京锐安科技有限公司 | 一种数据存储方法、装置、服务器及存储介质 |
CN109343793A (zh) * | 2018-09-11 | 2019-02-15 | 阿里巴巴集团控股有限公司 | 数据迁移方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4699837B2 (ja) * | 2005-08-25 | 2011-06-15 | 株式会社日立製作所 | ストレージシステム、管理計算機及びデータ移動方法 |
-
2019
- 2019-09-06 CN CN201910840765.9A patent/CN110555014B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108228672A (zh) * | 2016-12-22 | 2018-06-29 | 阿里巴巴集团控股有限公司 | 一种元数据迁移方法、装置、系统及设备 |
CN108280148A (zh) * | 2018-01-02 | 2018-07-13 | 中国民生银行股份有限公司 | 一种数据迁移方法和数据迁移服务器 |
CN109343793A (zh) * | 2018-09-11 | 2019-02-15 | 阿里巴巴集团控股有限公司 | 数据迁移方法及装置 |
CN109299115A (zh) * | 2018-11-30 | 2019-02-01 | 北京锐安科技有限公司 | 一种数据存储方法、装置、服务器及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110555014A (zh) | 2019-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110555014B (zh) | 一种数据迁移方法和系统、电子设备、存储介质 | |
CN108255958B (zh) | 数据查询方法、装置和存储介质 | |
CN106407207B (zh) | 一种实时新增数据更新方法和装置 | |
US20190042659A1 (en) | Data writing and reading and apparatus and cloud storage system | |
US10606806B2 (en) | Method and apparatus for storing time series data | |
CN110601922B (zh) | 一种对照实验的实现方法、装置、电子设备和存储介质 | |
CN103346912A (zh) | 告警相关性分析的方法、装置及系统 | |
EP3171274B1 (en) | Resource leak detecting method and apparatus | |
CN114095567B (zh) | 数据访问请求的处理方法、装置、计算机设备及介质 | |
CN102968491A (zh) | 一种数据分配方法和装置 | |
US11287997B2 (en) | Method, electronic device and computer program product for managing disk array | |
US11176506B2 (en) | Blockchain expense and resource utilization optimization | |
CN110008020B (zh) | 内存管理方法、装置、电子设备及计算机可读存储介质 | |
CN109345947B (zh) | 基于数据关联性分析的工作区域划分方法及终端设备 | |
CN111182465A (zh) | 终端归属的确定方法及装置 | |
CN111339064A (zh) | 数据倾斜矫正方法、装置及计算机可读存储介质 | |
CN107784548B (zh) | 订单处理方法和装置 | |
CN111881110B (zh) | 数据迁移方法及装置 | |
CN108763498B (zh) | 用户身份识别方法、装置、电子设备及可读存储介质 | |
CN112269665A (zh) | 内存的处理方法和装置、电子设备和存储介质 | |
CN111026613A (zh) | 日志处理方法及装置 | |
CN110753082A (zh) | 服务调用方法及终端设备 | |
CN113448958B (zh) | 数据处理方法和装置、电子设备、存储介质 | |
CN112752252B (zh) | 小区归属地识别方法和装置 | |
CN111241818B (zh) | 词槽填充方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |