CN117762898A - 数据迁移方法、装置、设备及存储介质 - Google Patents
数据迁移方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117762898A CN117762898A CN202311774349.6A CN202311774349A CN117762898A CN 117762898 A CN117762898 A CN 117762898A CN 202311774349 A CN202311774349 A CN 202311774349A CN 117762898 A CN117762898 A CN 117762898A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- target data
- heat
- migrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 155
- 230000005012 migration Effects 0.000 title claims abstract description 91
- 238000013508 migration Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000005540 biological transmission Effects 0.000 claims abstract description 30
- 230000000737 periodic effect Effects 0.000 claims abstract description 13
- 230000001960 triggered effect Effects 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 19
- 230000005856 abnormality Effects 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000015654 memory Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 235000019633 pungent taste Nutrition 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据迁移方法、装置、设备及存储介质,可以应用于人工智能领域和金融科技领域。该方法包括:响应于已触发周期任务,基于目标数据的历史访问次数,对第一存储库中的目标数据进行热度识别,得到热度识别结果;在热度识别结果表征满足预设热度条件的情况下,将目标数据从第一存储库迁移至第二存储库中,得到迁移后的目标数据,其中,第二存储库的数据传输速度与第一存储库的数据传输速度不同;将目标数据与迁移后的目标数据进行数据比对,得到比对结果;在比对结果表征迁移后的目标数据与目标数据相同的情况下,将迁移后的目标数据在第二存储库中的存储地址作为迁移后的目标数据的访问地址。
Description
技术领域
本公开涉及人工智能领域和金融科技领域,尤其涉及一种数据迁移方法、装置、设备、介质和程序产品。
背景技术
企业通常会将数据存储于数据库,而基于数据库的数据通常比较庞大的特性,数据库通常存储于外部存储设备中,其数据传输速率可能不高,对于访问频次较高的数据如果在每次访问时都从数据库中获取数据,可能会存在数据访问速度较慢等问题。
在实现本公开构思的过程中,发明人发现相关技术中至少存在如下问题:相关技术中对于频繁被访问的数据存在数据访问压力大等技术问题。
发明内容
鉴于上述问题,本公开提供了数据迁移方法、装置、设备、介质和程序产品。
根据本公开的一个方面,提供了一种数据迁移方法,包括:
响应于已触发周期任务,基于目标数据的历史访问次数,对第一存储库中的所述目标数据进行热度识别,得到热度识别结果;
在所述热度识别结果表征满足预设热度条件的情况下,将所述目标数据从所述第一存储库迁移至第二存储库中,得到迁移后的目标数据,其中,所述第二存储库的数据传输速度与所述第一存储库的数据传输速度不同;
将所述目标数据与所述迁移后的目标数据进行数据比对,得到比对结果;
在所述比对结果表征所述迁移后的目标数据与所述目标数据相同的情况下,将所述迁移后的目标数据在所述第二存储库中的存储地址作为所述迁移后的目标数据的访问地址。
根据本公开的实施例,所述目标数据包括多个第一子数据;所述迁移后的目标数据包括多个第二子数据;所述将所述目标数据与所述迁移后的目标数据进行数据比对,得到比对结果,包括:
基于多个所述第一子数据各自的第一数据标识,确定各个所述第一子数据各自的第一哈希值;
基于多个所述第二子数据各自的第二数据标识,确定各个所述第二子数据各自的第二哈希值;
基于多个所述第一哈希值和多个所述第二哈希值,确定所述比对结果。
根据本公开的实施例,所述基于多个所述第一哈希值和多个所述第二哈希值,确定所述比对结果,包括:
将多个所述第一哈希值按目标顺序进行拼接,得到所述目标数据的第一比对值;
将多个所述第二哈希值按所述目标顺序进行拼接,得到所述迁移后的目标数据的第二比对值;
将所述第一比对值与所述第二比对值进行比对,得到所述比对结果。
根据本公开的实施例,上述方法还包括:
在所述比对结果表征所述迁移后的目标数据与所述目标数据不相同的情况下,基于所述比对结果,确定存在不同的目标第一哈希值和目标第二哈希值;
基于所述目标第一哈希值和所述目标第二哈希值,确定存在异常的目标第二子数据;
基于与所述目标第二子数据对应的目标第一子数据,对所述目标第二子数据进行修正。
根据本公开的实施例,所述基于目标数据的历史访问次数,对第一存储库中的所述目标数据进行热度识别,得到热度识别结果,包括:
基于数据访问记录,确定所述目标数据的在目标时间段内的历史访问次数,其中,所述目标时间段包括第一目标时间段和第二目标时间段,所述第一目标时间段表征起始时间与当前时间的时间差小于预设时间差的时间,所述第二目标时间段为固定时间段;
基于所述目标数据在目标时间段的历史访问次数,确定目标数据的访问热度,得到热度识别结果。
根据本公开的实施例,所述目标数据具有数据属性信息,所述方法还包括:
基于所述目标数据的数据属性信息,确定与所述目标数据相关联的待确定数据,其中,所述待确定数据为所述第一存储库中未进行热度识别的数据;
基于所述目标数据的热度识别结果,确定所述待确定数据的目标热度识别结果。
根据本公开的实施例,所述在所述热度识别结果表征满足预设热度条件的情况下,将所述目标数据从所述第一存储库迁移至第二存储库中,得到迁移后的目标数据,包括:
在所述热度识别结果表征满足预设热度条件的情况下,确定所述目标数据的热度类型,其中,所述热度类型包括热点数据类型或冷点数据类型,所述热点数据类型为历史访问次数大于等于第一预设数据阈值的数据类型,所述冷点数据类型为历史访问次数小于等于第二预设数据阈值的数据类型;
基于所述热度类型从候选存储库中确定第二存储库,其中,所述候选存储库为与所述第一存储库相比数据传输速度不同的存储库;
将所述目标数据迁移至所述第二存储库中,得到所述迁移后的目标数据。
本公开的另一个方面提供了一种数据迁移装置,包括:
热度识别模块,用于响应于已触发周期任务,基于目标数据的历史访问次数,对第一存储库中的所述目标数据进行热度识别,得到热度识别结果;
数据迁移模块,用于在所述热度识别结果表征满足预设热度条件的情况下,将所述目标数据从所述第一存储库迁移至第二存储库中,得到迁移后的目标数据,其中,所述第二存储库的数据传输速度与所述第一存储库的数据传输速度不同;
数据比对模块,用于将所述目标数据与所述迁移后的目标数据进行数据比对,得到比对结果;
地址确定模块,用于在所述比对结果表征所述迁移后的目标数据与所述目标数据相同的情况下,将所述迁移后的目标数据在所述第二存储库中的存储地址作为所述迁移后的目标数据的访问地址。
本公开的另一个方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述数据迁移方法。
本公开的另一个方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述数据迁移方法。
本公开的另一个方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述数据迁移方法。
根据本公开提供的数据迁移方法,通过设置周期任务,对第一存储库中的目标数据定期进行热度识别,确定目标数据的热度是否满足预设热度条件,如果满足则将目标数据进行迁移,并在迁移后将迁移前后的目标数据进行比对,如果比对结果表征迁移前后的目标数据相同,则将迁移后的目标数据在第二存储库中的存储地址作为迁移后的目标数据的访问地址。由于设置周期任务,基于目标数据的历史访问次数,来对第一存储库中的目标数据进行热度识别,可以及时确定目标数据的热度情况,从而将目标数据迁移至应该处于的存储库,即可以将访问频次较高的数据存储至传输速度较快的存储库中,而对于不经常被访问的数据存储至传输速度较慢的存储库中,因此,至少部分的解决了对于频繁被访问的数据存在数据访问压力大的技术问题,实现了提升频繁被访问的数据响应时间以及节省输出传输速度较快数据库的存储资源的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的数据迁移方法、装置、设备、介质和程序产品的应用场景图;
图2示意性示出了根据本公开实施例的数据迁移方法的流程图;
图3示意性示出了根据本公开实施例的确定热度识别结果的流程图;
图4示意性示出了根据本公开实施例的对第一存储库进行热度识别的示意图;
图5示意性示出了根据本公开另一实施例的数据迁移方法的示意图;
图6示意性示出了根据本公开实施例的数据迁移装置的结构框图;以及
图7示意性示出了根据本公开实施例的适于实现数据迁移方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
需要说明的是,本公开的数据迁移方法和装置可用于金融领域和人工智能领域,也可用于除金融领域之外的任意领域,如:计算机技术领域,本公开对于数据迁移方法和装置的应用领域不做限定。
在研究过程中,申请人发现企业应用或者互联网应用通常会将数据存储于数据库中,而对于频繁被访问的数据来说,如果在每次访问时都从数据库中获取数据,将存在数据访问速度较慢等问题,而如果采用相关缓存技术,将频繁被访问的数据进行缓存处理,如:缓存至内存中等方式,来加快数据的访问速度,则由于对于数据的缓存通常是采用先进先出等方式,即将先缓存数据被先替换掉,这使得先替换掉的数据可能仍为被频繁访问的数据,从而仍然存在数据访问时间过长导致数据访问压力大的问题。
有鉴于此,本公开的实施例提供了一种数据迁移方法,响应于已触发周期任务,基于目标数据的历史访问次数,对第一存储库中的目标数据进行热度识别,得到热度识别结果;在热度识别结果表征满足预设热度条件的情况下,将目标数据从第一存储库迁移至第二存储库中,得到迁移后的目标数据,其中,第二存储库的数据传输速度与第一存储库的数据传输速度不同;将目标数据与迁移后的目标数据进行数据比对,得到比对结果;在比对结果表征迁移后的目标数据与目标数据相同的情况下,将迁移后的目标数据在第二存储库中的存储地址作为迁移后的目标数据的访问地址。
图1示意性示出了根据本公开实施例的数据迁移方法、装置、设备、介质和程序产品的应用场景图。
如图1所示,根据该实施例的应用场景100可以包括终端设备101、102、103、网络104以及服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的数据迁移方法一般可以由服务器105执行。相应地,本公开实施例所提供的数据迁移装置一般可以设置于服务器105中。本公开实施例所提供的数据迁移方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的数据迁移装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景,通过图2~图5对公开实施例的数据迁移方法进行详细描述。
图2示意性示出了根据本公开实施例的数据迁移方法的流程图。
如图2所示,该方法包括操作S210~操作S240。
在操作S210,响应于已触发周期任务,基于目标数据的历史访问次数,对第一存储库中的目标数据进行热度识别,得到热度识别结果。
在操作S220,在热度识别结果表征满足预设热度条件的情况下,将目标数据从第一存储库迁移至第二存储库中,得到迁移后的目标数据,其中,第二存储库的数据传输速度与第一存储库的数据传输速度不同。
在操作S230,将目标数据与迁移后的目标数据进行数据比对,得到比对结果。
在操作S240,在比对结果表征迁移后的目标数据与目标数据相同的情况下,将迁移后的目标数据在第二存储库中的存储地址作为迁移后的目标数据的访问地址。
根据本公开的实施例,对于周期任务的时间周期不进行限定,可以根据实际情况设置不同的时间周期,如:每小时、每天等等。
根据本公开的实施例,目标数据的历史访问次数可以基于数据访问记录获得,数据访问记录可以存储于应用服务器或外部存储设备中。
根据本公开的实施例,对于第一存储库不进行限定,可以为能够存储目标数据的任意数据库,例如:存储在外部存储设备中的数据库、Java虚拟机(Java Virtual Machine,JVM)内存或者分布式数据库。其中,分布式数据库可以如:非关系类型数据库(Not OnlySQL,NOS)等。
根据本公开的实施例,可以同时对不同第一存储库中的目标数据进行热度识别,不同第一存储库中的目标数据不同。
根据本公开的实施例,根据目标数据的历史访问次数可以确定在一定时间段内目标数据的访问情况,例如:与当前时刻距离较短的时间段内的历史访问次数、或者在固定时间段内或特殊时间段内的历史访问情况,具体地,可以例如:在距离当前时刻10S内的历史访问次数、历年特殊时间段内的历史访问次数。
根据本公开的实施例,通过将得到的目标数据在一定时间段内的历史访问次数与预设热度条件进行比对,可以得到目标数据的热度识别结果。
根据本公开的实施例,预设热度条件可以包括数据在一定时间段的历史访问次数是否大于等于第一预设数据阈值或者数据在一定时间段内的历史访问次数是否小于等于第二预设数据阈值,例如:某数据在10s内的历史访问次数大于等于60次,则认为该数据满足热点数据类型的热度条件;某数据在10s内的历史访问次数小于等于2次,则认为该数据满足冷点数据类型的热度条件。
根据本公开的实施例,对于第一预设数据阈值和第二预设数据阈值不进行限定,可以根据实际情况设置不同的数据阈值。
根据本公开的实施例,通过设置周期任务,获取各个第一数据库中目标数据的历史访问次数,并对目标数据进行热度识别,可以及时并准确的发现访问频次较高或者较低的数据,从而对于访问频次较高的数据可以及时迁移至传输速度较快的存储库中,而对于访问频次较低的数据可以及时从传输速度较快的存储库中迁出至存储速度较慢的存储库中,从而节省传输速度较快的存储库的存储资源。
根据本公开的实施例,不同的预设热度条件对应的第二存储库可能不同。
根据本公开的实施例,如果热度识别结果表征满足某一种预设热度条件,则根据满足的预设热度条件确定目标数据的热度类型,从而将目标数据迁移至与不同热度类型相对应的第二存储库中。
根据本公开的实施例,在确定热度识别结果满足预设热度条件的情况下,可以生成迁移通知,迁移通知中可以包括目标数据从第一存储库迁移至第二存储库的指令、第一存储库和第二存储库的存储库的标识和地址、目标数据存储至第二存储库中的具体位置等内容。
根据本公开的实施例,第二存储库可以为与第一存储库数据存储速度不同的存储库,第二存储库同样可以为:存储于外部存储设备中的数据库、JVM内存或者分布式数据库等。例如:在第一存储库为数据库时,第二存储库为JVM内存或者分布式数据库等其他存储库。
根据本公开的实施例,对于将目标数据与迁移后的目标数据进行数据对比的方式不进行限定,可以通过将目标数据的哈希值与迁移后的目标数据哈希值进行比对,从而确定迁移前后的哈希值是否存在改变。还可以通过将目标数据包括的第一子数据各自的哈希值与迁移后的目标数据包括的第二子数据各自的哈希值进行比对,从而确定迁移前后的目标数据是否存在改变。
根据本公开的实施例,通过将迁移前后的目标数据进行比对,可以确定目标数据在迁移前后是否满足一致性原则,从而保证了迁移前后的目标数据不会因为迁移而存在异常。
根据本公开的实施例,在确定迁移先后的目标数据满足一致性原则后,可以将第一存储库中的目标数据进行删除,其中,在删除时,可以根据目标数据的数据标识,确定目标数据的值,从而在迁移后,将第一存储库中目标数据的数据标识以及与该数据标识对应的值都进行删除。
根据本公开的实施例,如果根据比对结果验证了迁移前后目标数据满足一致性,则可以将迁移后的目标数据所在的第二存储库中的存储地址作为该目标数据的访问地址,以使得后续收到目标数据的访问请求时,能够从第二存储库中获取目标数据。
根据本公开的实施例,可以通过对数据存储表中目标数据的访问地址进行更新的方式,实现对迁移后的目标数据的访问地址的记录,其中,数据存储表可以为存储有各个数据访问地址的数据表。
根据本公开的实施例,目标数据包括多个第一子数据;迁移后的目标数据包括多个第二子数据;将目标数据与迁移后的目标数据进行数据比对,得到比对结果,可以包括以下操作。
基于多个第一子数据各自的第一数据标识,确定各个第一子数据各自的第一哈希值;基于多个第二子数据各自的第二数据标识,确定各个第二子数据各自的第二哈希值;基于多个第一哈希值和多个第二哈希值,确定比对结果。
根据本公开的实施例,对于哈希值的计算方式不进行限定,可以为任意能够得到子数据哈希值的方式,例如:通过散列算法(HAsh Algorithm)得到哈希值、消息摘要算法(Message Digest Algorithm,MD5)。
根据本公开的实施例,通过对目标数据包括的多个第一子数据和迁移后的目标数据包括的多个第二子数据分别计算哈希值,可以得到与各个第一子数据各自对应的第一哈希值以及与各个第二子数据各自的对应的第二哈希值。
根据本公开的实施例,可以通过将数据标识相同的第一子数据与第二子数据的哈希值进行比较,可以确定数据标识相同的第一子数据与第二子数据哈希值是否相同,如果相同则认为迁移前后没有改变,如果不同则认为迁移后的目标数据的第二子数据存在问题。
根据本公开的实施例,由于目标数据与迁移后的目标数据应该为完全相同的数据,因此,也可以通过第一子数据在目标数据的位置,以及第二子数据在迁移后的目标数据中的位置,来按顺序将第一子数据和第二子数据的哈希值进行比对。
根据本公开的实施例,基于多个第一哈希值和多个第二哈希值,确定比对结果,可以包括以下操作
将多个第一哈希值按目标顺序进行拼接,得到目标数据的第一比对值;将多个第二哈希值按目标顺序进行拼接,得到迁移后的目标数据的第二比对值;将第一比对值与第二比对值进行比对,得到比对结果。
根据本公开的实施例,目标顺序可以为多个第一子数据在目标数据中的位置顺序。或者多个第二子数据在迁移后的目标数据中的位置顺序。
根据本公开的实施例,按照目标顺序将第一哈希值进行拼接得到第一比对值,并基于与第一子数据的数据标识对应的第二子数据的数据标识按照目标顺序将第二哈希值进行拼接,得到第二比对值,则第一比对值与第二比对值如果完全相同,则比对结果表征目标数据与迁移后的目标数据相同。
根据本公开的实施例,如果第一比对值与第二比对值不同,则可以通过确定第一比对值与第二比对值中,不相同的部分对应的第一子数据和第二子数据,即可确定迁移后出现问题的第二子数据。
根据本公开的实施例,通过对第一子数据和第二子数据分别计算哈希值,并将多个第一哈希值和多个第二哈希值分别进行拼接的方式,得到第一比对值和第二比对值,从而将第一比对值和第二比对值分别进行比对即可得到目标数据和迁移后的目标数据的比对结果,实现了加快数据比对速率和数据比对准确率的技术效果,同时,可以直接通过各个第一子数据和各个第二子数据分别对应的哈希值,确定第二子数据是否与对应的第一子数据相同,即可以快速的确定迁移后出现问题的子数据,以便于进行替换或修改。
根据本公开的实施例,上述方法还可以包括以下操作:
在比对结果表征迁移后的目标数据与目标数据不相同的情况下,基于比对结果,确定存在不同的目标第一哈希值和目标第二哈希值;基于目标第一哈希值和目标第二哈希值,确定存在异常的目标第二子数据;基于与目标第二子数据对应的目标第一子数据,对目标第二子数据进行修正。
根据本公开的实施例,对于比对结果表征迁移后的目标数据与目标数据不同的情况,可以通过比对结果,确定第一哈希值和对应的第二哈希值存在不同的目标第一哈希值和目标第二哈希值。
根据本公开的实施例,基于与目标第二哈希值对应的第二子数据,确定迁移后的目标数据中存在问题的目标第二子数据。
根据本公开的实施例,可以通过基于目标第二子数据的数据标识从目标数据中确定具有与目标第二子数据的数据标识相同的数据标识第一子数据,并将该第一子数据作为目标第一子数据。
根据本公开的实施例,可以通过利用目标第一子数据替换目标第二子数据的方式,实现对目标第二子数据的修复;或者可以进行进一步将目标第一子数据与目标第二子数据进行比对,确定目标第二子数据中与目标第一子数据不同的部分,并将不同的部分与目标第一子数据进行一致性处理。
根据本公开的实施例,如果迁移前后的目标数据存在不同,则可以直接确定存在异常的子数据,并基于目标数据的子数据对迁移后的目标数据的子数据进行修正,从而可以减少检测到迁移后的目标数据与目标数据不同,重新进行数据迁移造成的资源浪费,并可以减少重新数据迁移造成的整体迁移速率下降。
图3示意性示出了根据本公开实施例的确定热度识别结果的流程图。
如图3所示,确定热度识别结果可以包括操作S310~操作S320。
在操作S310,基于数据访问记录,确定目标数据的在目标时间段内的历史访问次数,其中,目标时间段包括第一目标时间段和第二目标时间段,第一目标时间段表征起始时间与当前时间的时间差小于预设时间差的时间,第二目标时间段为固定时间段。
在操作S320,基于目标数据在目标时间段的历史访问次数,确定目标数据的访问热度,得到热度识别结果。
根据本公开的实施例,第一目标时间段可以为与当前时间相隔目标时间的时间段,例如:与当前时间相隔十秒的时间到当前时间的时间段,或者与当前时间相隔六十分钟到当前时间的时间段。
根据本公开的实施例,第二目标时间段可以为特殊的时间段,例如:历年皆会出现大量访问情况的时间段,具体如:在某个节日时,会出现大量购买情况,即需要高频次的访问一些数据的时间段。
根据本公开的实施例,如果在当前时间相隔预设时间段则到达第二目标时间段,则可以基于第一目标时间段的历史访问次数和第二目标时间段的历史访问次数,共同确定目标数据的访问热度,即:当目标数据在第一目标时间段的历史访问次数为10s内访问30次,第二目标时间段的历史访问次数为10s内访问了100次,则通过将第一目标时间段的历史访问次数和第二目标时间段的历史访问次数分别与预设热度条件进行匹配,确定是否存在满足的预设热度条件,将第一目标时间段的历史访问次数与第二目标时间段的历史访问次数中满足更高预设热度条件的识别结果,作为最终的热度识别结果,例如:第一目标时间段的历史访问次数不满足预设热度条件,但第二目标时间段的历史访问次数满足预设热度条件,则以第二目标时间段的识别结果为准。
根据本公开的实施例,基于目标数据在目标时间段的历史访问次数可以满足不同的预设热度条件,从而能够确定目标数据的访问热度,得到热度识别结果。
根据本公开的实施例,不同的预设热度条件可以对应于不同的第二存储库,而与同一个第二存储库对应的预设热度条件可以为多个,各个第二存储库之间的数据传输速度不同,例如:满足10s内历史访问次数大于等于60次,可以对应于第二存储库JVM内存,满足10s内历史访问次数大于等于30次,可以对应于第二存储库NOS,满足10s内历史访问次数大于等于1次,可以对应于第二存储库数据库。其数据传输速率可以为JVM内存>NOS>数据库。
根据本公开的实施例,还可以确定目标数据是否被配置为允许迁移,在允许迁移的情况下进行数据迁移。
根据本公开的实施例,目标数据具有数据属性信息,方法还可以包括以下操作。
基于目标数据的数据属性信息,确定与目标数据相关联的待确定数据,其中,待确定数据为第一存储库中未进行热度识别的数据;基于目标数据的热度识别结果,确定待确定数据的目标热度识别结果。
根据本公开的实施例,数据属性信息可以包括数据类型信息、数据关联关系信息、数据标签等。
根据本公开的实施例,通过目标数据的数据属性信息可以确定与目标数据存在相同数据类型、与目标数据具有关联关系或者具有相同数据标签等的信息,其中,关联关系可以为与目标数据为上下层关系或预设的映射关系,例如:在获取目标数据进行处理得到某个结果之后,该结果需要调用下一层数据继续进行处理,其下一层数据即可以为与目标数据相关联的待确定数据。
根据本公开的实施例,可以将待确定数据的目标热度识别结果设置为与目标数据的热度识别结果相同或者根据预设配置能够基于目标数据的热度识别结果确定待确定数据的热度识别结果,例如:目标数据的热度识别结果表征目标数据的历史访问次数满足某一预设热度条件,其预设热度条件可以对应于第二存储库A,则预设配置可以为认为待确定数据满足的预设热度条件为低于目标数据一个等级的目标预设热度条件,如:目标预设热度条件可以对应与第二存储库B,而第二存储库A的数据传输速度大于第二存储库B。
根据本公开的实施例,利用目标数据的数据属性信息确定与目标数据相似或者相关联的数据即待确定数据,并将待确定数据的热度识别结果确定为与目标数据相同或者相应的结果,从而在一定程度上实现了对第一存储库中未进行热度识别的数据的热度预测,从而实现了减少了热度识别的数据量,加快了热度识别的效率。
根据本公开的实施例,在热度识别结果表征满足预设热度条件的情况下,将目标数据从第一存储库迁移至第二存储库中,得到迁移后的目标数据,可以包括以下操作。
在热度识别结果表征满足预设热度条件的情况下,确定目标数据的热度类型,其中,热度类型包括热点数据类型或冷点数据类型,热点数据类型为历史访问次数大于等于第一预设数据阈值的数据类型,冷点数据类型为历史访问次数小于等于第二预设数据阈值的数据类型;基于热度类型从候选存储库中确定第二存储库,其中,候选存储库为与第一存储库相比数据传输速度不同的存储库;将目标数据迁移至第二存储库中,得到迁移后的目标数据。
根据本公开的实施例,在热度识别结果表征满足预设热度条件的情况下,可以确定目标数据的热度类型,例如:热点数据类型或者冷点数据类型,热点数据类型和冷点数据类型还可以进行更细粒度的划分,例如:热点数据类型包括第一热点数据类型、第二热点数据类型等、冷点数据类型包括第一冷点数据类型、第二冷点数据类型等。
根据本公开的实施例,冷点数据类型和热点数据类型分别与不同的第二存储库相对应。
根据本公开的实施例,更细粒度的热点数据类型或冷点数据类型也将与不同的第二存储库相对应,例如:第一热点数据类型与第二热点数据类型对应与不同的第二存储库。
根据本公开的实施例,基于热度类型与第二存储库的对应关系可以从第二存储库即候选存储库中确定第二存储库。
根据本公开的实施例,在热度识别结果表征满足预设热度条件的情况下,还可以基于满足的预设热度条件确定与该预设热度条件对应的第二存储库。
根据本公开的实施例,表1示意性示出了存储于各个存储库中的数据,满足不同预设热度条件时,可能迁移至的第二数据库,其中,各个预设热度条件和各个第二数据库仅为示意性的。
表1
根据本公开的实施例,将目标数据从第一存储库迁移至第二存储库中,可以实现对目标数据的动态迁移,从而在后续访问目标数据时,可以从第二存储库中进行数据访问,实现对数据访问性能的提升,从而提升系统整体性能。
根据本公开的实施例,在目标数据为热点数据类型即访问频次较高的数据的情况下,目标数据将从数据传输速度较慢的存储库迁移至数据传输速度较快的存储库,从而加快了目标数据的访问速率,避免由于数据访问速率较慢造成的数据访问压力大以及网络堵塞等问题。
根据本公开的实施例,在目标数据为冷点数据类型即访问频次交底的数据的情况下,目标数据将从数据传输速度较快的存储库迁移至数据传输速度较慢的存储库,从而节约了数据传输速度较快的存储库的存储资源。
图4示意性示出了根据本公开实施例的对第一存储库进行热度识别的示意图。
根据本公开的实施例,响应于已触发周期任务,基于目标数据的历史访问次数,对第一存储库中的目标数据进行热度识别时,可以对多个第一存储库中的目标数据同时进行热度识别,以节省数据迁移时间。
如图4所示,可以对通过热度识别模块对JVM内存、分布式数据库以及数据库中存储的目标数据分别进行热度识别,其中,JVM内存、分布式数据库以及数据库中存储的目标数据为不同数据。
根据本公开的实施例,热度识别模块通过将各个第一存储库的历史访问次数与预设热度条件进行比对,从而确定各个第一存储库的热度识别结果。
根据本公开的实施例,热度识别模块可以为能够进行热度识别的相关程序或组件,其可以位于与含有JVM内存的应用服务器中,也可以位于其他服务器中。
图5示意性示出了根据本公开另一实施例的数据迁移方法的示意图。
根据本公开的实施例,可以通过热度识别模块和数据迁移模块共同完成整体的数据迁移。
根据本公开的实施例,数据迁移模块可以为能够进行数据迁移的相关程序或组件,其可以位于与含有JVM内存的应用服务器中,也可以位于除上述应用服务器之外的其他服务器中。
根据本公开的实施例,应用服务器中还可以包括数据访问模块,用于接收数据访问请求并提供数据访问服务。
根据本公开的实施例,热度识别模块定期对第一存储库中的目标数据进行热度识别,首先检查目标数据是否可以进行迁移,在目标数据能够进行迁移的情况下,发送数据历史访问次数获取请求,数据迁移模块返回数据历史访问次数。
根据本公开的实施例,热度识别模块基于目标数据的历史访问次数,确定目标数据是否需要迁移,在目标数据需要迁移的情况下,发送迁移通知,迁移通知中包括目标数据从第一存储库迁移至第二存储库的指令、第一存储库和第二存储库的存储库的标识和地址、目标数据存储至第二存储库中的具体位置等内容。
根据本公开的实施例,数据迁移模块基于迁移通知将目标数据迁移到第二存储库,并对迁移前后的目标数据进行数据比对,确定迁移前后的目标数据是否满足一致性原则,在迁移前后的目标数据相同的情况下,将第一存储库中的目标数据进行删除,并更新迁移后的目标数据的访问地址。
根据本公开的实施例,数据迁移模块在确定迁移前后的目标数据相同的情况下,生成迁移成功通知并发送热度识别模块,如果确定迁移前后的目标数据不相同的情况下,确定存在异常的目标第二子数据,并利用与目标第二子数据对应的目标第一子数据对目标第二子数据进行修正,并在修正后再次发起数据比对,确定目标数据与修正后的目标数据是否相同,如果仍不相同的情况下,可以发送报警给目标客户端,以使得目标客户端对上述情况进行故障识别。
根据本公开的实施例,通过对第一存储库中的目标数据进行热度识别,从而实现了并行对多个存储库进行数据热度识别,从而基于满足的预设热度条件,将访问频次高的目标数据迁移至数据传输速度较快的存储库中,反之,将访问频次较低的目标数据迁移至数据传输速度较慢的存储库中,从而解决了数据库中的数据或者缓存数据无法根据实际数据访问热度动态调整位置以及无法减少访问次数较少的数据占用缓存空间的问题。并且在保证数据缓存的基础上,解决了传统缓存数据只能在一个位置根据先进先出等算法实现缓存数据的内容变化,即可以通过目标数据的热度识别结果来对目标数据进行动态迁移,而不拘泥于先存储的数据先被替换掉。
根据本公开的实施例,同时因为缓存位置的固定也固定了访问缓存的性能,实现了动态调整缓存空间占用,根据目标数据的历史访问次数、预设热度条件等,实现对目标数据的热度识别,准实时动态迁移缓存数据,提升缓存数据使用有效性,提升数据访问性能,动态调整缓存占用空间大小,提升空间利用率。
基于上述数据迁移方法,本公开还提供了一种数据迁移方法装置。以下将结合图6对该装置进行详细描述。
图6示意性示出了根据本公开实施例的数据迁移方法装置的结构框图。
如图6所示,该实施例的数据迁移方法装置600包括热度识别模块610、数据迁移模块620、数据比对模块630以及地址确定模块640。
热度识别模块610,用于响应于已触发周期任务,基于目标数据的历史访问次数,对第一存储库中的目标数据进行热度识别,得到热度识别结果。
数据迁移模块620,用于在热度识别结果表征满足预设热度条件的情况下,将目标数据从第一存储库迁移至第二存储库中,得到迁移后的目标数据,其中,第二存储库的数据传输速度与第一存储库的数据传输速度不同。
数据比对模块630,用于将目标数据与迁移后的目标数据进行数据比对,得到比对结果。
地址确定模块640,用于在比对结果表征迁移后的目标数据与目标数据相同的情况下,将迁移后的目标数据在第二存储库中的存储地址作为迁移后的目标数据的访问地址。根据本公开的实施例,目标数据包括多个第一子数据;迁移后的目标数据包括多个第二子数据;数据迁移模块620包括:第一哈希值确定子模块、第二哈希值确定子模块以及比对结果确定子模块。
第一哈希值确定子模块,用于基于多个第一子数据各自的第一数据标识,确定各个第一子数据各自的第一哈希值。
第二哈希值确定子模块,用于基于多个第二子数据各自的第二数据标识,确定各个第二子数据各自的第二哈希值。
比对结果确定子模块,用于基于多个第一哈希值和多个第二哈希值,确定比对结果。
根据本公开的实施例,比对结果确定子模块,包括:第一拼接单元、第二拼接单元以及比对单元。
第一拼接单元,用于将多个第一哈希值按目标顺序进行拼接,得到目标数据的第一比对值。
第二拼接单元,用于将多个第二哈希值按目标顺序进行拼接,得到迁移后的目标数据的第二比对值。
比对单元,用于将第一比对值与第二比对值进行比对,得到比对结果。
根据本公开的实施例,数据迁移方法装置600还包括:目标确定模块、异常数据确定模块以及数据修正模块。
目标确定模块,用于在比对结果表征迁移后的目标数据与目标数据不相同的情况下,基于比对结果,确定存在不同的目标第一哈希值和目标第二哈希值。
异常数据确定模块,用于基于目标第一哈希值和目标第二哈希值,确定存在异常的目标第二子数据。
数据修正模块,用于基于与目标第二子数据对应的目标第一子数据,对目标第二子数据进行修正。
根据本公开的实施例,热度识别模块610包括:访问次数确定子模块和热度识别子模块。
访问次数确定子模块,用于基于数据访问记录,确定目标数据的在目标时间段内的历史访问次数,其中,目标时间段包括第一目标时间段和第二目标时间段,第一目标时间段表征起始时间与当前时间的时间差小于预设时间差的时间,第二目标时间段为固定时间段。
热度识别子模块,用于基于目标数据在目标时间段的历史访问次数,确定目标数据的访问热度,得到热度识别结果。
根据本公开的实施例,目标数据具有数据属性信息,方数据迁移方法装置600还包括:待确定数据确定模块和热度确定模块。
待确定数据确定模块,用于基于目标数据的数据属性信息,确定与目标数据相关联的待确定数据,其中,待确定数据为第一存储库中未进行热度识别的数据。
热度确定模块,用于基于目标数据的热度识别结果,确定待确定数据的目标热度识别结果。
根据本公开的实施例,数据迁移模块620包括:热度类型确定子模块、存储库确定子模块以及目标数据确定子模块。
热度类型确定子模块,用于在热度识别结果表征满足预设热度条件的情况下,确定目标数据的热度类型,其中,热度类型包括热点数据类型或冷点数据类型,热点数据类型为历史访问次数大于等于第一预设数据阈值的数据类型,冷点数据类型为历史访问次数小于等于第二预设数据阈值的数据类型。
存储库确定子模块,用于基于热度类型从候选存储库中确定第二存储库,其中,候选存储库为与第一存储库相比数据传输速度不同的存储库。
目标数据确定子模块,用于将目标数据迁移至第二存储库中,得到迁移后的目标数据。
根据本公开的实施例,热度识别模块610、数据迁移模块620、数据比对模块630以及地址确定模块640中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,热度识别模块610、数据迁移模块620、数据比对模块630以及地址确定模块640中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,热度识别模块610、数据迁移模块620、数据比对模块630以及地址确定模块640中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图7示意性示出了根据本公开实施例的适于实现数据迁移方法的电子设备的方框图。
如图7所示,根据本公开实施例的电子设备700包括处理器701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中,存储有电子设备700操作所需的各种程序和数据。处理器701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,程序也可以存储在除ROM702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备700还可以包括输入/输出(I/O)接口705,输入/输出(I/O)接口705也连接至总线704。电子设备700还可以包括连接至输入/输出(I/O)接口705的以下部件中的一项或多项:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至输入/输出(I/O)接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本公开实施例所提供的数据迁移方法。
在该计算机程序被处理器701执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分709被下载和安装,和/或从可拆卸介质711被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (11)
1.一种数据迁移方法,包括:
响应于已触发周期任务,基于目标数据的历史访问次数,对第一存储库中的所述目标数据进行热度识别,得到热度识别结果;
在所述热度识别结果表征满足预设热度条件的情况下,将所述目标数据从所述第一存储库迁移至第二存储库中,得到迁移后的目标数据,其中,所述第二存储库的数据传输速度与所述第一存储库的数据传输速度不同;
将所述目标数据与所述迁移后的目标数据进行数据比对,得到比对结果;
在所述比对结果表征所述迁移后的目标数据与所述目标数据相同的情况下,将所述迁移后的目标数据在所述第二存储库中的存储地址作为所述迁移后的目标数据的访问地址。
2.根据权利要求1所述的方法,其中,所述目标数据包括多个第一子数据;所述迁移后的目标数据包括多个第二子数据;
其中,所述将所述目标数据与所述迁移后的目标数据进行数据比对,得到比对结果,包括:
基于多个所述第一子数据各自的第一数据标识,确定各个所述第一子数据各自的第一哈希值;
基于多个所述第二子数据各自的第二数据标识,确定各个所述第二子数据各自的第二哈希值;
基于多个所述第一哈希值和多个所述第二哈希值,确定所述比对结果。
3.根据权利要求2所述的方法,其中,所述基于多个所述第一哈希值和多个所述第二哈希值,确定所述比对结果,包括:
将多个所述第一哈希值按目标顺序进行拼接,得到所述目标数据的第一比对值;
将多个所述第二哈希值按所述目标顺序进行拼接,得到所述迁移后的目标数据的第二比对值;
将所述第一比对值与所述第二比对值进行比对,得到所述比对结果。
4.根据权利要求3所述的方法,还包括:
在所述比对结果表征所述迁移后的目标数据与所述目标数据不相同的情况下,基于所述比对结果,确定存在不同的目标第一哈希值和目标第二哈希值;
基于所述目标第一哈希值和所述目标第二哈希值,确定存在异常的目标第二子数据;
基于与所述目标第二子数据对应的目标第一子数据,对所述目标第二子数据进行修正。
5.根据权利要求1所述的方法,其中,所述基于目标数据的历史访问次数,对第一存储库中的所述目标数据进行热度识别,得到热度识别结果,包括:
基于数据访问记录,确定所述目标数据的在目标时间段内的历史访问次数,其中,所述目标时间段包括第一目标时间段和第二目标时间段,所述第一目标时间段表征起始时间与当前时间的时间差小于预设时间差的时间,所述第二目标时间段为固定时间段;
基于所述目标数据在目标时间段的历史访问次数,确定目标数据的访问热度,得到热度识别结果。
6.根据权利要求1所述的方法,其中,所述目标数据具有数据属性信息,所述方法还包括:
基于所述目标数据的数据属性信息,确定与所述目标数据相关联的待确定数据,其中,所述待确定数据为所述第一存储库中未进行热度识别的数据;
基于所述目标数据的热度识别结果,确定所述待确定数据的目标热度识别结果。
7.根据权利要求1所述的方法,其中,所述在所述热度识别结果表征满足预设热度条件的情况下,将所述目标数据从所述第一存储库迁移至第二存储库中,得到迁移后的目标数据,包括:
在所述热度识别结果表征满足预设热度条件的情况下,确定所述目标数据的热度类型,其中,所述热度类型包括热点数据类型或冷点数据类型,所述热点数据类型为历史访问次数大于等于第一预设数据阈值的数据类型,所述冷点数据类型为历史访问次数小于等于第二预设数据阈值的数据类型;
基于所述热度类型从候选存储库中确定第二存储库,其中,所述候选存储库为与所述第一存储库相比数据传输速度不同的存储库;
将所述目标数据迁移至所述第二存储库中,得到所述迁移后的目标数据。
8.一种数据迁移装置,包括:
热度识别模块,用于响应于已触发周期任务,基于目标数据的历史访问次数,对第一存储库中的所述目标数据进行热度识别,得到热度识别结果;
数据迁移模块,用于在所述热度识别结果表征满足预设热度条件的情况下,将所述目标数据从所述第一存储库迁移至第二存储库中,得到迁移后的目标数据,其中,所述第二存储库的数据传输速度与所述第一存储库的数据传输速度不同;
数据比对模块,用于将所述目标数据与所述迁移后的目标数据进行数据比对,得到比对结果;
地址确定模块,用于在所述比对结果表征所述迁移后的目标数据与所述目标数据相同的情况下,将所述迁移后的目标数据在所述第二存储库中的存储地址作为所述迁移后的目标数据的访问地址。
9.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~7中任一项所述的方法。
11.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311774349.6A CN117762898A (zh) | 2023-12-21 | 2023-12-21 | 数据迁移方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311774349.6A CN117762898A (zh) | 2023-12-21 | 2023-12-21 | 数据迁移方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117762898A true CN117762898A (zh) | 2024-03-26 |
Family
ID=90313944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311774349.6A Pending CN117762898A (zh) | 2023-12-21 | 2023-12-21 | 数据迁移方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117762898A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118012851A (zh) * | 2024-04-08 | 2024-05-10 | 浪潮通信信息系统有限公司 | 场景数据管理方法、装置、电子设备及存储介质 |
-
2023
- 2023-12-21 CN CN202311774349.6A patent/CN117762898A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118012851A (zh) * | 2024-04-08 | 2024-05-10 | 浪潮通信信息系统有限公司 | 场景数据管理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11711420B2 (en) | Automated management of resource attributes across network-based services | |
US11349940B2 (en) | Server side data cache system | |
CN109657174B (zh) | 用于更新数据的方法和装置 | |
CN108536617B (zh) | 缓存管理方法、介质、系统和电子设备 | |
US11544229B1 (en) | Enhanced tracking of data flows | |
CN111125107A (zh) | 数据处理方法、装置、电子设备和介质 | |
CN117762898A (zh) | 数据迁移方法、装置、设备及存储介质 | |
CN111783005B (zh) | 显示网页的方法、装置和系统、计算机系统和介质 | |
US11055223B2 (en) | Efficient cache warm up based on user requests | |
CN113076224B (zh) | 数据备份方法、数据备份系统、电子设备及可读存储介质 | |
CN113312553B (zh) | 一种用户标签的确定方法和装置 | |
CN112783887A (zh) | 一种基于数据仓库的数据处理方法及装置 | |
US8539492B1 (en) | Managing data dependencies among multiple jobs using separate tables that store job results and dependency satisfaction | |
CN113297267A (zh) | 数据缓存和任务处理方法、装置、设备以及存储介质 | |
CN113407108A (zh) | 一种数据存储方法和系统 | |
CN116048846A (zh) | 数据传输方法、装置、设备和存储介质 | |
WO2022199206A1 (zh) | 用于虚拟机的内存共享方法及装置 | |
CN114780361A (zh) | 日志生成方法、装置、计算机系统及可读存储介质 | |
US11340964B2 (en) | Systems and methods for efficient management of advanced functions in software defined storage systems | |
CN114448976B (zh) | 网络报文的组装方法、装置、设备、介质和程序产品 | |
CN113821519B (zh) | 一种数据处理方法以及领域驱动设计架构 | |
US11941074B2 (en) | Fetching a query result using a query filter | |
CN113760965B (zh) | 数据查询的方法和装置 | |
CN110784479B (zh) | 一种数据校验方法、装置、电子设备及存储介质 | |
CN117575484A (zh) | 库存数据处理方法、装置、设备、介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |