CN114328472A - 一种基于ai的数据迁移方法及系统 - Google Patents

一种基于ai的数据迁移方法及系统 Download PDF

Info

Publication number
CN114328472A
CN114328472A CN202210252885.9A CN202210252885A CN114328472A CN 114328472 A CN114328472 A CN 114328472A CN 202210252885 A CN202210252885 A CN 202210252885A CN 114328472 A CN114328472 A CN 114328472A
Authority
CN
China
Prior art keywords
data
migration
obtaining
information
storage information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210252885.9A
Other languages
English (en)
Other versions
CN114328472B (zh
Inventor
张颖
徐礼长
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Datasure Software Technology Co ltd
Beijing Shuteng Software Technology Co ltd
Original Assignee
Shanghai Datasure Software Technology Co ltd
Beijing Shuteng Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Datasure Software Technology Co ltd, Beijing Shuteng Software Technology Co ltd filed Critical Shanghai Datasure Software Technology Co ltd
Priority to CN202210252885.9A priority Critical patent/CN114328472B/zh
Publication of CN114328472A publication Critical patent/CN114328472A/zh
Application granted granted Critical
Publication of CN114328472B publication Critical patent/CN114328472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于AI的数据迁移方法及系统,所述方法包括:通过获得第一数据的第一标签;获得第一数据类型和第一数据层级;根据自动分级模型获得第一输出结果,其中,所述第一输出结果包括所述第一数据的第一级别信息;确定所述第一数据的第一存储信息;若所述第一数据满足预设迁移条件,获得第一更新指令;获得第二标签;根据所述第二标签,确定所述第一数据的第二存储信息;根据所述第一存储信息和所述第二存储信息,对所述第一数据进行数据迁移。解决了现有技术中在对数据进行迁移时,存在无法基于数据信息针对性匹配存储级别,从而导致迁移准确度低的问题,同时对于迁移量大的数据无法智能化进行迁移,导致迁移效率低的技术问题。

Description

一种基于AI的数据迁移方法及系统
技术领域
本发明涉及计算机应用技术领域,尤其涉及一种基于AI的数据迁移方法及系统。
背景技术
随着企业信息化的飞速发展,如今数据成为企业非常重要的资产,管理、保护好企业的数据资产成为非常重要的一项工作。然而随着时间的推移和使用的增加,各行各业的数据信息均呈爆炸性的增长,因此积累、存储了海量的历史数据。在系统存储的数据中,各个数据均具有不同程度的重要性、可用性,且由于各数据类型不同,存储成本也存在巨大差异。因此利用分级存储的方式管理海量数据,保证系统存储数据性能的同时,降低数据的管理成本,已经成为存储业界的广泛共识。然而,现有技术在对各数据进行迁移时,存在迁移准确率低、效率低的技术问题。研究利用计算机技术进行数据迁移和分级存储管理,具有重要的意义。
然而,现有技术中在对数据进行迁移时,存在无法基于数据信息针对性匹配存储级别,从而导致迁移准确度低的问题,同时对于迁移量大的数据无法智能化进行迁移,导致迁移效率低的技术问题。
发明内容
本发明的目的是提供一种基于AI的数据迁移方法及系统,用以解决现有技术中在对数据进行迁移时,存在无法基于数据信息针对性匹配存储级别,从而导致迁移准确度低的问题,同时对于迁移量大的数据无法智能化进行迁移,导致迁移效率低的技术问题。
鉴于上述问题,本发明提供了一种基于AI的数据迁移方法及系统。
第一方面,本发明提供了一种基于AI的数据迁移方法,所述方法通过一种基于AI的数据迁移系统实现,其中,所述方法包括:通过获得第一数据的第一标签;根据所述第一标签,获得所述第一数据的第一数据类型和第一数据层级;将所述第一数据类型和所述第一数据层级输入自动分级模型,获得第一输出结果,其中,所述第一输出结果包括所述第一数据的第一级别信息;根据所述第一级别信息,确定所述第一数据的第一存储信息;若所述第一数据满足预设迁移条件,获得第一更新指令,其中,所述第一更新指令用于对所述第一标签进行更新;根据所述第一更新指令,获得所述第一数据的第二标签;根据所述第二标签,确定所述第一数据的第二存储信息,其中,所述第二存储信息是指所述第一数据进行数据迁移后的存储信息;根据所述第一存储信息和所述第二存储信息,对所述第一数据进行数据迁移。
另一方面,本发明还提供了一种基于AI的数据迁移系统,用于执行如第一方面所述的一种基于AI的数据迁移方法,其中,所述系统包括:第一获得单元:所述第一获得单元用于获得第一数据的第一标签;第二获得单元:所述第二获得单元用于根据所述第一标签,获得所述第一数据的第一数据类型和第一数据层级;第三获得单元:所述第三获得单元用于将所述第一数据类型和所述第一数据层级输入自动分级模型,获得第一输出结果,其中,所述第一输出结果包括所述第一数据的第一级别信息;第一确定单元:所述第一确定单元用于根据所述第一级别信息,确定所述第一数据的第一存储信息;第四获得单元:所述第四获得单元用于若所述第一数据满足预设迁移条件,获得第一更新指令,其中,所述第一更新指令用于对所述第一标签进行更新;第五获得单元:所述第五获得单元用于根据所述第一更新指令,获得所述第一数据的第二标签;第二确定单元:所述第二确定单元用于根据所述第二标签,确定所述第一数据的第二存储信息,其中,所述第二存储信息是指所述第一数据进行数据迁移后的存储信息;第一执行单元:所述第一执行单元用于根据所述第一存储信息和所述第二存储信息,对所述第一数据进行数据迁移。
第三方面,本发明还提供了一种基于AI的数据迁移系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现上述第一方面所述方法的步骤。
第四方面,一种电子设备,其中,包括处理器和存储器;
该存储器,用于存储;
该处理器,用于通过调用,执行上述第一方面中任一项所述的方法。
第五方面,一种计算机程序产品,包括计算机程序和/或指令,该计算机程序和/或指令被处理器执行时实现上述第一方面中任一项所述方法的步骤。
本发明中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1.首先针对数据情况,确定数据的标签,并根据标签信息确定数据的存储级别,进而获得数据当前的存储情况信息,记作第一存储信息;进一步的,当数据相关信息满足预设迁移条件时,系统智能化对数据的标签进行更新;然后基于更新后的数据标签,智能化判断数据标签更新后的存储级别,并确定数据应该迁移的存储信息,记作第二存储信息;最后将数据从第一存储信息迁移到第二存储信息。达到了利用计算机技术提高数据迁移智能化程度,从而提高数据分级管理效率和质量的技术效果。
2.通过检验试验确定自动分级模型的分级准确率,从而对自动分级模型进行客观的性能评价,同时在其准确率不满足预设准确率阈值时,基于分级错误的数据案例,针对性对自动分级模型进行相关参数调整,达到了提高自动分级模型智能分级准确率的技术效果。
3.通过允许人为设定策略对数据管理进行干预,达到了提高数据管理有效性、可靠性的技术效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明一种基于AI的数据迁移方法的流程示意图;
图2为本发明一种基于AI的数据迁移方法中根据所述智能迁移模型进行动态数据迁移的流程示意图;
图3为本发明一种基于AI的数据迁移方法中对所述自动分级模型进行修正的流程示意图;
图4为本发明一种基于AI的数据迁移方法中对所述预设迁移条件进行满足触发的流程示意图;
图5为本发明一种基于AI的数据迁移系统的结构示意图;
图6为本发明示例性电子设备的结构示意图。
附图标记说明:
第一获得单元11,第二获得单元12,第三获得单元13,第一确定单元14,第四获得单元15,第五获得单元16,第二确定单元17,第一执行单元18,总线300,接收器301,处理器302,发送器303,存储器304,总线接口305。
具体实施方式
本发明通过提供一种基于AI的数据迁移方法及系统,解决了现有技术中在对数据进行迁移时,存在无法基于数据信息针对性匹配存储级别,从而导致迁移准确度低的问题,同时对于迁移量大的数据无法智能化进行迁移,导致迁移效率低的技术问题。达到了利用计算机技术提高数据迁移智能化程度,从而提高数据分级管理效率和质量的技术效果。
本发明技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
下面,将参考附图对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部。
本发明提供了一种基于AI的数据迁移方法,所述方法应用于一种基于AI的数据迁移系统,其中,所述方法包括:通过获得第一数据的第一标签;根据所述第一标签,获得所述第一数据的第一数据类型和第一数据层级;将所述第一数据类型和所述第一数据层级输入自动分级模型,获得第一输出结果,其中,所述第一输出结果包括所述第一数据的第一级别信息;根据所述第一级别信息,确定所述第一数据的第一存储信息;若所述第一数据满足预设迁移条件,获得第一更新指令,其中,所述第一更新指令用于对所述第一标签进行更新;根据所述第一更新指令,获得所述第一数据的第二标签;根据所述第二标签,确定所述第一数据的第二存储信息,其中,所述第二存储信息是指所述第一数据进行数据迁移后的存储信息;根据所述第一存储信息和所述第二存储信息,对所述第一数据进行数据迁移。
在介绍了本发明基本原理后,下面将结合说明书附图来具体介绍本发明的各种非限制性的实施方式。
实施例一
请参阅附图1,本发明提供了一种基于AI的数据迁移方法,其中,所述方法应用于一种基于AI的数据迁移系统,所述方法具体包括如下步骤:
步骤S100:获得第一数据的第一标签;
具体而言,所述一种基于AI的数据迁移方法应用于所述一种基于AI的数据迁移系统,可以利用计算机技术提高数据迁移的智能化程度,从而提高数据迁移的效率,同时提高数据迁移的准确率。所述第一数据是指任一待使用所述数据迁移系统进行数据分级存储管理的数据。举例如一张图片、一串数字、一个视频等。进一步的,利用所述数据迁移系统自动识别所述第一数据的第一标签。其中,所述第一标签为相关数据管理人员基于所述第一数据的基本类型、信息内容等信息,对所述第一数据进行的标记。通过获得第一标签,达到了为后续快速判断第一数据的类型和层级提供依据的技术效果。
步骤S200:根据所述第一标签,获得所述第一数据的第一数据类型和第一数据层级;
具体而言,相关数据管理人员首先对所有数据进行采集,确定待使用所述数据迁移系统进行数据智能管理的所有数据,进而基于数据类型及其数据内容的重要程度,对各数据依次进行标记。举例如某数据的标签为T2,则表示该数据的类型为文本,重要程度为第二级。通过对所有数据的分类、标记,建立起数据和标签之间的对应关系。进一步的,根据相关管理人员对所述第一数据标记的所述第一标签,系统快速识别所述第一数据的类型和层级信息,即所述第一数据类型和所述第一数据层级。通过获得第一数据类型和第一数据层级,达到了为后续自动为第一数据进行存储分级提供依据的技术效果。
步骤S300:将所述第一数据类型和所述第一数据层级输入自动分级模型,获得第一输出结果,其中,所述第一输出结果包括所述第一数据的第一级别信息;
步骤S400:根据所述第一级别信息,确定所述第一数据的第一存储信息;
具体而言,所述自动分级模型是指基于待迁移数据的类型和层级信息,智能化为待迁移数据匹配对应存储方式和存储位置的模型。将所述第一数据的第一数据类型、第一数据层级作为输入数据,利用所述自动分级模型,智能化分析得到所述第一数据的存储基本,即所述第一级别信息。其中,数据对应的存储方式和存储位置,基于现有在线存储、离线存储、近线存储的总存储容量进行划分。举例如将数据级别划分为5个,其中,第1级别的数据存储到在线存储空间中,第2~3级别的数据存储在近线存储空间中,第4~5级别的数据存储在离线存储空间中。进一步的,根据所述第一数据的第一级别信息,按照所述数据迁移系统预先基于实际存储容量、总数据资源等信息划分好的对应存储设备中,即确定所述第一数据的第一存储信息。通过确定第一数据的第一存储信息,达到了为后续智能数据迁移提供迁移数据源信息的技术效果。
步骤S500:若所述第一数据满足预设迁移条件,获得第一更新指令,其中,所述第一更新指令用于对所述第一标签进行更新;
步骤S600:根据所述第一更新指令,获得所述第一数据的第二标签;
具体而言,触发所述数据迁移系统进行对应第一数据的迁移,共有多种触发条件,当所述第一数据的相关信息满足预设迁移条件时,所述数据迁移系统自动发出第一更新指令。其中,所述第一更新指令用于对所述第一数据的所述第一标签进行更新。基于所述第一更新指令得到的所述第一数据的标签即为所述第二标签。通过系统智能化判断第一数据是否满足预设迁移条件,并在满足条件时自动对第一数据的标签进行更新和调整,达到了智能化实时、动态更新第一数据标签的技术效果,同时达到了为后续基于第一数据的实际情况进行迁移提供目标迁移地的技术效果。
步骤S700:根据所述第二标签,确定所述第一数据的第二存储信息,其中,所述第二存储信息是指所述第一数据进行数据迁移后的存储信息;
具体而言,根据更新后得到的所述第一数据的第二标签,可以确定所述第一数据当前应当存储的级别,进而确定所述第一数据进行数据迁移时,目标存储位置的相关信息,即所述第二存储信息。其中,所述第二存储信息是指所述第一数据进行数据迁移后的存储信息。通过分析第二标签,获得第二存储信息,达到了为后续智能化对第一数据进行数据迁移时,提供目标迁移信息的技术效果,进而实现对第一数据的准确迁移。
步骤S800:根据所述第一存储信息和所述第二存储信息,对所述第一数据进行数据迁移。
具体而言,所述第一存储信息即所述第一数据在第一标签时的存储信息,随着数据的发展和实际数据使用情况的变化,所述第一数据的标签进行了实时调整,由第一标签更新为第二标签,进一部根据所述第二标签,系统智能化确定所述第一数据应当调整迁移的存储信息,即第二存储信息。将所述第一存储信息作为第一数据的数据源,将所述第二存储信息作为第一数据进行数据迁移的目标地,利用所述数据迁移系统实现所述第一数据由所述第一存储信息到所述第二存储信息的迁移。达到了利用计算机技术提高数据迁移智能化程度,从而提高数据分级管理效率和质量的技术效果。
进一步的,如附图2所示,本发明还包括步骤S900:
步骤S910:根据历史数据迁移信息,构建数据迁移集;
步骤S920:根据所述数据迁移集,获得第一迁移数据源集,其中,所述第一迁移数据源集包括多个迁移数据源;
步骤S930:分别匹配所述多个迁移数据源的多个迁移标定库,组成第一迁移标定库集,其中,所述第一迁移标定库集和所述第一迁移数据源集一一对应;
步骤S940:根据所述第一迁移标定库集和所述第一迁移数据源集,利用人工智能的迁移学习构建智能迁移模型;
步骤S950:根据所述智能迁移模型进行动态数据迁移。
具体而言,根据系统历史进行数据迁移的记录信息,采集得到所有历史数据迁移情况。进一步的,分析每次数据迁移时,对应数据的初始标签和更新标签,以及分别对应的数据源和标定库。将所有数据迁移信息作为训练数据,进行数据迁移智能模型的训练,即得到所述智能迁移模型。举例如历史数据迁移中,多次数据迁移都是由标签T2更新为T4的迁移,系统收集T2对应的存储源信息和T4对应的标定库信息,对后续其他T2标签的数据快速迁移。通过构建智能迁移模型,实现了基于数据实际使用情况等形成的标签更新,及时针对性对数据进行迁移的目标。
进一步的,如附图3所示,本发明步骤S300还包括:
步骤S310:获得第一检验数据集,其中,所述第一检验数据集包括多个检验数据;
步骤S320:根据所述自动分级模型,分别获得所述多个检验数据的多个级别信息;
步骤S330:利用人工对所述多个检验数据进行级别判断,获得第一判断结果集,其中,所述第一判断结果包括多个人工判断级别信息;
步骤S340:根据所述多个级别信息和所述多个人工判断级别信息,计算获得所述自动分级模型的第一分级准确率;
步骤S350:若所述第一分级准确率不满足预设准确率阈值,对所述自动分级模型进行修正。
具体而言,所述第一检验数据集中包括多个不同的数据信息,且每个数据都进行人工标签标记,并人工判断各检验数据对应的存储级别,记作多个人工判断级别信息。进一步的,将所述第一检验数据集中的各个检验数据依次输入所述自动分级模型中,经过模型智能分析得到对应各检验数据的存储级别信息,即所述多个级别信息。将所述多个级别信息和所述多个人工判断级别信息进行对比分析,统计所述多个级别信息和所述多个人工判断级别信息相同的次数,结合总检验数据的数量,计算得到所述自动分级模型的分级准确率,即所述第一分级准确率。此外,当所述第一分级准确率不满足预设准确率阈值,对所述自动分级模型进行修正。其中,所述预设准确率阈值为所述数据迁移系统基于实际管理数据总量、总存储空间等相关信息,预先设置了最大分级误差,进而确定最低准确率值。
通过检验试验确定自动分级模型的分级准确率,从而对自动分级模型进行客观的性能评价,同时在其准确率不满足预设准确率阈值时,基于分级错误的数据案例,针对性对自动分级模型进行相关参数调整,达到了提高自动分级模型智能分级准确率的技术效果。
进一步的,如附图4所示,本发明步骤S500还包括:
步骤S510:根据所述第一存储信息,获得所述第一数据的第一磁盘空间;
步骤S520:若所述第一磁盘空间符合预设空间阈值,获得第一触发指令;
步骤S530:根据数据生命周期,获得所述第一数据的第一价值;
步骤S540:若所述第一价值不符合预设价值阈值,获得第二触发指令;
步骤S550:利用周期性增量扫描,获得所述第一数据的第一利用率;
步骤S560:若所述第一利用率不符合预设利用率阈值,获得第三触发指令;
步骤S570:根据所述第一触发指令或所述第二触发指令或所述第三触发指令,对所述预设迁移条件进行满足触发。
具体而言,在实际管理数据过程中,各数据的重要程度会随着时间的推移,受多方因素影响而改变,进而所述数据迁移系统根据数据的实时情况,判断是否对数据进行数据迁移。首先,当第一数据所在磁盘等存储设备的存储空间不足时,则应当对所述第一数据进行数据迁移。此外,当所述第一数据的价值降低,对应重要程度即下降,此时同样对所述第一数据的存储级别进行降低,并智能化进行数据迁移。同时还有,当所述数据迁移系统监测到所述第一数据的访问量、调用率等数据大幅度降低,也表示所述第一数据的重要程度降低,同样对所述第一数据进行数据迁移。也就是说,基于所述第一数据的实际存储空间、实际价值、实际利用率,智能化对所述第一数据进行数据迁移触发。
通过基于第一数据的实际情况,智能化判断是否触发对所述第一数据进行迁移的命令,达到了智能化实时监测数据、动态数据迁移的技术效果。
进一步的,本发明步骤S530还包括:
步骤S531:对所述第一数据进行数据生命周期管理,获得第一管理信息,其中,所述第一管理信息包括第一数据的产生时间、有效期限、重要程度;
步骤S532:根据所述产生时间和所述重要程度,构建所述第一数据的时间-价值模型;
步骤S533:获得第一当前时间;
步骤S534:若所述第一当前时间满足所述有效期限,根据所述时间-价值模型获得所述第一价值。
具体而言,基于对每个数据从产生到灭亡整个过程的监测管理,得到所述第一数据的全生命周期管理信息。举例如某数据的管理信息包括创建时间、创建目的、调用历史、归档、删除。根据第一数据的第一管理信息,采集得到第一数据的产生时间、有效期限、重要程度数据。其中,所述产生时间为第一数据创建的时间,进而结合第一数据的创建目的确定所述第一数据的有效期限。进一步的,根据所述产生时间和所述重要程度,构建所述第一数据的时间-价值模型。根据所述第一数据的时间-价值模型,系统实时得到所述第一数据的价值数据,即所述第一价值。当超过所述第一数据的有效期限时,系统自动对所述第一数据进行删除或备份等管理。通过获得第一数据的实时价值,达到了后续实时调整第一数据的存储级别提供依据的技术效果。
进一步的,本发明步骤S550还包括:
步骤S551:根据预设周期对所述第一数据进行周期性扫描,组成第一扫描结果集,其中,所述第一扫描结果集包括多次扫描结果;
步骤S552:根据所述多次扫描结果,获得所述第一数据的多组调用信息;
步骤S553:根据所述多组调用信息,计算所述第一数据的第一利用率。
具体而言,所述预设周期是所述数据迁移系统基于实际使用频率、总结要求等综合分析后确定的对数据进行周期调整和管理的周期。举例如一周或一个月。根据预设周期,对所述第一数据在所述预设周期内的访问量、访问时间等信息进行扫描收集,即得到所述第一扫描结果集。根据连续多个预设周期的扫描结果,组成所述第一数据的第一扫描结果集。也就是说,所述第一扫描结果集中包括对所述第一数据的多次扫描结果。进一步的,分析所述第一数据随时间推移,调用、访问的频率数据,计算得到所述第一数据的第一利用率数据。通过计算得到第一利用率,达到了为判断所述第一数据是否达到预设迁移条件提供数据基础的技术效果。
进一步的,本发明还包括步骤S1000:
步骤S1010:获得第一人工设定策略;
步骤S1020:根据所述第一人工设定策略,对所述第一数据进行数据迁移。
具体而言,在实际对数据进行分级存储时,还会受到人为因素的影响。举例如认为制定某项规章制度,对某类数据的存储提出明确要求,或者基于人为有计划地宣传推广,预测某数据在未来一段时间的访问率会大幅度提高等。因此,基于人为因素的影响,对数据进行人工存储级别设定,即得到所述第一人工设定策略。最终根据所述第一人工设定策略对所述第一数据进行数据迁移。通过允许人为设定策略,对数据管理进行人为干预,达到了提高数据管理有效性、可靠性的技术效果。
综上所述,本发明所提供的一种基于AI的数据迁移方法具有如下技术效果:
1.首先针对数据情况,确定数据的标签,并根据标签信息确定数据的存储级别,进而获得数据当前的存储情况信息,记作第一存储信息;进一步的,当数据相关信息满足预设迁移条件时,系统智能化对数据的标签进行更新;然后基于更新后的数据标签,智能化判断数据标签更新后的存储级别,并确定数据应该迁移的存储信息,记作第二存储信息;最后将数据从第一存储信息迁移到第二存储信息。达到了利用计算机技术提高数据迁移智能化程度,从而提高数据分级管理效率和质量的技术效果。
2.通过检验试验确定自动分级模型的分级准确率,从而对自动分级模型进行客观的性能评价,同时在其准确率不满足预设准确率阈值时,基于分级错误的数据案例,针对性对自动分级模型进行相关参数调整,达到了提高自动分级模型智能分级准确率的技术效果。
3.通过允许人为设定策略对数据管理进行干预,达到了提高数据管理有效性、可靠性的技术效果。
实施例二
基于与前述实施例中一种基于AI的数据迁移方法,同样发明构思,本发明还提供了一种基于AI的数据迁移系统,请参阅附图5,所述系统包括:
第一获得单元11,所述第一获得单元11用于获得第一数据的第一标签;
第二获得单元12,所述第二获得单元12用于根据所述第一标签,获得所述第一数据的第一数据类型和第一数据层级;
第三获得单元13,所述第三获得单元13用于将所述第一数据类型和所述第一数据层级输入自动分级模型,获得第一输出结果,其中,所述第一输出结果包括所述第一数据的第一级别信息;
第一确定单元14,所述第一确定单元14用于根据所述第一级别信息,确定所述第一数据的第一存储信息;
第四获得单元15,所述第四获得单元15用于若所述第一数据满足预设迁移条件,获得第一更新指令,其中,所述第一更新指令用于对所述第一标签进行更新;
第五获得单元16,所述第五获得单元16用于根据所述第一更新指令,获得所述第一数据的第二标签;
第二确定单元17,所述第二确定单元17用于根据所述第二标签,确定所述第一数据的第二存储信息,其中,所述第二存储信息是指所述第一数据进行数据迁移后的存储信息;
第一执行单元18,所述第一执行单元18用于根据所述第一存储信息和所述第二存储信息,对所述第一数据进行数据迁移。
进一步的,所述系统还包括:
第一构建单元,所述第一构建单元用于根据历史数据迁移信息,构建数据迁移集;
第六获得单元,所述第六获得单元用于根据所述数据迁移集,获得第一迁移数据源集,其中,所述第一迁移数据源集包括多个迁移数据源;
第一组成单元,所述第一组成单元用于分别匹配所述多个迁移数据源的多个迁移标定库,组成第一迁移标定库集,其中,所述第一迁移标定库集和所述第一迁移数据源集一一对应;
第二构建单元,所述第二构建单元用于根据所述第一迁移标定库集和所述第一迁移数据源集,利用人工智能的迁移学习构建智能迁移模型;
第二执行单元,所述第二执行单元用于根据所述智能迁移模型进行动态数据迁移。
进一步的,所述系统还包括:
第七获得单元,所述第七获得单元用于获得第一检验数据集,其中,所述第一检验数据集包括多个检验数据;
第八获得单元,所述第八获得单元用于根据所述自动分级模型,分别获得所述多个检验数据的多个级别信息;
第九获得单元,所述第九获得单元用于利用人工对所述多个检验数据进行级别判断,获得第一判断结果集,其中,所述第一判断结果包括多个人工判断级别信息;
第十获得单元,所述第十获得单元用于根据所述多个级别信息和所述多个人工判断级别信息,计算获得所述自动分级模型的第一分级准确率;
第三执行单元,所述第三执行单元用于若所述第一分级准确率不满足预设准确率阈值,对所述自动分级模型进行修正。
进一步的,所述系统还包括:
第十一获得单元,所述第十一获得单元用于根据所述第一存储信息,获得所述第一数据的第一磁盘空间;
第十二获得单元,所述第十二获得单元用于若所述第一磁盘空间符合预设空间阈值,获得第一触发指令;
第十三获得单元,所述第十三获得单元用于根据数据生命周期,获得所述第一数据的第一价值;
第十四获得单元,所述第十四获得单元用于若所述第一价值不符合预设价值阈值,获得第二触发指令;
第十五获得单元,所述第十五获得单元用于利用周期性增量扫描,获得所述第一数据的第一利用率;
第十六获得单元,所述第十六获得单元用于若所述第一利用率不符合预设利用率阈值,获得第三触发指令;
第四执行单元,所述第四执行单元用于根据所述第一触发指令或所述第二触发指令或所述第三触发指令,对所述预设迁移条件进行满足触发。
进一步的,所述系统还包括:
第十七获得单元,所述第十七获得单元用于对所述第一数据进行数据生命周期管理,获得第一管理信息,其中,所述第一管理信息包括第一数据的产生时间、有效期限、重要程度;
第三构建单元,所述第三构建单元用于根据所述产生时间和所述重要程度,构建所述第一数据的时间-价值模型;
第十八获得单元,所述第十八获得单元用于获得第一当前时间;
第十九获得单元,所述第十九获得单元用于若所述第一当前时间满足所述有效期限,根据所述时间-价值模型获得所述第一价值。
进一步的,所述系统还包括:
第二组成单元,所述第二组成单元用于根据预设周期对所述第一数据进行周期性扫描,组成第一扫描结果集,其中,所述第一扫描结果集包括多次扫描结果;
第二十获得单元,所述第二十获得单元用于根据所述多次扫描结果,获得所述第一数据的多组调用信息;
第一计算单元,所述第一计算单元用于根据所述多组调用信息,计算所述第一数据的第一利用率。
进一步的,所述系统还包括:
第二十一获得单元,所述第二十一获得单元用于获得第一人工设定策略;
第五执行单元,所述第五执行单元用于根据所述第一人工设定策略,对所述第一数据进行数据迁移。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,前述图1实施例一中的一种基于AI的数据迁移方法和具体实例同样适用于本实施例的一种基于AI的数据迁移系统,通过前述对一种基于AI的数据迁移方法的详细描述,本领域技术人员可以清楚的知道本实施例中一种基于AI的数据迁移系统,所以为了说明书的简洁,在此不再详述。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
示例性电子设备
下面参考图6来描述本发明的电子设备。
图6图示了根据本发明的电子设备的结构示意图。
基于与前述实施例中一种基于AI的数据迁移方法的发明构思,本发明还提供一种基于AI的数据迁移系统,其上存储有计算机程序,该程序被处理器执行时实现前文所述一种基于AI的数据迁移方法的任一方法的步骤。
其中,在图6中,总线架构(用总线300来代表),总线300可以包括任意数量的互联的总线和桥,总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口305在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件,即收发机,提供用于在传输介质上与各种其他装置通信的单元。
处理器302负责管理总线300和通常的处理,而存储器304可以被用于存储处理器302在执行操作时所使用的数据。
本发明提供了一种基于AI的数据迁移方法,所述方法应用于一种基于AI的数据迁移系统,其中,所述方法包括:通过获得第一数据的第一标签;根据所述第一标签,获得所述第一数据的第一数据类型和第一数据层级;将所述第一数据类型和所述第一数据层级输入自动分级模型,获得第一输出结果,其中,所述第一输出结果包括所述第一数据的第一级别信息;根据所述第一级别信息,确定所述第一数据的第一存储信息;若所述第一数据满足预设迁移条件,获得第一更新指令,其中,所述第一更新指令用于对所述第一标签进行更新;根据所述第一更新指令,获得所述第一数据的第二标签;根据所述第二标签,确定所述第一数据的第二存储信息,其中,所述第二存储信息是指所述第一数据进行数据迁移后的存储信息;根据所述第一存储信息和所述第二存储信息,对所述第一数据进行数据迁移。解决了现有技术中在对数据进行迁移时,存在无法基于数据信息针对性匹配存储级别,从而导致迁移准确度低的问题,同时对于迁移量大的数据无法智能化进行迁移,导致迁移效率低的技术问题。达到了利用计算机技术提高数据迁移智能化程度,从而提高数据分级管理效率和质量的技术效果。
本发明还提供一种电子设备,其中,包括处理器和存储器;
该存储器,用于存储;
该处理器,用于通过调用,执行上述实施例一中任一项所述的方法。
本发明还提供一种计算机程序产品,包括计算机程序和/或指令,该计算机程序和/或指令被处理器执行时实现上述实施例一中任一项所述方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全软件实施例、完全硬件实施例、或结合软件和硬件方面实施例的形式。此外,本发明为可以在一个或多个包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。而所述的计算机可用存储介质包括但不限于:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random AccessMemory,简称RAM)、磁盘存储器、只读光盘(Compact Disc Read-Only Memory,简称CD-ROM)、光学存储器等各种可以存储程序代码的介质。
本发明是参照本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品,该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于AI的数据迁移方法,其特征在于,所述方法应用于一种基于AI的数据迁移系统,所述方法包括:
获得第一数据的第一标签;
根据所述第一标签,获得所述第一数据的第一数据类型和第一数据层级;
将所述第一数据类型和所述第一数据层级输入自动分级模型,获得第一输出结果,其中,所述第一输出结果包括所述第一数据的第一级别信息;
根据所述第一级别信息,确定所述第一数据的第一存储信息;
若所述第一数据满足预设迁移条件,获得第一更新指令,其中,所述第一更新指令用于对所述第一标签进行更新;
根据所述第一更新指令,获得所述第一数据的第二标签;
根据所述第二标签,确定所述第一数据的第二存储信息,其中,所述第二存储信息是指所述第一数据进行数据迁移后的存储信息;
根据所述第一存储信息和所述第二存储信息,对所述第一数据进行数据迁移。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
根据历史数据迁移信息,构建数据迁移集;
根据所述数据迁移集,获得第一迁移数据源集,其中,所述第一迁移数据源集包括多个迁移数据源;
分别匹配所述多个迁移数据源的多个迁移标定库,组成第一迁移标定库集,其中,所述第一迁移标定库集和所述第一迁移数据源集一一对应;
根据所述第一迁移标定库集和所述第一迁移数据源集,利用人工智能的迁移学习构建智能迁移模型;
根据所述智能迁移模型进行动态数据迁移。
3.如权利要求1所述的方法,其特征在于,所述将所述第一数据类型和所述第一数据层级输入自动分级模型,获得第一输出结果之后,包括:
获得第一检验数据集,其中,所述第一检验数据集包括多个检验数据;
根据所述自动分级模型,分别获得所述多个检验数据的多个级别信息;
利用人工对所述多个检验数据进行级别判断,获得第一判断结果集,其中,所述第一判断结果包括多个人工判断级别信息;
根据所述多个级别信息和所述多个人工判断级别信息,计算获得所述自动分级模型的第一分级准确率;
若所述第一分级准确率不满足预设准确率阈值,对所述自动分级模型进行修正。
4.如权利要求1所述的方法,其特征在于,所述若所述第一数据满足预设迁移条件,获得第一更新指令之前,包括:
根据所述第一存储信息,获得所述第一数据的第一磁盘空间;
若所述第一磁盘空间符合预设空间阈值,获得第一触发指令;
根据数据生命周期,获得所述第一数据的第一价值;
若所述第一价值不符合预设价值阈值,获得第二触发指令;
利用周期性增量扫描,获得所述第一数据的第一利用率;
若所述第一利用率不符合预设利用率阈值,获得第三触发指令;
根据所述第一触发指令或所述第二触发指令或所述第三触发指令,对所述预设迁移条件进行满足触发。
5.如权利要求4所述的方法,其特征在于,所述根据数据生命周期,获得所述第一数据的第一价值,包括:
对所述第一数据进行数据生命周期管理,获得第一管理信息,其中,所述第一管理信息包括第一数据的产生时间、有效期限、重要程度;
根据所述产生时间和所述重要程度,构建所述第一数据的时间-价值模型;
获得第一当前时间;
若所述第一当前时间满足所述有效期限,根据所述时间-价值模型获得所述第一价值。
6.如权利要求4所述的方法,其特征在于,所述利用周期性增量扫描,获得所述第一数据的第一利用率,包括:
根据预设周期对所述第一数据进行周期性扫描,组成第一扫描结果集,其中,所述第一扫描结果集包括多次扫描结果;
根据所述多次扫描结果,获得所述第一数据的多组调用信息;
根据所述多组调用信息,计算所述第一数据的第一利用率。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
获得第一人工设定策略;
根据所述第一人工设定策略,对所述第一数据进行数据迁移。
8.一种基于AI的数据迁移系统,其特征在于,所述系统包括:
第一获得单元:所述第一获得单元用于获得第一数据的第一标签;
第二获得单元:所述第二获得单元用于根据所述第一标签,获得所述第一数据的第一数据类型和第一数据层级;
第三获得单元:所述第三获得单元用于将所述第一数据类型和所述第一数据层级输入自动分级模型,获得第一输出结果,其中,所述第一输出结果包括所述第一数据的第一级别信息;
第一确定单元:所述第一确定单元用于根据所述第一级别信息,确定所述第一数据的第一存储信息;
第四获得单元:所述第四获得单元用于若所述第一数据满足预设迁移条件,获得第一更新指令,其中,所述第一更新指令用于对所述第一标签进行更新;
第五获得单元:所述第五获得单元用于根据所述第一更新指令,获得所述第一数据的第二标签;
第二确定单元:所述第二确定单元用于根据所述第二标签,确定所述第一数据的第二存储信息,其中,所述第二存储信息是指所述第一数据进行数据迁移后的存储信息;
第一执行单元:所述第一执行单元用于根据所述第一存储信息和所述第二存储信息,对所述第一数据进行数据迁移。
9.一种电子设备,其特征在于,包括处理器和存储器;
所述存储器,用于存储;
所述处理器,用于通过调用,执行权利要求1~7中任一项所述的方法。
10.一种计算机程序产品,包括计算机程序和/或指令,其特征在于,该计算机程序和/或指令被处理器执行时实现权利要求1~7中任一项所述方法的步骤。
CN202210252885.9A 2022-03-15 2022-03-15 一种基于ai的数据迁移方法及系统 Active CN114328472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210252885.9A CN114328472B (zh) 2022-03-15 2022-03-15 一种基于ai的数据迁移方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210252885.9A CN114328472B (zh) 2022-03-15 2022-03-15 一种基于ai的数据迁移方法及系统

Publications (2)

Publication Number Publication Date
CN114328472A true CN114328472A (zh) 2022-04-12
CN114328472B CN114328472B (zh) 2022-05-27

Family

ID=81033683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210252885.9A Active CN114328472B (zh) 2022-03-15 2022-03-15 一种基于ai的数据迁移方法及系统

Country Status (1)

Country Link
CN (1) CN114328472B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902593A (zh) * 2012-12-27 2014-07-02 中国移动通信集团河南有限公司 一种数据迁移的方法和装置
CN111752710A (zh) * 2020-06-23 2020-10-09 中国电力科学研究院有限公司 数据中心pue动态优化方法、系统、设备及可读存储介质
CN111880744A (zh) * 2020-07-29 2020-11-03 苏州浪潮智能科技有限公司 一种数据迁移方法、装置、电子设备和介质
CN112181951A (zh) * 2020-10-20 2021-01-05 新华三大数据技术有限公司 一种异构数据库数据迁移方法、装置及设备
CN112286459A (zh) * 2020-10-29 2021-01-29 苏州浪潮智能科技有限公司 一种数据处理方法、装置、设备及介质
CN112347080A (zh) * 2020-11-11 2021-02-09 金蝶云科技有限公司 一种数据迁移方法及相关装置
CN112541621A (zh) * 2020-12-02 2021-03-23 香港理工大学深圳研究院 一种移动预测方法、智能终端及存储介质
US20210232458A1 (en) * 2020-01-28 2021-07-29 EMC IP Holding Company LLC Logical backup using a storage system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902593A (zh) * 2012-12-27 2014-07-02 中国移动通信集团河南有限公司 一种数据迁移的方法和装置
US20210232458A1 (en) * 2020-01-28 2021-07-29 EMC IP Holding Company LLC Logical backup using a storage system
CN111752710A (zh) * 2020-06-23 2020-10-09 中国电力科学研究院有限公司 数据中心pue动态优化方法、系统、设备及可读存储介质
CN111880744A (zh) * 2020-07-29 2020-11-03 苏州浪潮智能科技有限公司 一种数据迁移方法、装置、电子设备和介质
CN112181951A (zh) * 2020-10-20 2021-01-05 新华三大数据技术有限公司 一种异构数据库数据迁移方法、装置及设备
CN112286459A (zh) * 2020-10-29 2021-01-29 苏州浪潮智能科技有限公司 一种数据处理方法、装置、设备及介质
CN112347080A (zh) * 2020-11-11 2021-02-09 金蝶云科技有限公司 一种数据迁移方法及相关装置
CN112541621A (zh) * 2020-12-02 2021-03-23 香港理工大学深圳研究院 一种移动预测方法、智能终端及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张丽霞: ""基于人工智能算法的大数据迁移策略应用研究"", 《计算机产品与流通》 *
张丽霞: ""基于人工智能算法的大数据迁移策略应用研究"", 《计算机产品与流通》, no. 2019, 28 February 2019 (2019-02-28), pages 1 *

Also Published As

Publication number Publication date
CN114328472B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
US20130024167A1 (en) Computer-Implemented Systems And Methods For Large Scale Automatic Forecast Combinations
US20180225617A1 (en) Method and system for automated work pattern quantification
US11481659B1 (en) Hyperparameter optimization using fairness constraints
CN111381970A (zh) 集群任务的资源分配方法及装置、计算机装置及存储介质
EP2634733A1 (en) Operations task management system and method
Ullah A method for predicting open source software residual defects
US20220327452A1 (en) Method for automatically updating unit cost of inspection by using comparison between inspection time and work time of crowdsourcing-based project for generating artificial intelligence training data
Janssenswillen et al. Towards confirmatory process discovery: making assertions about the underlying system
CN115098600A (zh) 用于数据仓库的有向无环图构建方法、装置和计算机设备
CN114661994B (zh) 基于人工智能的用户兴趣数据处理方法、系统及云平台
CN117008960A (zh) Api文档生成方法、装置、存储介质及芯片
Xie Software reliability models—A selected annotated bibliography
CN114328472B (zh) 一种基于ai的数据迁移方法及系统
CN114693011A (zh) 一种政策匹配方法、装置、设备和介质
CN109977016B (zh) 一种测试触发方法、装置和设备以及一种测试系统
Fenton et al. Software project and quality modelling using Bayesian networks
CN116681967A (zh) 一种目标检测方法、装置、设备及介质
CN110858355A (zh) 项目预算结余预测方法及装置
CN115205052A (zh) 理财产品的推荐方法及装置、电子设备、存储介质
CN115098336A (zh) 数仓任务监控方法、系统、设备及存储介质
JP6617605B2 (ja) 需要量予測プログラム、需要量予測方法、及び情報処理装置
CN114817209A (zh) 监控规则的处理方法和装置、处理器及电子设备
CN112669093A (zh) 海洋经济预测方法、系统、电子设备及存储介质
CN106909744B (zh) 流程模型可信度动态评估方法和系统
Sęk et al. Application of analytic hierarchy process in selecting a state-made electronic documentation management system for Polish municipalities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant