CN114398313B - 一种文件级数据的智能迁移操作方法及系统 - Google Patents
一种文件级数据的智能迁移操作方法及系统 Download PDFInfo
- Publication number
- CN114398313B CN114398313B CN202210279925.9A CN202210279925A CN114398313B CN 114398313 B CN114398313 B CN 114398313B CN 202210279925 A CN202210279925 A CN 202210279925A CN 114398313 B CN114398313 B CN 114398313B
- Authority
- CN
- China
- Prior art keywords
- file
- migration
- information
- value evaluation
- evaluation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/119—Details of migration of file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种文件级数据的智能迁移操作方法及系统,其中,所述方法包括:对接数据迁出方获得迁移文件,进而采集迁移文件数据信息,对迁移文件进行标签构建,获得用户标签信息;根据用户标签信息对迁移文件数据信息进行区块化分类,获得区块化分类结果;构建并使用文件级数据价值评估模型对区块化分类结果进行价值评估,根据评估结果,获得迁移请求;对迁移文件数据信息进行加密后,按照第一迁移请求进行文件数据信息迁移。解决了现有技术中存在文件迁移过程中选择迁移对象时忽视迁移文件重要程度差异并且文件迁移模块化程度较低的技术问题。
Description
技术领域
本发明涉及数据处理领域,具体涉及一种文件级数据的智能迁移操作方法及系统。
背景技术
随着云应用越来越广泛,数据迁移成为了云技术发展的关键点。其中,云技术的迁移方法包括应用迁移、数据库迁移、整机迁移和文件迁移。而文件迁移为其他几种迁移方法的基础,换句话说,文件迁移是云迁移的基础功能。现有的文件迁移策略可以但不限于通过构建触发函数、激发迁移操作、结合云端资源占用情况选择迁移对象,从而实现迁移过程,减少文件云端存储的负载性能的负面作用。
但现有技术存在文件迁移过程中选择迁移对象时忽视迁移文件重要程度差异并且文件迁移模块化程度较低的技术问题。
发明内容
本申请通过提供了一种文件级数据的智能迁移操作方法及系统,解决了现有技术中存在文件迁移过程中选择迁移对象时忽视迁移文件重要程度差异并且文件迁移模块化程度较低的技术问题。达到了在设计文件迁移策略时,对迁移文件进行区块化并且进行价值评估,提高迁移对象选择的灵活性且兼顾了迁移文件的重要程度,提高文件迁移的模块化程度的技术效果。
鉴于上述问题,本申请提供了一种文件级数据的智能迁移操作方法及系统。
第一方面,本申请提供了一种文件级数据的智能迁移操作方法,其中,所述方法包括:对接数据迁出方获得迁移文件,采集迁移文件数据信息;基于所述迁移文件数据信息,进行迁移文件标签构建,获得用户标签信息;根据所述用户标签信息对所述迁移文件数据信息进行区块化分类,获得区块化分类结果;获得文件级数据价值评估模型;基于所述文件级数据价值评估模型对所述区块化分类结果进行价值评估,获得第一评估结果;基于所述第一评估结果,获得第一迁移请求;对所述迁移文件数据信息进行加密后,基于所述第一迁移请求完成文件数据信息迁移。
另一方面,本申请提供了一种文件级数据的智能迁移操作系统,其中,所述系统包括:第一采集单元,所述第一采集单元用于对接数据迁出方获得迁移文件,采集迁移文件数据信息;第一获得单元,所述第一获得单元用于基于所述迁移文件数据信息,进行迁移文件标签构建,获得用户标签信息;第二获得单元,所述第二获得单元用于根据所述用户标签信息对所述迁移文件数据信息进行区块化分类,获得区块化分类结果;第三获得单元,所述第三获得单元用于获得文件级数据价值评估模型;第四获得单元,所述第四获得单元用于基于所述文件级数据价值评估模型对所述区块化分类结果进行价值评估,获得第一评估结果;第五获得单元,所述第五获得单元用于基于所述第一评估结果,获得第一迁移请求;第一执行单元,所述第一执行单元用于对所述迁移文件数据信息进行加密后,基于所述第一迁移请求完成文件数据信息迁移。
第三方面,本申请提供了一种文件级数据的智能迁移操作系统,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了对接数据迁出方获得迁移文件,进而采集迁移文件数据信息,对迁移文件进行标签构建,获得用户标签信息;根据用户标签信息对迁移文件数据信息进行区块化分类,获得区块化分类结果;构建并使用文件级数据价值评估模型对区块化分类结果进行价值评估,根据评估结果,获得迁移请求;对迁移文件数据信息进行加密后,按照第一迁移请求进行文件数据信息迁移的技术方案,本申请通过提供了一种文件级数据的智能迁移操作方法及系统,达到了在设计文件迁移策略时,对迁移文件进行区块化并且进行价值评估,提高迁移对象选择的灵活性且兼顾了迁移文件的重要程度,提高文件迁移的模块化程度的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例一种文件级数据的智能迁移操作方法的流程示意图;
图2为本申请实施例一种文件级数据的智能迁移操作方法的获得第一评估结果的流程示意图;
图3为本申请实施例一种文件级数据的智能迁移操作方法的获得第一类文件级数据价值评估结果的流程示意图;
图4为本申请实施例一种文件级数据的智能迁移操作系统的结构示意图;
图5为本申请实施例示例性电子设备的结构示意图。
附图标记说明:第一采集单元11,第一获得单元12,第二获得单元13,第三获得单元14,第四获得单元15,第五获得单元16,第一执行单元17,电子设备300,存储器301,处理器302,通信接口303,总线架构304。
具体实施方式
本申请通过提供了一种文件级数据的智能迁移操作方法及系统,解决了现有技术中存在文件迁移过程中选择迁移对象时忽视迁移文件重要程度差异并且文件迁移模块化程度较低的技术问题。达到了在设计文件迁移策略时,对迁移文件进行区块化并且进行价值评估,提高迁移对象选择的灵活性且兼顾了迁移文件的重要程度,提高文件迁移的模块化程度的技术效果。
随着云应用越来越广泛,数据迁移成为了云技术发展的关键点。其中,云技术的迁移方法包括应用迁移、数据库迁移、整机迁移和文件迁移,文件迁移为其他几种迁移方法的基础,换句话说,文件迁移是云迁移的基础功能。现有的文件迁移策略可以但不限于通过构建触发函数、激发迁移操作、结合云端资源占用情况选择迁移对象,从而实现迁移过程,减少文件云端存储的负载性能的负面作用。但是,上述文件迁移策略存在选择迁移对象时忽视迁移文件重要程度差异并且文件迁移模块化程度较低的技术问题。
针对上述技术问题,本申请提供的技术方案总体思路如下:
本申请提供了一种文件级数据的智能迁移操作方法,其中,所述方法包括:对接数据迁出方获得迁移文件,进而采集迁移文件数据信息,对迁移文件进行标签构建,获得用户标签信息;根据用户标签信息对迁移文件数据信息进行区块化分类,获得区块化分类结果;构建并使用文件级数据价值评估模型对区块化分类结果进行价值评估,根据评估结果,获得迁移请求;对迁移文件数据信息进行加密后,按照第一迁移请求进行文件数据信息迁移。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了一种文件级数据的智能迁移操作方法,其中,所述方法包括:
S100:对接数据迁出方获得迁移文件,采集迁移文件数据信息;
S200:基于所述迁移文件数据信息,进行迁移文件标签构建,获得用户标签信息;
进一步的,本申请实施例步骤S200还包括:
S210:根据所述迁移文件数据信息,获得文件类型信息,将所述文件类型信息作为第一标签组成部分;
S220:根据所述迁移文件数据信息,获得文件密级信息,将所述文件密级信息作为第二标签组成部分;
S230:基于所述第一标签组成部分和所述第二标签组成部分构建迁移文件标签,获得所述用户标签信息。
具体而言,文件迁移由数据迁出方和数据迁入方共同参与,通过适宜的迁移策略完成文件级数据的迁移任务。从数据迁出方即数据提供方获得所述迁移文件,采集所述迁移文件的数据信息。所述迁移文件数据信息包括但不限于文件的数量、类型、名称、创建时间、占用空间、访问量等数据信息。数据迁出方根据所述迁移文件数据信息进行迁移文件的标签构建,标签用于标识文件。
构建迁移文件过程包括通过所述迁移文件数据信息获得文件类型信息,文件类型包括但不限于数据文件、配置文件、操作系统文件、应用程序文件等。将所述文件类型信息抽取后作为所述第一标签组成部分。进一步,企业文件密级管理时,会在文件名称中进行密级标识,并且现有技术可以根据文件中的特征词对文件密级进行识别,通过从文件名称、文件内容中进行密级识别后获得文件密级信息,例如:密级信息可以为绝密、机密、秘密、内部、公开等。将所述文件密级信息作为所述第二标签组成部分。将第一标签组成部分和第二标签组成部分进行迁移文件标签构建,为待迁移文件构建标签信息,作为所述用户标签信息。所述用户标签信息包括所述第一标签组成部分和所述第二标签组成部分。通过数据迁出方按照自己需求对待迁移文件进行标签构建后,可以为迁移文件的模块化奠定基础。
S300:根据所述用户标签信息对所述迁移文件数据信息进行区块化分类,获得区块化分类结果;
具体而言,对所述迁移文件数据信息进行区块化分类也就是对所述迁移文件进行分类。用户标签信息有两部分组成,即有两个分类维度。首先将迁移文件按照文件类型信息进行分类,之后将每一类文件按照密级进行分类。分类结果即所述区块化分类结果,每一区块中的文件数据的类型和密级一致。举例如:由迁移文件的类型信息可知有a类,由文件密级信息可知密级等级分为b个等级,那么按照所述用户标签信息进行区块化分类后,得到a*b个区块。
S400:获得文件级数据价值评估模型;
S500:基于所述文件级数据价值评估模型对所述区块化分类结果进行价值评估,获得第一评估结果;
具体而言,若在文件迁移过程中忽略对文件级数据价值的评估,那么在文件迁移结束时进行文件一致性核实时,对不同密级文件的核实效率较低,不能够优先核实机密文件。文件级数据的价值评估需要对文件的多方面进行评估,从而得到文件的综合价值。因此构建所述文件级数据价值评估模型,所述文件级数据价值评估模型由多个评估通道构成,每个评估通道代表一个评价指标,通过M个评估通道的综合评价,形成最终的价值评估模型。其中M个评估通道是通过机器学习获得的。采集文件级数据价值评价数据,将评价数据按照评价指标进行划分,获得各评价指标的历史数据。这些数据来自于数据迁出方的内部评价数据和数据交易市场公开的交易数据。通过各评价指标的历史数据和标识数据在该指标下分值的标识数据对神经网络模型不断进行训练。当训练达到收敛时,获得训练好的M个评估通道,M个评估通道构成所述文件级数据价值评估模型。使用所述文件级数据价值评估模型对所述区块化分类结果进行评价,对每一区块中的所有文件进行评价后将所有文件的均值作为每一区块的价值评估结果,所有价值评估结果作为所述第一评估结果。对迁移文件进行区块化后,对每一区块进行价值评估,能够将文件从无序转化为有序,并且通过价值评估能够为文件迁移提供新思路,增加文件迁移时迁移对象选择的灵活性,提高文件一致性核实的效率。
S600:基于所述第一评估结果,获得第一迁移请求;
S700:对所述迁移文件数据信息进行加密后,基于所述第一迁移请求完成文件数据信息迁移。
具体而言,所述第一评估结果为每一区块的价值评估结果集合,可以按照每一区块的价值评估结果对所有区块进行排序,按照价值由高到低生成价值排序表。基于文件区块的价值排序和区块内文件的价值排序生成所述第一迁移请求。为了保证迁移数据的安全性,需要对迁移文件数据信息进行加密,可使用对称机密或非对称加密方式进行加密,或采用对称机密与非对称加密方式相结合的方式加密。加密后,按照所述第一迁移请求将文件数据信息进行迁移,完成文件迁移。通过价值排序能够将不同价值的文件依次迁移,从而根据迁移进程可以对文件价值进行预估,同时这种分块迁移的方式能够提高文件迁移的模块化程度和迁移灵活性。
进一步的,如图2所示,本申请实施例步骤S500还包括:
S510:所述文件级数据价值评估模型包括第一价值评估通道、第二价值评估通道直至第M价值评估通道;
S520:基于所述区块化分类结果,获得第一类文件级数据集合、第二类文件级数据集合直至第N类文件级数据集合;
S530:将所述第一类文件级数据集合输入所述第一价值评估通道、第二价值评估通道直至第M价值评估通道,获得第一类文件级数据价值评估结果;
S540:获得第二类文件级数据价值评估结果、第三类文件级数据价值评估结果直至第N类文件级数据价值评估结果;
S550:将所述第一类文件级数据价值评估结果、所述第二类文件级数据价值评估结果、所述第三类文件级数据价值评估结果直至所述第N类文件级数据价值评估结果作为所述第一评估结果。
具体而言,所述文件级数据价值评估模型包括第一价值评估通道、第二价值评估通道直至第M价值评估通道,其中价值评估通道与价值评估指标对应,所述文件级数据价值评估模型的总通道数由价值评估指标的数目确定。所述区块化分类结果包括第一类文件级数据集合、第二类文件级数据集合直至第N类文件级数据集合。将所述第一类文件级数据集合输入所述文件级数据价值评估模型的每一条通道中进行价值评估,获得每一通道的价值评估结果。由于价值评估指标的重要性不同,核心的评估指标的重要性要强于其他非核心价值评估指标。需要对每一指标进行权重分析,可通过层次分析法等权重分配方法获得各指标的权重分配结果。通过每一通道的价值评估结果和各指标的权重进行加权平均计算后获得第一类文件级数据价值评估结果。同理,可以获得第二类文件级数据价值评估结果、第三类文件级数据价值评估结果直至第N类文件级数据价值评估结果。所述第一类文件级数据价值评估结果、所述第二类文件级数据价值评估结果直至所述第N类文件级数据价值评估结果组成所述第一评估结果。通过价值评估通道的评估,再经过加权计算获得的价值评估结果科学、可靠,能够全面的对文件级数据进行价值评估。
进一步的,如图3所示,本申请实施例S550还包括:
S551:基于所述第一类文件级数据集合,获得第一文件数据信息;
S552:将所述第一文件数据信息输入所述文件级数据价值评估模型,获得M个价值评估信息;
S553:基于第一权重分配结果和所述M个价值评估信息进行加权平均计算,获得第一文件数据价值评估结果;
S554:获得第二文件数据价值评估结果、第三文件数据价值评估结果直至第P文件数据价值评估结果;
S555:基于所述第一文件数据价值评估结果、所述第二文件数据价值评估结果、所述第三文件数据价值评估结果直至所述第P文件数据价值评估结果,获得所述第一类文件级数据价值评估结果。
进一步的,本申请实施例还包括:
S5531:预设第一评分标准,按照所述第一评分标准,收集专家评分信息;
S5532:基于所述专家评分信息,获得M个评价指标的重要性评价结果矩阵;
S5533:基于所述重要性评价结果矩阵,进行权重计算,获得所述第一权重分配结果。
具体而言,所述第一类文件级数据集合中包含若干个文件,假设包含P个文件,获得第一个待评价的文件数据,即所述第一文件数据信息。将所述第一文件数据信息输入所述文件级数据价值评估模型,通过M个价值评估通道进行价值评估,获得M个价值评估信息。
对M个评价指标进行权重分配,权重分配方法优选为层次分析法。层次分析法是指将与决策总是有关的元素分解成目标、准则、方案等层次,在此基础之上进行定性和定量分析的决策方法。层次分析法用于专家打分时,通过多位专家提供相对重要性的打分判断矩阵,专家数目可根据实际情况选择。基于专家意见预设第一评分标准,按照第一评分标准收集专家的评分结果。将评分信息汇总,汇总时可去掉最大值和最小值,然后计算平均值获得重要性评价结果矩阵。通过重要性评价结果矩阵进行权重计算,获得所述第一权重分配结果。第一权重分配结果为M个评价指标的权重分配结果。
进一步而言,基于第一权重分配结果和所述M个价值评估信息进行加权平均计算,获得第一文件数据价值评估结果。与获得第一文件数据价值评估结果过程一致,计算出第二文件数据价值评估结果、第三文件数据价值评估结果直至第P文件数据价值评估结果。将P个文件的数据价值评估结果进行求和后,计算均值,均值计算结果为所述第一类文件级数据价值评估结果。第二类文件级数据价值评估结果、第三类文件级数据价值评估结果直至第N类文件级数据价值评估结果的计算与第一类文件级数据价值评估结果一致。
进一步的,本申请实施例步骤S230还包括:
S231:对所述用户标签信息进行遍历,获得标签不完整迁移文件数据信息;
S232:对所述标签不完整迁移文件数据信息进行标签缺失分析,获得标签缺失部分信息;
S233:对所述标签缺失部分信息进行人工标注后,将所述标签不完整迁移文件数据信息进行类别划分,补充入所述区块化分类结果。
具体而言,随着计算机技术的不断更新,数据迁出方的数据存储水平、文件数据管理能力也在不断提升。需要迁移的文件中可能存在较早时期存储的数据文件,这些文件的规范化程度不高,在迁移文件的标签构建时,可能会出现无法顺利生成标签的现象。对所述用户标签信息进行遍历,寻找缺失标签不完整的迁移文件数据信息。由于文件密级信息是通过文件中的特征词、文件名称等对文件密级进行识别,一些老旧的文件由于规范化程度低,文件密级识别不到对应密级信息时,就会造成标签缺失。因此对缺失标签进行分析,判断时缺失第一标签组成部分还是缺失第二标签组成部分。由于缺失标签数量较小,采用人工标注的方式能够快速、准确的对标签缺失部分信息进行标注。标注后按照标签信息进行分类后,将标注后的数据信息补充入对应的区块中。通过人工辅助的方法使得所有文件都能够被区块化分类,不会遗漏需要迁移的任何一个文件。
进一步的,本申请实施例还包括:
S610:基于所述第一评估结果对所述区块化分类结果进行价值排序,获得第一迁移顺序信息;
S620:获得数据迁入方的数据存储结构信息;
S630:根据所述存储结构信息和所述迁移文件的类型信息构建第一映射关系;
S640:基于所述存储结构信息和所述第一映射关系,获得第一迁移文件类型顺序信息;
S650:基于所述第一迁移文件类型顺序信息和所述第一迁移顺序信息,获得第二迁移顺序信息;
S660:基于所述第二迁移顺序信息生成所述第一迁移请求。
具体而言,对所述区块化分类结果进行排序,由于区块化分类时的分类要素之一是文件类型信息。按照文件类型进行类型间的价值排序,将类型间的价值排序结果作为第一迁移顺序信息,即每一类文件数据的迁移顺序。获得数据迁入方的数据存储结构信息,举例如:数据存储结构为层状结构,不同层放置不同的数据。
通过所述存储结构可以确认每一存储位置放置的数据类型,将所述存储结构和迁移文件的类型信息之间构建映射关系,映射关系可为多对一,也可为一对多,也可为一对一。换句话说,数据迁入方的数据存储结构中的某一存储区域内可以仅存放单一类型文件数据,也可以存在多种类型文件,或是多个存储区域可存放同一类型文件数据,允许存在多种情况。基于所述存储结构信息和所述第一映射关系,数据迁入方按照数据类型生成第一迁移文件类型顺序信息。若存在多种文件类型顺序并列时,对于并列的文件类型随机生成顺序,例如两种类型并列第二,那么随机为这两种类型赋予顺序。
所述第一迁移顺序信息为类型间的价值排序结果,按照所述第一迁移文件类型顺序信息和所述第一迁移顺序信息,获得第二迁移顺序信息。第二迁移顺序信息是按照数据迁入方的需求和数据迁出方的价值评估结果进行综合排序的结果。将所述第二迁移顺序信息作为最终的迁移顺序,生成所述第一迁移请求。增加了数据迁移的可靠性和灵活性,进而提高文件迁移的效率。
综上所述,本申请实施例所提供的一种文件级数据的智能迁移操作方法及系统具有如下技术效果:
1、由于采用了对接数据迁出方获得迁移文件,进而采集迁移文件数据信息,对迁移文件进行标签构建,获得用户标签信息;根据用户标签信息对迁移文件数据信息进行区块化分类,获得区块化分类结果;构建并使用文件级数据价值评估模型对区块化分类结果进行价值评估,根据评估结果,获得迁移请求;对迁移文件数据信息进行加密后,按照第一迁移请求进行文件数据信息迁移的技术方案,本申请实施例通过提供了一种文件级数据的智能迁移操作方法及系统,达到了在设计文件迁移策略时,对迁移文件进行区块化并且进行价值评估,提高迁移对象选择的灵活性且兼顾了迁移文件的重要程度,提高文件迁移的模块化程度的技术效果。
2、由于采用了对迁移顺序信息进行适应性调整的方法,得到可靠的迁移顺序,对应生成的迁移请求能够提高文件迁移的效率,同时也增加了数据迁移的可靠性和灵活性的技术效果。
实施例二
基于与前述实施例中一种文件级数据的智能迁移操作方法相同的发明构思,如图4所示,本申请实施例提供了一种文件级数据的智能迁移操作系统,其中,所述系统包括:
第一采集单元11,所述第一采集单元11用于对接数据迁出方获得迁移文件,采集迁移文件数据信息;
第一获得单元12,所述第一获得单元12用于基于所述迁移文件数据信息,进行迁移文件标签构建,获得用户标签信息;
第二获得单元13,所述第二获得单元13用于根据所述用户标签信息对所述迁移文件数据信息进行区块化分类,获得区块化分类结果;
第三获得单元14,所述第三获得单元14用于获得文件级数据价值评估模型;
第四获得单元15,所述第四获得单元15用于基于所述文件级数据价值评估模型对所述区块化分类结果进行价值评估,获得第一评估结果;
第五获得单元16,所述第五获得单元16用于基于所述第一评估结果,获得第一迁移请求;
第一执行单元17,所述第一执行单元17用于对所述迁移文件数据信息进行加密后,基于所述第一迁移请求完成文件数据信息迁移。
进一步的,所述系统包括:
第二执行单元,所述第二执行单元用于根据所述迁移文件数据信息,获得文件类型信息,将所述文件类型信息作为第一标签组成部分;
第三执行单元,所述第三执行单元用于根据所述迁移文件数据信息,获得文件密级信息,将所述文件密级信息作为第二标签组成部分;
第六获得单元,所述第六获得单元用于基于所述第一标签组成部分和所述第二标签组成部分构建迁移文件标签,获得所述用户标签信息。
进一步的,所述系统包括:
第七获得单元,所述第七获得单元用于基于所述区块化分类结果,获得第一类文件级数据集合、第二类文件级数据集合直至第N类文件级数据集合;
第八获得单元,所述第八获得单元用于将所述第一类文件级数据集合输入所述第一价值评估通道、第二价值评估通道直至第M价值评估通道,获得第一类文件级数据价值评估结果;
第九获得单元,所述第九获得单元用于获得第二类文件级数据价值评估结果、第三类文件级数据价值评估结果直至第N类文件级数据价值评估结果;
第四执行单元,所述第四执行单元用于将所述第一类文件级数据价值评估结果、所述第二类文件级数据价值评估结果、所述第三类文件级数据价值评估结果直至所述第N类文件级数据价值评估结果作为所述第一评估结果。
进一步的,所述系统包括:
第十获得单元,所述第十获得单元用于基于所述第一类文件级数据集合,获得第一文件数据信息;
第十一获得单元,所述第十一获得单元用于将所述第一文件数据信息输入所述文件级数据价值评估模型,获得M个价值评估信息;
第十二获得单元,所述第十二获得单元用于基于第一权重分配结果和所述M个价值评估信息进行加权平均计算,获得第一文件数据价值评估结果;
第十三获得单元,所述第十三获得单元用于获得第二文件数据价值评估结果、第三文件数据价值评估结果直至第P文件数据价值评估结果;
第十四获得单元,所述第十四获得单元用于基于所述第一文件数据价值评估结果、所述第二文件数据价值评估结果、所述第三文件数据价值评估结果直至所述第P文件数据价值评估结果,获得所述第一类文件级数据价值评估结果。
进一步的,所述系统包括:
第五执行单元,所述第五执行单元用于预设第一评分标准,按照所述第一评分标准,收集专家评分信息;
第十五获得单元,所述第十五获得单元用于基于所述专家评分信息,获得M个评价指标的重要性评价结果矩阵;
第十六获得单元,所述第十六获得单元用于基于所述重要性评价结果矩阵,进行权重计算,获得所述第一权重分配结果。
进一步的,所述系统包括:
第十七获得单元,所述第十七获得单元用于对所述用户标签信息进行遍历,获得标签不完整迁移文件数据信息;
第十八获得单元,所述第十八获得单元用于对所述标签不完整迁移文件数据信息进行标签缺失分析,获得标签缺失部分信息;
第六执行单元,所述第六执行单元用于对所述标签缺失部分信息进行人工标注后,将所述标签不完整迁移文件数据信息进行类别划分,补充入所述区块化分类结果。
进一步的,所述系统包括:
第十九获得单元,所述第十九获得单元用于基于所述第一评估结果对所述区块化分类结果进行价值排序,获得第一迁移顺序信息;
第二十获得单元,所述第二十获得单元用于获得数据迁入方的数据存储结构信息;
第一构建单元,所述第一构建单元用于根据所述存储结构信息和迁移文件的类型信息构建第一映射关系;
第二十一获得单元,所述第二十一获得单元用于基于所述存储结构信息和所述第一映射关系,获得第一迁移文件类型顺序信息;
第二十二获得单元,所述第二十二获得单元用于基于所述第一迁移文件类型顺序信息和所述第一迁移顺序信息,获得第二迁移顺序信息;
第一生成单元,所述第一生成单元用于基于所述第二迁移顺序信息生成所述第一迁移请求。
示例性电子设备
下面参考图5来描述本申请实施例的电子设备。
基于与前述实施例中一种文件级数据的智能迁移操作方法相同的发明构思,本申请实施例还提供了一种文件级数据的智能迁移操作系统,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序,当所述程序被所述处理器执行时,使得系统以执行第一方面任一项所述的方法。
该电子设备300包括:处理器302、通信接口303、存储器301。可选的,电子设备300还可以包括总线架构304。其中,通信接口303、处理器302以及存储器301可以通过总线架构304相互连接;总线架构304可以是外设部件互连标(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry Standardarchitecture,简称EISA)总线等。所述总线架构304可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
处理器302可以是一个CPU,微处理器,ASIC,或一个或多个用于控制本申请方案程序执行的集成电路。
通信接口303,使用任何收发器一类的系统,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN),有线接入网等。
存储器301可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable Programmable read only memory,EEPROM)、只读光盘(compactdisc read only memory,CD ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线架构304与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器301用于存储执行本申请方案的计算机执行指令,并由处理器302来控制执行。处理器302用于执行存储器301中存储的计算机执行指令,从而实现本申请上述实施例提供的一种文件级数据的智能迁移操作方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
本申请实施例提供了一种文件级数据的智能迁移操作方法,其中,所述方法包括:对接数据迁出方获得迁移文件,进而采集迁移文件数据信息,对迁移文件进行标签构建,获得用户标签信息;根据用户标签信息对迁移文件数据信息进行区块化分类,获得区块化分类结果;构建并使用文件级数据价值评估模型对区块化分类结果进行价值评估,根据评估结果,获得迁移请求;对迁移文件数据信息进行加密后,按照第一迁移请求进行文件数据信息迁移。
本领域普通技术人员可以理解:本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分,并不用来限制本申请实施例的范围,也不表示先后顺序。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或者多个。至少两个是指两个或者多个。“至少一个”、“任意一个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个、种),可以表示:a,b,c,a b,a c,b c,或a b c,其中a,b,c可以是单个,也可以是多个。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
本申请实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列(FPGA)或其它可编程逻辑系统,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于终端中。可选地,处理器和存储媒介也可以设置于终端中的不同的部件中。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是本申请所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。
Claims (8)
1.一种文件级数据的智能迁移操作方法,其特征在于,所述方法包括:
对接数据迁出方获得迁移文件,采集迁移文件数据信息;
基于所述迁移文件数据信息,进行迁移文件标签构建,获得用户标签信息;
根据所述用户标签信息对所述迁移文件数据信息进行区块化分类,获得区块化分类结果;
获得文件级数据价值评估模型;
基于所述文件级数据价值评估模型对所述区块化分类结果进行价值评估,获得第一评估结果;
基于所述第一评估结果,获得第一迁移请求;
对所述迁移文件数据信息进行加密后,基于所述第一迁移请求完成文件数据信息迁移;
其中,所述文件级数据价值评估模型包括第一价值评估通道、第二价值评估通道直至第M价值评估通道;
基于所述区块化分类结果,获得第一类文件级数据集合、第二类文件级数据集合直至第N类文件级数据集合;
将所述第一类文件级数据集合输入所述第一价值评估通道、第二价值评估通道直至第M价值评估通道,获得第一类文件级数据价值评估结果;
获得第二类文件级数据价值评估结果、第三类文件级数据价值评估结果直至第N类文件级数据价值评估结果;
将所述第一类文件级数据价值评估结果、所述第二类文件级数据价值评估结果、所述第三类文件级数据价值评估结果直至所述第N类文件级数据价值评估结果作为所述第一评估结果。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述迁移文件数据信息,获得文件类型信息,将所述文件类型信息作为第一标签组成部分;
根据所述迁移文件数据信息,获得文件密级信息,将所述文件密级信息作为第二标签组成部分;
基于所述第一标签组成部分和所述第二标签组成部分构建迁移文件标签,获得所述用户标签信息。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述第一类文件级数据集合,获得第一文件数据信息;
将所述第一文件数据信息输入所述文件级数据价值评估模型,获得M个价值评估信息;
基于第一权重分配结果和所述M个价值评估信息进行加权平均计算,获得第一文件数据价值评估结果;
获得第二文件数据价值评估结果、第三文件数据价值评估结果直至第P文件数据价值评估结果;
基于所述第一文件数据价值评估结果、所述第二文件数据价值评估结果、所述第三文件数据价值评估结果直至所述第P文件数据价值评估结果,获得所述第一类文件级数据价值评估结果。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
预设第一评分标准,按照所述第一评分标准,收集专家评分信息;
基于所述专家评分信息,获得M个评价指标的重要性评价结果矩阵;
基于所述重要性评价结果矩阵,进行权重计算,获得所述第一权重分配结果。
5.如权利要求2所述的方法,其特征在于,所述方法还包括:
对所述用户标签信息进行遍历,获得标签不完整迁移文件数据信息;
对所述标签不完整迁移文件数据信息进行标签缺失分析,获得标签缺失部分信息;
对所述标签缺失部分信息进行人工标注后,将所述标签不完整迁移文件数据信息进行类别划分,补充入所述区块化分类结果。
6.如权利要求1所述的方法,其特征在于,所述基于所述第一评估结果,获得第一迁移请求,所述方法还包括:
基于所述第一评估结果对所述区块化分类结果进行价值排序,获得第一迁移顺序信息;
获得数据迁入方的数据存储结构信息;
根据所述存储结构信息和迁移文件的类型信息构建第一映射关系;
基于所述存储结构信息和所述第一映射关系,获得第一迁移文件类型顺序信息;
基于所述第一迁移文件类型顺序信息和所述第一迁移顺序信息,获得第二迁移顺序信息;
基于所述第二迁移顺序信息生成所述第一迁移请求。
7.一种文件级数据的智能迁移操作系统,其特征在于,所述系统包括:
第一采集单元,所述第一采集单元用于对接数据迁出方获得迁移文件,采集迁移文件数据信息;
第一获得单元,所述第一获得单元用于基于所述迁移文件数据信息,进行迁移文件标签构建,获得用户标签信息;
第二获得单元,所述第二获得单元用于根据所述用户标签信息对所述迁移文件数据信息进行区块化分类,获得区块化分类结果;
第三获得单元,所述第三获得单元用于获得文件级数据价值评估模型;
第四获得单元,所述第四获得单元用于基于所述文件级数据价值评估模型对所述区块化分类结果进行价值评估,获得第一评估结果;
第五获得单元,所述第五获得单元用于基于所述第一评估结果,获得第一迁移请求;
第一执行单元,所述第一执行单元用于对所述迁移文件数据信息进行加密后,基于所述第一迁移请求完成文件数据信息迁移;
其中,所述第三获得单元获得的所述文件级数据价值评估模型包括第一价值评估通道、第二价值评估通道直至第M价值评估通道;
第七获得单元,所述第七获得单元用于基于所述区块化分类结果,获得第一类文件级数据集合、第二类文件级数据集合直至第N类文件级数据集合;
第八获得单元,所述第八获得单元用于将所述第一类文件级数据集合输入所述第一价值评估通道、第二价值评估通道直至第M价值评估通道,获得第一类文件级数据价值评估结果;
第九获得单元,所述第九获得单元用于获得第二类文件级数据价值评估结果、第三类文件级数据价值评估结果直至第N类文件级数据价值评估结果;
第四执行单元,所述第四执行单元用于将所述第一类文件级数据价值评估结果、所述第二类文件级数据价值评估结果、所述第三类文件级数据价值评估结果直至所述第N类文件级数据价值评估结果作为所述第一评估结果。
8.一种文件级数据的智能迁移操作系统,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序,当所述程序被所述处理器执行时,其特征在于,使系统以执行如权利要求1~6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210279925.9A CN114398313B (zh) | 2022-03-22 | 2022-03-22 | 一种文件级数据的智能迁移操作方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210279925.9A CN114398313B (zh) | 2022-03-22 | 2022-03-22 | 一种文件级数据的智能迁移操作方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114398313A CN114398313A (zh) | 2022-04-26 |
CN114398313B true CN114398313B (zh) | 2022-06-14 |
Family
ID=81234930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210279925.9A Active CN114398313B (zh) | 2022-03-22 | 2022-03-22 | 一种文件级数据的智能迁移操作方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114398313B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491165A (zh) * | 2018-03-27 | 2018-09-04 | 中国农业银行股份有限公司 | 一种用于分级存储的数据迁移方法及系统 |
CN108595108A (zh) * | 2017-12-29 | 2018-09-28 | 北京奇虎科技有限公司 | 一种数据的迁移方法和装置 |
EP3662412A1 (en) * | 2017-08-01 | 2020-06-10 | 3M Innovative Properties Company | Neural style transfer for image varietization and recognition |
CN111275107A (zh) * | 2020-01-20 | 2020-06-12 | 西安奥卡云数据科技有限公司 | 一种基于迁移学习的多标签场景图像分类方法及装置 |
CN111708937A (zh) * | 2020-05-27 | 2020-09-25 | 西安理工大学 | 基于标签迁移的跨域推荐方法 |
-
2022
- 2022-03-22 CN CN202210279925.9A patent/CN114398313B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3662412A1 (en) * | 2017-08-01 | 2020-06-10 | 3M Innovative Properties Company | Neural style transfer for image varietization and recognition |
CN108595108A (zh) * | 2017-12-29 | 2018-09-28 | 北京奇虎科技有限公司 | 一种数据的迁移方法和装置 |
CN108491165A (zh) * | 2018-03-27 | 2018-09-04 | 中国农业银行股份有限公司 | 一种用于分级存储的数据迁移方法及系统 |
CN111275107A (zh) * | 2020-01-20 | 2020-06-12 | 西安奥卡云数据科技有限公司 | 一种基于迁移学习的多标签场景图像分类方法及装置 |
CN111708937A (zh) * | 2020-05-27 | 2020-09-25 | 西安理工大学 | 基于标签迁移的跨域推荐方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114398313A (zh) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dhieb et al. | A secure ai-driven architecture for automated insurance systems: Fraud detection and risk measurement | |
Lowalekar et al. | Online spatio-temporal matching in stochastic and dynamic domains | |
CN109657805B (zh) | 超参数确定方法、装置、电子设备及计算机可读介质 | |
Minku | A novel online supervised hyperparameter tuning procedure applied to cross-company software effort estimation | |
Filatovas et al. | A MCDM-based framework for blockchain consensus protocol selection | |
CN113282630B (zh) | 基于接口切换的数据查询方法及装置 | |
CN112241494A (zh) | 基于用户行为数据的关键信息推送方法及装置 | |
CN111462489A (zh) | 交通拥堵区域预测方法及装置 | |
Strotmann et al. | Author name disambiguation for collaboration network analysis and visualization | |
CN112948274A (zh) | 测试用例评分模型训练方法和测试用例选择方法 | |
CN111709714A (zh) | 基于人工智能的流失人员预测方法和装置 | |
Shaheen et al. | Generalized hesitant fuzzy rough sets (GHFRS) and their application in risk analysis | |
Xia et al. | A parallel SP-DBSCAN algorithm on spark for waiting spot recommendation | |
CN113342418B (zh) | 基于区块链的分布式机器学习任务卸载方法 | |
Taylor et al. | Reputation assessment: a review and unifying abstraction | |
CN114398313B (zh) | 一种文件级数据的智能迁移操作方法及系统 | |
CN114168610B (zh) | 一种基于线序划分的分布式存储和查询方法及系统 | |
CN115577983B (zh) | 基于区块链的企业任务匹配方法、服务器及存储介质 | |
Oliseenko et al. | How old users are? Community analysis | |
CN116629423A (zh) | 用户行为预测方法、装置、设备及存储介质 | |
CN115147020B (zh) | 装修数据处理方法、装置、设备及存储介质 | |
US20100070458A1 (en) | Rule creation method and rule creating apparatus | |
Tsai et al. | Simulation optimization in security screening systems subject to budget and waiting time constraints | |
CN115186759A (zh) | 模型训练方法及用户分类方法 | |
Lord et al. | Analyzing Highway Safety Datasets: Simplifying Statistical Analyses from Sparse to Big Data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |