CN115629721B - 适用于数据迁移的数据处理方法及平台 - Google Patents
适用于数据迁移的数据处理方法及平台 Download PDFInfo
- Publication number
- CN115629721B CN115629721B CN202211660138.5A CN202211660138A CN115629721B CN 115629721 B CN115629721 B CN 115629721B CN 202211660138 A CN202211660138 A CN 202211660138A CN 115629721 B CN115629721 B CN 115629721B
- Authority
- CN
- China
- Prior art keywords
- file
- target
- data
- security level
- encryption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005012 migration Effects 0.000 title claims abstract description 80
- 238000013508 migration Methods 0.000 title claims abstract description 80
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000013500 data storage Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000005192 partition Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims description 38
- 238000007726 management method Methods 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000004140 cleaning Methods 0.000 claims description 14
- 230000001960 triggered effect Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009333 weeding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Storage Device Security (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种适用于数据迁移的数据处理方法及平台,通过获取待迁移数据存储区域中待迁移项目文件中各个文件在待迁移数据存储区域中的原始存储地址以及保密等级,并根据各个文件的原始存储地址确定对应的目标读取地址,再根据文件目录中第一文件的第一保密等级确定第一文件的第一目标存储分区,从而在第一保密等级与项目保密等级不一致时,利用数据处理组件对第一文件进行第一加密处理,以生成第一加密文件,最后将第一加密文件迁移至第一目标存储分区,并在第一目标读取地址建立第一读取链接,进而在针对项目类文件进行数据迁移时,能够依据文件的保密等级进行针对性地存储,从而保证迁移后数据的安全性。
Description
技术领域
本申请涉及数据处理技术,尤其涉及一种适用于数据迁移的数据处理方法及平台。
背景技术
随着物联网、云计算等技术的快速发展,互联网的项目的数据量也爆炸式地增长,面对这些数据的增长,原始中小规模企业在发展到一定程度后,就会面临着数据迁移的问题。
当前可以进行自动化数据迁移的平台层出不穷,在这些商用平台中,可以实现数据整体的迁移。但是,现有的通用平台,往往仅仅是实现文件的机械化迁移,对于项目类、成体系并且设置有不同权限等级的文件,在迁移的过程中,无法做到针对性地管理。
发明内容
本申请提供一种适用于数据迁移的数据处理方法及平台,用以解决的现有技术的数据通用平台对于项目类、成体系并且设置有不同权限等级的文件,在迁移的过程中,无法做到针对性地管理技术问题。
第一方面,本申请提供一种适用于数据迁移的数据处理方法,应用于数据迁移平台,所述数据迁移平台包括待迁移数据存储区域、目标数据存储区域、数据处理组件以及数据迁移组件,所述方法包括:
获取所述待迁移数据存储区域中待迁移项目文件的文件信息,所述文件信息包括所述待迁移项目文件所对应的项目保密等级以及文件目录;
根据所述文件目录获取所述文件目录中各个文件在所述待迁移数据存储区域中的原始存储地址以及保密等级;
根据所述文件目录中各个文件的原始存储地址确定对应的所述文件目录中各个文件对应的目标读取地址,所述目标读取地址用于指引至所述目标数据存储区域中与所述项目保密等级相匹配的存储区域;
根据所述文件目录中第一文件的第一保密等级确定所述第一文件的第一目标存储分区,所述第一目标存储分区为所述目标数据存储区域中与所述第一保密等级相匹配的存储区域,所述第一文件为所述文件目录中的任一文件;
在所述第一保密等级与所述项目保密等级不一致时,所述数据处理组件用于对所述第一文件进行第一加密处理,以生成第一加密文件,所述第一加密处理为匹配所述目标数据存储区域中所述第一保密等级的加密条件所设置的加密方式;
所述数据迁移组件用于将所述第一加密文件迁移至所述第一目标存储分区,并在第一目标读取地址建立第一读取链接,所述第一目标读取地址为所述第一文件所对应的读取地址,所述第一读取链接在触发时用于对所述第一目标存储分区中的所述第一文件进行访问。
可选的,若所述第一保密等级与所述项目保密等级一致时,则所述第一目标读取地址位于所述第一目标存储分区,所述数据迁移组件用于将所述第一文件从对应的第一原始存储地址迁移至所述第一目标读取地址;或者,
若所述第一保密等级高于所述项目保密等级时,所述在第一目标读取地址建立第一读取链接,包括:
所述数据迁移组件在所述第一目标读取地址中建立所述第一读取链接,所述第一读取链接在被触发时,验证当前触发用户的权限信息;
若所述权限信息对应的保密等级高于或等于所述第一保密等级,则响应于触发动作,对所述第一目标存储分区中的所述第一文件进行访问;
若所述权限信息对应的保密等级低于所述第一保密等级,则响应于触发动作,弹出安全提示窗口;若所述权限信息对应的保密等级为文件管理权限,则响应于触发动作,弹出文件管理窗口,所述文件管理窗口包括文件信息显示区以及文件加密内容显示区,所述文件信息显示区用于展示所述第一目标存储地址,所述文件加密内容显示区用于显示加密后的所述第一文件,所述文件管理权限仅用于验证所述第一文件是否正确存储并正常打开或关闭。
可选的,所述文件加密内容显示区用于显示加密后的所述第一文件,包括:
响应于触发动作,向管理服务器发送读取所述第一文件的读取指令;
所述管理服务器根据所述读取指令,对存储于所述第一目标存储地址中的所述第一文件进行访问,并对访问界面进行全部或者局部加密处理,以生成第一加密界面,以使所述文件加密内容显示区调用所述第一加密界面,并显示所述第一加密界面。
可选的,若所述文件加密内容显示区显示所述第一文件显示失败,则在响应于触发动作,弹出文件管理窗口之后,还包括:
访问所述第一文件对应的第一原始存储地址;
若访问成功,则所述数据迁移组件用于对存储于所述第一原始存储地址的所述第一文件进行所述第一加密处理,并将加密后的文件覆盖存储于所述第一目标存储地址;
若访问失败,则输出日志文件,所述日志文件用于记录所述第一原始存储地址以及所述第一目标存储地址。
可选的,所述数据处理组件用于对所述第一文件进行第一加密处理,以生成第一加密文件,包括:
根据更新后的所述F以及预设第三加密函数,生成所述第一加密文件FS。
可选的,在所述数据迁移组件用于将所述第一加密文件迁移至所述第一目标存储分区之后,还包括:
获取所述第一加密文件的关联文件,其中,所述关联文件的访问地址记录于所述第一文件中;
获取所述第一文件的第一访问信息,所述第一访问信息包括访问账户以及所述访问账户对应的访问次数,其中,所述待迁移数据存储区域对应的访问账户C=,所述n为所述待迁移数据存储区域对应的访问账户总数,j为大于或等于1,小于或等于n的正整数;
根据以下公式计算文件权重值W,所述公式为:
若所述W大于预设权重阈值,则所述数据迁移组件用于将所述关联文件迁移至所述第一目标存储分区。
可选的,在所述获取所述待迁移数据存储区域中待迁移项目文件的文件信息之后,还包括:
根据预设文件清洗规则对所述待迁移项目文件进行数据清洗,其中,所述预设文件清洗规则基于文件大小、文件访问次数、文件格式以及保密等级中的一项或多项进行设立。
第二方面,本申请提供一种适用于数据迁移的数据处理平台,包括:
待迁移数据存储介质、目标数据存储介质、数据处理模块以及数据迁移模块;
所述数据处理模块,用于获取所述待迁移数据存储介质中待迁移项目文件的文件信息,所述文件信息包括所述待迁移项目文件所对应的项目保密等级以及文件目录;
所述数据处理模块,用于根据所述文件目录获取所述文件目录中各个文件在所述待迁移数据存储介质中的原始存储地址以及保密等级;
所述数据处理模块,用于根据所述文件目录中各个文件的原始存储地址确定对应的所述文件目录中各个文件对应的目标读取地址,所述目标读取地址用于指引至所述目标数据存储介质中与所述项目保密等级相匹配的存储区域;
所述数据处理模块,用于根据所述文件目录中第一文件的第一保密等级确定所述第一文件的第一目标存储分区,所述第一目标存储分区为所述目标数据存储介质中与所述第一保密等级相匹配的存储区域,所述第一文件为所述文件目录中的任一文件;
在所述第一保密等级与所述项目保密等级不一致时,所述数据处理模块用于对所述第一文件进行第一加密处理,以生成第一加密文件,所述第一加密处理为匹配所述目标数据存储介质中所述第一保密等级的加密条件所设置的加密方式;
所述数据迁移模块,用于将所述第一加密文件迁移至所述第一目标存储分区,并在第一目标读取地址建立第一读取链接,所述第一目标读取地址为所述第一文件所对应的读取地址,所述第一读取链接在触发时用于对所述第一目标存储分区中的所述第一文件进行访问。
可选的,若所述第一保密等级与所述项目保密等级一致时,则所述第一目标读取地址位于所述第一目标存储分区,所述数据迁移组件用于将所述第一文件从对应的第一原始存储地址迁移至所述第一目标读取地址;或者,
若所述第一保密等级高于所述项目保密等级时,所述在第一目标读取地址建立第一读取链接,包括:
所述数据迁移组件在所述第一目标读取地址中建立所述第一读取链接,所述第一读取链接在被触发时,验证当前触发用户的权限信息;
若所述权限信息对应的保密等级高于或等于所述第一保密等级,则响应于触发动作,对所述第一目标存储分区中的所述第一文件进行访问;
若所述权限信息对应的保密等级低于所述第一保密等级,则响应于触发动作,弹出安全提示窗口;若所述权限信息对应的保密等级为文件管理权限,则响应于触发动作,弹出文件管理窗口,所述文件管理窗口包括文件信息显示区以及文件加密内容显示区,所述文件信息显示区用于展示所述第一目标存储地址,所述文件加密内容显示区用于显示加密后的所述第一文件,所述文件管理权限仅用于验证所述第一文件是否正确存储并正常打开或关闭。
可选的,所述数据数据处理模块,具体用于:
响应于触发动作,向管理服务器发送读取所述第一文件的读取指令;
所述管理服务器根据所述读取指令,对存储于所述第一目标存储地址中的所述第一文件进行访问,并对访问界面进行全部或者局部加密处理,以生成第一加密界面,以使所述文件加密内容显示区调用所述第一加密界面,并显示所述第一加密界面。
可选的,所述数据迁移模块,具体用于:
访问所述第一文件对应的第一原始存储地址;
若访问成功,则所述数据迁移组件用于对存储于所述第一原始存储地址的所述第一文件进行所述第一加密处理,并将加密后的文件覆盖存储于所述第一目标存储地址;
若访问失败,则输出日志文件,所述日志文件用于记录所述第一原始存储地址以及所述第一目标存储地址。
可选的,所述数据数据处理模块,具体用于:
根据更新后的所述F以及预设第三加密函数,生成所述第一加密文件FS。
可选的,所述数据迁移模块,具体用于:
获取所述第一加密文件的关联文件,其中,所述关联文件的访问地址记录于所述第一文件中;
获取所述第一文件的第一访问信息,所述第一访问信息包括访问账户以及所述访问账户对应的访问次数,其中,所述待迁移数据存储区域对应的访问账户C=,所述n为所述待迁移数据存储区域对应的访问账户总数,j为大于或等于1,小于或等于n的正整数;
根据以下公式计算文件权重值W,所述公式为:
若所述W大于预设权重阈值,则所述数据迁移组件用于将所述关联文件迁移至所述第一目标存储分区。
可选的,所述数据迁移模块,具体用于:
根据预设文件清洗规则对所述待迁移项目文件进行数据清洗,其中,所述预设文件清洗规则基于文件大小、文件访问次数、文件格式以及保密等级中的一项或多项进行设立。
第三方面,本申请提供一种电子设备,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行第一方面中所述的任一种可能的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面中所述的任一种可能的方法。
本申请提供的一种适用于数据迁移的数据处理方法及平台,通过获取待迁移数据存储区域中待迁移项目文件的文件信息,然后,根据文件目录获取文件目录中各个文件在待迁移数据存储区域中的原始存储地址以及保密等级,并根据文件目录中各个文件的原始存储地址确定对应的文件目录中各个文件对应的目标读取地址,再根据文件目录中第一文件的第一保密等级确定第一文件的第一目标存储分区,从而在第一保密等级与项目保密等级不一致时,利用数据处理组件对第一文件进行第一加密处理,以生成第一加密文件,最后利用数据迁移组件将第一加密文件迁移至第一目标存储分区,并在第一目标读取地址建立第一读取链接,进而在针对项目类文件进行数据迁移时,能够依据文件的保密等级进行针对性地存储,从而保证迁移后数据的安全性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例实施例示出的适用于数据迁移的数据处理方法的流程示意图;
图2是本申请根据一示例实施例示出的适用于数据迁移的数据处理平台的结构示意图;
图3是本申请根据一示例实施例示出的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是本申请根据一示例实施例示出的基于数据处理的除草任务路径规划方法的流程示意图。如图1所示,本实施例提供的方法,应用于数据迁移平台,数据迁移平台包括待迁移数据存储区域、目标数据存储区域、数据处理组件以及数据迁移组件,该方法包括:
S101、获取待迁移数据存储区域中待迁移项目文件的文件信息。
在本步骤中,获取待迁移数据存储区域中待迁移项目文件的文件信息,其中,文件信息可以包括待迁移项目文件所对应的项目保密等级以及文件目录。
S102、根据文件目录获取文件目录中各个文件在待迁移数据存储区域中的原始存储地址以及保密等级。
根据文件目录获取文件目录中各个文件在待迁移数据存储区域中的原始存储地址以及保密等级。可选的,上述的保密等级可以是基于各个文件生成时,项目人员选定的,也可以是在项目结束后,项目归档人员进行分配的。
S103、根据文件目录中各个文件的原始存储地址确定对应的文件目录中各个文件对应的目标读取地址。
在本步骤中,可以是根据文件目录中各个文件的原始存储地址确定对应的文件目录中各个文件对应的目标读取地址,目标读取地址用于指引至目标数据存储区域中与项目保密等级相匹配的存储区域。可以理解的,目标读取地址可以是目标数据存储区域中的访问地址,而目标数据存储区域则是与项目保密等级相匹配的存储区域,例如,对于保密等级为一级的文件,其所对应的目标数据存储区域用于存储保密等级为一级的文件。
S104、根据文件目录中第一文件的第一保密等级确定第一文件的第一目标存储分区。
可选的,可以是根据文件目录中第一文件的第一保密等级确定第一文件的第一目标存储分区,其中,第一目标存储分区为目标数据存储区域中与第一保密等级相匹配的存储区域,而第一文件为文件目录中的任一文件。
S105、在第一保密等级与项目保密等级不一致时,数据处理组件用于对第一文件进行第一加密处理,以生成第一加密文件。
在第一保密等级与项目保密等级不一致时,数据处理组件用于对第一文件进行第一加密处理,以生成第一加密文件,第一加密处理为匹配目标数据存储区域中第一保密等级的加密条件所设置的加密方式。
可选的,若第一保密等级与项目保密等级一致时,则第一目标读取地址位于第一目标存储分区,数据迁移组件用于将第一文件从对应的第一原始存储地址迁移至第一目标读取地址。
若第一保密等级高于项目保密等级时,则在可以通过数据迁移组件在第一目标读取地址中建立第一读取链接,第一读取链接在被触发时,验证当前触发用户的权限信息。若权限信息对应的保密等级高于或等于第一保密等级,则响应于触发动作,对第一目标存储分区中的第一文件进行访问。
若权限信息对应的保密等级低于第一保密等级,则响应于触发动作,弹出安全提示窗口;若权限信息对应的保密等级为文件管理权限,则响应于触发动作,弹出文件管理窗口,文件管理窗口包括文件信息显示区以及文件加密内容显示区,文件信息显示区用于展示第一目标存储地址,文件加密内容显示区用于显示加密后的第一文件,文件管理权限仅用于验证第一文件是否正确存储并正常打开或关闭。
此外,对于上述的文件加密内容显示区用于显示加密后的第一文件,可以是响应于触发动作,向管理服务器发送读取第一文件的读取指令,然后,管理服务器根据读取指令,对存储于第一目标存储地址中的第一文件进行访问,并对访问界面进行全部或者局部加密处理,以生成第一加密界面,以使文件加密内容显示区调用第一加密界面,并显示第一加密界面。
若文件加密内容显示区显示第一文件显示失败,则在响应于触发动作,弹出文件管理窗口之后,访问第一文件对应的第一原始存储地址。若访问成功,则数据迁移组件用于对存储于第一原始存储地址的第一文件进行第一加密处理,并将加密后的文件覆盖存储于第一目标存储地址。若访问失败,则输出日志文件,日志文件用于记录第一原始存储地址以及第一目标存储地址。
可选的,对于上述的数据处理组件用于对第一文件进行第一加密处理,以生成第一加密文件。具体的,可以是读取第一文件F,并将第一文件分割为k个数据块,并将第i个数据块记为,其中,i为大于或等于1,小于或等于k的正整数,则;将分割为标识部以及内容部,其中,=+,标识部为的前N个字节;根据以及预设第一加密函数生成标识加密部,并根据、以及预设第二加密函数生成整体加密部,以根据与生成,对F进行更新:;根据更新后的F以及预设第三加密函数,生成第一加密文件FS。在本加密方式中,利用三次加密技术,确保了加密的可靠性,此外,还才用了局部分别加密,再整体加密的方式,进一步提高数据的保密性。
S106、数据迁移组件用于将第一加密文件迁移至第一目标存储分区,并在第一目标读取地址建立第一读取链接。
在本步骤中,数据迁移组件用于将第一加密文件迁移至第一目标存储分区,并在第一目标读取地址建立第一读取链接,第其中,一目标读取地址为第一文件所对应的读取地址,第一读取链接在触发时用于对第一目标存储分区中的第一文件进行访问。
在本实施例中,通过获取待迁移数据存储区域中待迁移项目文件的文件信息,然后,根据文件目录获取文件目录中各个文件在待迁移数据存储区域中的原始存储地址以及保密等级,并根据文件目录中各个文件的原始存储地址确定对应的文件目录中各个文件对应的目标读取地址,再根据文件目录中第一文件的第一保密等级确定第一文件的第一目标存储分区,从而在第一保密等级与项目保密等级不一致时,利用数据处理组件对第一文件进行第一加密处理,以生成第一加密文件,最后利用数据迁移组件将第一加密文件迁移至第一目标存储分区,并在第一目标读取地址建立第一读取链接,进而在针对项目类文件进行数据迁移时,能够依据文件的保密等级进行针对性地存储,从而保证迁移后数据的安全性。
在上述实施例的基础上,还可以在数据迁移组件用于将第一加密文件迁移至第一目标存储分区之后,获取第一加密文件的关联文件,其中,关联文件的访问地址记录于第一文件中。然后,获取第一文件的第一访问信息,第一访问信息包括访问账户以及访问账户对应的访问次数,其中,待迁移数据存储区域对应的访问账户C=,n为待迁移数据存储区域对应的访问账户总数,j为大于或等于1,小于或等于n的正整数。再获取关联文件的第二访问信息,第二访问信息包括访问账户以及访问账户对应的访问次数。最后,根据以下公式计算文件权重值W,公式为:
若W大于预设权重阈值,则数据迁移组件用于将关联文件迁移至第一目标存储分区。在本步骤中,可以通过评价第一加密文件中关联文件的文件权重值来确定关联文件的实际关联程度,从而将项目外关联程度符合要求的文件迁移。
此外,还可以针对所评估的文件权重值划分不同关联程度等级,进而将不同关联程度等级的关联文件迁移至不同安全等级的存储区域。还可以结合所确定的文件权重值以及第一文件本身的保密等级,确定关联文件的保密等级,例如,当文件权重值大于0.8时,可以将该文件的保密等级设置为第一文件一样,进而适用于上述针对第一文件的数据迁移规则;而当权重值小于0.8时,可以将该文件的保密等级设置为低于第一文件的保密等级。
由于针对大型项目,尤其是对于管理较为混乱的项目,在项目文件体系中会存在一些垃圾文件,例如,开发人员错误将项目日志的输出路径设置在了项目文件下。因此,在上述实施例的基础上,还在获取待迁移数据存储区域中待迁移项目文件的文件信息之后,还可以根据预设文件清洗规则对待迁移项目文件进行数据清洗,其中,预设文件清洗规则基于文件大小、文件访问次数、文件格式以及保密等级中的一项或多项进行设立。
图2是本申请根据一示例实施例示出的适用于数据迁移的数据处理平台的结构示意图。如图2所示,本实施例提供的平台200,包括:
待迁移数据存储介质201、目标数据存储介质202、数据处理模块203以及数据迁移模块204;
所述数据处理模块203,用于获取所述待迁移数据存储介质201中待迁移项目文件的文件信息,所述文件信息包括所述待迁移项目文件所对应的项目保密等级以及文件目录;
所述数据处理模块203,用于根据所述文件目录获取所述文件目录中各个文件在所述待迁移数据存储介质201中的原始存储地址以及保密等级;
所述数据处理模块203,用于根据所述文件目录中各个文件的原始存储地址确定对应的所述文件目录中各个文件对应的目标读取地址,所述目标读取地址用于指引至所述目标数据存储介质202中与所述项目保密等级相匹配的存储区域;
所述数据处理模块203,用于根据所述文件目录中第一文件的第一保密等级确定所述第一文件的第一目标存储分区,所述第一目标存储分区为所述目标数据存储介质202中与所述第一保密等级相匹配的存储区域,所述第一文件为所述文件目录中的任一文件;
在所述第一保密等级与所述项目保密等级不一致时,所述数据处理模块203用于对所述第一文件进行第一加密处理,以生成第一加密文件,所述第一加密处理为匹配所述目标数据存储介质202中所述第一保密等级的加密条件所设置的加密方式;
所述数据迁移模块204,用于将所述第一加密文件迁移至所述第一目标存储分区,并在第一目标读取地址建立第一读取链接,所述第一目标读取地址为所述第一文件所对应的读取地址,所述第一读取链接在触发时用于对所述第一目标存储分区中的所述第一文件进行访问。
可选的,若所述第一保密等级与所述项目保密等级一致时,则所述第一目标读取地址位于所述第一目标存储分区,所述数据迁移组件用于将所述第一文件从对应的第一原始存储地址迁移至所述第一目标读取地址;或者,
若所述第一保密等级高于所述项目保密等级时,所述在第一目标读取地址建立第一读取链接,包括:
所述数据迁移组件在所述第一目标读取地址中建立所述第一读取链接,所述第一读取链接在被触发时,验证当前触发用户的权限信息;
若所述权限信息对应的保密等级高于或等于所述第一保密等级,则响应于触发动作,对所述第一目标存储分区中的所述第一文件进行访问;
若所述权限信息对应的保密等级低于所述第一保密等级,则响应于触发动作,弹出安全提示窗口;若所述权限信息对应的保密等级为文件管理权限,则响应于触发动作,弹出文件管理窗口,所述文件管理窗口包括文件信息显示区以及文件加密内容显示区,所述文件信息显示区用于展示所述第一目标存储地址,所述文件加密内容显示区用于显示加密后的所述第一文件,所述文件管理权限仅用于验证所述第一文件是否正确存储并正常打开或关闭。
可选的,所述数据数据处理模块203,具体用于:
响应于触发动作,向管理服务器发送读取所述第一文件的读取指令;
所述管理服务器根据所述读取指令,对存储于所述第一目标存储地址中的所述第一文件进行访问,并对访问界面进行全部或者局部加密处理,以生成第一加密界面,以使所述文件加密内容显示区调用所述第一加密界面,并显示所述第一加密界面。
可选的,所述数据迁移模块204,具体用于:
访问所述第一文件对应的第一原始存储地址;
若访问成功,则所述数据迁移组件用于对存储于所述第一原始存储地址的所述第一文件进行所述第一加密处理,并将加密后的文件覆盖存储于所述第一目标存储地址;
若访问失败,则输出日志文件,所述日志文件用于记录所述第一原始存储地址以及所述第一目标存储地址。
可选的,所述数据数据处理模块203,具体用于:
根据更新后的所述F以及预设第三加密函数,生成所述第一加密文件FS。
可选的,所述数据迁移模块204,具体用于:
获取所述第一加密文件的关联文件,其中,所述关联文件的访问地址记录于所述第一文件中;
获取所述第一文件的第一访问信息,所述第一访问信息包括访问账户以及所述访问账户对应的访问次数,其中,所述待迁移数据存储区域对应的访问账户C=,所述n为所述待迁移数据存储区域对应的访问账户总数,j为大于或等于1,小于或等于n的正整数;
根据以下公式计算文件权重值W,所述公式为:
若所述W大于预设权重阈值,则所述数据迁移组件用于将所述关联文件迁移至所述第一目标存储分区。
可选的,所述数据迁移模块204,具体用于:
根据预设文件清洗规则对所述待迁移项目文件进行数据清洗,其中,所述预设文件清洗规则基于文件大小、文件访问次数、文件格式以及保密等级中的一项或多项进行设立。
图3是本申请根据一示例实施例示出的电子设备的结构示意图。如图3所示,本实施例提供的一种电子设备300包括:处理器301以及存储器302;其中:
存储器302,用于存储计算机程序,该存储器还可以是flash(闪存)。
处理器301,用于执行存储器存储的执行指令,以实现上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地,存储器302既可以是独立的,也可以跟处理器301集成在一起。
当所述存储器302是独立于处理器301之外的器件时,所述电子设备300还可以包括:
总线303,用于连接所述存储器302和处理器301。
本实施例还提供一种可读存储介质,可读存储介质中存储有计算机程序,当电子设备的至少一个处理器执行该计算机程序时,电子设备执行上述的各种实施方式提供的方法。
本实施例还提供一种程序产品,该程序产品包括计算机程序,该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序,至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (9)
1.一种适用于数据迁移的数据处理方法,其特征在于,应用于数据迁移平台,所述数据迁移平台包括待迁移数据存储区域、目标数据存储区域、数据处理组件以及数据迁移组件,所述方法包括:
获取所述待迁移数据存储区域中待迁移项目文件的文件信息,所述文件信息包括所述待迁移项目文件所对应的项目保密等级以及文件目录;
根据所述文件目录获取所述文件目录中各个文件在所述待迁移数据存储区域中的原始存储地址以及保密等级;
根据所述文件目录中各个文件的原始存储地址确定对应的所述文件目录中各个文件对应的目标读取地址,所述目标读取地址用于指引至所述目标数据存储区域中与所述项目保密等级相匹配的存储区域;
根据所述文件目录中第一文件的第一保密等级确定所述第一文件的第一目标存储分区,所述第一目标存储分区为所述目标数据存储区域中与所述第一保密等级相匹配的存储区域,所述第一文件为所述文件目录中的任一文件;
在所述第一保密等级与所述项目保密等级不一致时,所述数据处理组件用于对所述第一文件进行第一加密处理,以生成第一加密文件,所述第一加密处理为匹配所述目标数据存储区域中所述第一保密等级的加密条件所设置的加密方式;
所述数据迁移组件用于将所述第一加密文件迁移至所述第一目标存储分区,并在第一目标读取地址建立第一读取链接,所述第一目标读取地址为所述第一文件所对应的读取地址,所述第一读取链接在触发时用于对所述第一目标存储分区中的所述第一文件进行访问;
所述数据处理组件用于对所述第一文件进行第一加密处理,以生成第一加密文件,包括:
根据更新后的所述F以及预设第三加密函数,生成所述第一加密文件FS。
2.根据权利要求1所述的适用于数据迁移的数据处理方法,其特征在于,若所述第一保密等级与所述项目保密等级一致时,则所述第一目标读取地址位于所述第一目标存储分区,所述数据迁移组件用于将所述第一文件从对应的第一原始存储地址迁移至所述第一目标读取地址;或者,
若所述第一保密等级高于所述项目保密等级时,所述在第一目标读取地址建立第一读取链接,包括:
所述数据迁移组件在所述第一目标读取地址中建立所述第一读取链接,所述第一读取链接在被触发时,验证当前触发用户的权限信息;
若所述权限信息对应的保密等级高于或等于所述第一保密等级,则响应于触发动作,对所述第一目标存储分区中的所述第一文件进行访问;
若所述权限信息对应的保密等级低于所述第一保密等级,则响应于触发动作,弹出安全提示窗口;若所述权限信息对应的保密等级为文件管理权限,则响应于触发动作,弹出文件管理窗口,所述文件管理窗口包括文件信息显示区以及文件加密内容显示区,所述文件信息显示区用于展示第一目标存储地址,所述文件加密内容显示区用于显示加密后的所述第一文件,所述文件管理权限仅用于验证所述第一文件是否正确存储并正常打开或关闭。
3.根据权利要求2所述的适用于数据迁移的数据处理方法,其特征在于,所述文件加密内容显示区用于显示加密后的所述第一文件,包括:
响应于触发动作,向管理服务器发送读取所述第一文件的读取指令;
所述管理服务器根据所述读取指令,对存储于所述第一目标存储地址中的所述第一文件进行访问,并对访问界面进行全部或者局部加密处理,以生成第一加密界面,以使所述文件加密内容显示区调用所述第一加密界面,并显示所述第一加密界面。
4.根据权利要求3所述的适用于数据迁移的数据处理方法,其特征在于,若所述文件加密内容显示区显示所述第一文件显示失败,则在响应于触发动作,弹出文件管理窗口之后,还包括:
访问所述第一文件对应的第一原始存储地址;
若访问成功,则所述数据迁移组件用于对存储于所述第一原始存储地址的所述第一文件进行所述第一加密处理,并将加密后的文件覆盖存储于所述第一目标存储地址;
若访问失败,则输出日志文件,所述日志文件用于记录所述第一原始存储地址以及所述第一目标存储地址。
5.根据权利要求1所述的适用于数据迁移的数据处理方法,其特征在于,在所述数据迁移组件用于将所述第一加密文件迁移至所述第一目标存储分区之后,还包括:
获取所述第一加密文件的关联文件,其中,所述关联文件的访问地址记录于所述第一文件中;
获取所述第一文件的第一访问信息,所述第一访问信息包括访问账户以及所述访问账户对应的访问次数,其中,所述待迁移数据存储区域对应的访问账户C=,所述n为所述待迁移数据存储区域对应的访问账户总数,j为大于或等于1,小于或等于n的正整数;
根据以下公式计算文件权重值W,所述公式为:
若所述W大于预设权重阈值,则所述数据迁移组件用于将所述关联文件迁移至所述第一目标存储分区。
6.根据权利要求1-4中任意一项所述的适用于数据迁移的数据处理方法,其特征在于,在所述获取所述待迁移数据存储区域中待迁移项目文件的文件信息之后,还包括:
根据预设文件清洗规则对所述待迁移项目文件进行数据清洗,其中,所述预设文件清洗规则基于文件大小、文件访问次数、文件格式以及保密等级中的一项或多项进行设立。
7.一种适用于数据迁移的数据处理平台,其特征在于,包括:待迁移数据存储介质、目标数据存储介质、数据处理模块以及数据迁移模块;
所述数据处理模块,用于获取所述待迁移数据存储介质中待迁移项目文件的文件信息,所述文件信息包括所述待迁移项目文件所对应的项目保密等级以及文件目录;
所述数据处理模块,用于根据所述文件目录获取所述文件目录中各个文件在所述待迁移数据存储介质中的原始存储地址以及保密等级;
所述数据处理模块,用于根据所述文件目录中各个文件的原始存储地址确定对应的所述文件目录中各个文件对应的目标读取地址,所述目标读取地址用于指引至所述目标数据存储介质中与所述项目保密等级相匹配的存储区域;
所述数据处理模块,用于根据所述文件目录中第一文件的第一保密等级确定所述第一文件的第一目标存储分区,所述第一目标存储分区为所述目标数据存储介质中与所述第一保密等级相匹配的存储区域,所述第一文件为所述文件目录中的任一文件;
在所述第一保密等级与所述项目保密等级不一致时,所述数据处理模块用于对所述第一文件进行第一加密处理,以生成第一加密文件,所述第一加密处理为匹配所述目标数据存储介质中所述第一保密等级的加密条件所设置的加密方式;
所述数据迁移模块,用于将所述第一加密文件迁移至所述第一目标存储分区,并在第一目标读取地址建立第一读取链接,所述第一目标读取地址为所述第一文件所对应的读取地址,所述第一读取链接在触发时用于对所述第一目标存储分区中的所述第一文件进行访问;
所述数据数据处理模块,具体用于:
根据更新后的所述F以及预设第三加密函数,生成所述第一加密文件FS。
8.一种电子设备,其特征在于,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211660138.5A CN115629721B (zh) | 2022-12-23 | 2022-12-23 | 适用于数据迁移的数据处理方法及平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211660138.5A CN115629721B (zh) | 2022-12-23 | 2022-12-23 | 适用于数据迁移的数据处理方法及平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115629721A CN115629721A (zh) | 2023-01-20 |
CN115629721B true CN115629721B (zh) | 2023-03-07 |
Family
ID=84910249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211660138.5A Active CN115629721B (zh) | 2022-12-23 | 2022-12-23 | 适用于数据迁移的数据处理方法及平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115629721B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4887955B2 (ja) * | 2006-07-21 | 2012-02-29 | 日本電気株式会社 | データ配置管理システム及び方法とプログラム |
CN100571281C (zh) * | 2007-06-29 | 2009-12-16 | 清华大学 | 海量数据分级存储方法 |
CN103118136B (zh) * | 2013-02-28 | 2015-08-12 | 杭州电子科技大学 | 一种基于块级别云存储负载均衡优化的方法 |
US20220107746A1 (en) * | 2020-10-02 | 2022-04-07 | RIA Advisory LLC | System and Method for Data Migration |
CN112286461A (zh) * | 2020-10-29 | 2021-01-29 | 苏州浪潮智能科技有限公司 | 一种数据迁移方法、装置及电子设备和存储介质 |
-
2022
- 2022-12-23 CN CN202211660138.5A patent/CN115629721B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115629721A (zh) | 2023-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109981679B (zh) | 在区块链网络中执行事务的方法和装置 | |
KR102071160B1 (ko) | 애플리케이션 정보 위험 관리를 위한 방법 및 장치 | |
EP3674954B1 (en) | Security control method and computer system | |
JP5802848B2 (ja) | モバイル環境用のトロイの木馬化されたアプリケーション(アプリ)を特定するためのコンピュータ実装方法、非一時コンピュータ読み取り可能な媒体およびコンピュータシステム | |
CN111428208B (zh) | 一种应用软件授权方法、装置及存储介质 | |
CN105354493B (zh) | 基于虚拟化技术的终端可信增强方法及系统 | |
CN110011800B (zh) | 一种区块链数据读取方法及装置 | |
US10943008B2 (en) | System and method of detecting hidden behavior of a browser extension | |
CN109992285B (zh) | 区块链代码块独立升级方法、装置及电子设备 | |
JP2020160611A (ja) | テストシナリオ生成装置、テストシナリオ生成方法、テストシナリオ生成プログラム | |
CN105683910B (zh) | 用于更新只读系统映像内的系统级服务的系统和方法 | |
CN110046517B (zh) | 一种对写入区块链的交易进行隐匿的方法及装置 | |
CN110070360B (zh) | 一种事务请求处理方法、装置、设备及存储介质 | |
CN109710695A (zh) | 事务请求有效性识别和发起方法、装置、设备和介质 | |
CN112015651B (zh) | 数据处理方法及装置 | |
CN113689292A (zh) | 基于图像背景识别的用户聚集识别方法及系统 | |
CN106529281A (zh) | 一种可执行文件处理方法及装置 | |
CN115629721B (zh) | 适用于数据迁移的数据处理方法及平台 | |
CN112948355A (zh) | 一种分布式网络数据的销毁方法及系统及装置及介质 | |
CN111079155A (zh) | 数据处理方法、装置、电子设备和计算机存储介质 | |
US20230137661A1 (en) | Verification method and verification system for information and communication safety protection mechanism | |
CN111737090B (zh) | 日志仿真方法、装置、计算机设备和存储介质 | |
US11687656B2 (en) | Secure application development using distributed ledgers | |
CN111953637B (zh) | 一种应用服务方法与装置 | |
CN112417508A (zh) | 一种数据脱敏方法、数据存储系统及存储介质和服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: 5/F, Building A1, Zidong International Creative Park, No. 2 Zidong Road, Qixia District, Nanjing City, Jiangsu Province, 210000 Patentee after: JIANGSU DATATECH INFORMATION TECHNOLOGY CO.,LTD. Address before: Building D3, Zidong International Creative Park, No. 2, Zidong Road, Maqun Street, Qixia District, Nanjing City, Jiangsu Province, 210000 Patentee before: JIANGSU DATATECH INFORMATION TECHNOLOGY CO.,LTD. |