CN110597767B - 一种数据分割方法、装置、设备及计算机可读存储介质 - Google Patents

一种数据分割方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110597767B
CN110597767B CN201910730867.5A CN201910730867A CN110597767B CN 110597767 B CN110597767 B CN 110597767B CN 201910730867 A CN201910730867 A CN 201910730867A CN 110597767 B CN110597767 B CN 110597767B
Authority
CN
China
Prior art keywords
folder
capacity
residual capacity
folders
total
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910730867.5A
Other languages
English (en)
Other versions
CN110597767A (zh
Inventor
连秉然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Praise Technology Co ltd
Original Assignee
Beijing Praise Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Praise Technology Co ltd filed Critical Beijing Praise Technology Co ltd
Priority to CN201910730867.5A priority Critical patent/CN110597767B/zh
Publication of CN110597767A publication Critical patent/CN110597767A/zh
Application granted granted Critical
Publication of CN110597767B publication Critical patent/CN110597767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/113—Details of archiving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据分割方法、装置、设备及计算机可读存储介质，其中数据分割方法包：获取待分割文件的一级文件夹，计算所述一级文件夹的容量；判断所述一级文件夹的容量是否大于与其对应的第一剩余容量，当小于时，继续获取下一个一级文件夹，并计算所述第一剩余能量与所述一级文件夹的容量的差值，将所述差值作为与下一个一级文件相对应的第一剩余容量；当获取的第m个一级文件夹的容量大于与其对应的第一剩余容量时，将第1个至第m‑1个一级文件夹分割为一组。本发明的技术方案，以文件夹为单位将文件进行分割，不破坏文件的底层原始结构，满足了对最底层文件不拆分的用户的需求。

Description

一种数据分割方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及数据存储技术领域，具体涉及一种数据分割方法、装置、设备及计算机可读存储介质。
背景技术
信息社会，数据爆炸，数据量呈指数级增长，数据存储也越来越重要，其中以光盘、硬盘为载体的存储更是占着重要地位。
但是单张光盘或硬盘的容量是有限的，如果单次接受的数据量较大，则需要对文件按照固定的规则进行切分，然后存储到相应的光盘或硬盘内。如果采用人为方式，仅根据容量进行数据分割，工作量已无法想象。
文件归类的规则有很多，其中常见的包括：按文件年度进行分类、按文件类型进行分类、按文件纯净度进行分类，以文件年度分类为例，首先需要获取数据中所有的原始结构，以及原始结构内文件的修改年度\或创建年度，在原始结构内对信息按照文件年度进行归类，上述文件分类方法，打乱了文件的底层原始结构，不满足对最底层文件不拆分的用户。
发明内容
有鉴于此，本发明实施例提供了一种数据分割方法、装置、设备及计算机可读存储介质，以满足对最底层文件不拆分的用户的需求。
根据第一方面，本发明实施例提供了一种数据分割方法包括以下步骤：
获取待分割文件的一级文件夹，计算所述一级文件夹的容量；
判断所述一级文件夹的容量是否大于与其对应的第一剩余容量，当小于时，继续获取下一个一级文件夹，并计算所述第一剩余能量与所述一级文件夹的容量的差值，将所述差值作为与下一个一级文件相对应的第一剩余容量；
当获取的第m个一级文件夹的容量大于与其对应的第一剩余容量时，将第1个至第m-1个一级文件夹分割为一组，其中，m为大于1的正整数。
本发明实施例提供的数据分割方法，获取待分割文件中的一级文件夹，计算一级文件夹的容量，通过一级文件夹的容量与其对应的第一剩余容量的对比来判断当前的第一剩余容量能否存储当前获取的一级文件夹，当不能存储时，将获取当前文件夹之前已经获取的文件夹归为一组，本发明的技术方案，以文件夹为单位将文件进行分割，不破坏文件的底层原始结构，满足了对最底层文件不拆分的用户的需求。
结合第一方面，在第一方面第一实施方式中，数据分割方法还包括以下步骤：
当获取的第m个一级文件夹的容量大于与其对应的第一剩余容量时，判断所述第m个一级文件夹中是否存在至少两个二级文件夹，其中所述二级文件夹为所述一级文件夹的子文件夹；
当存在时，将与第m-1个一级文件夹对应的第一剩余容量作为总的第二剩余容量；
根据各二级文件夹的容量与所述总的第二剩余容量，确定所述总的第二剩余容量能存储的二级文件夹；
将第1个至第m-1个一级文件夹、及所述总的第二剩余容量能存储的二级文件夹分割为一组。
结合第一方面，在第一方面第一实施方式中，数据分割方法还包括以下步骤：
当获取的第1个一级文件夹的容量大于与其对应的第一剩余容量时，判断所述第1个一级文件夹中是否存在至少两个二级文件夹；
当存在时，将与第1个一级文件夹对应的第一剩余容量作为总的第二剩余容量；
根据各二级文件夹的容量与所述总的第二剩余容量，确定所述总的第二剩余容量能存储的二级文件夹；
将所述总的第二剩余容量能存储的二级文件夹分割为一组。
结合第一方面第一实施方式及第二实施方式，在本发明第一方面第三实施方式中，根据各二级文件夹的容量与所述总的第二剩余容量，确定所述总的第二剩余容量能存储的二级文件夹包括：
获取二级文件夹，计算所述二级文件夹的容量；
判断所述二级文件夹的容量是否大于与其对应的第二剩余容量，当小于时，继续获取下一个二级文件夹，并计算所述第二剩余能量与所述二级文件夹的容量的差值，将所述差值作为与下一个二级文件相对应的第二剩余容量；其中，将所述总的第二剩余容量作为与第1个二次文件对应的第二剩余容量；
当获取的第n个二级文件夹的容量大于与其对应的第二剩余容量时，将第1个至第n-1个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹。
结合第一方面第三实施方式，在本发明第一方面第四实施方式中，数据分割方法还包括以下步骤：
当获取的第n个二级文件夹的容量大于与其对应的第二剩余容量时，将所述第n个二级文件夹进行压缩处理，并计算压缩后的容量；
当压缩后的第n个二级文件的容量小于与第n个二级文件夹对应的第二剩余容量时，将第1个至第n-1个二级文件夹、及压缩后的第n个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹；
当压缩后的第n个二级文件夹的容量仍大于与第n个二级文件夹对应的第二剩余容量时，继续将第1个至第n-1个二级文件夹进行压缩处理；
当压缩后的第1个至第n个子文件的容量小于所述总的第二剩余容量时，将压缩后的第1个至第n个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹。
结合第一方面第四实施方式，在本发明第一方面第五实施方式中，在将第1个至第n-1个二级文件夹、及压缩后的第n个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹之后，或在将压缩后的第1个至第n个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹之后，还包括：
利用总的第二剩余容量与第1个至第n-1个二级文件夹、及压缩后的第n个二级文件夹的差值，得到第三剩余容量；或利用总的第二剩余容量与第1个至第n个二级文件夹容量的差值得到第三剩余容量；
判断所述第三剩余容量是否大于所述第n+1个二级文件夹的容量；
当大于时，将所述第n+1个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹；
当小于时，将所述第n+1个二级文件夹进行压缩处理，并判断所述第三剩余容量是否大于压缩后的第n+1个二级文件夹的容量；当大于时，将压缩后的第n+1个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹。
根据第二方面，本发明实施例还提供了一种数据分割装置，包括：
第一计算模块，用于获取待分割文件的一级文件夹，计算所述一级文件夹的容量；
第二计算模块，用于判断所述一级文件夹的容量是否大于与其对应的第一剩余容量，当小于时，继续获取下一个一级文件夹，并计算所述第一剩余能量与所述一级文件夹的容量的差值，将所述差值作为与下一个一级文件相对应的第一剩余容量；
分割模块，用于当获取的第m个一级文件夹的容量大于与其对应的第一剩余容量时，将第1个至第m-1个一级文件夹分割为一组，其中，m为大于1的正整数。
根据第三方面，本发明实施例还提供了一种数据分割设备，包括：
文件采集器、存储器和处理器，所述文件采集器、所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的数据分割方法。
根据第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的数据分割方法。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明实施例1中数据分割方法的流程示意图；
图2为本发明实施例2中数据分割方法的流程示意图；
图3为本发明实施例3中数据分割装置的结构示意图；
图4为本发明实施例4中数据分割设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明实施例1提供了一种数据分割方法，图1为本发明实施例1中数据分割方法的流程示意图，如图1所示，本发明实施例1的数据分割方法包括以下步骤：
S101：获取待分割文件的一级文件夹，计算所述一级文件夹的容量。
S102：判断所述一级文件夹的容量是否大于与其对应的第一剩余容量，当小于时，继续获取下一个一级文件夹，并计算所述第一剩余能量与所述一级文件夹的容量的差值，将所述差值作为与下一个一级文件相对应的第一剩余容量。
在本发明实施例1中，第一剩余容量为一个变量，示例的，当将存储介质的容量作为与第一次获取的一级文件夹相对应的第一剩余容量时，与第m次获取的一级文件夹相对应的第一剩余容量为存储介质的容量与第1次至第m-1次获取的一级文件夹容量和的差值。
S103：当获取的第m个一级文件夹的容量大于与其对应的第一剩余容量时，将第1个至第m-1个一级文件夹分割为一组，其中，m为大于1的正整数。
本发明实施例1提供的数据分割方法，获取待分割文件中的一级文件夹，计算一级文件夹的容量，通过一级文件夹的容量与其对应的第一剩余容量的对比来判断当前的第一剩余容量能否存储当前获取的一级文件夹，当不能存储时，将获取当前文件夹之前已经获取的文件夹归为一组，本发明的技术方案，以文件夹为单位将文件进行分割，不破坏文件的底层原始结构，满足了对最底层文件不拆分的用户的需求。
实施例2
本发明实施例2提供了一种数据分割方法，图2为本发明实施例2中数据分割方法的流程示意图，如图2所示，本发明实施例2的数据分割方法包括以下步骤：
S201：获取待分割文件的一级文件夹A，计算一级文件夹A的容量。
S202：判断一级文件夹A的容量是否大于存储介质的容量。
S203：当一级文件夹A的容量大于存储介质的容量时，判断一级文件夹A中是否存在至少两个二级文件夹。
S204：当存在时，根据二级文件夹的容量与存储介质容量的关系，确定存储介质能存储的二级文件夹。
示例1，根据二级文件夹的容量与存储介质容量的关系，确定存储介质能存储的二级文件夹具体可采用如下方案：
获取二级文件夹，计算所述二级文件夹的容量；
判断所述二级文件夹的容量是否大于与其对应的第二剩余容量，当小于时，继续获取下一个二级文件夹，并计算所述第二剩余能量与所述二级文件夹的容量的差值，将所述差值作为与下一个二级文件相对应的第二剩余容量；具体的，将与一级文件夹A对应的第一剩余容量作为与第1个二次文件对应的第二剩余容量；
当获取的第n个二级文件夹的容量大于与其对应的第二剩余容量时，将第1个至第n-1个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹。
示例2，根据二级文件夹的容量与存储介质容量的关系，确定存储介质能存储的二级文件夹具体可采用如下方案：
获取二级文件夹，计算所述二级文件夹的容量；
判断所述二级文件夹的容量是否大于与其对应的第二剩余容量，当小于时，继续获取下一个二级文件夹，并计算所述第二剩余能量与所述二级文件夹的容量的差值，将所述差值作为与下一个二级文件相对应的第二剩余容量；具体的，将与一级文件夹A对应的第一剩余容量作为与第1个二次文件对应的第二剩余容量；
当获取的第n个二级文件夹的容量大于与其对应的第二剩余容量时，将所述第n个二级文件夹进行压缩处理，并计算压缩后的容量；
当压缩后的第n个二级文件的容量小于与第n个二级文件夹对应的第二剩余容量时，将第1个至第n-1个二级文件夹、及压缩后的第n个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹；
当压缩后的第n个二级文件夹的容量仍大于与第n个二级文件夹对应的第二剩余容量时，继续将第1个至第n-1个二级文件夹进行压缩处理；
当压缩后的第1个至第n个子文件的容量小于所述总的第二剩余容量时，将压缩后的第1个至第n个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹。
示例3，根据二级文件夹的容量与存储介质容量的关系，确定存储介质能存储的二级文件夹具体可采用如下方案，即在示例2之后，还包括以下步骤：
利用总的第二剩余容量与第1个至第n-1个二级文件夹、及压缩后的第n个二级文件夹的差值，得到第三剩余容量；或利用总的第二剩余容量与第1个至第n个二级文件夹容量的差值得到第三剩余容量；
判断所述第三剩余容量是否大于所述第n+1个二级文件夹的容量；
当大于时，将所述第n+1个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹；
当小于时，将所述第n+1个二级文件夹进行压缩处理，并判断所述第三剩余容量是否大于压缩后的第n+1个二级文件夹的容量；当大于时，将压缩后的第n+1个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹。
S205：将存储介质能存储的二级文件夹分割为一组。
具体的，在本发明实施例2中步骤S201～S202可以替换为本发明实施例1中的步骤S101～S102，此时步骤S203替换为以下步骤：当获取的第m个一级文件夹的容量大于与其对应的第一剩余容量时，判断所述第m个一级文件夹中是否存在二级文件夹。相应的步骤S204替换为以下步骤：当存在时，将与第m-1个一级文件夹对应的第一剩余容量作为总的第二剩余容量，根据各二级文件夹的容量与所述总的第二剩余容量，确定所述总的第二剩余容量能存储的二级文件夹。步骤S205替换为以下步骤：将第1个至第m-1个一级文件夹、及所述总的第二剩余容量能存储的二级文件夹分割为一组。
为了更加详细的说明本发明的数据分割方法，给出一个更加具体的示例，例如，某文件中包括两个一级文件夹A和B，其中一级文件夹A包括两个二级文件夹A1和A2，在二级文件夹A1和A2中包含文件，一级文件夹B包括三个二级文件夹B1和B2和B3，在二级文件夹B1和B2和B3中包含文件，具体的分割方法包括以下步骤：
步骤1：计算A的总容量，计为SumA；判断SumA是否大于光盘容量R；
步骤2：当SumA＞R时，计算A中下一级文件夹中任意一个文件夹A1的总容量，记为SumA1，并判断SumA1是否大于光盘容量R，当SumA1＞R时，将A1进行ISO镜像打包，计算打包后的A1总容量，记为SISOA1，判断SISOA1是否大于光盘容量R，当SISOA1＜R时，计算剩余容量R-SISOA1，判断剩余容量能否装下A2，若不能，将A2进行ISO镜像打包，判断能否放下打包后的A2，若不能，将A2单独分为一个盘，如能，则两个镜像为一个；
步骤3：当SumA1＜R时，因为一级文件夹A仅包括两个二级文件夹A1和A2，当SumA＞R时，必定SumA1+SumA2＞R，所以当SumA1＜R时，将A2进行ISO镜像打包，计算打包后的A2总容量，记为SISOA2，判断SISOA2是否大于光盘剩余容量R-SumA1，若大于，则将A1也ISO镜像打包，若SISOA1+SISOA2相加再大于R，则A1单独分一张盘，A2重新计算，如SISOA1+SISOA2相加再小于R，则将镜像打包后的A1和A2分为一张盘；
步骤4：当SumA＜R时，计算剩余容量R-SumA，同时计算第二个文件夹B的总容量，SumB，判断SumB是否大于R-SumA，当SumB＜R-SumA时，算出剩余容量，直到SumM＞R-SumA-……-R-SumM-1；
步骤5：当SumB＞R-SumA时，计算B中下一级文件夹中任意一个文件夹B1的总容量，记为SumB1，并判断SumB1是否大于光盘剩余容量R-SumA，当SumB1＞R-SumA时，将B1进行ISO镜像打包，计算打包后的B1总容量，记为SISOB1，判断SISOB1是否大于光盘剩余容量R-SumA，当SISOB1＜R-SumA时，计算剩余容量R-SumA-SISOB1，判断剩余容量能否装下B2，若不能，将B2进行ISO镜像打包，判断能否放下打包后的B2，若不能，将B2单独分为一个盘重新计算，如能，则将镜像打包后的B1和B2与A分为一张盘。
实施例3
本发明实施例3提供了一种数据分割装置，图3为本发明实施例3中数据分割装置的结构示意图，如图3所示，本发明实施例3的数据分割装置包括第一计算模块30、第二计算模块32及分割模块34：
具体的，第一计算模块30，用于获取待分割文件的一级文件夹，计算所述一级文件夹的容量。
第二计算模块32，用于判断所述一级文件夹的容量是否大于与其对应的第一剩余容量，当小于时，继续获取下一个一级文件夹，并计算所述第一剩余能量与所述一级文件夹的容量的差值，将所述差值作为与下一个一级文件相对应的第一剩余容量。
分割模块34，用于当获取的第m个一级文件夹的容量大于与其对应的剩余容量时，将第1个至第m-1个一级文件夹分割为一组，其中，m为大于1的正整数。
本发明实施例3提供的数据分割装置，获取待分割文件中的一级文件夹，计算一级文件夹的容量，通过一级文件夹的容量与其对应的第一剩余容量的对比来判断当前的第一剩余容量能否存储当前获取的一级文件夹，当不能存储时，将获取当前文件夹之前已经获取的文件夹归为一组，本发明的技术方案，以文件夹为单位将文件进行分割，不破坏文件的底层原始结构，满足了对最底层文件不拆分的用户的需求。
实施例4
本发明实施例还提供了一种数据分割设备，如图4所示，该数据分割设备可以包括文件采集器40、处理器41和存储器42，其中处理器41和存储器42可以通过总线或者其他方式连接，图4中以通过总线连接为例。
处理器41可以为中央处理器(Central Processing Unit，CPU)。处理器41还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器42作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的数据分割方法对应的程序指令/模块(例如，图3所示的第一计算模块30、第二计算模块32及分割模块34)。处理器41通过运行存储在存储器42中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的数据分割方法。
存储器42可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器41所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器42可选包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至处理器41。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器42中，当被所述处理器41执行时，执行如图1-2所示实施例中的数据分割方法。
上述数据分割设备具体细节可以对应参阅图1至图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种数据分割方法，其特征在于，包括：
获取待分割文件的一级文件夹，计算所述一级文件夹的容量；
判断所述一级文件夹的容量是否大于与其对应的第一剩余容量，当小于时，继续获取下一个一级文件夹，并计算所述第一剩余容量与所述一级文件夹的容量的差值，将所述差值作为与下一个一级文件相对应的第一剩余容量；
当获取的第m个一级文件夹的容量大于与其对应的第一剩余容量时，将第1个至第m-1个一级文件夹分割为一组，其中，m为大于1的正整数；
判断所述第m个一级文件夹中是否存在至少两个二级文件夹，其中所述二级文件夹为所述一级文件夹的子文件夹；
当存在时，将与第m-1个一级文件夹对应的第一剩余容量作为总的第二剩余容量；
根据各二级文件夹的容量与所述总的第二剩余容量，确定所述总的第二剩余容量能存储的二级文件夹；
将第1个至第m-1个一级文件夹、及所述总的第二剩余容量能存储的二级文件夹分割为一组。
2.根据权利要求1所述的数据分割方法，其特征在于，还包括：
当获取的第1个一级文件夹的容量大于与其对应的第一剩余容量时，判断所述第1个一级文件夹中是否存在至少两个二级文件夹；
当存在时，将与第1个一级文件夹对应的第一剩余容量作为总的第二剩余容量；
根据各二级文件夹的容量与所述总的第二剩余容量，确定所述总的第二剩余容量能存储的二级文件夹；
将所述总的第二剩余容量能存储的二级文件夹分割为一组。
3.根据权利要求2所述的数据分割方法，其特征在于，根据各二级文件夹的容量与所述总的第二剩余容量，确定所述总的第二剩余容量能存储的二级文件夹包括：
获取二级文件夹，计算所述二级文件夹的容量；
判断所述二级文件夹的容量是否大于与其对应的第二剩余容量，当小于时，继续获取下一个二级文件夹，并计算所述第二剩余容量与所述二级文件夹的容量的差值，将所述差值作为与下一个二级文件相对应的第二剩余容量；其中，将所述总的第二剩余容量作为与第1个二次文件对应的第二剩余容量；
当获取的第n个二级文件夹的容量大于与其对应的第二剩余容量时，将第1个至第n-1个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹。
4.根据权利要求3所述的数据分割方法，其特征在于，还包括：
当获取的第n个二级文件夹的容量大于与其对应的第二剩余容量时，将所述第n个二级文件夹进行压缩处理，并计算压缩后的容量；
当压缩后的第n个二级文件的容量小于与第n个二级文件夹对应的第二剩余容量时，将第1个至第n-1个二级文件夹、及压缩后的第n个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹；
当压缩后的第n个二级文件夹的容量仍大于与第n个二级文件夹对应的第二剩余容量时，继续将第1个至第n-1个二级文件夹进行压缩处理；
当压缩后的第1个至第n个子文件的容量小于所述总的第二剩余容量时，将压缩后的第1个至第n个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹。
5.根据权利要求4所述的数据分割方法，其特征在于，在将第1个至第n-1个二级文件夹、及压缩后的第n个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹之后，或在将压缩后的第1个至第n个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹之后，还包括：
利用总的第二剩余容量与第1个至第n-1个二级文件夹、及压缩后的第n个二级文件夹的差值，得到第三剩余容量；或利用总的第二剩余容量与第1个至第n个二级文件夹容量的差值得到第三剩余容量；
判断所述第三剩余容量是否大于所述第n+1个二级文件夹的容量；
当大于时，将所述第n+1个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹；
当小于时，将所述第n+1个二级文件夹进行压缩处理，并判断所述第三剩余容量是否大于压缩后的第n+1个二级文件夹的容量；当大于时，将压缩后的第n+1个二级文件夹作为所述总的第二剩余容量能存储的二级文件夹。
6.一种数据分割装置，其特征在于，包括：
第一计算模块，用于获取待分割文件的一级文件夹，计算所述一级文件夹的容量；
第二计算模块，用于判断所述一级文件夹的容量是否大于与其对应的第一剩余容量，当小于时，继续获取下一个一级文件夹，并计算所述第一剩余容量与所述一级文件夹的容量的差值，将所述差值作为与下一个一级文件相对应的第一剩余容量；
分割模块，用于当获取的第m个一级文件夹的容量大于与其对应的第一剩余容量时，将第1个至第m-1个一级文件夹分割为一组，其中，m为大于1的正整数；判断所述第m个一级文件夹中是否存在至少两个二级文件夹，其中所述二级文件夹为所述一级文件夹的子文件夹；当存在时，将与第m-1个一级文件夹对应的第一剩余容量作为总的第二剩余容量；根据各二级文件夹的容量与所述总的第二剩余容量，确定所述总的第二剩余容量存储的二级文件夹；将第1个至第m-1个一级文件夹、及所述总的第二剩余容量能存储的二级文件夹分割为一组。
7.一种数据分割设备，其特征在于，包括：
文件采集器、存储器和处理器，所述文件采集器、所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-5中任一项所述的数据分割方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的数据分割方法。
CN201910730867.5A 2019-08-08 2019-08-08 一种数据分割方法、装置、设备及计算机可读存储介质 Active CN110597767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910730867.5A CN110597767B (zh) 2019-08-08 2019-08-08 一种数据分割方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910730867.5A CN110597767B (zh) 2019-08-08 2019-08-08 一种数据分割方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110597767A CN110597767A (zh) 2019-12-20
CN110597767B true CN110597767B (zh) 2022-05-10

Family

ID=68853744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910730867.5A Active CN110597767B (zh) 2019-08-08 2019-08-08 一种数据分割方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110597767B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1882941A (zh) * 2003-09-25 2006-12-20 索尼株式会社 记录设备、再现设备、文件管理方法、文件管理方法程序及用于记录文件管理方法程序的记录媒体
CN101547161A (zh) * 2008-03-28 2009-09-30 阿里巴巴集团控股有限公司 文件夹传输系统、文件夹传输装置及文件夹传输方法
CN101826109A (zh) * 2010-04-07 2010-09-08 深圳创维－Rgb电子有限公司 一种大容量文件分割方法、装置及系统
CN102298641A (zh) * 2011-09-14 2011-12-28 清华大学 一种基于键值库的文件与结构化数据统一存储方法
CN102508880A (zh) * 2011-10-18 2012-06-20 广东威创视讯科技股份有限公司 一种文件合并方法及分解方法
US9031992B1 (en) * 2011-09-30 2015-05-12 Emc Corporation Analyzing big data
CN104820602A (zh) * 2015-05-18 2015-08-05 北京瑞星信息技术有限公司 软件包发布方法、装置及系统
CN108256059A (zh) * 2018-01-16 2018-07-06 郑州云海信息技术有限公司 一种文件夹挂载方法及装置
CN108319524A (zh) * 2018-02-02 2018-07-24 郑州云海信息技术有限公司 一种基板管理控制器通过kvm挂载文件夹的方法及装置
US10331630B1 (en) * 2016-03-24 2019-06-25 EMC IP Holding Company LLC Systems and methods for file triggers in a converged compute and file system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951338B (zh) * 2017-03-31 2019-11-29 湖南智擎科技有限公司 一种基于GlusterFS的高容错分布式存储方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1882941A (zh) * 2003-09-25 2006-12-20 索尼株式会社 记录设备、再现设备、文件管理方法、文件管理方法程序及用于记录文件管理方法程序的记录媒体
CN101547161A (zh) * 2008-03-28 2009-09-30 阿里巴巴集团控股有限公司 文件夹传输系统、文件夹传输装置及文件夹传输方法
CN101826109A (zh) * 2010-04-07 2010-09-08 深圳创维－Rgb电子有限公司 一种大容量文件分割方法、装置及系统
CN102298641A (zh) * 2011-09-14 2011-12-28 清华大学 一种基于键值库的文件与结构化数据统一存储方法
US9031992B1 (en) * 2011-09-30 2015-05-12 Emc Corporation Analyzing big data
CN102508880A (zh) * 2011-10-18 2012-06-20 广东威创视讯科技股份有限公司 一种文件合并方法及分解方法
CN104820602A (zh) * 2015-05-18 2015-08-05 北京瑞星信息技术有限公司 软件包发布方法、装置及系统
US10331630B1 (en) * 2016-03-24 2019-06-25 EMC IP Holding Company LLC Systems and methods for file triggers in a converged compute and file system
CN108256059A (zh) * 2018-01-16 2018-07-06 郑州云海信息技术有限公司 一种文件夹挂载方法及装置
CN108319524A (zh) * 2018-02-02 2018-07-24 郑州云海信息技术有限公司 一种基板管理控制器通过kvm挂载文件夹的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Insights for Data Reduction in Primary Storage: a Practical Analysis;Maohua Lu et al.;《Proceedings of the 5th Annual International Systems and Storage Conference》;20120604;1-7 *
Methods of Information Hiding and Detection in File Systems;Jeremy Davis et al.;《2010 Fifth International Workshop on Systematic Approaches to Digital Forensic Engineering》;20100624;66-69 *
WinRAR压缩文件的电子数据取证方法探讨;罗文华;《警察技术》;20130707(第4期);36-38 *

Also Published As

Publication number Publication date
CN110597767A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
US20200409798A1 (en) Tiered cloud storage for different availability and performance requirements
US10705935B2 (en) Generating job alert
US10068033B2 (en) Graph data query method and apparatus
CN111966649B (zh) 一种高效去重的轻量级在线文件存储方法及装置
US11455322B2 (en) Classification of time series data
US20180330488A1 (en) Muddy water detection using normalized semantic layers
US10642912B2 (en) Control of document similarity determinations by respective nodes of a plurality of computing devices
CN113312361B (zh) 轨迹查询方法、装置、设备、存储介质及计算机程序产品
US10915534B2 (en) Extreme value computation
US20160203228A1 (en) Filtering data objects
US20240152532A1 (en) Method and apparatus for determining spatial relationship, computer device, and storage medium
US10423495B1 (en) Deduplication grouping
US9424269B1 (en) Systems and methods for deduplicating archive objects
CN112070550A (zh) 基于搜索平台的关键词确定方法、装置、设备及存储介质
CN110737717A (zh) 一种数据库迁移方法及装置
CN113590535B (zh) 一种用于去重存储系统的高效数据迁移方法和装置
CN108363727B (zh) 一种基于zfs文件系统的数据存储方法及装置
US11250001B2 (en) Accurate partition sizing for memory efficient reduction operations
CN110597767B (zh) 一种数据分割方法、装置、设备及计算机可读存储介质
CN115442262B (zh) 一种资源评估方法、装置、电子设备及存储介质
CN114897666B (zh) 图数据存储、访问、处理方法、训练方法、设备及介质
US20230061902A1 (en) Intelligent dataset slicing during microservice handshaking
CN107783990B (zh) 一种数据压缩方法及终端
US9747299B2 (en) Heterogeneous storing server and file storing method thereof
CN110489355B (zh) 逻辑bram的映射方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant