CN103077166B - 小文件存储的空间复用方法和装置 - Google Patents
小文件存储的空间复用方法和装置 Download PDFInfo
- Publication number
- CN103077166B CN103077166B CN201110327384.4A CN201110327384A CN103077166B CN 103077166 B CN103077166 B CN 103077166B CN 201110327384 A CN201110327384 A CN 201110327384A CN 103077166 B CN103077166 B CN 103077166B
- Authority
- CN
- China
- Prior art keywords
- file
- small documents
- big
- identification number
- data base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003860 storage Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012217 deletion Methods 0.000 claims abstract description 30
- 230000037430 deletion Effects 0.000 claims abstract description 30
- 238000011084 recovery Methods 0.000 claims description 4
- 230000003362 replicative effect Effects 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims 5
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008707 rearrangement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本发明提供了一种小文件存储的空间复用方法和装置，方法包括：遍历删除索引数据库以获取大文件标识号；判断具有大文件标识号的大文件中是否有未删除的小文件存在，若无，则删除大文件并继续遍历删除索引数据库以获取大文件标识号；若有，则创建和大文件大小相同的临时文件，复制所述未删除的小文件至临时文件并获得偏移量；更新索引数据库中的索引文件并将临时文件覆盖大文件。本发明使得小文件存储的空间可以得到有效的回收和再利用，减少小文件存储系统中的文件数量，提高系统的读写速度。
Description
技术领域
本发明涉及文件存储技术领域，尤其是涉及一种小文件存储的空间复用方法和装置。
背景技术
随着网络技术的发展，网络应用越来越光放，在网络中会出现海量的小文件，这里的小文件是指文件大小小于一定数值的文件，比如可以定义小于10M的文件为小文件。在游戏平台或者其它社会性网络服务平台上，该小文件的产生尤其之多。
目前小文件存储的方案已经日趋成熟，比如将若干个小文件存储于一个大文件之中，将该大文件标识和小文件标识制作成一个索引目录，将索引目录存储于索引数据库，当删除小文件时，更新索引数据库中相应的索引目录。但是，现有的小文件存储方式还是存在着如下的缺陷：
当删除大文件中的小文件后，有可能使大文件也变成小文件，从而使得文件系统中文件数量过多，数据读写迟缓，另外删除小文件后文件碎片过多，不利于存储空间的再度利用。
发明内容
本发明实施例提供了一种小文件存储的空间复用方法和装置，使得小文件存储的空间可以得到有效的回收和再利用，并可以减少小文件存储系统中的文件数量，提高小文件存储系统的读写速度。
一方面，本发明实施例提供了一种小文件存储的空间复用方法，该方法包括：遍历删除索引数据库以获取大文件标识号；判断具有所述大文件标识号的大文件中是否有未删除的小文件存在，若无，则删除所述大文件并继续遍历删除索引数据库以获取大文件标识号；若有，则创建和大文件大小相同的临时文件，复制所述未删除的小文件至所述临时文件并获得所述未删除的小文件合并后总的偏移量以及所述未删除的小文件在临时文件中的新的偏移量；根据所述未删除的小文件在临时文件中的新的偏移量更新索引数据库中的索引文件并将所述临时文件覆盖所述大文件。
优选地，本发明实施例中将临时文件覆盖大文件之后还包括：从大文件索引数据库中获取对应大文件可以使用的小文件标识号，并将所述大文件标识号、所述小文件标识号以及所述未删除的小文件合并后总的偏移量添加至复用数据库。
优选地，本发明实施例中若本机不为主文件服务器，则在将所述临时文件覆盖所述大文件后，更新文件同步索引数据库。
优选地，本发明实施例中所述判断具有所述大文件标识号的大文件中是否有未删除的小文件存在之前还包括：判断具有所述大文件标识号的大文件中删除文件的数量是否达到了预设比例，若是，则判断具有所述大文件标识号的大文件中是否有未删除的小文件存在；若否，则继续遍历删除索引数据库以获取大文件标识号。
优选地，本发明实施例中所述判断具有所述大文件标识号的大文件中删除文件的数量是否达到了预设比例之前还包括：判断具有所述大文件标识号的大文件是否正在使用，若否，则判断具有所述大文件标识号的大文件中删除文件的数量是否达到了预设比例；若是，则继续遍历删除索引数据库以获取大文件标识号。
优选地，本发明实施例中若更新索引数据库中的索引文件不成功，则恢复所述索引文件，并继续遍历删除索引数据库以获取大文件标识号。
优选地，本发明实施例中若将所述临时文件覆盖所述大文件不成功，则恢复所述索引文件，并继续遍历删除索引数据库以获取大文件标识号。
优选地，本发明实施例中若本机为主文件服务器，还包括：判断大文件索引数据库是否存在与大文件标识号对应的可用的小文件标识号的记录，若存在，则将所述大文件标识号、所述小文件标识号以及所述总的偏移量添加至复用数据库，若不存在，则继续遍历删除索引数据库以获取大文件标识号。
另一方面，本发明实施例还提供了一种小文件存储的空间复用装置，包括：第一标识获取单元，用于遍历删除索引数据库以获取大文件标识号；判断单元，用于判断具有所述大文件标识号的大文件中是否有未删除的小文件存在；删除单元，用于当所述判断单元判断没有未删除的小文件存在时，删除所述大文件并指示所述第一标识获取单元继续遍历删除索引数据库以获取大文件标识号；创建单元，用于当所述判断单元判断有未删除的小文件存在时，创建和大文件大小相同的临时文件，复制所述未删除的小文件至所述临时文件并获得所述未删除的小文件合并后总的偏移量以及所述未删除的小文件在临时文件中的新的偏移量；第一更新单元，用于当所述创建单元复制所述未删除的小文件至所述临时文件之后，根据所述未删除的小文件在临时文件中的新的偏移量更新索引数据库中的索引文件；覆盖单元，用于当所述第一更新单元更新索引数据库中的索引文件之后，将所述临时文件覆盖所述大文件。
优选地，本发明实施例还包括：第二标识获取单元，用于从大文件索引数据库中获取对应大文件可以使用的小文件标识号；添加单元，用于将所述大文件标识号、所述小文件标识号以及所述未删除的小文件合并后总的偏移量添加至复用数据库。
优选地，本发明实施例还包括：第二更新单元，用于当本机不是主文件服务器之后，更新文件同步索引数据库。
优选地，本发明实施例还包括：第二判断单元，用于判断具有所述大文件标识号的大文件中删除文件的数量是否达到了预设比例。
优选地，本发明实施例还包括：第三判断单元，用于判断具有所述大文件标识号的大文件是否正在使用。
优选地，本发明实施例还包括：恢复单元，用于当所述第一更新单元更新索引数据库中的索引文件不成功或者所述覆盖单元将所述临时文件覆盖所述大文件不成功时，恢复所述索引文件。
优选地，本发明实施例还包括：第四判断单元，用于当本机为主文件服务器后，判断大文件索引数据库是否存在与大文件标识号对应的可用的小文件标识号的记录。
本发明实施例以大文件为单位，根据索引结构将单个大文件进行空间合并操作，移除删除的小文件，使得小文件存储的空间可以得到有效的回收和再利用，并可以减少小文件存储系统中的文件数量，提高小文件存储系统的读写速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种小文件存储的空间复用方法流程示意图；
图2为本发明实施例提供的一种大文件的结构示意图；
图3为本发明实施例提供的一种经过空间合并后的大文件的结构示意图；
图4为本发明实施例提供的另一种小文件存储的空间复用方法流程示意图；
图5为本发明实施例提供的一种小文件存储的空间复用装置的结构示意图；
图6为本发明实施例提供的另一种小文件存储的空间复用装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示为本发明实施例提供的一种小文件存储的空间复用方法流程示意图，该方法包括如下步骤：
S101：遍历删除索引数据库以获取大文件标识号。
小文件存储系统中当删除一个小文件时，会将该小文件所对应的索引放入删除索引数据库，由于小文件存储于大文件之中，因此每个删除的小文件的索引中必然都有对应的大文件标识号，因此可以通过遍历的方式依次获取该大文件标识号。
S102：判断具有所述大文件标识号的大文件中是否有未删除的小文件存在，若无，则删除所述大文件并返回步骤S101；若有，则进入步骤S103。
若删除索引数据库中大文件标识号所对应的大文件中已经没有小文件存在，则可以删除该大文件以回收空间然后继续遍历删除索引数据库中其他的大文件。若删除索引数据库中大文件标识号所对应的大文件中还有小文件存在，则意味着这些小文件可以做下述合并处理，进行大文件的空间复用操作。
S103：创建和大文件大小相同的临时文件，复制所述未删除的小文件至所述临时文件并获得所述未删除的小文件合并后总的偏移量以及所述未删除的小文件在临时文件中的新的偏移量。
S104：根据所述未删除的小文件在临时文件中的新的偏移量更新索引数据库中的索引文件并将所述临时文件覆盖所述大文件。由于未删除的小文件合并复制进临时文件后，其每个未删除的小文件的偏移量也会发生变化，因此需要在索引数据库中对于该小文件的偏移量也进行相应更新，从而为以后查找小文件提供条件。另外该索引文件的更新还包括更新大文件标识号和小文件标识号的对应关系。
通过步骤S103和S104，可以使大文件中未删除的小文件重新排序，在大文件中整理出一连续的存储空间，从而使得该大文件可以被更高效率地进行复用。
作为本发明的一个实施例，在步骤S104之后，还可以包括如下步骤：从大文件索引数据库中获取对应大文件可以使用的小文件标识号，并将所述大文件标识号、所述小文件标识号以及所述未删除的小文件合并后总的偏移量添加至复用数据库。
当本机是主文件服务器时，由于其直接和用户交互，因此需要将大文件标识号、对应大文件可以使用的小文件标识号以及未删除的小文件合并后总的偏移量添加至复用数据库。当本机接受用户存储的小文件时，可以调用该复用数据库，根据该复用数据库中相应的数据对该小文件进行存储。
这里通过一具体实例来对上述步骤进行详细的描述：
如图2所示，假设一个大文件有10个小文件存在，其中1-10为小文件标识号，其中每个小文件大小都为10000字节，offset为每个小文件所对应的偏移量。假设现在删除了小文件标识号为2、5、6、8、10的小文件，那么经过上述步骤合并空间后，该大文件的结构如图3所示，将图3所对应的大文件的大文件标识号、该大文件可以使用的小文件标识号(由于小文件标识号10已经使用过，可以使用的小文件标识号为11开始)以及未删除的小文件合并后总的偏移量(offset＝50000)添加至复用数据库进行复用。如果此时需要写入一小文件，则此时该小文件写入的位置offset＝50000，小文件标识号设为11。由于在小文件存储系统中，为了保证文件存储的可靠性，一般对于文件服务器都是进行备份设置，即设置主文件服务器和从文件服务器，其中主文件服务器接收用户的小文件存储业务，然后根据预设的规则将存储的小文件备份至从文件服务器。因此，在本实施例中所指的空间复用，主要是针对直接和用户交互的主文件服务器而言的，从而对于从文件服务器的后续复用操作有所不同。上述步骤S105即是当本机是主文件服务器时所作的操作。
作为本发明的一个实施例，当本机是从文件服务器时，由于其不需要直接和用户进行交互，而只是被动地接受主文件服务器传送的小文件数据，而从文件服务器是通过文件同步索引数据库和主文件服务器进行数据同步的，其接收的主文件服务器传送的小文件数据的存储位置都是记录在文件同步索引数据库之中。因此只需要更新该文件同步索引数据库，使从文件服务器知道下次接收数据时存储的起始位置即可。
需要指出的是，当步骤S105结束后，可以返回步骤S101继续进行本方案的执行。
本发明实施例以大文件为单位，根据索引结构将单个大文件进行空间合并操作，移除删除的小文件，使得小文件存储的空间可以得到有效的回收和再利用，并可以减少小文件存储系统中的文件数量，提高小文件存储系统的读写速度。
如图4所示为本发明实施例提供的另一种小文件存储的空间复用方法流程示意图，该方法包括如下步骤：
S401：遍历删除索引数据库以获取大文件标识号。
S402：判断具有所述大文件标识号的大文件是否正在使用，若否，则进入步骤S403，若是则返回步骤S401继续遍历删除索引数据库以获取大文件标识号。通过本步骤可以先忽略正在使用的大文件，防止由于空间复用操作而导致影响用户操作。
S403：判断具有所述大文件标识号的大文件中删除文件的数量是否达到了预设比例，若是，则进入步骤S404，若否，则返回步骤S401继续遍历删除索引数据库以获取大文件标识号。
为了提高空间回收的效率，对于仅删除一小部分的大文件可以不做处理，因此在本实施例中可以设定一预设比例，仅对删除的小文件的数量超过该预设比例的大文件进行复用处理，比如，在本实施例中可以将该比例设置为0.5。
S404：判断具有所述大文件标识号的大文件中是否有未删除的小文件存在，若无，则删除所述大文件并返回步骤S401；若有，则进入步骤S405。
S405：创建临时文件，复制所述未删除的小文件至所述临时文件并获得所述未删除的小文件合并后总的偏移量以及所述未删除的小文件在临时文件中的新的偏移量。
S406：根据所述未删除的小文件在临时文件中的新的偏移量更新索引数据库中的索引文件。
S407：判断更新索引数据库中的索引文件是否成功，若成功则进入步骤S408，若不成功，则恢复所述索引文件，并返回步骤S401继续遍历删除索引数据库以获取大文件标识号。
S408：将所述临时文件覆盖所述大文件。
S409：判断将所述临时文件覆盖所述大文件是否成功，若成功则进入步骤S410，若不成功，则恢复所述索引文件，并返回步骤S401继续遍历删除索引数据库以获取大文件标识号。
S410：判断本机是否为主文件服务器，若是，则进入步骤S411，若否则进入步骤S413。
S411：判断大文件索引数据库是否存在记录，若存在，则进入步骤S412，若不存在，则返回步骤S401继续遍历删除索引数据库以获取大文件标识号。在本实施例中，大文件索引数据库可以存储大文件对应可以使用的小文件标识号，若从大文件索引数据库中获取的大文件索引数据没有记录，那么就不清楚当前可用的小文件标识号，那么就不能复用该大文件。
S412：获取对应大文件可以使用的小文件标识号，并将所述大文件标识号、所述小文件标识号以及所述未删除的小文件合并后总的偏移量添加至复用数据库。
S413：更新文件同步索引数据库。
需要指出的是，当步骤S412或者S413结束后，可以返回步骤S401继续进行本方案的执行。
本发明实施例以大文件为单位，根据索引结构将单个大文件进行空间合并操作，移除删除的小文件，使得小文件存储的空间可以得到有效的回收和再利用，并可以减少小文件存储系统中的文件数量，提高小文件存储系统的读写速度。
如图5所示为本发明实施例提供的一种小文件存储的空间复用装置的结构示意图，该装置包括：第一标识获取单元501、第一判断单元502、删除单元503、创建单元504、第一更新单元505和覆盖单元506。
第一标识获取单元501用于遍历删除索引数据库以获取大文件标识号。小文件存储系统中当删除一个小文件时，会将该小文件所对应的索引放入删除索引数据库，由于小文件存储于大文件之中，因此每个删除的小文件的索引中必然都有对应的大文件标识号，因此可以通过遍历的方式依次获取该大文件标识号。
第一判断单元502用于判断具有所述大文件标识号的大文件中是否有未删除的小文件存在。
删除单元503用于当第一判断单元502判断没有未删除的小文件存在时，删除所述大文件并指示第一标识获取单元501继续遍历删除索引数据库以获取大文件标识号。
若删除索引数据库中大文件标识号所对应的大文件中已经没有小文件存在，则可以删除该大文件以回收空间然后继续遍历删除索引数据库中其他的大文件。若删除索引数据库中大文件标识号所对应的大文件中还有小文件存在，则意味着这些小文件可以做下述合并处理，进行大文件的空间复用操作。
创建单元504用于当第一判断单元502判断有未删除的小文件存在时，创建和大文件大小相同的临时文件，复制所述未删除的小文件至所述临时文件并获得所述未删除的小文件合并后总的偏移量以及所述未删除的小文件在临时文件中的新的偏移量。
第一更新单元505用于当创建单元504复制所述未删除的小文件至所述临时文件之后，根据所述未删除的小文件在临时文件中的新的偏移量更新索引数据库中的索引文件。
覆盖单元506用于当所述第一更新单元更新索引数据库中的索引文件之后，将所述临时文件覆盖所述大文件。
通过第一更新单元505和覆盖单元506，可以使大文件中未删除的小文件重新排序，在大文件中整理出一连续的存储空间，从而使得该大文件可以被更高效率地进行复用。
作为本发明的一个实施例，本空间复用装置还可以包括第二标识获取单元507和添加单元508，其中：
第二标识获取单元507用于当本机是主文件服务器之后，获取对应大文件可以使用的小文件标识号。
添加单元508用于将所述大文件标识号、所述小文件标识号以及所述未删除的小文件合并后总的偏移量添加至复用数据库。
当本机是主文件服务器时，由于其直接和用户交互，因此需要将大文件标识号、所述小文件标识号以及所述未删除的小文件合并后总的偏移量添加至复用数据库。当本机接受用户存储的小文件时，可以调用该复用数据库，根据该复用数据中相应的数据对该小文件进行存储。
作为本发明的一个实施例，当本机不是主文件服务器，而是从文件服务器时，还可以包括一第二更新单元(未绘示)，其用于当本机不是主文件服务器之后，更新文件同步索引数据库。
当本机是从文件服务器时，由于其不需要直接和用户进行交互，而只是被动地接受主文件服务器传送的小文件数据，而从文件服务器是通过文件同步索引数据库和主文件服务器进行数据同步的，其接收的主文件服务器传送的小文件数据的存储位置都是记录在文件同步索引数据库之中。因此只需要更新该文件同步索引数据库，使从文件服务器知道下次接收数据时存储的起始位置即可。
本发明实施例以大文件为单位，根据索引结构将单个大文件进行空间合并操作，移除删除的小文件，使得小文件存储的空间可以得到有效的回收和再利用，并可以减少小文件存储系统中的文件数量，提高小文件存储系统的读写速度。
如图6所示为本发明实施例提供的另一种小文件存储的空间复用装置的结构示意图，第一标识获取单元601、第一判断单元602、删除单元603、创建单元604、第一更新单元605、覆盖单元606、第二标识获取单元607、添加单元6089、第二判断单元609、第三判断单元610、第四判断单元611和恢复单元612。
在本实施例中第一标识获取单元601、第一判断单元602、删除单元603、创建单元604、第一更新单元605、覆盖单元606、、第二标识获取单元607、添加单元608和图5所对应实施例中单元相类似，在此不再赘述。第三判断单元610用于在第一标识获取单元601获取到大文件标识后，用于判断具有所述大文件标识号的大文件是否正在使用，若在使用，则通知第一标识获取单元601继续获取大文件标识，若不在使用，则第二判断单元609继续判断具有所述大文件标识号的大文件中删除文件的数量是否达到了预设比例，若未达到预设比例，则通知第一标识获取单元601继续获取大文件标识，若已经达到了预设比例，则通知第一判断单元602进行相应判断。
恢复单元612用于当第一更新单元605更新索引数据库中的索引文件不成功或者覆盖单元606将所述临时文件覆盖所述大文件不成功时，恢复所述索引文件。
第四判断单元611用于当本机为主文件服务器时，判断大文件索引数据库是否存在与大文件标识号对应的可用的小文件标识号的记录，若不存在记录，则通知第一标识获取单元601继续获取大文件标识。
本发明实施例以大文件为单位，根据索引结构将单个大文件进行空间合并操作，移除删除的小文件，使得小文件存储的空间可以得到有效的回收和再利用，并可以减少小文件存储系统中的文件数量，提高小文件存储系统的读写速度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (15)
1.一种小文件存储的空间复用方法，其特征在于，所述方法包括：
遍历删除索引数据库以获取大文件标识号；
判断具有所述大文件标识号的大文件中是否有未删除的小文件存在，若无，则删除所述大文件并继续遍历删除索引数据库以获取大文件标识号；若有，则创建和大文件大小相同的临时文件，复制所述未删除的小文件至所述临时文件并获得所述未删除的小文件合并后总的偏移量以及所述未删除的小文件在临时文件中的新的偏移量；
根据所述未删除的小文件在临时文件中的新的偏移量更新索引数据库中的索引文件并将所述临时文件覆盖所述大文件。
2.如权利要求1所述的小文件存储的空间复用方法，其特征在于，所述将所述临时文件覆盖所述大文件之后还包括；从大文件索引数据库中获取对应大文件可以使用的小文件标识号，并将所述大文件标识号、所述小文件标识号以及所述未删除的小文件合并后总的偏移量添加至复用数据库。
3.如权利要求1所述的小文件存储的空间复用方法，其特征在于，若本机不为主文件服务器，则在将所述临时文件覆盖所述大文件后，更新文件同步索引数据库。
4.如权利要求1所述的小文件存储的空间复用方法，其特征在于，所述判断具有所述大文件标识号的大文件中是否有未删除的小文件存在之前还包括：
判断具有所述大文件标识号的大文件中删除文件的数量是否达到了预设比例，若是，则判断具有所述大文件标识号的大文件中是否有未删除的小文件存在；若否，则继续遍历删除索引数据库以获取大文件标识号。
5.如权利要求4所述的小文件存储的空间复用方法，其特征在于，所述判断具有所述大文件标识号的大文件中删除文件的数量是否达到了预设比例之前还包括：
判断具有所述大文件标识号的大文件是否正在使用，若否，则判断具有所述大文件标识号的大文件中删除文件的数量是否达到了预设比例；若是，则继续遍历删除索引数据库以获取大文件标识号。
6.如权利要求1所述的小文件存储的空间复用方法，其特征在于，若更新索引数据库中的索引文件不成功，则恢复所述索引文件，并继续遍历删除索引数据库以获取大文件标识号。
7.如权利要求1所述的小文件存储的空间复用方法，其特征在于，若将所述临时文件覆盖所述大文件不成功，则恢复所述索引文件，并继续遍历删除索引数据库以获取大文件标识号。
8.如权利要求2所述的小文件存储的空间复用方法，其特征在于，若本机为主文件服务器，还包括：
判断大文件索引数据库是否存在与大文件标识号对应的可用的小文件标识号的记录，若存在，则将所述大文件标识号、所述小文件标识号以及所述总的偏移量添加至复用数据库，若不存在，则继续遍历删除索引数据库以获取大文件标识号。
9.一种小文件存储的空间复用装置，其特征在于，包括：
第一标识获取单元，用于遍历删除索引数据库以获取大文件标识号；
判断单元，用于判断具有所述大文件标识号的大文件中是否有未删除的小文件存在；
删除单元，用于当所述判断单元判断没有未删除的小文件存在时，删除所述大文件并指示所述第一标识获取单元继续遍历删除索引数据库以获取大文件标识号；
创建单元，用于当所述判断单元判断有未删除的小文件存在时，创建和大文件大小相同的临时文件，复制所述未删除的小文件至所述临时文件并获得所述未删除的小文件合并后总的偏移量以及所述未删除的小文件在临时文件中的新的偏移量；
第一更新单元，用于当所述创建单元复制所述未删除的小文件至所述临时文件之后，根据所述未删除的小文件在临时文件中的新的偏移量更新索引数据库中的索引文件；
覆盖单元，用于当所述第一更新单元更新索引数据库中的索引文件之后，将所述临时文件覆盖所述大文件。
10.如权利要求9所述的小文件存储的空间复用装置，其特征在于，还包括：
第二标识获取单元，用于从大文件索引数据库中获取对应大文件可以使用的小文件标识号；
添加单元，用于将所述大文件标识号、所述小文件标识号以及所述未删除的小文件合并后总的偏移量添加至复用数据库。
11.如权利要求9所述的小文件存储的空间复用装置，其特征在于，还包括：
第二更新单元，用于当本机不是主文件服务器之后，更新文件同步索引数据库。
12.如权利要求9所述的小文件存储的空间复用装置，其特征在于，还包括：
第二判断单元，用于判断具有所述大文件标识号的大文件中删除文件的数量是否达到了预设比例。
13.如权利要求12所述的小文件存储的空间复用装置，其特征在于，还包括：
第三判断单元，用于判断具有所述大文件标识号的大文件是否正在使用。
14.如权利要求9所述的小文件存储的空间复用装置，其特征在于，还包括：
恢复单元，用于当所述第一更新单元更新索引数据库中的索引文件不成功或者所述覆盖单元将所述临时文件覆盖所述大文件不成功时，恢复所述索引文件。
15.如权利要求10所述的小文件存储的空间复用装置，其特征在于，还包括：
第四判断单元，用于当本机为主文件服务器后，判断大文件索引数据库是否存在与大文件标识号对应的可用的小文件标识号的记录。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110327384.4A CN103077166B (zh) | 2011-10-25 | 2011-10-25 | 小文件存储的空间复用方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110327384.4A CN103077166B (zh) | 2011-10-25 | 2011-10-25 | 小文件存储的空间复用方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103077166A CN103077166A (zh) | 2013-05-01 |
| CN103077166B true CN103077166B (zh) | 2016-08-03 |
Family
ID=48153697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110327384.4A Expired - Fee Related CN103077166B (zh) | 2011-10-25 | 2011-10-25 | 小文件存储的空间复用方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103077166B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105630688A (zh) | 2014-10-30 | 2016-06-01 | 国际商业机器公司 | 聚集文件的存储方法和系统以及聚集文件压缩方法和系统 |
| CN105975493A (zh) * | 2016-04-26 | 2016-09-28 | 北京神州绿盟信息安全科技股份有限公司 | 一种文件合并方法及装置 |
| KR101736406B1 (ko) * | 2016-05-30 | 2017-05-29 | 주식회사 인피니플럭스 | 데이터 복제 방법 및 그 장치 |
| JP6724766B2 (ja) * | 2016-12-22 | 2020-07-15 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置及びプログラム |
| CN107707600B (zh) * | 2017-05-26 | 2018-09-18 | 贵州白山云科技有限公司 | 一种数据存储方法及装置 |
| CN107229538A (zh) * | 2017-05-31 | 2017-10-03 | 广州鼎甲计算机科技有限公司 | 一种文件合成备份的方法 |
| CN107357536B (zh) * | 2017-07-28 | 2020-07-07 | 郑州云海信息技术有限公司 | 分布式存储系统数据修改写方法及系统 |
| CN108090128B (zh) * | 2017-11-16 | 2021-11-26 | 北京奇艺世纪科技有限公司 | 一种合并存储空间回收方法、装置及电子设备 |
| CN108415986B (zh) * | 2018-02-11 | 2020-10-30 | 杭州朗和科技有限公司 | 一种数据处理方法、装置、系统、介质和计算设备 |
| CN111723056B (zh) * | 2020-06-09 | 2024-04-30 | 北京青云科技股份有限公司 | 小文件的处理方法、装置、设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101452465A (zh) * | 2007-12-05 | 2009-06-10 | 高德软件有限公司 | 大批量文件数据存放和读取方法 |
| CN101655858A (zh) * | 2009-08-26 | 2010-02-24 | 华中科技大学 | 一种基于分块组织的密文索引结构及其管理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8768980B2 (en) * | 2009-11-02 | 2014-07-01 | Stg Interactive S.A. | Process for optimizing file storage systems |
-
2011
- 2011-10-25 CN CN201110327384.4A patent/CN103077166B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101452465A (zh) * | 2007-12-05 | 2009-06-10 | 高德软件有限公司 | 大批量文件数据存放和读取方法 |
| CN101655858A (zh) * | 2009-08-26 | 2010-02-24 | 华中科技大学 | 一种基于分块组织的密文索引结构及其管理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 面向互联网的多型文件融合存储系统;朱辉;《CNKI中国优秀硕士学位论文全文数据库》;20110715;第3.2.1、3.2.3、3.3.3、4.1.2、4.1.5节，图3-5，图4-2 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103077166A (zh) | 2013-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103077166B (zh) | 小文件存储的空间复用方法和装置 | |
| CN107391774B (zh) | 基于重复数据删除的日志文件系统的垃圾回收方法 | |
| CN102024016B (zh) | 一种分布式文件系统快速数据恢复的方法 | |
| CN104866435A (zh) | 一种连续数据保护方法 | |
| CN102541757B (zh) | 写缓存方法、缓存同步方法和装置 | |
| CN109343790A (zh) | 一种基于nand flash的数据存储方法、终端设备及存储介质 | |
| CN102890656B (zh) | 提高flash使用寿命的方法 | |
| CN102331993B (zh) | 分布式数据库的数据迁移方法和分布式数据库迁移系统 | |
| CN104778222B (zh) | 基于usb存储设备的媒体库建立及更新方法 | |
| CN101258473A (zh) | 直接数据文件存储存储器中的数据合并和垃圾收集 | |
| CN103593257B (zh) | 一种数据备份方法及装置 | |
| CN110389942A (zh) | 一种无垃圾回收的键值分离存储方法和系统 | |
| CN101295323A (zh) | 一种用于索引更新的处理方法和系统 | |
| CN101763415B (zh) | 一种数据库的b树索引的生成方法及装置 | |
| CN106383666B (zh) | 一种数据存储方法及装置 | |
| CN104346373A (zh) | 分区日志队列同步管理方法及设备 | |
| CN105512171A (zh) | 数据库同步的方法及装置 | |
| CN106201778B (zh) | 信息处理方法及存储设备 | |
| CN106339387A (zh) | 一种数据库集群中新增服务器的数据同步方法及装置 | |
| CN105068885A (zh) | 一种jpg碎片文件恢复与重组的方法 | |
| CN103617124B (zh) | 一种闪存管理方法和装置 | |
| CN104636218B (zh) | 数据恢复方法及装置 | |
| CN111177021A (zh) | Java卡碎片管理方法及其存储装置 | |
| CN104077078B (zh) | 读存储区、更新存储区的方法及装置 | |
| CN104778099B (zh) | 一种基于历史版本的yaffs2破损文件重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: SHENZHEN TIANQU NETWORK TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: SHENZHEN KUAIBO TECHNOLOGY CO., LTD. Effective date: 20141215 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20141215 Address after: 518057 Guangdong city of Shenzhen province Nanshan District south road six No. 6 7 storey building to Kelon Applicant after: SHENZHEN TEEQEE NETWORK TECHNOLOGY Co.,Ltd. Address before: 518057 Guangdong city of Shenzhen province Nanshan District Gao Xin Road No. 009 China Technology Development Institute Technology Park building three, 22 layers of A Applicant before: SHENZHEN QVOD TECHNOLOGY Co.,Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 518063 Nanshan District, Shenzhen, Guangdong, Guangdong Province, 9, No. 3, building No. 3, China Science and Technology Development Institute. Patentee after: Shenzhen city cloud fun network Polytron Technologies Inc. Address before: 518057 Guangdong city of Shenzhen province Nanshan District south road six No. 6 7 storey building to Kelon Patentee before: SHENZHEN TEEQEE NETWORK TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160803 |