CN104572670B - 一种小文件的存储、查询及删除方法和系统 - Google Patents

一种小文件的存储、查询及删除方法和系统 Download PDF

Info

Publication number
CN104572670B
CN104572670B CN201310481573.6A CN201310481573A CN104572670B CN 104572670 B CN104572670 B CN 104572670B CN 201310481573 A CN201310481573 A CN 201310481573A CN 104572670 B CN104572670 B CN 104572670B
Authority
CN
China
Prior art keywords
small documents
file
index information
small
documents
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310481573.6A
Other languages
English (en)
Other versions
CN104572670A (zh
Inventor
白冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Founder International Co Ltd
Founder International Beijing Co Ltd
Original Assignee
Founder International Co Ltd
Founder International Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Founder International Co Ltd, Founder International Beijing Co Ltd filed Critical Founder International Co Ltd
Priority to CN201310481573.6A priority Critical patent/CN104572670B/zh
Publication of CN104572670A publication Critical patent/CN104572670A/zh
Application granted granted Critical
Publication of CN104572670B publication Critical patent/CN104572670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种小文件的存储、查询及删除方法和系统，首先创建一个大文件，然后将小文件合并入大文件的小文件存储区域。在进行小文件的查询时，首先根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；之后再根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。通过本发明所述的方法和系统，可以根据小文件的元数据信息快速定位小文件，有效提高了大文件中小文件的检索和处理效率。

Description

一种小文件的存储、查询及删除方法和系统
技术领域
本发明涉及文件处理领域，具体涉及一种小文件的存储、查询及删除方法和系统。
背景技术
随着信息化的发展，文件越来越多，尤其是对于金融等行业，小文件(小文件一般指文件大小较小的文件，如几百KB，几十KB)数量增长很快，由于金融需要这些小文件不能删除，但小文件管理和备份的难度越来越大。
目前对于小文件管理与备份一般的解决方案是合并为一个大文件(大文件一般指文件大小较大的文件，如几GB，几十GB)，将多个小文件合并为一个大文件存放，可以有效缓解这个压力，但这种简单的合并对于文件的查询检索很不方便。在将多个小文件合并为一个大文件时，建立一个文件索引表，在这个表中包含对于每个小文件多个维度的描述信息，在查找小文件时，先查询文件索引表再定位文件，这样既可以解决小文件的管理和备份问题，也可以解决合并为一个大文件之后的检索问题。但是在将多个小文件合并为一个大文件之后，对于小文件的检索效率很低，如果想查看小文件的一些属性和内容需要将小文件从大文件中取出来，甚至有的方式会将大文件再分离为多个小文件。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种小文件的存储、查询及删除方法和系统，提高小文件的检索效率。
为实现上述目的，本发明采用的技术方案如下：
一种小文件的存储方法，包括以下步骤：
(1)创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息存储区域的起始位置在整个大文件中的相对偏移量；
(2)将小文件合并入大文件的小文件存储区域。
进一步，如上所述的一种小文件的存储方法，步骤(1)中，小文件索引信息包括小文件的文件名称、文件大小、文件元数据信息和小文件在整个大文件中的相对偏移量。
进一步，如上所述的一种小文件的存储方法，所述的文件元数据信息是指小文件中所存储的业务类型的信息。
进一步，如上所述的一种小文件的存储方法，步骤(2)中，将小文件合并入大文件的小文件存储区域的具体方式包括：
a.获取小文件的大小；
b.将小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；
c.将小文件存储在小文件存储区域；
d.在小文件索引信息存储区域中添加小文件的索引信息。
一种小文件的查询方法，包括以下步骤：
(1)根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；
(2)根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。
进一步，如上所述的一种小文件的查询方法，步骤(1)中，通过正则表达式的方式查询小文件的索引信息。
一种小文件的删除方法，包括以下步骤：
(1)根据小文件的文件元数据信息查询小文件的索引信息；
(2)根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小查询存储在大文件中的小文件；
(3)删除小文件和小文件的索引信息。
一种小文件的存储系统，包括：
大文件创建模块，用于创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息的起始位置在整个大文件中的相对偏移量；
小文件存储模块，用于将小文件合并入大文件的小文件存储区域。
进一步，如上所述的一种小文件存储系统，所述的小文件存储模块包括：
文件大小获取单元，用于获取小文件的大小；
索引区域移动单元，用于小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；
小文件存储单元，用于将小文件存储在小文件存储区域；
索引信息添加单元，用于在小文件索引信息存储区域中添加小文件的索引信息。
一种小文件的查询系统，包括：
索引信息获取模块，用于根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；
小文件获取模块，用于根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。
一种小文件的删除系统，包括：
索引信息获取模块，用于根据小文件的文件元数据信息查询小文件的索引信息；
小文件获取模块，用于根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件；
小文件删除模块，用于删除小文件和小文件的索引信息。
本发明的有益效果在于：本发明所述的方法及系统，可以依据元数据信息快速定位大文件中的小文件，有效提高了小文件的检索效率。
附图说明
图1为具体实施方式中一种小文件的存储系统的结构框图；
图2为具体实施方式中一种小文件的查询系统的结构框图；
图3为具体实施方式中一种小文件的存储方法的流程图；
图4为具体实施方式中一种小文件的查询方法的流程图；
图5为具体实施方式中的大文件的文件格式示意图；
图6为在图3中所示大文件中添加小文件后的示意图。
具体实施方式
下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。
图1示出了本发明具体实施方式中一种小文件的存储系统的结构框图，该存储系统主要包括大文件创建模块11和小文件存储模块12，其中：
大文件创建模块11用于创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息的起始位置在整个大文件中的相对偏移量；小文件索引信息包括小文件的文件名称、文件大小、文件元数据信息和小文件在大文件中的相对偏移量等信息。
小文件存储模块12用于将小文件合并入大文件的小文件存储区域；该模块包括以下单元：
文件大小获取单元，用于获取小文件的大小；
索引区域移动单元，用于小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；
小文件存储单元，用于将小文件存储在小文件存储区域；
索引信息添加单元，用于在小文件索引信息存储区域中添加小文件的索引信息。
本具体实施方式中所述的大文件指的是文件大小较大的文件，如几GB 或者几十GB，具体的大文件的大小可以根据需要进行自行设定。小文件指的是文件大小较小的文件，小文件大小的具体设置范围也可以由用户自行设定。通过上述小文件存储系统完成多个大文件向小文件存储时，当大文件存储了合适数量的小文件后，如存储的小文件的大小大于大文件的存储阈值，可再建立新的大文件存储其它的小文件。
图2示出了本发明具体实施方式中基于图1中小文件的存储系统的一种小文件的查询系统的结构框图，该系统出来应当包括图1中的大文件创建模块11和小文件存储模块12外，还包括索引信息获取模块13和小文件获取模块14，其中：
索引信息获取模块13用于根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；
小文件获取模块14用于根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。
本具体实施方式中的文件元数据信息是指小文件中所存储的业务类型的信息，即小文件所附带的业务类型的信息，如国家、地区、类型等，都是为了方便索引所添加的。
索引信息检索模块在查询小文件的索引信息时，可以利用正则表达式等多种快速方式进行查询。
在图2中所示的小文件的查询系统的基础上，还可以通过添加以小文件删除模块来完成存储在大文件中的小文件的删除，即一种小文件的删除系统处理包括上述大文件创建模块11、小文件存储模块12、索引信息获取模块 13和小文件获取模块14外，还包括用于删除小文件和小文件的索引信息的小文件删除模块。
图3示出了基于图1中所示的小文件的存储系统的一种小文件的存储方法的流程图，该方法包括以下步骤：
步骤S21：创建一个大文件；
创建一个用于存储多个小文件的大文件，所述的大文件包括三个存储部分，如图5所示，第一部分为索引区偏移量存储区域，第二部分为小文件存储区域，第三部分为小文件索引信息存储区域。
其中，索引区偏移量是指小文件索引信息存储区域的起始位置在整个大文件中的相对偏移量，如图5中所示的偏移量为665536，即表示该大文件中小文件索引信息存储区域的起始位置在整个大文件中的相对偏移量为 665536。小文件索引信息包括小文件的文件名称、文件大小、文件元数据信息和小文件在大文件中的相对偏移量等信息。所述的文件元数据信息是指小文件中所存储的业务类型的信息，即小文件所附带的业务类型的信息，如国家、地区、类型等，都是为了方便索引所添加的。小文件索引信息存储区域的索引格式可选用XML格式构建。
步骤S22：将小文件合并入大文件的小文件存储区域。
本实施方式中将小文件合并入大文件的小文件存储区域的具体方式包括以下步骤：
a.获取小文件的大小；
b.将小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；
c.将小文件存储在小文件存储区域；
d.在小文件索引信息存储区域中添加小文件的索引信息。
在向大文件中添加小文件时，首先向操作系统申请一块物理空间，追加在大文件之后组成一个新的大文件，相当于大文件自身做了一次容量扩充，然后在大文件中将索引区向后移动待追加的小文件大小的距离，将小文件追加至大文件的第二部分中。当然也可以在创建大文件时一次申请较多的空间，放置在大文件的第二部分备用，如果待追加的文件小于备用空间，则不需要向操作系统申请新的物理空间，否则 需要再次申请。
如图6中，将一名称为1.jpg的小文件添加到图5中所示的大文件时，添加前大文件的大小为665536，小文件的大小为65536，将大文件的小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量为665536+65536＝731072，之后将小文件1.jpg存储到第二部分中，之后在小文件索引信息存储区域中添加1.jpg的索引信息。本实施方式中以XML格式构建的1.jpg的索引信息记录如下：
图4中示出了本具体实施方式中基于图3中所示的小文件的存储方法的一种小文件的查询方法的流程图，该查询方法除了包括上述步骤S21和步骤 S22外，还包括以下步骤：
步骤S23：查询小文件的索引信息；
步骤S24：根据小文件索引信息获取存储在大文件中的小文件。
在大文件中检索需要的小文件时，首先根据大文件的索引区偏移量存储区域即第一区域中的索引区偏移量确定小文件索引信息存储区域(第三区域) 的位置，再根据小文件的文件元数据信息查询小文件在第三区域的索引信息；最后根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。其中，可以采用正则表达式等多种快捷方式获取所要查询的小文件的索引信息。
在完成小文件的查询后，可以根据需要进行相关操作，例如删除，本实施方式中基于图4中所示小文件查询方法的一种小文件的删除方法除了包括上述步骤S21～S24外，还包括以下步骤：
步骤S25：删除小文件和小文件的索引信息。
在进行小文件的删除时，如果不需要实时释放存储空间，只将第三部分小文件索引信息中的待删除文件的对应索引信息删除即可，在大文件的第二部分中未真正删除的小文件作为垃圾空间存在。待大文件中的垃圾空间与整个大文件的占比达到一定阈 值(如10％)之后，可以进行一次文件整理工作，具体方式如下：
1.依据第三部分小文件索引信息中记录的小文件的顺序，按照每个小文件的起始偏移量和大小，从第二部分起始地址开始顺序填充移动，同时更新小文件索引信息中的文件起始偏移量。
2.待所有文件都整理完毕之后，第二部分后部空出的空间就是整理完毕的一块完整的备用空间，依据设定的策略，可以做备用空间或释放，如果释放，则将第三部分向前移动至第二部分最后一个小文件的文件尾，同时更新第一部分中关于第三部分起始位置的偏移量，如果用做备用空间，则无需移动第三部分。
当然文件的整理工作也可以删除一个文件进行一次，但是效率较低。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种小文件的存储方法，包括以下步骤：
(1)创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息存储区域的起始位置在整个大文件中的相对偏移量；
(2)将小文件合并入大文件的小文件存储区域；
步骤(2)中，将小文件合并入大文件的小文件存储区域的具体方式包括：
a.获取小文件的大小；
b.将小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；
c.将小文件存储在小文件存储区域；
d.在小文件索引信息存储区域中添加小文件的索引信息。
2.如权利要求1所述的一种小文件的存储方法，其特征在于，步骤(1)中，小文件索引信息包括小文件的文件名称、文件大小、文件元数据信息和小文件在整个大文件中的相对偏移量。
3.如权利要求2所述的一种小文件的存储方法，其特征在于，所述的文件元数据信息是指小文件中所存储的业务类型的信息。
4.基于权利要求3中所述小文件的存储方法的一种小文件的查询方法，包括以下步骤：
(1)根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；
(2)根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。
5.如权利要求4所述的一种小文件的查询方法，其特征在于，步骤(1)中，通过正则表达式的方式查询小文件的索引信息。
6.基于权利要求3中所述小文件的存储方法的一种小文件的删除方法，包括以下步骤：
(1)根据小文件的文件元数据信息查询小文件的索引信息；
(2)根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小查询存储在大文件中的小文件；
(3)删除小文件和小文件的索引信息。
7.基于权利要求1所述小文件的存储方法的一种小文件的存储系统，包括：
大文件创建模块，用于创建一个大文件；所述的大文件包括索引区偏移量存储区域、小文件存储区域和小文件索引信息存储区域；索引区偏移量是指小文件索引信息的起始位置在整个大文件中的相对偏移量；
小文件存储模块，用于将小文件合并入大文件的小文件存储区域；
所述的小文件存储模块包括：
文件大小获取单元，用于获取小文件的大小；
索引区域移动单元，用于小文件索引信息存储区域向后偏移小文件大小，并更新索引区偏移量；
小文件存储单元，用于将小文件存储在小文件存储区域；
索引信息添加单元，用于在小文件索引信息存储区域中添加小文件的索引信息。
8.基于权利要求4所述小文件的查询方法的一种小文件的查询系统，包括：
索引信息获取模块，用于根据索引区偏移量和小文件的文件元数据信息查询小文件的索引信息；
小文件获取模块，用于根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件。
9.如权利要求6所述一种小文件的删除方法的一种小文件的删除系统，包括：
索引信息获取模块，用于根据小文件的文件元数据信息查询小文件的索引信息；
小文件获取模块，用于根据小文件索引信息中的小文件在大文件中的相对偏移量和文件大小获取存储在大文件中的小文件；
小文件删除模块，用于删除小文件和小文件的索引信息。
CN201310481573.6A 2013-10-15 2013-10-15 一种小文件的存储、查询及删除方法和系统 Active CN104572670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310481573.6A CN104572670B (zh) 2013-10-15 2013-10-15 一种小文件的存储、查询及删除方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310481573.6A CN104572670B (zh) 2013-10-15 2013-10-15 一种小文件的存储、查询及删除方法和系统

Publications (2)

Publication Number Publication Date
CN104572670A CN104572670A (zh) 2015-04-29
CN104572670B true CN104572670B (zh) 2019-07-23

Family

ID=53088763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310481573.6A Active CN104572670B (zh) 2013-10-15 2013-10-15 一种小文件的存储、查询及删除方法和系统

Country Status (1)

Country Link
CN (1) CN104572670B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404691A (zh) * 2015-12-14 2016-03-16 曙光信息产业股份有限公司 一种文件存储的方法及装置
CN106980616B (zh) * 2016-01-15 2020-12-08 航天信息股份有限公司 一种海量小文件合并存储方法和系统
CN107402924A (zh) * 2016-05-19 2017-11-28 普天信息技术有限公司 Mr文件应用在hdfs的实现方法和装置
CN106326393A (zh) * 2016-08-17 2017-01-11 东方网力科技股份有限公司 一种小图片的存储、读取方法和装置
CN108228673B (zh) * 2016-12-22 2021-09-03 上海凯翔信息科技有限公司 一种文件快速合并的方法和系统
CN106874348B (zh) * 2016-12-26 2020-06-16 贵州白山云科技股份有限公司 文件存储和索引方法、装置及读取文件的方法
CN106709025A (zh) * 2016-12-28 2017-05-24 郑州云海信息技术有限公司 更新聚合对象的方法及装置
CN106951529A (zh) * 2017-03-21 2017-07-14 郑州云海信息技术有限公司 一种海量小文件的管理方法及系统
CN107291915A (zh) * 2017-06-27 2017-10-24 北京奇艺世纪科技有限公司 一种小文件存储方法、小文件读取方法及系统
CN107329808B (zh) * 2017-06-29 2020-12-18 联想(北京)有限公司 一种信息处理方法及装置
CN107509085B (zh) * 2017-08-24 2019-12-24 山东浪潮商用系统有限公司 一种流媒体文件的存储方法及装置
CN107704203B (zh) * 2017-09-27 2021-08-31 郑州云海信息技术有限公司 聚合大文件的删除方法、装置、设备及计算机存储介质
CN107807989B (zh) * 2017-11-03 2020-03-24 绿湾网络科技有限公司 小文件处理方法及装置
CN109947721B (zh) * 2017-12-01 2021-08-17 北京安天网络安全技术有限公司 一种小文件处理方法和装置
CN108345693B (zh) * 2018-03-16 2022-01-28 中国银行股份有限公司 一种文件处理方法及装置
CN110597762A (zh) * 2018-05-25 2019-12-20 杭州海康威视系统技术有限公司 文件处理方法、装置、设备及存储介质
CN108776578B (zh) * 2018-06-01 2021-10-26 紫光西部数据(南京)有限公司 一种快速合并对象的方法和系统
CN110659250B (zh) * 2018-06-13 2022-02-22 中国电信股份有限公司 文件处理方法和系统
CN110196841B (zh) * 2018-06-21 2023-12-05 腾讯科技（深圳）有限公司 文件的存储方法和装置、查询方法和装置及服务器
CN109101598A (zh) * 2018-07-31 2018-12-28 成都华栖云科技有限公司 一种小图片页面渲染方法
CN111258955B (zh) * 2018-11-30 2023-09-19 北京白山耘科技有限公司 一种文件读取方法和系统、存储介质、计算机设备
CN110147203B (zh) * 2019-05-16 2022-11-04 北京金山云网络技术有限公司 一种文件管理方法、装置、电子设备及存储介质
CN110968549B (zh) * 2019-11-18 2024-03-29 Oppo（重庆）智能科技有限公司 文件存储的方法、装置、电子设备及介质
CN113821167B (zh) * 2021-08-27 2024-02-13 济南浪潮数据技术有限公司 一种数据迁移方法和装置
CN115269524B (zh) * 2022-09-26 2023-03-24 创云融达信息技术(天津)股份有限公司 一种端到端小文件归集传输和存储的一体化系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452465A (zh) * 2007-12-05 2009-06-10 高德软件有限公司 大批量文件数据存放和读取方法
CN101916289A (zh) * 2010-08-20 2010-12-15 浙江大学 支持海量小文件和动态备份数的数字图书馆存储系统的构建方法
CN102332027A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量非独立小文件关联存储方法
CN102332029A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量可归类小文件关联存储方法
CN103279474A (zh) * 2013-04-10 2013-09-04 深圳康佳通信科技有限公司 一种视频文件索引方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101452465A (zh) * 2007-12-05 2009-06-10 高德软件有限公司 大批量文件数据存放和读取方法
CN101916289A (zh) * 2010-08-20 2010-12-15 浙江大学 支持海量小文件和动态备份数的数字图书馆存储系统的构建方法
CN102332027A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量非独立小文件关联存储方法
CN102332029A (zh) * 2011-10-15 2012-01-25 西安交通大学 一种基于Hadoop的海量可归类小文件关联存储方法
CN103279474A (zh) * 2013-04-10 2013-09-04 深圳康佳通信科技有限公司 一种视频文件索引方法及系统

Also Published As

Publication number Publication date
CN104572670A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104572670B (zh) 一种小文件的存储、查询及删除方法和系统
CN104933133B (zh) 分布式文件系统中的元数据快照存储和访问方法
CN104866497B (zh) 分布式文件系统列式存储的元数据更新方法、装置、主机
CN105574093B (zh) 一种在基于HDFS的spark-sql大数据处理系统上建立索引的方法
CN102890722B (zh) 应用于时序历史数据库的索引方法
CN108491549B (zh) 一种分布式存储系统中文件目录的创建方法及装置
CN106462592A (zh) 优化对索引的多版本支持的系统和方法
CN103544156B (zh) 文件存储方法及装置
US20130297570A1 (en) Method and apparatus for deleting duplicate data
CN102169507A (zh) 一种分布式实时搜索引擎
CN102467572B (zh) 支持重复数据删除程序的数据区块查询方法
CN103744913A (zh) 一种基于搜索引擎技术的数据库检索方法
CN102906751A (zh) 一种数据存储、数据查询的方法及装置
CN103366015A (zh) 一种基于Hadoop的OLAP数据存储与查询方法
JP2012098934A (ja) 文書管理システム、文書管理システムの制御方法、プログラム
CN103678491A (zh) 一种基于Hadoop中小文件优化和倒排索引的方法
WO2010078760A1 (zh) 一种文件存储方法、装置及文件删除方法和装置
CN103198150B (zh) 一种大数据索引方法及系统
CN109284273B (zh) 一种采用后缀数组索引的海量小文件查询方法及系统
RU2016123091A (ru) Способ и система для обработки данных
CN108984686A (zh) 一种基于日志合并的分布式文件系统索引方法和装置
CN105159616A (zh) 一种磁盘空间管理方法及装置
CN109101599B (zh) 一种增量索引更新方法及系统
CN110008174A (zh) 一种目录导出方法、系统及相关装置
CN106326040A (zh) 一种快照元数据管理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant