CN106021538A - 一种基于fics对象存储的文件分割方法与系统 - Google Patents

一种基于fics对象存储的文件分割方法与系统 Download PDF

Info

Publication number
CN106021538A
CN106021538A CN201610359985.6A CN201610359985A CN106021538A CN 106021538 A CN106021538 A CN 106021538A CN 201610359985 A CN201610359985 A CN 201610359985A CN 106021538 A CN106021538 A CN 106021538A
Authority
CN
China
Prior art keywords
file
data
address
storage
fics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610359985.6A
Other languages
English (en)
Inventor
李科
余军
刘盾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN201610359985.6A priority Critical patent/CN106021538A/zh
Publication of CN106021538A publication Critical patent/CN106021538A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于FICS对象存储的文件分割方法与系统，所述的方法包括以下步骤：S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；S2.文件分割：给定待分割文件并设定文件分割方式，通过文件地址的处理实现文件分割；所述的系统包括FICS对象存储模块和文件分割模块。本发明提供了一种基于FICS对象存储的文件分割方法与系统，在存储过程中对文件的每个数据进行保存，并为文件生成文件地址，并通过文件地址的处理实现文件分割，提高了文件分割速度，节省了文件分割占用的读写带宽。

Description

一种基于FICS对象存储的文件分割方法与系统
技术领域
本发明涉及一种基于FICS对象存储的文件分割方法与系统。
背景技术
分割文件，即将一个大文件分割成多个小文件，在目前的本地文件系统及其他分布式文件系统等的管理的存储上，需要将大文件的数据内容全部依次读取出来，分别写入到小文件中。这是非常耗时的，比如源文件是几百G大小，那么，可能会消耗几十分钟，甚至几小时，同时，也会消耗大量的存储读写带宽，并且，尽管源文件和目标文件的绝大部分数据内容是相同的，但是，实际占用的磁盘空间依然是比较大的，是所用文件数据大小之和；例如通过文件的分割软件进行分割，比如winhex分割文件，或者winrar,winzip等分割文件（压缩时，选择储存模式，且限定压缩包大小），都是非常耗时，耗带宽，耗数据空间的。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于FICS对象存储的文件分割方法与系统，在存储过程中对文件的每个数据进行保存，并为文件生成文件地址，并通过文件地址的处理实现文件分割，提高了文件分割速度，节省了文件分割占用的读写带宽。
本发明的目的是通过以下技术方案来实现的：一种基于FICS对象存储的文件分割方法，包括以下步骤
S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
S2.文件分割：给定待分割文件并设定文件分割方式，通过文件地址的处理实现文件分割。
所述的步骤S1包括以下子步骤：
S11.依次输入每个待存储文件；
S12.将当前待存储文件分为多个数据；
S13.对每个数据进行保存；
S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并，生成当前待存储文件的文件地址。
所述的步骤S2包括以下子步骤：
S21.给定待分割文件，并设定文件分割方式；
S22.查询待分割文件的文件地址；
S23.将文件地址按照设定的分割方式分割为多个子文件地址；
S24.将分割得到的子文件地址赋值给要生成的目标子文件。
给定的待分割文件为通过步骤S1进行存储的文件。
一种基于FICS对象存储的文件分割系统，包括：
FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
文件分割模块，用于给定待分割文件并设定文件分割方式，通过文件地址的处理实现文件分割。
所述的FICS对象存储模块包括：
文件分解子模块，用于将输入的待存储文件分为多个数据；
存储数据库，用于对分解得到的每个数据进行保存；
数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址。
所述的文件分割模块包括：
文件给定子模块，用于给定待分割文件；
分割设定子模块，用于设定分割方式；
地址查询子模块，用于查询待分割文件的文件地址；
地址分割子模块，用于将文件地址按照设定的分割方式分割成多个子文件地址；
地址赋值子模块，用于将每个子文件地址赋值给对应的目标子文件。
本发明的有益效果是：在存储过程中对文件的每个数据进行保存，并为文件生成文件地址，并通过文件地址的处理实现文件分割，提高了文件分割速度，节省了文件分割占用的读写带宽。
附图说明
图1为本发明的方法流程图；
图2为生成文件地址的流程图；
图3为文件分割流程图；
图4为文件分割过程示意图；
图5为本发明的系统原理框图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种基于FICS对象存储的文件分割方法，包括以下步骤
S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
S2.文件分割：给定待分割文件并设定文件分割方式，通过文件地址的处理实现文件分割。
如图2所示，所述的步骤S1包括以下子步骤：
S11.依次输入每个待存储文件；
S12.将当前待存储文件分为多个数据；
S13.对每个数据进行保存；
S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并，生成当前待存储文件的文件地址。
如图3所示，所述的步骤S2包括以下子步骤：
S21.给定待分割文件，并设定文件分割方式；
S22.查询待分割文件的文件地址；
S23.将文件地址按照设定的分割方式分割为多个子文件地址；
S24.将分割得到的子文件地址赋值给要生成的目标子文件。
给定的待分割文件为通过步骤S1进行存储的文件。
文件分割过程以图4为例：给定待分割文件A，并设定文件分割方式为：将该文件分割为两部分，前两个数据为一个部分，后两个数据为一个部分；查询到待分割文件的文件地址后，将待分割文件A的文件地址中前两个数据地址和后两个数据地址分开，并将前两个数据地址所构成的新文件地址赋予子文件D，后两个数据地址赋予子文件E，即可完成文件分割。
在本申请中，由于文件地址由多个数据地址构成，而数据地址均包括数据保存位置、数据在文件中的偏移和数据的长度，故在已知文件地址的情况下，能够根据构成文件地址的多个数据地址读取出文件中的所有数据，在文件地址变化时，读出的文件中包含的数据也会发生变化；因此，实现文件分割过程中，直接对文件地址进行分割处理，就能够实现文件的分割，从而提高了文件分割速度，节省了文件分割占用的读写带宽。
一种基于FICS对象存储的文件分割系统，包括：
FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
文件分割模块，用于给定待分割文件并设定文件分割方式，通过文件地址的处理实现文件分割。
所述的FICS对象存储模块包括：
文件分解子模块，用于将输入的待存储文件分为多个数据；
存储数据库，用于对分解得到的每个数据进行保存；
数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址。
所述的文件分割模块包括：
文件给定子模块，用于给定待分割文件；
分割设定子模块，用于设定分割方式；
地址查询子模块，用于查询待分割文件的文件地址；
地址分割子模块，用于将文件地址按照设定的分割方式分割成多个子文件地址；
地址赋值子模块，用于将每个子文件地址赋值给对应的目标子文件。

Claims (7)

1.一种基于FICS对象存储的文件分割方法，其特征在于：包括以下步骤
S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
S2.文件分割：给定待分割文件并设定文件分割方式，通过文件地址的处理实现文件分割。
2.根据权利要求1所述的一种基于FICS对象存储的文件分割方法，其特征在于：所述的步骤S1包括以下子步骤：
S11.依次输入每个待存储文件；
S12.将当前待存储文件分为多个数据；
S13.对每个数据进行保存；
S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并，生成当前待存储文件的文件地址。
3.根据权利要求1所述的一种基于FICS对象存储的文件分割方法，其特征在于：所述的步骤S2包括以下子步骤：
S21.给定待分割文件，并设定文件分割方式；
S22.查询待分割文件的文件地址；
S23.将文件地址按照设定的分割方式分割为多个子文件地址；
S24.将分割得到的子文件地址赋值给要生成的目标子文件。
4.根据权利要求1所述的一种基于FICS对象存储的文件分割方法，其特征在于：给定的待分割文件为通过步骤S1进行存储的文件。
5.一种基于FICS对象存储的文件分割系统，其特征在于：包括：
FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
文件分割模块，用于给定待分割文件并设定文件分割方式，通过文件地址的处理实现文件分割。
6.根据权利要求5所述的一种基于FICS对象存储的文件分割系统，其特征在于：所述的FICS对象存储模块包括：
文件分解子模块，用于将输入的待存储文件分为多个数据；
存储数据库，用于对分解得到的每个数据进行保存；
数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址。
7.根据权利要求5所述的一种基于FICS对象存储的文件分割系统，其特征在于：所述的文件分割模块包括：
文件给定子模块，用于给定待分割文件；
分割设定子模块，用于设定分割方式；
地址查询子模块，用于查询待分割文件的文件地址；
地址分割子模块，用于将文件地址按照设定的分割方式分割成多个子文件地址；
地址赋值子模块，用于将每个子文件地址赋值给对应的目标子文件。
CN201610359985.6A 2016-05-27 2016-05-27 一种基于fics对象存储的文件分割方法与系统 Pending CN106021538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610359985.6A CN106021538A (zh) 2016-05-27 2016-05-27 一种基于fics对象存储的文件分割方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610359985.6A CN106021538A (zh) 2016-05-27 2016-05-27 一种基于fics对象存储的文件分割方法与系统

Publications (1)

Publication Number Publication Date
CN106021538A true CN106021538A (zh) 2016-10-12

Family

ID=57095193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610359985.6A Pending CN106021538A (zh) 2016-05-27 2016-05-27 一种基于fics对象存储的文件分割方法与系统

Country Status (1)

Country Link
CN (1) CN106021538A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194016A (zh) * 2017-07-14 2017-09-22 上海瀚之友信息技术服务有限公司 一种数据分割方法
CN111326216A (zh) * 2020-02-27 2020-06-23 中国科学院计算技术研究所 一种针对大数据基因测序文件的快速划分方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1776687A (zh) * 2005-12-16 2006-05-24 北京中星微电子有限公司 Fat文件系统中文件分割的方法及其装置
CN102298585A (zh) * 2010-06-24 2011-12-28 高德软件有限公司 一种地址切分及级别标注方法和地址切分及级别标注装置
CN102301347A (zh) * 2009-03-04 2011-12-28 日本电气株式会社 存储系统
CN103135957A (zh) * 2013-02-01 2013-06-05 北京邮电大学 使用、管理多队列数据的共用缓存空间的方法和系统
CN105391742A (zh) * 2015-12-18 2016-03-09 桂林电子科技大学 一种基于Hadoop的分布式入侵检测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1776687A (zh) * 2005-12-16 2006-05-24 北京中星微电子有限公司 Fat文件系统中文件分割的方法及其装置
CN102301347A (zh) * 2009-03-04 2011-12-28 日本电气株式会社 存储系统
CN102298585A (zh) * 2010-06-24 2011-12-28 高德软件有限公司 一种地址切分及级别标注方法和地址切分及级别标注装置
CN103135957A (zh) * 2013-02-01 2013-06-05 北京邮电大学 使用、管理多队列数据的共用缓存空间的方法和系统
CN105391742A (zh) * 2015-12-18 2016-03-09 桂林电子科技大学 一种基于Hadoop的分布式入侵检测系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194016A (zh) * 2017-07-14 2017-09-22 上海瀚之友信息技术服务有限公司 一种数据分割方法
CN111326216A (zh) * 2020-02-27 2020-06-23 中国科学院计算技术研究所 一种针对大数据基因测序文件的快速划分方法
CN111326216B (zh) * 2020-02-27 2023-07-21 中国科学院计算技术研究所 一种针对大数据基因测序文件的快速划分方法

Similar Documents

Publication Publication Date Title
CN101546342B (zh) 实现搜索服务的方法与系统
CN101656094B (zh) 数据存储方法和存储设备
US9619512B2 (en) Memory searching system and method, real-time searching system and method, and computer storage medium
US20130124796A1 (en) Storage method and apparatus which are based on data content identification
CN104715039A (zh) 基于硬盘和内存的列式存储和查询方法及设备
CN108932257B (zh) 多维度数据的查询方法及装置
CN103488687A (zh) 用于大数据的搜索系统和搜索方法
CN105718455A (zh) 一种数据查询方法及装置
CN107992492B (zh) 一种数据区块的存储方法、读取方法、其装置及区块链
CN105243027A (zh) 在存储设备中存储数据的方法和存储控制器
CN107085570A (zh) 数据处理方法、应用服务器和路由器
US10515055B2 (en) Mapping logical identifiers using multiple identifier spaces
CN103914483A (zh) 文件存储方法、装置及文件读取方法、装置
CN105677904A (zh) 基于分布式文件系统的小文件存储方法及装置
CN106021538A (zh) 一种基于fics对象存储的文件分割方法与系统
US10853033B1 (en) Effectively fusing database tables
CN107644017A (zh) 日志文件的查询方法及装置
US10552419B2 (en) Method and system for performing an operation using map reduce
CN104462080A (zh) 针对检索结果进行分组统计的索引结构创建方法和系统
CN105205162A (zh) HBase二级索引存储和查询系统及其查询方法
US10311026B2 (en) Compressed data layout for optimizing data transactions
CN103955432A (zh) 数据存储的方法及装置
CN113656277A (zh) 一种日志存储方法及装置和智能音箱及云端服务器
CN106095794A (zh) 一种基于fics对象存储的文件合并方法与系统
CN112925835A (zh) 数据同步方法、装置和服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161012