CN106095794A - 一种基于fics对象存储的文件合并方法与系统 - Google Patents
一种基于fics对象存储的文件合并方法与系统 Download PDFInfo
- Publication number
- CN106095794A CN106095794A CN201610371312.2A CN201610371312A CN106095794A CN 106095794 A CN106095794 A CN 106095794A CN 201610371312 A CN201610371312 A CN 201610371312A CN 106095794 A CN106095794 A CN 106095794A
- Authority
- CN
- China
- Prior art keywords
- file
- address
- data
- mergence
- piece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于FICS对象存储的文件合并方法与系统,其方法包括以下步骤：S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；S2.文件合并：给定待合并文件和合并顺序，通过文件地址的处理实现文件合并。其系统包括FICS对象存储模块和文件合并模块。本发明提供了一种基于FICS对象存储的文件合并方法与系统，在存储过程中对文件的每个数据进行保存，并为文件生成文件地址，并通过文件地址的处理实现文件合并，提高了文件合并速度，节省了文件合并的占用空间。
Description
技术领域
本发明涉及一种基于FICS对象存储的文件合并方法与系统。
背景技术
文件合并，即多个文件的数据内容合并成一个新的文件，在目前的本地文件系统及其他分布式文件系统等的管理的存储上，需要将所有源文件的数据依次读出，并写入到新的文件中；如果源文件是大文件，那么这是非常耗时的，比如源文件是几百G大小，那么，可能会消耗几十分钟，甚至几小时。同时，也会消耗大量的存储读写带宽。并且，尽管源文件和目标文件的绝大部分数据内容是相同的，但是，实际占用的磁盘空间依然是比较大的，是所用文件数据大小之和；现有的文件合并方式非常浪费时间和资源。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于FICS对象存储的文件合并方法与系统，在存储过程中对文件的每个数据进行保存，并为文件生成文件地址，并通过文件地址的处理实现文件合并，提高了文件合并速度，节省了文件合并的占用空间。
本发明的目的是通过以下技术方案来实现的：一种基于FICS对象存储的文件合并方法，包括以下步骤：
S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
S2.文件合并：给定待合并文件，通过文件地址的处理实现文件合并。
所述的步骤S1包括以下子步骤：
S11.依次输入每个待存储文件；
S12.将当前待存储文件分为多个数据；
S13.将每个数据保存在数据库中；
S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
S15.将当前待存储文件中每个数据地址按照数据在文件中的前后顺序进行合并，生成当前待存储文件的文件地址；
所述的文件步骤S2包括以下子步骤：
S21.给定待合并文件并设定合并顺序；
S22.查询所有待合并文件的文件地址；
S23.将所有文件地址按照设定顺序进行合并，生成新文件地址；
S24.将生成的新文件地址赋值给合成的目标新文件，完成文件的合并操作。
给定的待合并文件为通过步骤S1进行存储的文件。
一种基于FICS对象存储的文件合并系统，包括：
FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
文件合并模块，用于通过对文件地址的处理，实现文件合并。
所述的FICS对象存储模块包括：
文件分解子模块，用于将输入的待存储文件分为多个数据；
存储数据库，用于对分解得到的每个数据进行保存；
数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址；
所述的文件合并模块包括：
文件给定子模块，用于给定待合并的文件；
顺序设定子模块，用于设定文件合并顺序；
地址查询子模块，用于查询所有待合并文件的文件地址；
地址合并子模块，用于将所有查询到的文件地址按照设定的顺序进行合并，生成新文件地址；
地址赋值子模块，用于将生成的新文件地址赋予合成的目标新文件。
本发明的有益效果是：在存储过程中对文件的每个数据进行保存，并为文件生成文件地址，并通过文件地址的处理实现文件合并，提高了文件合并速度，节省了文件合并的占用空间。
附图说明
图1为本发明的流程图；
图2为生成文件地址的流程图；
图3为文件合并流程图；
图4为文件合并的过程示意图；
图5为本发明的系统原理框图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种基于FICS对象存储的文件合并方法，包括以下步骤：
S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
S2.文件合并：给定待合并文件，通过文件地址的处理实现文件合并。
如图2所示，所述的步骤S1包括以下子步骤：
S11.依次输入每个待存储文件；
S12.将当前待存储文件分为多个数据；
S13.对每个数据进行保存；
S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
S15.将当前待存储文件中每个数据地址按照数据在文件中的前后顺序进行合并，生成当前待存储文件的文件地址；
如图3所示，所述的文件步骤S2包括以下子步骤：
S21.给定待合并文件并设定合并顺序；
S22.查询所有待合并文件的文件地址；
S23.将所有文件地址按照设定顺序进行合并，生成新文件地址；
S24.将生成的新文件地址赋值给合成的目标新文件，完成文件的合并操作。
给定的待合并文件为通过步骤S1进行存储的文件。
如图4所示，为文件合并的过程示意图，以两个文件合并为例；给定待合并文件A和待合并文件B，设置文件A在前,文件B在后，查询得到文件A的文件地址和文件B的文件地址后，只需要将文件A和文件B的文件地址进行合成，将合成得到的文件地址赋予目标新文件C即可，多个文件合并时同理。
在本申请中，由于文件地址由多个数据地址构成，而数据地址均包括数据保存位置、数据在文件中的偏移和数据的长度，故在已知文件地址的情况下，能够根据构成文件地址的多个数据地址读取出文件中的所有数据，在文件地址变化时，读出的文件中包含的数据也会发生变化；因此，实现文件合的过程中，直接对文件地址进行合并处理，就能够实现文件的编辑，从而提高了文件合并速度，节省了文件合并的占用空间。
下表为合并文件模拟测试的性能对比：
传统方式按照每秒写100M左右的性能来评估，从上表可见，本申请由于对文件地址进行操作，不需要读写文件完成合并，合并时间以秒为单位，而传统方式，如winhex,winrar等，却需要几个小时，由此可见，本申请在文件合并的过程中能够大量地节约时间，同时，由于不需要读写数据，故也不会消耗大量的存储读写带宽，因此，本申请的技术方案提高了文件合并速度，节省了文件合并的占用空间。
如图5所示，一种基于FICS对象存储的文件合并系统，包括：
FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
文件合并模块，用于通过对文件地址的处理，实现文件合并。
所述的FICS对象存储模块包括：
文件分解子模块，用于将输入的待存储文件分为多个数据；
存储数据库，用于对分解得到的每个数据进行保存；
数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址；
所述的文件合并模块包括：
文件给定子模块，用于给定待合并的文件；
顺序设定子模块，用于设定文件合并顺序；
地址查询子模块，用于查询所有待合并文件的文件地址；
地址合并子模块，用于将所有查询到的文件地址按照设定的顺序进行合并，生成新文件地址；
地址赋值子模块，用于将生成的新文件地址赋予合成的目标新文件。
Claims (7)
1.一种基于FICS对象存储的文件合并方法，其特征在于：包括以下步骤：
S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
S2.文件合并：给定待合并文件，通过文件地址的处理实现文件合并。
2.根据权利要求1所述的一种基于FICS对象存储的文件合并方法，其特征在于：所述的步骤S1包括以下子步骤：
S11.依次输入每个待存储文件；
S12.将当前待存储文件分为多个数据；
S13.将每个数据保存在数据库中；
S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
S15.将当前待存储文件中每个数据地址按照数据在文件中的前后顺序进行合并，生成当前待存储文件的文件地址。
3.根据权利要求1所述的一种基于FICS对象存储的文件合并方法，其特征在于：所述的文件步骤S2包括以下子步骤：
S21.给定待合并文件并设定合并顺序；
S22.查询所有待合并文件的文件地址；
S23.将所有文件地址按照设定顺序进行合并，生成新文件地址；
S24.将生成的新文件地址赋值给合成的目标新文件，完成文件的合并操作。
4.根据权利要求1所述的一种基于FICS对象存储的文件合并方法，其特征在于：给定的待合并文件为通过步骤S1进行存储的文件。
5.一种基于FICS对象存储的文件合并系统，其特征在于：包括：
FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
文件合并模块，用于通过对文件地址的处理，实现文件合并。
6.根据权利要求5所述的一种基于FICS对象存储的文件合并系统，其特征在于：所述的FICS对象存储模块包括：
文件分解子模块，用于将输入的待存储文件分为多个数据；
存储数据库，用于对分解得到的每个数据进行保存；
数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址。
7.根据权利要求5所述的一种基于FICS对象存储的文件合并系统，其特征在于：所述的文件合并模块包括：
文件给定子模块，用于给定待合并的文件；
顺序设定子模块，用于设定文件合并顺序；
地址查询子模块，用于查询所有待合并文件的文件地址；
地址合并子模块，用于将所有查询到的文件地址按照设定的顺序进行合并，生成新文件地址；
地址赋值子模块，用于将生成的新文件地址赋予合成的目标新文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610371312.2A CN106095794A (zh) | 2016-05-27 | 2016-05-27 | 一种基于fics对象存储的文件合并方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610371312.2A CN106095794A (zh) | 2016-05-27 | 2016-05-27 | 一种基于fics对象存储的文件合并方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106095794A true CN106095794A (zh) | 2016-11-09 |
Family
ID=57230497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610371312.2A Pending CN106095794A (zh) | 2016-05-27 | 2016-05-27 | 一种基于fics对象存储的文件合并方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106095794A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109413487A (zh) * | 2018-11-07 | 2019-03-01 | 成都索贝数码科技股份有限公司 | 一种基于对象存储分片转码/合成视频文件后闪拼的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1622094A (zh) * | 2004-12-24 | 2005-06-01 | 北京中星微电子有限公司 | 一种合并文件的方法 |
| CN102301347A (zh) * | 2009-03-04 | 2011-12-28 | 日本电气株式会社 | 存储系统 |
-
2016
- 2016-05-27 CN CN201610371312.2A patent/CN106095794A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1622094A (zh) * | 2004-12-24 | 2005-06-01 | 北京中星微电子有限公司 | 一种合并文件的方法 |
| CN102301347A (zh) * | 2009-03-04 | 2011-12-28 | 日本电气株式会社 | 存储系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109413487A (zh) * | 2018-11-07 | 2019-03-01 | 成都索贝数码科技股份有限公司 | 一种基于对象存储分片转码/合成视频文件后闪拼的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017201977A1 (zh) | 一种数据写、读方法、装置及分布式对象存储集群 | |
| CN106649828B (zh) | 一种数据查询方法及系统 | |
| CN105718455A (zh) | 一种数据查询方法及装置 | |
| US20140244654A1 (en) | Data migration | |
| CN103150402A (zh) | 基于索引编码的虚拟文件系统及建立方法、访问方法 | |
| CN102402602A (zh) | 一种实时数据库的b+树索引方法及装置 | |
| CN103268270B (zh) | 快照的管理方法和装置 | |
| CN107391544B (zh) | 列式存储数据的处理方法、装置、设备及计算机储存介质 | |
| CN104238962A (zh) | 向缓存中写入数据的方法及装置 | |
| CN103914483A (zh) | 文件存储方法、装置及文件读取方法、装置 | |
| CN105243027A (zh) | 在存储设备中存储数据的方法和存储控制器 | |
| US10515055B2 (en) | Mapping logical identifiers using multiple identifier spaces | |
| CN109271449A (zh) | 一种基于文件的分布式存储查询系统及查询方法 | |
| CN105224534A (zh) | 一种请求响应的方法及装置 | |
| US20140149854A1 (en) | Server and method for generating object document | |
| CN106095794A (zh) | 一种基于fics对象存储的文件合并方法与系统 | |
| CN105205162A (zh) | HBase二级索引存储和查询系统及其查询方法 | |
| US11327939B2 (en) | Method and device for indexing dirty data in storage system page | |
| US20170075937A1 (en) | Method and system for handling binary large objects | |
| CN106021538A (zh) | 一种基于fics对象存储的文件分割方法与系统 | |
| CN104281517A (zh) | 一种基于日志方式的存储空间管理方法和装置 | |
| CN104394460A (zh) | 音视频文件定位方法及装置 | |
| CN105243099A (zh) | 一种基于翻译文件的大数据实时存储方法 | |
| CN105426125A (zh) | 一种数据存储方法及装置 | |
| CN106021537A (zh) | 一种基于fics对象存储的数据剔除方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161109 |
|
| RJ01 | Rejection of invention patent application after publication |