CN106021217A - 一种基于fics对象存储的大文件数据的编辑方法与系统 - Google Patents
一种基于fics对象存储的大文件数据的编辑方法与系统 Download PDFInfo
- Publication number
- CN106021217A CN106021217A CN201610359980.3A CN201610359980A CN106021217A CN 106021217 A CN106021217 A CN 106021217A CN 201610359980 A CN201610359980 A CN 201610359980A CN 106021217 A CN106021217 A CN 106021217A
- Authority
- CN
- China
- Prior art keywords
- file
- data
- address
- fics
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于FICS对象存储的大文件数据的编辑方法与系统，其方法包括以下步骤：S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；S2.文件编辑：通过对文件地址的处理实现文件编辑，包括以下四种情况：文件合并、文件分割、数据插入和数据剔除。本发明提供了一种基于FICS对象存储的大文件数据的编辑方法与系统，在存储过程中对文件的每个数据进行保存，并为文件生成文件地址，在文件编辑过程中通过对文件地址的处理实现文件合并、文件分割、数据插入和数据剔除，提高了文件编辑速度，节省了文件编辑的占用空间。
Description
技术领域
本发明涉及一种基于FICS对象存储的大文件数据的编辑方法与系统。
背景技术
文件存储和文件编辑是用户工作中所必不可少的一项任务，文件编辑主要包括文件合并、文件删除、数据插入和数据剔除；
目前文件合并过程，在本地文件系统及其他分布式文件系统等的管理存储上，需要将所有源文件的数据依次读出，并写入到新的文件中；目前的文件分割过程，本地文件系统及其他分布式文件系统等的管理的存储上，需要将大文件的数据内容全部依次读取出来，分别写入到小文件中，非常耗时的；如果合并或者分割的源文件是几百G大小，那么，文件的合并或分割可能会消耗几十分钟，甚至几小时；同时，也会消耗大量的存储读写带宽；并且，尽管源文件和目标文件的绝大部分数据内容是相同的，但是，实际占用的磁盘空间依然是比较大的，是所用文件数据大小之和。
目前的数据插入或者数据剔除过程，在目前的本地文件系统及其他分布式文件系统等的管理的存储上，需要将大文件编辑生成的新的数据内容全部依次覆盖写一次，数据才能保存下来；这是非常耗时，耗带宽的；例如：在一个几百M或几个G的信号数据文件中，excel或其他格式的文件，我们要插入10个字符，或者删除10个字符，在保存文件时，必须将所有的内容重新写一次，非常耗时，耗带宽。
目前文件编辑系统非常浪费时间和资源。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于FICS对象存储的大文件数据的编辑方法与系统，在存储过程中对文件的每个数据进行保存，并为文件生成文件地址，在文件编辑过程中通过对文件地址的处理实现文件合并、文件分割、数据插入和数据剔除，提高了文件编辑速度，节省了文件编辑的占用空间。
本发明的目的是通过以下技术方案来实现的：一种基于FICS对象存储的大文件数据的编辑方法，包括以下步骤：
S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
S2.文件编辑：通过对文件地址的处理实现文件编辑，包括以下四种情况：
（1）文件合并：将文件地址进行合并；
（2）文件分割：将文件地址分割成多个子文件地址，并将分割出来的子文件地址分别赋予每个子文件；
（3）数据插入：为插入的数据生成数据地址，根据数据插入的位置将生成的数据地址插入对应的文件地址中；
（4）数据剔除：将待剔除数据对应的数据地址从对应的文件地址中剔除。
所述的步骤S1包括以下子步骤：
S11.依次输入每个待存储文件；
S12.将当前待存储文件分为多个数据；
S13.对每个数据进行保存；
S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并，生成当前待存储文件的文件地址。
步骤S2中所述的文件合并包括以下子步骤：
S201.查询所有待合并文件的文件地址；
S202.将所有文件地址按照设定顺序进行合并，生成新文件地址；
S203.将生成的新文件地址赋值给合成的目标新文件，完成文件的合并操作；
步骤S2中所述的文件分割包括以下子步骤：
S211.查询待分割文件的文件地址；
S212.将文件地址分割为多个子文件地址；
S213.将分割得到的子文件地址赋值给要生成的目标子文件。
步骤S2中所述的数据插入包括以下子步骤：
S221.给定待插入数据，将待插入数据进行保存，并为待插入数据生成相应的数据地址；
S222.给定数据插入的源文件和在源文件中插入的位置；
S223.查询源文件的文件地址，根据插入的位置将生成的数据地址插入文件地址中。
步骤S2中所述的数据剔除包括以下子步骤：
S231.给定源文件和源文件中的待剔除数据；
S232.查询源文件的文件地址和待剔除数据的数据地址；
S233.将该数据地址从源文件的文件地址中删除。
一种基于FICS对象存储的大文件数据的编辑系统，包括FICS对象存储模块和文件编辑模块；
所述的FICS对象存储模块用于待存储文件的每个数据进行保存，并为该文件生成文件地址；
所述的文件编辑模块用于对文件进行地址的处理实现文件编辑，包括：
文件合并子模块，用于对于文件地址进行合并；
文件分割子模块，用于将文件地址分割为多个子文件地址；
数据插入子模块，用于将待插入数据的数据地址插入对应的文件地址中；
数据剔除子模块，用于将待剔除数据的数据地址从对应的文件地址中删除。
所述的FICS对象存储模块包括：
文件分解子模块，用于将输入的待存储文件分为多个数据；
存储数据库，用于对分解得到的每个数据进行保存；
数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址。
本发明的有益效果是：在存储过程中对文件的每个数据进行保存，并为文件生成文件地址，在文件编辑过程中通过对文件地址的处理实现文件合并、文件分割、数据插入和数据剔除，提高了文件编辑速度，节省了文件编辑的占用空间。
附图说明
图1为本发明的方法流程图；
图2为生成文件地址的流程图；
图3为文件合并的示意图；
图4为文件分割的示意图；
图5为数据插入的原理示意图；
图6为数据剔除原理示意图；
图7为本发明的系统原理框图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种基于FICS对象存储的大文件数据的编辑方法，包括以下步骤：
S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
S2.文件编辑：通过对文件地址的处理实现文件编辑，包括以下四种情况：
（1）文件合并：将文件地址进行合并；
（2）文件分割：将文件地址分割成多个子文件地址，并将分割出来的子文件地址分别赋予每个子文件；
（3）数据插入：为插入的数据生成数据地址，根据数据插入的位置将生成的数据地址插入对应的文件地址中；
（4）数据剔除：将待剔除数据对应的数据地址从对应的文件地址中剔除。
如图2所示，所述的步骤S1包括以下子步骤：
S11.依次输入每个待存储文件；
S12.将当前待存储文件分为多个数据；
S13.对每个数据进行保存；
S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并，生成当前待存储文件的文件地址。
步骤S2中所述的文件合并包括以下子步骤：
S201.查询所有待合并文件的文件地址；
S202.将所有文件地址按照设定顺序进行合并，生成新文件地址；
S203.将生成的新文件地址赋值给合成的目标新文件，完成文件的合并操作；
如图3所示，为文件合并的示意图，以两个待合成文件为例，分别为文件A和文件B；只需要将文件A和文件B的文件地址进行合成，将合成得到的文件地址赋予目标新文件C即可。
待合成文件也可以有多个，根据设定顺序依次合成文件地址即可。
步骤S2中所述的文件分割包括以下子步骤：
S211.查询待分割文件的文件地址；
S212.将文件地址分割为多个子文件地址；
S213.将分割得到的子文件地址赋值给要生成的目标子文件。
如图4所示，为文件分割的示意图；以将待分割文件A分割为文件D和文件E为例，只需要将文件A的文件地址按照分割要求（对应于文件中的数据的分割要求）进行分割成两个，再将分割成的两个子文件地址赋予文件D和文件E即可。
分割成多个时同理。
步骤S2中所述的数据插入包括以下子步骤：
S221.给定待插入数据，将待插入数据进行保存，并为待插入数据生成相应的数据地址；
S222.给定数据插入的源文件和在源文件中插入的位置；
S223.查询源文件的文件地址，根据插入的位置将生成的数据地址插入文件地址中。
如图5所示，首先将待插入的数据进行保存,并为待插入的数据生成数据地址N；然后给定数据插入的源文件A，以及在源文件A中插入的位置；接着查询源文件A的文件地址；将数据地址N插入到文件地址的相应位置，即可得到新文件F的文件地址，完成数据插入。
每个数据地址按照数据前后顺序进行合并）；故根据在目标文件中插入的位置，将数据地址N插入文件A的文件地址即可。
步骤S2中所述的数据剔除包括以下子步骤：
S231.给定源文件和源文件中的待剔除数据；
S232.查询源文件的文件地址和待剔除数据的数据地址；
S233.将该数据地址从源文件的文件地址中删除。
如图6所示,给定源文件A和源文件A中待剔除的数据后，先查询源文件A的文件地址，再查询得到待剔除数据的数据地址，将该数据地址从源文件A的文件地址中删除，即可得到新文件G的文件地址，完成数据剔除。
在本申请中，由于文件地址由多个数据地址构成，而数据地址均包括数据保存位置、数据在文件中的偏移和数据的长度，故在已知文件地址的情况下，能够根据构成文件地址的多个数据地址读取出文件中的所有数据，在文件地址变化时，读出的文件中包含的数据也会发生变化；因此，实现编辑过程中（文件合并、文件分割、数据插入和数据剔除），直接对文件地址进行处理，就能够实现文件的编辑，从而提高了文件编辑速度，节省了文件编辑的占用空间。
如图7所示，一种基于FICS对象存储的大文件数据的编辑系统，包括FICS对象存储模块和文件编辑模块；
所述的FICS对象存储模块用于待存储文件的每个数据进行保存，并为该文件生成文件地址；
所述的文件编辑模块用于对文件进行地址的处理实现文件编辑，包括：
文件合并子模块，用于对于文件地址进行合并；
文件分割子模块，用于将文件地址分割为多个子文件地址；
数据插入子模块，用于将待插入数据的数据地址插入对应的文件地址中；
数据剔除子模块，用于将待剔除数据的数据地址从对应的文件地址中删除。
所述的FICS对象存储模块包括：
文件分解子模块，用于将输入的待存储文件分为多个数据；
存储数据库，用于对分解得到的每个数据进行保存；
数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址。
Claims (8)
1.一种基于FICS对象存储的大文件数据的编辑方法，其特征在于：包括以下步骤：
S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
S2.文件编辑：通过对文件地址的处理实现文件编辑，包括以下四种情况：
（1）文件合并：将文件地址进行合并；
（2）文件分割：将文件地址分割成多个子文件地址，并将分割出来的子文件地址分别赋予每个子文件；
（3）数据插入：为插入的数据生成数据地址，根据数据插入的位置将生成的数据地址插入对应的文件地址中；
（4）数据剔除：将待剔除数据对应的数据地址从对应的文件地址中剔除。
2.根据权利要求1所述的一种基于FICS对象存储的大文件数据的编辑方法，其特征在于：所述的步骤S1包括以下子步骤：
S11.依次输入每个待存储文件；
S12.将当前待存储文件分为多个数据；
S13.对每个数据进行保存；
S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并，生成当前待存储文件的文件地址。
3.根据权利要求1所述的一种基于FICS对象存储的大文件数据的编辑方法，其特征在于：步骤S2中所述的文件合并包括以下子步骤：
S201.查询所有待合并文件的文件地址；
S202.将所有文件地址按照设定顺序进行合并，生成新文件地址；
S203.将生成的新文件地址赋值给合成的目标新文件，完成文件的合并操作。
4.根据权利要求1所述的一种基于FICS对象存储的大文件数据的编辑方法，其特征在于：步骤S2中所述的文件分割包括以下子步骤：
S211.查询待分割文件的文件地址；
S212.将文件地址分割为多个子文件地址；
S213.将分割得到的子文件地址赋值给要生成的目标子文件。
5.根据权利要求1所述的一种基于FICS对象存储的大文件数据的编辑方法，其特征在于：步骤S2中所述的数据插入包括以下子步骤：
S221.给定待插入数据，将待插入数据进行保存，并为待插入数据生成相应的数据地址；
S222.给定数据插入的源文件和在源文件中插入的位置；
S223.查询源文件的文件地址，根据插入的位置将生成的数据地址插入文件地址中。
6.根据权利要求1所述的一种基于FICS对象存储的大文件数据的编辑方法，其特征在于：步骤S2中所述的数据剔除包括以下子步骤：
S231.给定源文件和源文件中的待剔除数据；
S232.查询源文件的文件地址和待剔除数据的数据地址；
S233.将该数据地址从源文件的文件地址中删除。
7.一种基于FICS对象存储的大文件数据的编辑系统，其特征在于：包括FICS对象存储模块和文件编辑模块；
所述的FICS对象存储模块用于待存储文件的每个数据进行保存，并为该文件生成文件地址；
所述的文件编辑模块用于对文件进行地址的处理实现文件编辑，包括：
文件合并子模块，用于对于文件地址进行合并；
文件分割子模块，用于将文件地址分割为多个子文件地址；
数据插入子模块，用于将待插入数据的数据地址插入对应的文件地址中；
数据剔除子模块，用于将待剔除数据的数据地址从对应的文件地址中删除。
8.一种基于FICS对象存储的大文件数据的编辑系统，其特征在于：所述的FICS对象存储模块包括：
文件分解子模块，用于将输入的待存储文件分为多个数据；
存储数据库，用于对分解得到的每个数据进行保存；
数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610359980.3A CN106021217A (zh) | 2016-05-27 | 2016-05-27 | 一种基于fics对象存储的大文件数据的编辑方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610359980.3A CN106021217A (zh) | 2016-05-27 | 2016-05-27 | 一种基于fics对象存储的大文件数据的编辑方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106021217A true CN106021217A (zh) | 2016-10-12 |
Family
ID=57094340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610359980.3A Pending CN106021217A (zh) | 2016-05-27 | 2016-05-27 | 一种基于fics对象存储的大文件数据的编辑方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106021217A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6212097B1 (en) * | 1999-03-25 | 2001-04-03 | Sony Corporation | Nonvolatile memory |
| US20020194251A1 (en) * | 2000-03-03 | 2002-12-19 | Richter Roger K. | Systems and methods for resource usage accounting in information management environments |
| CN1622094A (zh) * | 2004-12-24 | 2005-06-01 | 北京中星微电子有限公司 | 一种合并文件的方法 |
| CN1731527A (zh) * | 2004-08-06 | 2006-02-08 | 联发科技股份有限公司 | 虚拟合并的数据记录方法及装置 |
| CN102184211A (zh) * | 2011-05-03 | 2011-09-14 | 成都市华为赛门铁克科技有限公司 | 文件系统和检索、写入、修改或删除文件的方法与装置 |
| CN102301347A (zh) * | 2009-03-04 | 2011-12-28 | 日本电气株式会社 | 存储系统 |
| CN103135957A (zh) * | 2013-02-01 | 2013-06-05 | 北京邮电大学 | 使用、管理多队列数据的共用缓存空间的方法和系统 |
-
2016
- 2016-05-27 CN CN201610359980.3A patent/CN106021217A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6212097B1 (en) * | 1999-03-25 | 2001-04-03 | Sony Corporation | Nonvolatile memory |
| US20020194251A1 (en) * | 2000-03-03 | 2002-12-19 | Richter Roger K. | Systems and methods for resource usage accounting in information management environments |
| CN1731527A (zh) * | 2004-08-06 | 2006-02-08 | 联发科技股份有限公司 | 虚拟合并的数据记录方法及装置 |
| CN1622094A (zh) * | 2004-12-24 | 2005-06-01 | 北京中星微电子有限公司 | 一种合并文件的方法 |
| CN102301347A (zh) * | 2009-03-04 | 2011-12-28 | 日本电气株式会社 | 存储系统 |
| CN102184211A (zh) * | 2011-05-03 | 2011-09-14 | 成都市华为赛门铁克科技有限公司 | 文件系统和检索、写入、修改或删除文件的方法与装置 |
| CN103135957A (zh) * | 2013-02-01 | 2013-06-05 | 北京邮电大学 | 使用、管理多队列数据的共用缓存空间的方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 孙小菡: "光纤工业控制网中的视频监控系统", 《万方学位论文库》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101726879B1 (ko) | 문서 병합 | |
| CN101546342B (zh) | 实现搜索服务的方法与系统 | |
| CN1702617A (zh) | 用于在起始模板和目标模板之间映射内容的方法和系统 | |
| US10438092B2 (en) | Systems and methods for converting massive point cloud datasets to a hierarchical storage format | |
| CN104715039A (zh) | 基于硬盘和内存的列式存储和查询方法及设备 | |
| CN105224237A (zh) | 一种数据存储方法及装置 | |
| CN101996252B (zh) | 一种解析xml文件时对节点元素的处理方法 | |
| CN107992492B (zh) | 一种数据区块的存储方法、读取方法、其装置及区块链 | |
| CN105243027A (zh) | 在存储设备中存储数据的方法和存储控制器 | |
| US10515055B2 (en) | Mapping logical identifiers using multiple identifier spaces | |
| CN105404683A (zh) | 一种版式文档处理方法及装置 | |
| CN113177095A (zh) | 一种企业知识管理方法、系统、电子设备及存储介质 | |
| CN107506466B (zh) | 一种小文件存储方法及系统 | |
| CN102339318A (zh) | 一种文件系统管理方法及系统 | |
| CN105488471A (zh) | 一种字形识别方法及装置 | |
| US9063949B2 (en) | Inferring a sequence of editing operations to facilitate merging versions of a shared document | |
| CN111930708B (zh) | 基于Ceph对象存储的对象标签的扩展系统及方法 | |
| CN113591434A (zh) | 一种ofd文档合并携带语义标引信息的方法 | |
| CN106021538A (zh) | 一种基于fics对象存储的文件分割方法与系统 | |
| CN106021217A (zh) | 一种基于fics对象存储的大文件数据的编辑方法与系统 | |
| CN101986302A (zh) | 媒体文件关联方法和设备 | |
| CN113656277A (zh) | 一种日志存储方法及装置和智能音箱及云端服务器 | |
| CN104572730A (zh) | 数字资源导入、导出方法及装置 | |
| CN103077187A (zh) | 日志管理方法和日志管理系统 | |
| CN106021537A (zh) | 一种基于fics对象存储的数据剔除方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161012 |
|
| RJ01 | Rejection of invention patent application after publication |