CN106021537A - 一种基于fics对象存储的数据剔除方法与系统 - Google Patents

一种基于fics对象存储的数据剔除方法与系统 Download PDF

Info

Publication number
CN106021537A
CN106021537A CN201610359981.8A CN201610359981A CN106021537A CN 106021537 A CN106021537 A CN 106021537A CN 201610359981 A CN201610359981 A CN 201610359981A CN 106021537 A CN106021537 A CN 106021537A
Authority
CN
China
Prior art keywords
data
file
address
rejected
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610359981.8A
Other languages
English (en)
Inventor
李科
刘盾
韩志宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN201610359981.8A priority Critical patent/CN106021537A/zh
Publication of CN106021537A publication Critical patent/CN106021537A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于FICS对象存储的数据剔除方法与系统，所述的方法包括以下步骤：S1.对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；S2.给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除；所述的系统包括FICS对象存储模块和数据剔除模块。本发明提供了一种基于FICS对象存储的数据剔除方法与系统，在存储过程中对文件的每个数据进行保存，并为文件生成文件地址；在数据剔除过程中给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。

Description

一种基于FICS对象存储的数据剔除方法与系统
技术领域
本发明涉及一种基于FICS对象存储的数据剔除方法与系统。
背景技术
数据剔除，即将指定文件中的指定数据删除，在目前的本地文件系统及其他分布式文件系统等的管理的存储上，需要将文件中的数据内容全部依次覆盖写一次，在写的过程中删除数据，从而达到指定文件中剔除数据的目的；这是非常耗时，耗带宽的；例如：在一个几百M或几个G的信号数据文件中，比如excel或其他格式的文件，我们要删除10个字符，在保存文件时，必须将所有的内容重新写一次，非常耗时（可能要几分钟，甚至几十分钟）、耗带宽。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于FICS对象存储的数据剔除方法与系统，在存储过程中对文件的每个数据进行保存，并为文件生成文件地址；在数据剔除过程中给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。
本发明的目的是通过以下技术方案来实现的：一种基于FICS对象存储的数据剔除方法，包括以下步骤：
S1.对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
S2.给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。
所述的步骤S1包括以下子步骤：
S11.依次输入每个待存储文件；
S12.将当前待存储文件分为多个数据；
S13.对每个数据进行保存；
S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并，生成当前待存储文件的文件地址。
所述的步骤S2包括以下子步骤：
S21.给定源文件和源文件中的待剔除数据；
S22.查询源文件的文件地址和待剔除数据的数据地址；
S23.将该数据地址从源文件的文件地址中删除。
给定的源文件为通过步骤S1存储的文件。
一种基于FICS对象存储的数据剔除系统，包括：
FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
数据剔除模块，用于给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。
所述的FICS对象存储模块包括：
文件分解子模块，用于将输入的待存储文件分为多个数据；
存储数据库，用于对分解得到的每个数据进行保存；
数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址。
所述的数据剔除模块包括：
数据给定子模块，用于给定源文件和源文件中的待剔除数据；
地址查询子模块，用于查询源文件的文件地址和待剔除数据的数据地址；
地址删除子模块，用于从源文件的文件地址中，将待剔除的数据地址删除。
本发明的有益效果是：在存储过程中对文件的每个数据进行保存，并为文件生成文件地址；在数据剔除过程中给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。
附图说明
图1为本发明的方法流程图；
图2为生成文件地址的流程图；
图3为数据剔除的流程图；
图4为数据剔除的过程示意图；
图5为本发明的系统原理框图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种基于FICS对象存储的数据剔除方法，包括以下步骤：
S1.对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
S2.给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。
如图2所示，所述的步骤S1包括以下子步骤：
S11.依次输入每个待存储文件；
S12.将当前待存储文件分为多个数据；
S13.对每个数据进行保存；
S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并，生成当前待存储文件的文件地址。
如图3所示，所述的步骤S2包括以下子步骤：
S21.给定源文件和源文件中的待剔除数据；
S22.查询源文件的文件地址和待剔除数据的数据地址；
S23.将该数据地址从源文件的文件地址中删除。
如图4所示，给定源文件A和源文件A中待剔除的数据后，先查询源文件A的文件地址，再查询得到待剔除数据的数据地址，将该数据地址从源文件A的文件地址中删除，即可得到新文件G的文件地址，完成数据剔除。
在本申请中，由于文件地址由多个数据地址构成，而数据地址均包括数据保存位置、数据在文件中的偏移和数据的长度，故在已知文件地址的情况下，能够根据构成文件地址的多个数据地址读取出文件中的所有数据，在文件地址变化时，读出的文件中包含的数据也会发生变化；因此，实现数据剔除过程中，直接对文件地址进行剔除处理，就能够实现文件中的数据剔除，从而提高了数据剔除速度，节省了数据剔除占用的读写带宽。
给定的源文件为通过步骤S1存储的文件。
如图5所示，一种基于FICS对象存储的数据剔除系统，包括：
FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
数据剔除模块，用于给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。
所述的FICS对象存储模块包括：
文件分解子模块，用于将输入的待存储文件分为多个数据；
存储数据库，用于对分解得到的每个数据进行保存；
数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址。
所述的数据剔除模块包括：
数据给定子模块，用于给定源文件和源文件中的待剔除数据；
地址查询子模块，用于查询源文件的文件地址和待剔除数据的数据地址；
地址删除子模块，用于从源文件的文件地址中，将待剔除的数据地址删除。

Claims (7)

1.一种基于FICS对象存储的数据剔除方法，其特征在于：包括以下步骤：
S1.对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
S2.给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。
2.根据权利要求1所述的一种基于FICS对象存储的数据剔除方法，其特征在于：所述的步骤S1包括以下子步骤：
S11.依次输入每个待存储文件；
S12.将当前待存储文件分为多个数据；
S13.对每个数据进行保存；
S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并，生成当前待存储文件的文件地址。
3.根据权利要求1所述的一种基于FICS对象存储的数据剔除方法，其特征在于：所述的步骤S2包括以下子步骤：
S21.给定源文件和源文件中的待剔除数据；
S22.查询源文件的文件地址和待剔除数据的数据地址；
S23.将该数据地址从源文件的文件地址中删除。
4.根据权利要求1所述的一种基于FICS对象存储的数据剔除方法，其特征在于：给定的源文件为通过步骤S1存储的文件。
5.一种基于FICS对象存储的数据剔除系统，其特征在于：包括：
FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；
数据剔除模块，用于给定源文件和源文件中待剔除的数据，通过对源文件的文件地址进行处理，实现数据剔除。
6.根据权利要求5所述的一种基于FICS对象存储的数据剔除系统，其特征在于：所述的FICS对象存储模块包括：
文件分解子模块，用于将输入的待存储文件分为多个数据；
存储数据库，用于对分解得到的每个数据进行保存；
数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度；
文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合并，对应的文件地址。
7.根据权利要求5所述的一种基于FICS对象存储的数据剔除系统，其特征在于：所述的数据剔除模块包括：
数据给定子模块，用于给定源文件和源文件中的待剔除数据；
地址查询子模块，用于查询源文件的文件地址和待剔除数据的数据地址；
地址删除子模块，用于从源文件的文件地址中，将待剔除的数据地址删除。
CN201610359981.8A 2016-05-27 2016-05-27 一种基于fics对象存储的数据剔除方法与系统 Pending CN106021537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610359981.8A CN106021537A (zh) 2016-05-27 2016-05-27 一种基于fics对象存储的数据剔除方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610359981.8A CN106021537A (zh) 2016-05-27 2016-05-27 一种基于fics对象存储的数据剔除方法与系统

Publications (1)

Publication Number Publication Date
CN106021537A true CN106021537A (zh) 2016-10-12

Family

ID=57094583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610359981.8A Pending CN106021537A (zh) 2016-05-27 2016-05-27 一种基于fics对象存储的数据剔除方法与系统

Country Status (1)

Country Link
CN (1) CN106021537A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688459A (zh) * 2018-12-13 2019-04-26 福建天晴数码有限公司 一种视频文件清理方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102301347A (zh) * 2009-03-04 2011-12-28 日本电气株式会社 存储系统
CN102737171A (zh) * 2011-04-12 2012-10-17 腾讯科技（深圳）有限公司 一种病毒文件存储的方法、装置及存储设备
CN103135957A (zh) * 2013-02-01 2013-06-05 北京邮电大学 使用、管理多队列数据的共用缓存空间的方法和系统
CN103514210A (zh) * 2012-06-28 2014-01-15 华为技术有限公司 小文件处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102301347A (zh) * 2009-03-04 2011-12-28 日本电气株式会社 存储系统
CN102737171A (zh) * 2011-04-12 2012-10-17 腾讯科技（深圳）有限公司 一种病毒文件存储的方法、装置及存储设备
CN103514210A (zh) * 2012-06-28 2014-01-15 华为技术有限公司 小文件处理方法及装置
CN103135957A (zh) * 2013-02-01 2013-06-05 北京邮电大学 使用、管理多队列数据的共用缓存空间的方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688459A (zh) * 2018-12-13 2019-04-26 福建天晴数码有限公司 一种视频文件清理方法及终端
CN109688459B (zh) * 2018-12-13 2020-12-22 福建天晴数码有限公司 一种视频文件清理方法及终端

Similar Documents

Publication Publication Date Title
US20160080303A1 (en) Determining topic relevance of an email thread
CN110674154B (zh) 一种基于Spark的对Hive中数据进行插入、更新和删除的方法
CN107391532B (zh) 数据过滤的方法和装置
CN105243027A (zh) 在存储设备中存储数据的方法和存储控制器
CN105224534A (zh) 一种请求响应的方法及装置
US11669301B2 (en) Effectively fusing database tables
CN102915344B (zh) 一种sql语句处理方法及装置
CN103914483A (zh) 文件存储方法、装置及文件读取方法、装置
CN110874358B (zh) 多属性列的存储、检索方法和装置以及电子设备
US10515055B2 (en) Mapping logical identifiers using multiple identifier spaces
US20210279240A1 (en) Efficient storage method for time series data
CN107169003B (zh) 一种数据关联方法及装置
US11588893B1 (en) Determining which edge node to utilize based on response time and network bandwidth
US20190073390A1 (en) Data storage with improved efficiency
CN108073705B (zh) 一种分布式海量数据聚合采集方法
CN106021537A (zh) 一种基于fics对象存储的数据剔除方法与系统
CN105205162A (zh) HBase二级索引存储和查询系统及其查询方法
US8566342B2 (en) In-memory data optimization system
CN108121712B (zh) 一种关键词存储方法及装置
CN106021538A (zh) 一种基于fics对象存储的文件分割方法与系统
CN112508720A (zh) 保险客户身份属性的筛选方法、筛选装置及电子设备
CN104572730A (zh) 数字资源导入、导出方法及装置
CN111723063A (zh) 一种离线日志数据处理的方法和装置
US11388237B1 (en) Logical upstream preprocessing at edge node of data to be stored in a data lake
CN106021536A (zh) 一种基于fics对象存储的数据插入方法与系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161012