CN107220005A - 一种数据操作方法及系统 - Google Patents

一种数据操作方法及系统 Download PDF

Info

Publication number
CN107220005A
CN107220005A CN201710392710.7A CN201710392710A CN107220005A CN 107220005 A CN107220005 A CN 107220005A CN 201710392710 A CN201710392710 A CN 201710392710A CN 107220005 A CN107220005 A CN 107220005A
Authority
CN
China
Prior art keywords
cryptographic hash
corresponding relation
target
destination object
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710392710.7A
Other languages
English (en)
Inventor
王利朋
胡永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710392710.7A priority Critical patent/CN107220005A/zh
Publication of CN107220005A publication Critical patent/CN107220005A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本实施例公开了一种数据操作方法及数据操作系统，其中公开了一种数据去重存储方法，具体包括：确定目标对象以及目标对象的目标哈希值；若在哈希值和存储次数的对应关系中未查找到目标哈希值，则基于目标哈希值存储目标对象，并在哈希值和存储次数的对应关系中增加目标哈希值和目标存储次数的对应关系，并将目标存储次数在初始值基础上加一；若在哈希值和存储次数的对应关系中查找到目标哈希值，则不存储目标对象，在哈希值和存储次数的对应关系中，将目标哈希值对应的目标存储次数加一。本申请提供了对目标对象的去重存储过程，从而可以避免将相同对象进行重复存储，从而保证存储空间仅存储一份目标对象，从而不浪费存储空间。

Description

一种数据操作方法及系统
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据操作方法及系统。
背景技术
在计算机领域中存储设备无处不在，存储设备为用户提供数据存储功能。由于存储设备可以服务于一个用户或多个用户，每个用户均可以向存储设备存储数据。
在实际使用过程中会出现用户向存储设备存储相同数据的过程，目前，存储设备会将一份数据存储多次。这样会浪费存储设备的存储空间。
发明内容
本申请提供了一种数据操作方法及系统，提供了对目标对象的去重存储过程，从而可以避免将相同对象进行重复存储，从而保证存储空间仅存储一份目标对象，从而节省存储空间。
为了实现上述目的，本申请提供了以下技术特征：
一种数据去重存储方法，包括：
确定目标对象以及所述目标对象的目标哈希值；
若在哈希值和存储次数的对应关系中未查找到所述目标哈希值，则基于所述目标哈希值存储所述目标对象，并在哈希值和存储次数的对应关系中增加所述目标哈希值和目标存储次数的对应关系，并将所述目标存储次数在初始值基础上加一；
若在哈希值和存储次数的对应关系中查找到所述目标哈希值，则不存储所述目标对象，在哈希值和存储次数的对应关系中，将所述目标哈希值对应的目标存储次数加一。
可选的，所述确定目标对象包括：
接收目标对象标识和目标内容；
判断哈希值和对象标识的对应关系中是否包括所述目标对象标识；其中，所述哈希值和对象标识的对应关系中的对象标识为已存储对象的标识；
若不包括所述目标对象标识，则将所述目标内容确定为目标对象；
若包括所述目标对象标识，则获取所述目标对象标识对应的目标哈希值，基于目标哈希值获取已存储对象，合并所述已存储对象和所述目标内容，将合并后数据确定为所述目标对象。
可选的，在所述将合并后数据确定为所述目标对象之后，还包括：
在所述哈希值和对象标识的对应关系中删除所述目标对象标识记录；
在所述哈希值和存储次数的对应关系中，将所述目标哈希值对应的目标存储次数减一。
可选的，还包括：
在哈希值和对象标识的对应关系中，增加所述目标哈希值和所述目标对象的目标对象标识的对应关系。
可选的，还包括：
对所述哈希值和对象标识的对应关系和哈希值和存储次数的对应关系进行存储备份。
一种数据删除方法，包括：
接收目标对象标识；
在哈希值和对象标识的对应关系中，获取与所述目标对象标识对应的目标哈希值，并删除该对应关系中所述目标对象标识的记录；
在哈希值和存储次数的对应关系中，将与所述目标哈希值对应的目标存储次数减一；
在所述目标存储次数为初始值的情况下，基于所述目标哈希值删除所述目标对象标识对应的目标对象。
可选的，在哈希值和对象标识的对应关系中获取与所述目标对象标识对应的目标哈希值之前，还包括：
判断哈希值和对象标识的对应关系中是否包括所述目标对象标识；其中，所述哈希值和对象标识的对应关系中的对象标识为已存储对象的标识；
若所述哈希值和对象标识的对应关系中包括所述目标对象标识，则执行在哈希值和对象标识的对应关系中获取与所述目标对象标识对应的目标哈希值的步骤；
若所述哈希值和对象标识的对应关系中不包括所述目标对象标识，则反馈错误提示信息。
一种数据读取方法，包括：
接收目标对象标识；
在哈希值和对象标识的对应关系中，获取与所述目标对象标识对应的目标哈希值；
基于所述目标哈希值读取所述目标对象标识对应的目标对象。
可选的，在哈希值和对象标识的对应关系中获取与所述目标对象标识对应的目标哈希值之前，还包括：
判断哈希值和对象标识的对应关系中是否包括所述目标对象标识；其中，所述哈希值和对象标识的对应关系中的对象标识为已存储对象的标识；
若所述哈希值和对象标识的对应关系中包括所述目标对象标识，则执行在哈希值和对象标识的对应关系中获取与所述目标对象标识对应的目标哈希值的步骤；
若所述哈希值和对象标识的对应关系中不包括所述目标对象标识，则反馈错误提示信息，其中，所述错误提示信息用于表示存储设备中不存在所述目标对象标识。
一种数据操作系统，包括：
终端，用于发送文件到分布式设备；
分布式设备，用于对文件执行池化操作获得多个对象，设置哈希值和存储次数的对应关系和所述哈希值和对象标识的对应关系，利用哈希值和存储次数的对应关系和所述哈希值和对象标识的对应关系，执行数据去重存储操作、数据删除操作以及数据读取操作。通过以上技术手段，可以实现以下有益效果：
本申请提供了对目标对象的去重存储过程，从而可以避免将相同对象进行重复存储，从而保证存储空间仅存储一份目标对象，从而节省存储设备的存储空间。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种数据操作系统的结构示意图；
图2为现有技术中数据存储方法的流程图；
图3为本申请实施例公开的一种数据去重存储方法的流程图；
图4为本申请实施例公开的一种数据删除方法的流程图；
图5为本申请实施例公开的一种数据读取方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
术语解释：
分布式存储：将数据分散存储到多个数据存储服务器上。
PG：Placement Groups，放置组。分布式设备中的虚拟概念。
OSD：Object-based Storage Device，对象存储设备。
哈希值：在本实施例中对对象执行哈希操作后得到的数据值，称为哈希值。
为了方便本领域技术人员了解本申请的应用场景，提供了一种数据操作系统。参见图1，具体包括终端100和分布式设备200。
终端100用于发送文件至分布式设备200。
分布式设备200用于对文件执行池化操作获得多个对象，设置哈希值和存储次数的对应关系和所述哈希值和对象标识的对应关系，利用哈希值和存储次数的对应关系和所述哈希值和对象标识的对应关系，执行数据去重存储操作、数据删除操作以及数据读取操作。
为了方便对对象进行去重存储操作、数据删除操作以及数据读取操作，本实施例为本预先建立两个数据表：一个数据表存储哈希值和存储次数的对应关系，另一个数据表存储哈希值和对象标识的对应关系。
哈希值为对对象执行哈希操作后得到的数据值，用于唯一表示一个对象。对象标识为分布式设备中表示一个对象的标识。在分布式设备中，当一个对象被存储至对象存储设备后，在哈希值和对象标识的对应关系中建立该对象的对象标识和哈希值的对应关系。
由于用户可以存储相同对象，所以，利用存储次数来表示相同数据的存储次数。若对象相同则对象的哈希值也相同，所以构建哈希值和存储次数的对应关系，以表示相同对象被重复存储的次数。存储次数主要在执行数据删除操作时使用。
首先，介绍分布式设备执行数据去重存储操作的执行过程。
参见图2，为现有技术中分布式设备的存储流程。
分布式设备200对文件执行池化操作获得多个对象(oid)，每个对象具有一个对象标识(oid_id)，基于对象标识计算放置组PG标识(pg_id)，通过PG标识确定对象存储设备OSD标识(osd_id)，基于OSD标识(osd_id)将对象存储至对象存储设备OSD中。
本实施例中对原始数据流下发过程中的对象标识(oid_id)进行劫持并进行重定向，重定向对象标识后可以执行去重存储操作。
参见图3，为本实施例提供的一种数据去重存储方法，具体包括以下步骤：
步骤S101：接收目标对象标识和目标内容。
分布式设备200接收目标对象标识和目标内容。
步骤S102：判断哈希值和对象标识的对应关系中是否包括所述目标对象标识；其中，所述哈希值和对象标识的对应关系中的对象标识为已存储对象的标识。若是，则进入步骤S103，若否则进入步骤S105。
目标内容可能有两种情况：第一情况，对已存储对象进行修改的内容，第二情况，目标内容为新对象的内容。对目标内容不同情况其处理过程有所不同，所以需要确定目标内容属于第一情况还是第二情况。
当一个对象已经存储至对象存储设备后，在哈希值与对象标识的对应关系中便有该对象标识。因此，本实施例分布式设备200判断在哈希值与对象标识的对应关系中是否包括目标对象标识。
步骤S103：若包括所述目标对象标识，则获取所述目标对象标识对应的目标哈希值，基于目标哈希值获取已存储对象，合并所述已存储对象和所述目标内容，将合并后数据确定为所述目标对象。
若在哈希值与对象标识的对应关系中包括目标对象标识，则说明目标对象标识已经存储过，因此，目标内容为第一情况(对已存储对象进行修改的内容)。
在哈希值与对象标识的对应关系中，获取与目标对象标识获取对应的目标哈希值。通过目标哈希值计算得到PG标识，通过PG标识计算得到OSD标识，利用OSD标识在OSD中获取目标对象标识的已存储对象。
将已存储对象与目标内容进行合并，合并过程可以根据目标内容不同而不同。例如，若目标内容是对已存储对象中原始部分数据进行替换，则将目标内容替换已存储对象中的原始部分数据。若目标内容是对已存储对象增加部分内容，则在已存储对象中增加目标内容。关于此过程已为成熟技术，在此不再赘述。
将已存储对象与目标内容进行合并后得到的合并数据，确定为目标对象。
步骤S104：在所述哈希值和对象标识的对应关系中删除所述目标对象标识记录；在所述哈希值和存储次数的对应关系中，将所述目标哈希值对应的目标存储次数减一。然后，进入步骤S106。
由于目标对象标识对应的已存储对象已经修改，后续会重新进行对目标对象进行存储，所以可以在哈希值和对象标识的对应关系中删除目标对象标识的记录。
在多个用户具有多个对象标识，多个对象标识的数据内容相同，即已存储对象相同。在其中一个用户对已存储对象进行修改后，还有其它用户未对已存储对象进行修改，所以不能删除已存储对象，而是将目标对象标识对应的已存储对象的目标存储次数减一。当目标存储次数为初始值(或零)时，在对象存储设备中删除已存储对象，从而释放存储空间。
步骤S105：若不包括所述目标对象标识，则将所述目标内容确定为目标对象。
若在哈希值与对象标识的对应关系中不包括目标对象标识，则说明目标对象标识未存储过，因此，目标内容为第二情况(目标内容为新对象的内容)。
步骤S106：确定目标对象的目标哈希值。
分布式设备200计算目标对象执行哈希操作，从而得到目标对象的目标哈希值。
步骤S107：在哈希值和存储次数的对应关系中查找所述目标哈希值。若查找到，则进入步骤S108，否则进入步骤S109。
为了避免存储重复，在对目标对象进行存储之前，首先判断目标对象对应哈希值是否已经在哈希值和存储次数的对应关系中，若存在则表示目标对象已经存储至对象存储设备中；否则表示目标对象未存储至对象存储设备中。
步骤S108：若在哈希值和存储次数的对应关系中未查找到所述目标哈希值，则基于所述目标哈希值存储所述目标对象，并在哈希值和存储次数的对应关系中增加所述目标哈希值和目标存储次数的对应关系，并将所述目标存储次数在初始值基础上加一。然后进入步骤S110。
若在哈希值和存储次数的对应关系中未查找到所述目标哈希值，则表示目标对象未存储至对象存储设备中。因此，基于目标哈希值存储目标对象，具体而言，可以基于目标哈希值计算PG标识，利用PG标识计算OSD标识，通过OSD标识将目标数据存储至对象存储设备中。
然后，在哈希值和存储次数的对应关系中，增加目标哈希值和目标存储次数的对应关系，目标存储次数首次创建时其数据值为初始值，优选情况下为零。本步骤中目标对象已经被存储一次，所以存储次数可以在初始值基础上加一。
步骤S109：若在哈希值和存储次数的对应关系中查找到所述目标哈希值，则不存储所述目标对象，在哈希值和存储次数的对应关系中，将所述目标哈希值对应的目标存储次数加一。
若在哈希值和存储次数的对应关系中查找到所述目标哈希值，则表示目标对象已经存储过，所以为了避免重复重复，不再存储所述目标对象。
然后，在哈希值和存储次数的对应关系中，将目标哈希值对应的目标存储次数加一，以表示目标对象又被存储一次。
步骤S110：在哈希值和对象标识的对应关系中，增加所述目标哈希值和所述目标对象的目标对象标识的对应关系。
分布式设备200在哈希值和对象标识的对应关系中，增加目标哈希值和所述目标对象的目标对象标识的对应关系，以便表明目标对象标识已经具有已存储对象，以便为下次目标对象标识写数据时提供方便。
本申请提供了对目标对象的去重存储过程，从而可以避免将相同对象进行重复存储，从而保证存储空间仅存储一份目标对象，从而不浪费存储空间。
在图3所示的数据去重存储的基础上，本实施例还提供了数据删除方法。参见图4，具体包括以下步骤：
步骤S201：接收目标对象标识。
分布式设备200接收目标对象标识。
步骤S202：判断哈希值和对象标识的对应关系中是否包括所述目标对象标识；其中，所述哈希值和对象标识的对应关系中的对象标识为已存储对象的标识。若否，则进入步骤S203；若是则进入步骤S204。
步骤S203：若所述哈希值和对象标识的对应关系中不包括所述目标对象标识，则反馈错误提示信息。
若所述哈希值和对象标识的对应关系中不包括所述目标对象标识，则表示未存储过目标对象标识对应的目标对象，因此向终端反馈错误提示信息，以提示用户目标对象标识有误。
步骤S204：若所述哈希值和对象标识的对应关系中包括所述目标对象标识，在哈希值和对象标识的对应关系中，获取与所述目标对象标识对应的目标哈希值，并删除该对应关系中所述目标对象标识的记录。
若所述哈希值和对象标识的对应关系中包括所述目标对象标识，则表示已经存储过目标对象标识对应的目标对象。因此，在哈希值和对象标识的对应关系中，获取与所述目标对象标识对应的目标哈希值。
由于目标对象标识对应的目标对象需要执行删除操作，因此，在所述哈希值和对象标识的对应关系中删除所述目标对象标识的记录。
步骤S205：在哈希值和存储次数的对应关系中，将与所述目标哈希值对应的目标存储次数减一。
在步骤S204中获取目标哈希值后，在哈希值和存储次数的对应关系中，将与所述目标哈希值对应的目标存储次数减一，以表示对目标对象标识对应的目标对象执行删除操作。
步骤S206：在所述目标存储次数为初始值的情况下，基于所述目标哈希值删除所述目标对象标识对应的目标对象。
在目标哈希值对应的目标存储次数为初始值的情况下，说明已经没有所有用户均已经删除目标哈希值对应的目标对象。此情况下，可以基于目标哈希值删除目标对象标识对应的目标对象，以便释放存储空间。
在图3所示的数据去重存储的基础上，本实施例还提供了数据读取操作，参见图5具体包括以下步骤：
步骤S301：接收目标对象标识。
步骤S302：判断哈希值和对象标识的对应关系中是否包括所述目标对象标识；其中，所述哈希值和对象标识的对应关系中的对象标识为已存储对象的标识。若否，则进入步骤S303；若是则进入步骤S304。
步骤S303：若所述哈希值和对象标识的对应关系中不包括所述目标对象标识，则反馈错误提示信息。
步骤S304：在哈希值和对象标识的对应关系中，获取与所述目标对象标识对应的目标哈希值，基于所述目标哈希值读取所述目标对象标识对应的目标对象。
本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据去重存储方法，其特征在于，包括：
确定目标对象以及所述目标对象的目标哈希值；
若在哈希值和存储次数的对应关系中未查找到所述目标哈希值，则基于所述目标哈希值存储所述目标对象，并在哈希值和存储次数的对应关系中增加所述目标哈希值和目标存储次数的对应关系，并将所述目标存储次数在初始值基础上加一；
若在哈希值和存储次数的对应关系中查找到所述目标哈希值，则不存储所述目标对象，在哈希值和存储次数的对应关系中，将所述目标哈希值对应的目标存储次数加一。
2.如权利要求1所述的方法，其特征在于，所述确定目标对象包括：
接收目标对象标识和目标内容；
判断哈希值和对象标识的对应关系中是否包括所述目标对象标识；其中，所述哈希值和对象标识的对应关系中的对象标识为已存储对象的标识；
若不包括所述目标对象标识，则将所述目标内容确定为目标对象；
若包括所述目标对象标识，则获取所述目标对象标识对应的目标哈希值，基于目标哈希值获取已存储对象，合并所述已存储对象和所述目标内容，将合并后数据确定为所述目标对象。
3.如权利要求2所述的方法，其特征在于，在所述将合并后数据确定为所述目标对象之后，还包括：
在所述哈希值和对象标识的对应关系中删除所述目标对象标识记录；
在所述哈希值和存储次数的对应关系中，将所述目标哈希值对应的目标存储次数减一。
4.如权利要求1所述的方法，其特征在于，还包括：
在哈希值和对象标识的对应关系中，增加所述目标哈希值和所述目标对象的目标对象标识的对应关系。
5.如权利要求2-4任一项方法，其特征在于，还包括：
对所述哈希值和对象标识的对应关系和哈希值和存储次数的对应关系进行存储备份。
6.一种数据删除方法，其特征在于，包括：
接收目标对象标识；
在哈希值和对象标识的对应关系中，获取与所述目标对象标识对应的目标哈希值，并删除该对应关系中所述目标对象标识的记录；
在哈希值和存储次数的对应关系中，将与所述目标哈希值对应的目标存储次数减一；
在所述目标存储次数为初始值的情况下，基于所述目标哈希值删除所述目标对象标识对应的目标对象。
7.如权利要求6所述的方法，其特征在于，在哈希值和对象标识的对应关系中获取与所述目标对象标识对应的目标哈希值之前，还包括：
判断哈希值和对象标识的对应关系中是否包括所述目标对象标识；其中，所述哈希值和对象标识的对应关系中的对象标识为已存储对象的标识；
若所述哈希值和对象标识的对应关系中包括所述目标对象标识，则执行在哈希值和对象标识的对应关系中获取与所述目标对象标识对应的目标哈希值的步骤；
若所述哈希值和对象标识的对应关系中不包括所述目标对象标识，则反馈错误提示信息。
8.一种数据读取方法，其特征在于，包括：
接收目标对象标识；
在哈希值和对象标识的对应关系中，获取与所述目标对象标识对应的目标哈希值；
基于所述目标哈希值读取所述目标对象标识对应的目标对象。
9.如权利要求8所述的方法，其特征在于，在哈希值和对象标识的对应关系中获取与所述目标对象标识对应的目标哈希值之前，还包括：
判断哈希值和对象标识的对应关系中是否包括所述目标对象标识；其中，所述哈希值和对象标识的对应关系中的对象标识为已存储对象的标识；
若所述哈希值和对象标识的对应关系中包括所述目标对象标识，则执行在哈希值和对象标识的对应关系中获取与所述目标对象标识对应的目标哈希值的步骤；
若所述哈希值和对象标识的对应关系中不包括所述目标对象标识，则反馈错误提示信息，其中，所述错误提示信息用于表示存储设备中不存在所述目标对象标识。
10.一种数据操作系统，其特征在于，包括：
终端，用于发送文件到分布式设备；
分布式设备，用于对文件执行池化操作获得多个对象，设置哈希值和存储次数的对应关系和所述哈希值和对象标识的对应关系，利用哈希值和存储次数的对应关系和所述哈希值和对象标识的对应关系，执行数据去重存储操作、数据删除操作以及数据读取操作。
CN201710392710.7A 2017-05-27 2017-05-27 一种数据操作方法及系统 Pending CN107220005A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710392710.7A CN107220005A (zh) 2017-05-27 2017-05-27 一种数据操作方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710392710.7A CN107220005A (zh) 2017-05-27 2017-05-27 一种数据操作方法及系统

Publications (1)

Publication Number Publication Date
CN107220005A true CN107220005A (zh) 2017-09-29

Family

ID=59947999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710392710.7A Pending CN107220005A (zh) 2017-05-27 2017-05-27 一种数据操作方法及系统

Country Status (1)

Country Link
CN (1) CN107220005A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121810A (zh) * 2017-12-26 2018-06-05 北京锐安科技有限公司 一种数据去重方法、系统、中心服务器及分布式服务器
WO2019144553A1 (zh) * 2018-01-26 2019-08-01 平安科技（深圳）有限公司 数据存储方法、装置及存储介质
CN110399340A (zh) * 2019-06-28 2019-11-01 苏州浪潮智能科技有限公司 一种文件处理方法及装置
CN111382146A (zh) * 2018-12-29 2020-07-07 浙江宇视科技有限公司 数据存储控制方法、装置、设备以及存储介质
CN111581015A (zh) * 2020-04-14 2020-08-25 上海爱数信息技术股份有限公司 一种现代应用的持续数据保护系统及方法
WO2021109587A1 (zh) * 2019-12-06 2021-06-10 浪潮电子信息产业股份有限公司 一种文件存储方法、装置、设备及可读存储介质
CN113282243A (zh) * 2021-06-09 2021-08-20 杭州海康威视系统技术有限公司 存储对象文件的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908073A (zh) * 2010-08-13 2010-12-08 清华大学 一种文件系统中实时删除重复数据的方法
CN101917396A (zh) * 2010-06-25 2010-12-15 清华大学 一种网络文件系统中数据的实时去重和传输方法
CN102629247A (zh) * 2011-12-31 2012-08-08 成都市华为赛门铁克科技有限公司 一种数据处理方法、装置和系统
CN103154950A (zh) * 2012-05-04 2013-06-12 华为技术有限公司 重复数据删除方法及装置
CN105117489A (zh) * 2015-09-21 2015-12-02 北京金山安全软件有限公司 一种数据库管理方法、装置及电子设备
CN105683898A (zh) * 2014-01-17 2016-06-15 网络装置公司 对储存系统中数据高效存储与检索的组相关哈希表组织
CN106406759A (zh) * 2016-09-13 2017-02-15 郑州云海信息技术有限公司 一种数据存储方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917396A (zh) * 2010-06-25 2010-12-15 清华大学 一种网络文件系统中数据的实时去重和传输方法
CN101908073A (zh) * 2010-08-13 2010-12-08 清华大学 一种文件系统中实时删除重复数据的方法
CN102629247A (zh) * 2011-12-31 2012-08-08 成都市华为赛门铁克科技有限公司 一种数据处理方法、装置和系统
CN103154950A (zh) * 2012-05-04 2013-06-12 华为技术有限公司 重复数据删除方法及装置
CN105683898A (zh) * 2014-01-17 2016-06-15 网络装置公司 对储存系统中数据高效存储与检索的组相关哈希表组织
CN105117489A (zh) * 2015-09-21 2015-12-02 北京金山安全软件有限公司 一种数据库管理方法、装置及电子设备
CN106406759A (zh) * 2016-09-13 2017-02-15 郑州云海信息技术有限公司 一种数据存储方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121810A (zh) * 2017-12-26 2018-06-05 北京锐安科技有限公司 一种数据去重方法、系统、中心服务器及分布式服务器
WO2019144553A1 (zh) * 2018-01-26 2019-08-01 平安科技（深圳）有限公司 数据存储方法、装置及存储介质
CN111382146A (zh) * 2018-12-29 2020-07-07 浙江宇视科技有限公司 数据存储控制方法、装置、设备以及存储介质
CN110399340A (zh) * 2019-06-28 2019-11-01 苏州浪潮智能科技有限公司 一种文件处理方法及装置
WO2021109587A1 (zh) * 2019-12-06 2021-06-10 浪潮电子信息产业股份有限公司 一种文件存储方法、装置、设备及可读存储介质
CN111581015A (zh) * 2020-04-14 2020-08-25 上海爱数信息技术股份有限公司 一种现代应用的持续数据保护系统及方法
CN113282243A (zh) * 2021-06-09 2021-08-20 杭州海康威视系统技术有限公司 存储对象文件的方法及装置

Similar Documents

Publication Publication Date Title
CN107220005A (zh) 一种数据操作方法及系统
CN107229420A (zh) 数据存储方法、读取方法、删除方法和数据操作系统
CN103136243B (zh) 基于云存储的文件系统去重方法及装置
EP3813296B1 (en) Methods and apparatuses for reading blockchain data
CA2447516A1 (en) Management and synchronization application for network file system
CN106301980B (zh) 一种刷量工具检测方法和装置
CN110022315B (zh) 一种块链式账本中的权重管理方法、装置及设备
CN110061843B (zh) 一种链式账本中的块高创建方法、装置及设备
CN104331343B (zh) 文件备份方法和系统
CN111090620B (zh) 一种文件存储方法、装置、设备及可读存储介质
CN111046069B (zh) 一种块链式账本中的聚合计算方法、装置及设备
CN104935469A (zh) 一种日志信息分布式存储方法及系统
CN109150642A (zh) 应用内存错误检测方法、检测装置及存储介质
CN104750729A (zh) 一种基于日志文件的数据管理方法及数据管理系统
CN108090364A (zh) 一种数据泄漏源的定位方法及系统
CN112307297A (zh) 一种基于优先级规则的用户标识统一方法及系统
CN112799737A (zh) 游戏资源的处理方法、装置、处理器和存储介质
CN104238960A (zh) 硬盘格式化方法及基于硬盘的数据块存储方法和装置
TWI420333B (zh) 分散式的重複數據刪除系統及其處理方法
CN109446827A (zh) 数据加解密方法及系统
CN104866535A (zh) 一种号段记录压缩方法及装置
CN115017120A (zh) 一种数字人资产的处理方法
CN108021472A (zh) ReFS文件系统的格式化恢复方法及存储介质
CN111444194B (zh) 一种块链式账本中索引的清除方法、装置及设备
CN109885555B (zh) 一种用户信息管理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170929