CN107656695A - 一种数据存储、删除方法、装置及分布式存储系统 - Google Patents

一种数据存储、删除方法、装置及分布式存储系统 Download PDF

Info

Publication number
CN107656695A
CN107656695A CN201610586825.5A CN201610586825A CN107656695A CN 107656695 A CN107656695 A CN 107656695A CN 201610586825 A CN201610586825 A CN 201610586825A CN 107656695 A CN107656695 A CN 107656695A
Authority
CN
China
Prior art keywords
server
data
storage
information
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610586825.5A
Other languages
English (en)
Other versions
CN107656695B (zh
Inventor
陈伟
汪渭春
林起芊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610586825.5A priority Critical patent/CN107656695B/zh
Publication of CN107656695A publication Critical patent/CN107656695A/zh
Application granted granted Critical
Publication of CN107656695B publication Critical patent/CN107656695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据存储、删除方法、装置及分布式存储系统，该方法中，接收待存储的目标数据及对应的网络地址信息，生成目标数据对应的标识信息及标识信息与网络地址信息的第一对应关系，将目标数据及标识信息发送给网络地址信息对应的存储服务器，使其存储目标数据，将标识信息与保存位置信息的第二对应关系发送给网关服务器；如果在预设时间段内未接收到第二对应关系，将第一对应关系作为数据存储信息发送至元数据服务器。本发明中，通过在未接收到第二对应关系时，将第一对应关系作为数据存储信息发送至元数据服务器的方式，使元数据服务器确定目标数据在存储服务器中的保存位置信息未被传输。

Description

一种数据存储、删除方法、装置及分布式存储系统
技术领域
本发明涉及云存储技术领域，特别是涉及一种数据存储、删除方法、装置及分布式存储系统。
背景技术
分布式存储系统包括：客户端、元数据服务器、网关服务器和存储服务器，分布式存储系统在存储数据时，利用多台存储服务器分担存储负荷，在读取数据时，利用元数据服务器定位已存储的数据，因此，分布式存储系统的存取效率较高，使得分布式存储系统应用较广。
如图1所示，相关的将数据存入分布式存储系统中的存储服务器的数据存储过程为：
1、客户端向元数据服务器发送数据存储请求；
2、元数据服务器在接收到数据存储请求后指定存储服务器，并将指定的存储服务器的网络地址信息反馈给客户端；
3、客户端通过网关服务器将待存储的目标数据发送到元数据服务器指定的存储服务器；
4、被指定的存储服务器将接收到的目标数据存储，并将该数据的保存位置信息发送给网关服务器；
5、网关服务器将接收到的保存位置信息发送给元数据服务器；
6、元数据服务器保存接收到的保存位置信息。
在元数据服务器保存接收到的保存位置信息后，即可根据该保存位置信息查找到已存储到存储服务器中的目标数据。
但在上述过程中，如果步骤4出现存储服务器与网关服务器通讯异常的情况，将导致存储服务器无法将目标数据的保存位置信息发送给网关服务器，则网关服务器无法将待存储数据的保存位置信息发送给元数据服务器，导致元数据服务器无法获知已存储到存储服务器中的目标数据的保存位置信息，这样，由于无法查找到该已存储到存储服务器中的数据，使得该数据不可用，即既无法删除又无法使用，当此种数据较多时，将占用较大的存储空间，甚至使得存储空间耗尽，使得存储服务器无法正常工作。
因此，为了避免不可用数据占用较大的存储空间，如何保证元数据服务器获知：存储服务器所存储的哪些数据由于网关服务器和存储服务器通讯异常而不可用，是一个亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种数据存储、删除方法、装置及分布式存储系统，以保证元数据服务器获知：存储服务器所存储的哪些数据由于网关服务器和存储服务器通讯异常而不可用。具体技术方案如下：
一种数据存储方法，应用于分布式存储系统中的网关服务器，所述分布式存储系统还包括，客户端、元数据服务器和存储服务器，所述方法包括：
接收待存储的目标数据及对应的网络地址信息，其中，所述待存储的目标数据及对应的网络地址信息为：所述客户端在向所述元数据服务器发送数据存储请求，且所述元数据服务器指定对应的存储服务器后，向所述网关服务器发送的目标数据和指定的存储服务器的网络地址信息；
生成所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系；
将所述目标数据及所述标识信息发送给所述网络地址信息对应的所述存储服务器，以使所述存储服务器存储所述目标数据，生成关于所述标识信息与所述目标数据所对应的保存位置信息的第二对应关系，并将所述第二对应关系发送给所述网关服务器；
判断在预设时间段内是否接收到所述第二对应关系；
如果在预设时间段内未接收到所述第二对应关系，将所述第一对应关系作为数据存储信息并发送至所述元数据服务器，以使所述元数据服务器确定所述目标数据在存储服务器中的保存位置未被传输。
可选的，所述方法还包括：
如果在预设时间段内接收到所述第二对应关系，将所述第一对应关系和所述第二对应关系作为数据存储信息，发送至所述元数据服务器，以使所述元数据服务器确定所述目标数据在所述存储服务器中的保存位置。
可选的，所述生成所述目标数据所对应的标识信息，包括：
采用预设的数据算法对所述目标数据进行运算，生成所述目标数据所对应的标识信息。
可选的，所述生成所述目标数据所对应的标识信息，包括：
将所述目标数据的名称或身份ID号作为所述目标数据所对应的标识信息。
一种数据删除方法，应用于分布式存储系统中的元数据服务器，所述分布式存储系统还包括，客户端、网关服务器和存储服务器，所述方法包括：
接收所述客户端发送的数据存储请求；
指定存储服务器存储与所述数据存储请求对应的目标数据；
将指定的存储服务器的网络地址信息发送至所述客户端，以使所述客户端将所述目标数据和指定的存储服务器的网络地址信息发送给所述网关服务器
接收所述网关服务器发送的数据存储信息；
在确定接收到的数据存储信息中未包含标识信息以及对应的保存位置信息时，将所述标识信息发送至与所述网络地址信息对应的存储服务器，以使所述存储服务器在接收到所述标识信息后，删除在所述存储服务器中存储的所述标识信息对应的目标数据。
可选的，还包括：
当接收到的数据存储信息包括标识信息以及对应的保存位置信息时，保存所述数据存储信息。
一种数据删除方法，应用于分布式存储系统中的存储服务器，所述分布式存储系统还包括，网关服务器和元数据服务器，所述方法包括：
接收待存储的目标数据，及所述目标数据对应的标识信息；
保存所述目标数据；
生成所述目标数据的保存位置信息与所述标识信息的对应关系，并将所述对应关系通过所述网关服务器发送给所述元数据服务器；
根据所述元数据服务器的反馈信息，确定所述对应关系未被传输至所述元数据服务器时，删除所述目标数据。
可选的，所述根据所述元数据服务器的反馈信息，确定所述对应关系未被传输至所述元数据服务器，包括：
接收所述元数据服务器发送的反馈信息；
在确定接收到的反馈信息中未包含与所述标识信息对应的保存位置信息时，确定所述对应关系未被传输至所述元数据服务器。
可选的，在删除所述目标数据之后，所述方法还包括：
删除所述目标数据的保存位置信息与所述标识信息的对应关系。
一种数据存储装置，应用于分布式存储系统中的网关服务器，所述分布式存储系统还包括，客户端、元数据服务器和存储服务器，所述装置包括：
第一接收模块，用于接收待存储的目标数据及对应的网络地址信息，其中，所述待存储的目标数据及对应的网络地址信息为：所述客户端在向所述元数据服务器发送数据存储请求，且所述元数据服务器指定对应的存储服务器后，向所述网关服务器发送的目标数据和被指定的存储服务器的网络地址信息；
第一存储模块，用于生成所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系；
第二存储模块，用于将所述目标数据及所述标识信息发送给所述网络地址信息对应的所述存储服务器，以使所述存储服务器存储所述目标数据，生成关于所述标识信息与所述目标数据所对应的保存位置信息的第二对应关系，并将所述第二对应关系发送给所述网关服务器；
判断模块，用于判断在预设时间段内是否接收到所述第二对应关系，如果否，触发第一发送模块；
所述第一发送模块，用于将所述第一对应关系作为数据存储信息并发送至所述元数据服务器，以使所述元数据服务器确定所述目标数据在存储服务器中的保存位置信息未被传输。
可选的，所述装置还包括：
第二发送模块，用于在预设时间段内接收到所述第二对应关系，将所述第一对应关系和所述第二对应关系作为数据存储信息，发送至所述元数据服务器，以使所述元数据服务器确定所述目标数据在所述存储服务器中的保存位置。
可选的，所述第一存储模块，具体用于：
采用预设的数据算法对所述目标数据进行运算，生成所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系。
可选的，所述第一存储模块，具体用于：
将所述目标数据的名称或身份ID号作为所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系。
一种数据删除装置，应用于分布式存储系统中的元数据服务器，所述分布式存储系统还包括，客户端、网关服务器和存储服务器，所述装置包括：
第二接收模块，用于接收所述客户端发送的数据存储请求；
指定模块，用于指定存储服务器存储与所述数据存储请求对应的目标数据；
第三发送模块，用于将指定的存储服务器的网络地址信息发送至所述客户端，以使所述客户端将所述目标数据和指定的存储服务器的网络地址信息发送给所述网关服务器；
第三接收模块，用于接收所述网关服务器发送的数据存储信息；
第一删除模块，用于在确定接收到的数据存储信息中未包含标识信息以及对应的保存位置信息时，将所述标识信息发送至与所述网络地址信息对应的存储服务器，以使所述存储服务器在接收到所述标识信息后，删除在所述存储服务器中存储的所述标识信息对应的目标数据。
可选的，还包括：
第一保存模块，用于当接收到的数据存储信息包括标识信息以及对应的保存位置信息时，保存所述数据存储信息。
一种数据删除装置，应用于分布式存储系统中的存储服务器，所述分布式存储系统还包括，网关服务器和元数据服务器，所述装置包括：
第四接收模块，用于接收待存储的目标数据，及所述目标数据对应的标识信息；
第二保存模块，用于保存所述目标数据；
第四发送模块，用于生成所述目标数据的保存位置信息与所述标识信息的对应关系，并将所述对应关系通过所述网关服务器发送给所述元数据服务器；
第二删除模块，用于根据所述元数据服务器的反馈信息，确定所述对应关系未被传输至所述元数据服务器时，删除所述目标数据。
可选的，所述第二删除模块，包括：
数据存储信息接收单元，用于接收所述元数据服务器发送的反馈信息；
目标数据删除单元，在确定接收到的反馈信息中未包含与所述标识信息对应的保存位置信息时，确定所述对应关系未被传输至所述元数据服务器，删除所述目标数据。
可选的，所述装置还包括：
第三删除模块，用于在删除所述目标数据之后，删除所述目标数据的保存位置信息与所述标识信息的对应关系。
一种分布式存储系统，包括客户端、元数据服务器、网关服务器和存储服务器，其中，
所述客户端，用于向所述元数据服务器发送数据存储请求；以及向所述网关服务器发送待存储的目标数据及所述元数据服务器指定的存储服务器的网络地址信息；
所述元数据服务器，用于接收所述客户端发送的数据存储请求，指定存储服务器存储与所述数据存储请求对应的目标数据，将指定的存储服务器的网络地址信息发送至所述客户端；
所述网关服务器，用于接收待存储的目标数据及对应的网络地址信息；生成所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系；将所述目标数据及所述标识信息发送给所述网络地址信息对应的存储服务器；判断在预设时间段内是否接收到所述存储服务器发送的第二对应关系，如果在预设时间段内未接收到所述第二对应关系，将所述第一对应关系作为数据存储信息并发送至所述元数据服务器；
所述存储服务器，用于接收所述网关服务器发送的待存储的目标数据，及所述目标数据对应的标识信息，保存所述目标数据，生成所述目标数据的保存位置信息与所述标识信息的第二对应关系，并将所述第二对应关系发送至所述网关服务器。
可选的，所述元数据服务器，还用于接收所述网关服务器发送的数据存储信息；当接收到的数据存储信息为第一对应关系时，获得所述第一对应关系中的标识信息和网络地址信息；将所述第一对应关系中的标识信息发送至与所述网络地址信息对应的存储服务器；并且，当接收到的数据存储信息为第二对应关系和第一对应关系时，保存所述数据存储信息；
所述存储服务器，还用于接收所述标识信息，删除存储的所述标识信息对应的目标数据。
所述存储服务器，还用于在删除所述目标数据之后，删除所述目标数据的保存位置信息与所述标识信息的第二对应关系。
与相关技术相比，本发明实施例所提供的数据存储方法中，网关服务器判断在预设时间段内是否接收到第二对应关系，当判断出未接收到第二对应关系时，表明网关服务器与存储服务器通讯异常，此时，将第一对应关系发送至元数据服务器，以使得元数据服务器得知存储服务器中存在未被传输保存位置信息的目标数据。可见，通过本方案可以保证元数据服务器获知：存储服务器所存储的哪些数据由于网关服务器和存储服务器通讯异常而不可用。
另外，本发明实施例所提供的数据删除方法中，当元数据服务器接收到的数据存储信息中未包含标识信息以及对应的保存位置信息时，可以将标识信息发送至与网络地址信息对应的存储服务器，以使存储服务器在接收到标识信息后，删除存储服务器中未被传输存储位置的数据内容，因此，可以解决不可用数据占用存储服务器的存储空间的问题。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有的分布式存储系统的结构示意图；
图2为本发明实施例提供的一种数据存储方法的流程示意图；
图3为本发明实施例提供的数据删除方法的第一种流程示意图；
图4为本发明实施例提供的数据删除方法的第二种流程示意图；
图5为本发明实施例提供的一种数据存储装置的结构示意图；
图6为本发明实施例提供的数据删除装置的第一种结构示意图；
图7为本发明实施例提供的数据删除装置的第二种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决相关技术问题，本发明实施例提供了一种数据存储、删除方法、装置及分布式存储系统。需要说明的是，本发明实施例所提供的数据存储方法及装置优选适用于分布式存储系统中的网关服务器，本发明实施例所提供的数据删除方法及装置优选适用于分布式存储系统中的元数据服务器，所述分布式存储系统还可以包括：客户端和存储服务器。
其中，分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用元数据服务器定位存储信息，使得系统的可靠性、可用性和存取效率较高，且易于扩展。
分布式存储系统中的存储服务器的主要功能包括在自身的网络硬盘中存储、删除、读取数据；元数据服务器的主要功能包括管理各存储服务器的空间、控制客户端通过网关服务器与存储服务器进行交互，缓存和同步数据；网关服务器的主要功能包括作为客户端与存储服务器以及存储服务器与元数据服务器之间的中转；客户端可以理解为需要存储或读取或删除数据的用户。
下面首先对本发明实施例所提供的一种数据存储方法进行介绍。
如图2所示，本发明实施例提供的一种数据存储方法，应用于分布式存储系统中的网关服务器，分布式存储系统还包括，客户端、元数据服务器和存储服务器，该方法可以包括：
S101：接收待存储的目标数据及对应的网络地址信息。
其中，待存储的目标数据及对应的网络地址信息为：客户端在向元数据服务器发送数据存储请求，且元数据服务器指定对应的存储服务器后，向网关服务器发送的目标数据和指定的存储服务器的网络地址信息。
具体的，客户端向网关服务器发送待存储的目标数据的过程可以包括：
1、客户端向元数据服务器发送数据存储请求；
在客户端有存储数据需求时，首先需要向元数据服务器发送数据存储请求，以便元数据服务器分配可用于存储数据的存储服务器。
2、元数据服务器在接收到数据存储请求后指定存储服务器，并将指定的存储服务器的网络地址信息反馈给客户端；
具体的，网络地址信息可以为IP地址。由于分布式存储系统中存在多个存储服务器，元数据服务器可以根据各存储服务器的存储空间的大小及资源利用率等信息指定存储服务器，然后将指定的存储服务器的网络地址信息反馈给客户端。
3、客户端向网关服务器发送待存储的目标数据及指定的存储服务器的网络地址信息。
客户端在接收到指定的存储服务器的网络地址信息后，将待存储的目标数据及指定的存储服务器的网络地址信息发送到网关服务器，以便通过网关服务器将待存储的目标数据发送到元数据服务器指定的存储服务器。
S102：生成目标数据所对应的标识信息，以及关于标识信息与网络地址信息的第一对应关系。
在接收待存储的目标数据及对应的网络地址信息后，生成目标数据所对应的标识信息，该标识信息可以为基于目标数据生成的，也可以是不基于目标数据生成的，这都是合理的，只要可以标识目标数据即可，其中，标识信息与目标数据可以具有唯一对应性。
具体的，生成目标数据所对应的标识信息，可以包括：
采用预设的数据算法对目标数据进行运算，生成目标数据所对应的标识信息。
例如：采用预设的数据算法对目标数据A进行运算，生成目标数据A所对应的标识信息为A1。
具体的，生成目标数据所对应的标识信息，可以包括：
将目标数据的名称或身份ID号作为目标数据所对应的标识信息，其中，ID(Identification，身份)为常用的标识身份的标识。
例如：目标数据A的名称为“工作记录”，则将“工作记录”作为目标数据A所对应的标识信息；
目标数据A的ID号为“123”，则将“123”作为目标数据A所对应的标识信息。
生成关于标识信息与网络地址信息的第一对应关系。
例如：目标数据A的标识信息为“工作记录”，网络地址信息为IP1，则生成第一对应关系(工作记录，IP1)。
S103：将目标数据及标识信息发送给网络地址信息对应的存储服务器，以使存储服务器存储目标数据，生成关于标识信息与目标数据所对应的保存位置信息的第二对应关系，并将第二对应关系发送给网关服务器。
由于每个存储服务器中包含多个网络硬盘，当网络地址信息对应的存储服务器在接收到目标数据及标识信息后，将目标数据存储到自身包含的多个网络硬盘中的一个，生成关于标识信息与目标数据所对应的保存位置信息(网络硬盘)的第二对应关系，并将第二对应关系发送给网关服务器。
例如：分布式存储系统中包括存储服务器M和存储服务器N，M的网络地址信息为IP1，N的网络地址信息为IP2，在数据存储过程中，网关服务器接收客户端发送的待存储的目标数据A及对应的网络地址信息IP1，生成该目标数据A所对应的标识信息：工作记录，并将目标数据A和“工作记录”发送给存储服务器M，以使存储服务器M存储目标数据A，假设存储服务器M存储目标数据A到网络硬盘M1中，则存储服务器M生成第二对应关系(工作记录，M1)，并将(工作记录，M1)发送给网关服务器。
S104：判断在预设时间段内是否接收到第二对应关系，如果否，执行步骤S105。
判断在预设时间内是否接收到存储服务器发送的第二对应关系，以便进行后续步骤。
其中，预设时间段可以根据实际网络环境进行设定，本发明实施例对此不做限定。
S105：将第一对应关系作为数据存储信息并发送至元数据服务器，以使元数据服务器确定目标数据在存储服务器中的保存位置信息未被传输。
在预设时间段内未接收到存储服务器发送的第二对应关系，则将第一对应关系作为数据存储信息并发送至元数据服务器。由于元数据服务器只收到第一对应关系，因此，元数据服务器根据第一对应关系确定目标数据在存储服务器中的保存位置信息未被传输，即根据第一对应关系中的标识信息获知存储服务器所存储的目标数据由于网关服务器和存储服务器通讯异常而不可用。
与相关技术相比，本发明实施例所提供的数据存储方法中，网关服务器判断在预设时间段内是否接收到第二对应关系，当判断出未接收到第二对应关系时，表明网关服务器与存储服务器通讯异常，此时，将第一对应关系发送至元数据服务器，以使得元数据服务器得知存储服务器中存在未被传输保存位置信息的目标数据。可见，通过本方案可以保证元数据服务器获知：存储服务器所存储的哪些数据由于网关服务器和存储服务器通讯异常而不可用。
下面通过一具体实施例对图2所示的方法进行详细说明：
例如：接收分布式存储系统中的客户端发送的待存储的目标数据A及对应的网络地址信息IP1，生成目标数据A所对应的标识信息A1，以及第一对应关系(A1，IP1)，将目标数据A和A1发送给IP1对应的存储服务器M，以使存储服务器M存储目标数据A，假设存储服务器M存储目标数据A到网络硬盘M1中，则存储服务器M生成第二对应关系(A1，M1)，并将(A1，M1)发送给网关服务器，判断在预设时间段内是否接收到(A1，M1)，如果否，表明网关服务器与存储服务器通讯异常，将(A1，IP1)作为数据存储信息并发送至元数据服务器，以使得元数据服务器确定目标数据A在存储服务器中的保存位置信息未被传输，由此，可以保证元数据服务器获知：存储服务器所存储的哪些数据由于网关服务器和存储服务器通讯异常而不可用。
在图2所示方法的基础上，本发明实施例提供的一种数据存储方法，还可以包括：
如果在预设时间段内接收到第二对应关系，将第一对应关系和第二对应关系作为数据存储信息，发送至元数据服务器，以使元数据服务器确定目标数据在存储服务器中的保存位置。
由此，使元数据服务器获知已存储的目标数据的保存位置。
下面首先对本发明实施例从元数据服务器的角度所提供的一种数据删除方法进行介绍。
如图3所示，本发明实施例提供的一种数据删除方法，应用于分布式存储系统中的元数据服务器，所述分布式存储系统还包括，客户端、网关服务器和存储服务器，该方法可以包括：
S201：接收客户端发送的数据存储请求。
在客户端有存储数据需求时，向元数据服务器发送数据存储请求。
S202：指定存储服务器存储与数据存储请求对应的目标数据。
在接收到数据存储请求后，可以根据分布式存储系统中各存储服务器的存储空间的大小及资源利用率等信息，指定用于存储数据存储请求对应的目标数据的存储服务器。
S203：将指定的存储服务器的网络地址信息发送至客户端，以使客户端将目标数据和指定的存储服务器的网络地址信息发送给网关服务器。
将指定的存储服务器的网络地址信息发送至客户端，以使客户端在接收到指定的存储服务器的网络地址信息后，将待存储的目标数据及指定的存储服务器的网络地址信息发送到网关服务器。
网关服务器在接收待存储的目标数据及对应的网络地址信息后，生成目标数据所对应的标识信息，以及关于标识信息与网络地址信息的第一对应关系。其中，该标识信息可以为基于目标数据生成的，也可以是不基于目标数据生成的，这都是合理的，只要可以标识目标数据即可。
具体的，网关服务器可以采用预设的数据算法对目标数据进行运算，生成目标数据所对应的标识信息，也可以将目标数据的名称或身份ID号作为目标数据所对应的标识信息。
网关服务器将目标数据及标识信息发送给网络地址信息对应的存储服务器，存储服务器将目标数据存储到自身包含的多个网络硬盘中的一个，生成目标数据的标识信息与目标数据所对应的保存位置信息的第二对应关系，并将该第二对应关系发送给网关服务器。
网关服务器判断在预设时间段内是否接收到第二对应关系，如果否，则将第一对应关系作为数据存储信息并发送至元数据服务器。
S204：接收网关服务器发送的数据存储信息。
接收网关服务器发送的数据存储信息，以便进行后续操作。
S205：在确定接收到的数据存储信息中未包含标识信息以及对应的保存位置信息时，将标识信息发送至与网络地址信息对应的存储服务器，以使存储服务器在接收到标识信息后，删除在存储服务器中存储的标识信息对应的目标数据。
在确定接收到的数据存储信息中未包含标识信息以及对应的保存位置信息时即在接收到的数据存储信息为第一对应关系时，将标识信息发送至与网络地址信息对应的存储服务器，存储服务器的每个网络硬盘中都存储有生成的关于标识信息与数据所对应的保存位置信息的第二对应关系，存储服务器在接收到标识信息后，查找各个网络硬盘中的第二对应关系，确定该标识信息对应的保存位置信息，并删除保存位置信息所指示保存位置中的数据。
本发明实施例中，当元数据服务器接收到的数据存储信息中未包含标识信息以及对应的保存位置信息时，可以将标识信息发送至与网络地址信息对应的存储服务器，以使存储服务器在接收到标识信息后，删除存储服务器中未被传输存储位置的数据内容，因此，可以解决不可用数据占用存储服务器的存储空间的问题。
在本发明实施例中，元数据服务器可以在将未包含标识信息以及对应的保存位置信息的数据存储信息发送出去之后，删除该数据存储信息。或者，元数据服务器也可以确认存储服务器即将删除目标数据之后，删除元数据服务器中存储的目标数据的对应关系和数据存储信息。
下面通过一具体实施例对图3所示的方法进行详细说明：
例如：接收客户端发送的数据存储请求，指定存储服务器存储与数据存储请求对应的目标数据A，将指定的存储服务器的网络地址信息IP1发送至客户端，以使客户端将目标数据A和指定的存储服务器的网络地址信息IP1发送给网关服务器，接收网关服务器发送的数据存储信息，在确定接收到的数据存储信息中未包含标识信息A1以及对应的保存位置信息M1时，将标识信息A1发送至与网络地址信息IP1对应的存储服务器M，以使存储服务器M在接收到标识信息A1后，删除在存储服务器M中存储的标识信息A1对应的目标数据A。由此，解决了不可用数据占用存储服务器的存储空间的问题。
在图3所示实施例的基础上，本发明实施例提供的一种数据删除方法，该方法还可以包括：
当接收到的数据存储信息包括标识信息以及对应的保存位置信息时，保存数据存储信息。
当接收到的数据存储信息包括标识信息以及对应的保存位置信息时，即为第二对应关系和第一对应关系时，可以保存该数据存储信息，以便基于该保存的数据存储信息，对保存的目标数据进行删除、修改或读取操作：
删除保存的目标数据：
客户端将需要删除的数据的标识信息发送至元数据服务器，元数据服务器根据自身存储的数据存储信息，确定该标识信息对应的网络地址信息和保存位置信息，通过确定的网络地址信息对应的存储服务器删除确定的保存位置信息所指示保存位置中的该标识信息对应的数据。
修改保存的目标数据：
客户端将需要修改的数据的标识信息发送至元数据服务器，元数据服务器根据自身存储的数据存储信息，确定该标识信息对应的网络地址信息和保存位置信息，通过确定的网络地址信息对应的存储服务器修改确定的保存位置信息所指示保存位置中的该标识信息对应的数据。
读取保存的目标数据：
客户端将需要读取的数据的标识信息发送至元数据服务器，元数据服务器根据自身存储的数据存储信息，确定该标识信息对应的网络地址信息和保存位置信息，通过确定的网络地址信息对应的存储服务器读取确定的保存位置信息所指示保存位置中的该标识信息对应的数据。
由此，在接收到的数据存储信息包括标识信息以及对应的保存位置信息时，通过保存该数据存储信息的方式，以便基于该保存的数据存储信息，对保存的目标数据进行删除、修改或读取操作，提高了用户体验。
下面对本发明实施例从存储服务器的角度所提供的一种数据删除方法进行介绍。
如图4所示，本发明实施例提供的一种数据删除方法，应用于分布式存储系统中的存储服务器，分布式存储系统还包括，网关服务器和元数据服务器，该方法可以包括：
S301：接收待存储的目标数据，及目标数据对应的标识信息。
在客户端有存储数据需求时，首先需要向元数据服务器发送数据存储请求，以便元数据服务器分配可用于存储数据的存储服务器。
元数据服务器在接收到数据存储请求后指定存储服务器，并将指定的存储服务器的网络地址信息反馈给客户端。
客户端在接收到指定的存储服务器的网络地址信息后，将待存储的目标数据及指定的存储服务器的网络地址信息发送到网关服务器。
网关服务器接收待存储的目标数据及对应的网络地址信息，生成目标数据所对应的标识信息，以及关于标识信息与网络地址信息的对应关系。其中，该标识信息可以为基于目标数据生成的，也可以是不基于目标数据生成的，这都是合理的，只要可以标识目标数据即可。
具体的，网关服务器可以采用预设的数据算法对目标数据进行运算，生成目标数据所对应的标识信息，也可以将目标数据的名称或身份ID号作为目标数据所对应的标识信息。
网关服务器将目标数据及标识信息发送给网络地址信息对应的存储服务器，存储服务器接收网关服务器发送的待存储的目标数据，及目标数据对应的标识信息，以便进行后续步骤。
S302：保存目标数据。
由于每个存储服务器中包含多个网络硬盘，当接收到目标数据及标识信息后，将目标数据存储到自身包含的多个网络硬盘中的一个。
S303：生成目标数据的保存位置信息与标识信息的对应关系，并将对应关系通过网关服务器发送给元数据服务器。
在保存目标数据后，生成目标数据的保存位置信息与标识信息的对应关系，并将该对应关系发送给网关服务器。
网关服务器判断在预设时间段内是否接收到目标数据的保存位置信息与标识信息的对应关系，如果否，则将标识信息与网络地址信息的对应关系作为数据存储信息并发送至元数据服务器。
S304：根据元数据服务器的反馈信息，确定对应关系未被传输至元数据服务器时，删除目标数据。
具体的，根据元数据服务器的反馈信息，确定对应关系未被传输至元数据服务器，可以包括：
接收元数据服务器发送的反馈信息；
在确定接收到的反馈信息中未包含与标识信息对应的保存位置信息时，确定对应关系未被传输至所述元数据服务器。
元数据服务器接收网关服务器发送的数据存储信息，在确定该数据存储信息中未包含目标数据的保存位置信息与标识信息的对应关系时，将标识信息与网络地址信息的对应关系中的标识信息作为反馈信息发送至存储服务器。
存储服务器接收元数据服务器的发送的反馈信息，确定对应关系未被传输至元数据服务器。
根据标识信息，查找自身各个网络硬盘，确定该标识信息对应的保存位置信息，并删除保存位置信息所指示保存位置中的目标数据。
在本发明实施例中，存储服务器可以在删除目标数据之前，指示元数据服务器和/或网关服务器删除目标数据的相关信息，例如该目标数据的标识信息与所述网络地址信息的第一对应关系、数据存储信息等。
在图4所示实施例的基础上，本发明实施例提供的一种数据删除方法，在删除目标数据之后，该方法还可以包括：
删除目标数据的保存位置信息与标识信息的对应关系。
对于生成目标数据的保存位置信息与标识信息的对应关系并保存的情况下，在获知标识信息对应的目标数据由于网关服务器和存储服务器通讯异常而不可用时，则该目标数据的保存位置信息与标识信息也为不可用的数据，因此可以将该目标数据的保存位置信息与标识信息的对应关系删除。
由此，通过删除目标数据的保存位置信息与标识信息的对应关系的方式，节省存储空间。
相对于上述方法实施例，本发明实施例还提供了一种数据存储、删除装置。
图5为本发明实施例提供的一种数据存储装置的结构示意图，应用于分布式存储系统中的网关服务器，所述分布式存储系统还包括，客户端、元数据服务器和存储服务器，该装置可以包括：
第一接收模块401，用于接收待存储的目标数据及对应的网络地址信息，其中，所述待存储的目标数据及对应的网络地址信息为：所述客户端在向所述元数据服务器发送数据存储请求，且所述元数据服务器指定对应的存储服务器后，向所述网关服务器发送的目标数据和指定的存储服务器的网络地址信息；
第一存储模块402，用于生成所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系；
第二存储模块403，用于将所述目标数据及所述标识信息发送给所述网络地址信息对应的所述存储服务器，以使所述存储服务器存储所述目标数据，生成关于所述标识信息与所述目标数据所对应的保存位置信息的第二对应关系，并将所述第二对应关系发送给所述网关服务器；
判断模块404，用于判断在预设时间段内是否接收到所述第二对应关系，如果否，触发第一发送模块405；
所述第一发送模块405，用于将所述第一对应关系作为数据存储信息并发送至所述元数据服务器，以使所述元数据服务器确定所述目标数据在存储服务器中的保存位置信息未被传输。
与相关技术相比，本发明实施例所提供的数据存储方法中，网关服务器判断在预设时间段内是否接收到第二对应关系，当判断出未接收到第二对应关系时，表明网关服务器与存储服务器通讯异常，此时，将第一对应关系发送至元数据服务器，以使得元数据服务器得知存储服务器中存在未被传输保存位置信息的目标数据。可见，通过本方案可以保证元数据服务器获知：存储服务器所存储的哪些数据由于网关服务器和存储服务器通讯异常而不可用。
本发明实施例提供的一种数据存储装置，还可以包括：
第二发送模块，用于在预设时间段内接收到所述第二对应关系，将所述第一对应关系和所述第二对应关系作为数据存储信息，发送至所述元数据服务器，以使所述元数据服务器确定所述目标数据在所述存储服务器中的保存位置。
具体的，所述第一存储模块402，可以具体用于：
采用预设的数据算法对所述目标数据进行运算，生成所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系。
具体的，所述第一存储模块402，可以具体用于：
将所述目标数据的名称或身份ID号作为所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系。
图6为本发明实施例提供的数据删除装置的第一种结构示意图，应用于分布式存储系统中的元数据服务器，所述分布式存储系统还包括，客户端、网关服务器和存储服务器，该装置可以包括：
第二接收模块501，用于接收所述客户端发送的数据存储请求；
指定模块502，用于指定存储服务器存储与所述数据存储请求对应的目标数据；
第三发送模块503，用于将指定的存储服务器的网络地址信息发送至所述客户端，以使所述客户端将所述目标数据和指定的存储服务器的网络地址信息发送给所述网关服务器；
第三接收模块504，用于接收所述网关服务器发送的数据存储信息；
第一删除模块505，用于在确定接收到的数据存储信息中未包含标识信息以及对应的保存位置信息时，将所述标识信息发送至与所述网络地址信息对应的存储服务器，以使所述存储服务器在接收到所述标识信息后，删除在所述存储服务器中存储的所述标识信息对应的目标数据。
本发明实施例中，当元数据服务器接收到的数据存储信息中未包含标识信息以及对应的保存位置信息时，可以将标识信息发送至与网络地址信息对应的存储服务器，以使存储服务器在接收到标识信息后，删除存储服务器中未被传输存储位置的数据内容，因此，可以解决不可用数据占用存储服务器的存储空间的问题。
在本发明实施例中，元数据服务器可以在将未包含标识信息以及对应的保存位置信息的数据存储信息发送出去之后，删除该数据存储信息。或者，元数据服务器也可以确认存储服务器即将删除目标数据之后，删除元数据服务器中存储的目标数据的对应关系和数据存储信息。
在图6所示实施例的基础上，本发明实施例提供的一种数据删除装置，该装置还可以包括：
第一保存模块，用于当接收到的数据存储信息包括标识信息以及对应的保存位置信息时，保存所述数据存储信息。
由此，在接收到的数据存储信息包括标识信息以及对应的保存位置信息时，通过保存该数据存储信息的方式，以便基于该保存的数据存储信息，对保存的目标数据进行删除、修改或读取操作，提高了用户体验。
图7为本发明实施例提供的数据删除装置的第二种结构示意图，应用于分布式存储系统中的存储服务器，所述分布式存储系统还包括，网关服务器和元数据服务器，所述装置包括：
第四接收模块601，用于接收待存储的目标数据，及所述目标数据对应的标识信息；
第二保存模块602，用于保存所述目标数据；
第四发送模块603，用于生成所述目标数据的保存位置信息与所述标识信息的对应关系，并将所述对应关系通过所述网关服务器发送给所述元数据服务器；
第二删除模块604，用于根据所述元数据服务器的反馈信息，确定所述对应关系未被传输至所述元数据服务器时，删除所述目标数据。
具体的，所述第二删除模块604，可以包括：
数据存储信息接收单元，用于接收所述元数据服务器发送的反馈信息；
目标数据删除单元，在确定接收到的反馈信息中未包含与所述标识信息对应的保存位置信息时，确定所述对应关系未被传输至所述元数据服务器，删除所述目标数据。
在图7所示实施例的基础上，本发明实施例提供的一种数据删除装置，该装置还可以包括：
第三删除模块，用于在删除所述目标数据之后，删除所述目标数据的保存位置信息与所述标识信息的对应关系。
本发明实施例还提供了一种分布式存储系统，包括客户端、元数据服务器、网关服务器和存储服务器，其中，
所述客户端，用于向所述元数据服务器发送数据存储请求；以及向所述网关服务器发送待存储的目标数据及所述元数据服务器指定的存储服务器的网络地址信息；
所述元数据服务器，用于接收所述客户端发送的数据存储请求，指定存储服务器存储与所述数据存储请求对应的目标数据，将指定的存储服务器的网络地址信息发送至所述客户端；
所述网关服务器，用于接收待存储的目标数据及对应的网络地址信息；生成所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系；将所述目标数据及所述标识信息发送给所述网络地址信息对应的存储服务器；判断在预设时间段内是否接收到所述存储服务器发送的第二对应关系，如果在预设时间段内未接收到所述第二对应关系，将所述第一对应关系作为数据存储信息并发送至所述元数据服务器；
所述存储服务器，用于接收所述网关服务器发送的待存储的目标数据，及所述目标数据对应的标识信息，保存所述目标数据，生成所述目标数据的保存位置信息与所述标识信息的第二对应关系，并将所述第二对应关系发送至所述网关服务器。
其中，该存储服务器包括N个网络硬盘(网络硬盘1、网络硬盘2……网络硬盘N)，该网络硬盘用于存储待存储的目标数据。
通过上述分布式存储系统实现数据存储的流程包括：
1、客户端向元数据服务器发送数据存储请求；
2、元数据服务器在接收到数据存储请求后指定存储服务器，并将指定的存储服务器的网络地址信息反馈给客户端；
3、客户端向网关服务器发送待存储的目标数据及网络地址信息；
4、网关服务器接收客户端发送的待存储的目标数据及网络地址信息；生成目标数据所对应的标识信息，并存储关于标识信息与网络地址信息的第一对应关系；将目标数据及标识信息发送给网络地址信息对应的存储服务器；
5、存储服务器接收到目标数据和标识信息后，存储目标数据，生成关于标识信息与目标数据所对应的保存位置信息的第二对应关系，并将第二对应关系发送给网关服务器；
6、网关服务器判断在预设时间段内是否接收到第二对应关系，如果是，将第一对应关系和第二对应关系作为数据存储信息并发送至元数据服务器；如果否，将第一对应关系作为数据存储信息并发送至元数据服务器。
与相关技术相比，本发明实施例所提供的数据存储方法中，网关服务器判断在预设时间段内是否接收到第二对应关系，当判断出接收到第二对应关系时，表明网关服务器与存储服务器通讯正常，此时，将第一对应关系和第二对应关系发送给元数据服务器，以使得元数据服务器得知目标数据具体的存储位置，而当判断出未接收到第二对应关系时，表明网关服务器与存储服务器通讯异常，此时，将第一对应关系发送至元数据服务器，以使得元数据服务器得知存储服务器中存在未被传输保存位置信息的目标数据。可见，通过本方案可以保证元数据服务器获知：存储服务器所存储的哪些数据由于网关服务器和存储服务器通讯异常而不可用。
具体的，所述元数据服务器，还可以用于接收所述网关服务器发送的数据存储信息；当接收到的数据存储信息为第一对应关系时，获得所述第一对应关系中的标识信息和网络地址信息；将所述第一对应关系中的标识信息发送至与所述网络地址信息对应的存储服务器；并且，当接收到的数据存储信息为第二对应关系和第一对应关系时，保存所述数据存储信息；
所述存储服务器，还用于接收所述标识信息，删除存储的所述标识信息对应的目标数据。
通过上述分布式存储系统实现数据删除的流程包括：
1、元数据服务器接收数据存储信息；当接收到的数据存储信息为第一对应关系时，获得所述第一对应关系中的标识信息和网络地址信息；将所述第一对应关系中的标识信息发送至与所述网络地址信息对应的存储服务器；并且，当接收到的数据存储信息为第二对应关系和第一对应关系时，保存所述数据存储信息；
2、存储服务器在接收到标识信息后，确定标识信息所对应的保存位置信息，并删除保存位置信息所指示保存位置中的数据。
本发明实施例中，当元数据服务器接收到的数据存储信息为第一对应关系时，可以获得第一对应关系中的标识信息和网络地址信息，并根据该标识信息和网络地址信息删除存储服务器中未被传输存储位置的数据内容，因此，可以解决不可用数据占用存储服务器的存储空间的问题。
上述存储服务器，还用于在删除目标数据之后，删除目标数据的保存位置信息与相应标识信息的第二对应关系。
在本发明实施例中，存储服务器可以在删除目标数据之前，指示元数据服务器和/或网关服务器删除目标数据的相关信息，例如第一对应关系、第二对应关系等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (21)

1.一种数据存储方法，其特征在于，应用于分布式存储系统中的网关服务器，所述分布式存储系统还包括，客户端、元数据服务器和存储服务器，所述方法包括：
接收待存储的目标数据及对应的网络地址信息，其中，所述待存储的目标数据及对应的网络地址信息为：所述客户端在向所述元数据服务器发送数据存储请求，且所述元数据服务器指定对应的存储服务器后，向所述网关服务器发送的目标数据和指定的存储服务器的网络地址信息；
生成所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系；
将所述目标数据及所述标识信息发送给所述网络地址信息对应的所述存储服务器，以使所述存储服务器存储所述目标数据，生成关于所述标识信息与所述目标数据所对应的保存位置信息的第二对应关系，并将所述第二对应关系发送给所述网关服务器；
判断在预设时间段内是否接收到所述第二对应关系；
如果在预设时间段内未接收到所述第二对应关系，将所述第一对应关系作为数据存储信息并发送至所述元数据服务器，以使所述元数据服务器确定所述目标数据在存储服务器中的保存位置信息未被传输。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果在预设时间段内接收到所述第二对应关系，将所述第一对应关系和所述第二对应关系作为数据存储信息，发送至所述元数据服务器，以使所述元数据服务器确定所述目标数据在所述存储服务器中的保存位置。
3.根据权利要求1所述的方法，其特征在于，所述生成所述目标数据所对应的标识信息，包括：
采用预设的数据算法对所述目标数据进行运算，生成所述目标数据所对应的标识信息。
4.根据权利要求1所述的方法，其特征在于，所述生成所述目标数据所对应的标识信息，包括：
将所述目标数据的名称或身份ID号作为所述目标数据所对应的标识信息。
5.一种数据删除方法，其特征在于，应用于分布式存储系统中的元数据服务器，所述分布式存储系统还包括，客户端、网关服务器和存储服务器，所述方法包括：
接收所述客户端发送的数据存储请求；
指定存储服务器存储与所述数据存储请求对应的目标数据；
将指定的存储服务器的网络地址信息发送至所述客户端，以使所述客户端将所述目标数据和指定的存储服务器的网络地址信息发送给所述网关服务器；
接收所述网关服务器发送的数据存储信息；
在确定接收到的数据存储信息中未包含标识信息以及对应的保存位置信息时，将所述标识信息发送至与所述网络地址信息对应的存储服务器，以使所述存储服务器在接收到所述标识信息后，删除在所述存储服务器中存储的所述标识信息对应的目标数据。
6.根据权利要求5所述的方法，其特征在于，还包括：
当接收到的数据存储信息包括标识信息以及对应的保存位置信息时，保存所述数据存储信息。
7.一种数据删除方法，其特征在于，应用于分布式存储系统中的存储服务器，所述分布式存储系统还包括，网关服务器和元数据服务器，所述方法包括：
接收待存储的目标数据，及所述目标数据对应的标识信息；
保存所述目标数据；
生成所述目标数据的保存位置信息与所述标识信息的对应关系，并将所述对应关系通过所述网关服务器发送给所述元数据服务器；
根据所述元数据服务器的反馈信息，确定所述对应关系未被传输至所述元数据服务器时，删除所述目标数据。
8.根据权利要求7所述的方法，其特征在于，所述根据所述元数据服务器的反馈信息，确定所述对应关系未被传输至所述元数据服务器，包括：
接收所述元数据服务器发送的反馈信息；
在确定接收到的反馈信息中未包含与所述标识信息对应的保存位置信息时，确定所述对应关系未被传输至所述元数据服务器。
9.根据权利要求7所述的方法，其特征在于，在删除所述目标数据之后，所述方法还包括：
删除所述目标数据的保存位置信息与所述标识信息的对应关系。
10.一种数据存储装置，其特征在于，应用于分布式存储系统中的网关服务器，所述分布式存储系统还包括，客户端、元数据服务器和存储服务器，所述装置包括：
第一接收模块，用于接收待存储的目标数据及对应的网络地址信息，其中，所述待存储的目标数据及对应的网络地址信息为：所述客户端在向所述元数据服务器发送数据存储请求，且所述元数据服务器指定对应的存储服务器后，向所述网关服务器发送的目标数据和指定的存储服务器的网络地址信息；
第一存储模块，用于生成所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系；
第二存储模块，用于将所述目标数据及所述标识信息发送给所述网络地址信息对应的所述存储服务器，以使所述存储服务器存储所述目标数据，生成关于所述标识信息与所述目标数据所对应的保存位置信息的第二对应关系，并将所述第二对应关系发送给所述网关服务器；
判断模块，用于判断在预设时间段内是否接收到所述第二对应关系，如果否，触发第一发送模块；
所述第一发送模块，用于将所述第一对应关系作为数据存储信息并发送至所述元数据服务器，以使所述元数据服务器确定所述目标数据在存储服务器中的保存位置信息未被传输。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
第二发送模块，用于在预设时间段内接收到所述第二对应关系，将所述第一对应关系和所述第二对应关系作为数据存储信息，发送至所述元数据服务器，以使所述元数据服务器确定所述目标数据在所述存储服务器中的保存位置。
12.根据权利要求10所述的装置，其特征在于，所述第一存储模块，具体用于：
采用预设的数据算法对所述目标数据进行运算，生成所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系。
13.根据权利要求10所述的装置，其特征在于，所述第一存储模块，具体用于：
将所述目标数据的名称或身份ID号作为所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系。
14.一种数据删除装置，其特征在于，应用于分布式存储系统中的元数据服务器，所述分布式存储系统还包括，客户端、网关服务器和存储服务器，所述装置包括：
第二接收模块，用于接收所述客户端发送的数据存储请求；
指定模块，用于指定存储服务器存储与所述数据存储请求对应的目标数据；
第三发送模块，用于将指定的存储服务器的网络地址信息发送至所述客户端，以使所述客户端将所述目标数据和指定的存储服务器的网络地址信息发送给所述网关服务器；
第三接收模块，用于接收所述网关服务器发送的数据存储信息；
第一删除模块，用于在确定接收到的数据存储信息中未包含标识信息以及对应的保存位置信息时，将所述标识信息发送至与所述网络地址信息对应的存储服务器，以使所述存储服务器在接收到所述标识信息后，删除在所述存储服务器中存储的所述标识信息对应的目标数据。
15.根据权利要求14所述的装置，其特征在于，还包括：
第一保存模块，用于当接收到的数据存储信息包括标识信息以及对应的保存位置时，保存所述数据存储信息。
16.一种数据删除装置，其特征在于，应用于分布式存储系统中的存储服务器，所述分布式存储系统还包括，网关服务器和元数据服务器，所述装置包括：
第四接收模块，用于接收待存储的目标数据，及所述目标数据对应的标识信息；
第二保存模块，用于保存所述目标数据；
第四发送模块，用于生成所述目标数据的保存位置信息与所述标识信息的对应关系，并将所述对应关系通过所述网关服务器发送给所述元数据服务器；
第二删除模块，用于根据所述元数据服务器的反馈信息，确定所述对应关系未被传输至所述元数据服务器时，删除所述目标数据。
17.根据权利要求16所述的装置，其特征在于，所述第二删除模块，包括：
数据存储信息接收单元，用于接收所述元数据服务器发送的反馈信息；
目标数据删除单元，在确定接收到的反馈信息中未包含与所述标识信息对应的保存位置信息时，确定所述对应关系未被传输至所述元数据服务器，删除所述目标数据。
18.根据权利要求16所述的装置，其特征在于，所述装置还包括：
第三删除模块，用于在删除所述目标数据之后，删除所述目标数据的保存位置信息与所述标识信息的对应关系。
19.一种分布式存储系统，其特征在于，包括客户端、元数据服务器、网关服务器和存储服务器，其中，
所述客户端，用于向所述元数据服务器发送数据存储请求；以及向所述网关服务器发送待存储的目标数据及所述元数据服务器指定的存储服务器的网络地址信息；
所述元数据服务器，用于接收所述客户端发送的数据存储请求，指定存储服务器存储与所述数据存储请求对应的目标数据，将指定的存储服务器的网络地址信息发送至所述客户端；
所述网关服务器，用于接收待存储的目标数据及对应的网络地址信息；生成所述目标数据所对应的标识信息，以及关于所述标识信息与所述网络地址信息的第一对应关系；将所述目标数据及所述标识信息发送给所述网络地址信息对应的存储服务器；判断在预设时间段内是否接收到所述存储服务器发送的第二对应关系，如果在预设时间段内未接收到所述第二对应关系，将所述第一对应关系作为数据存储信息并发送至所述元数据服务器；
所述存储服务器，用于接收所述网关服务器发送的待存储的目标数据，及所述目标数据对应的标识信息，保存所述目标数据，生成所述目标数据的保存位置信息与所述标识信息的第二对应关系，并将所述第二对应关系发送至所述网关服务器。
20.根据权利要求19所述的分布式存储系统，其特征在于，所述元数据服务器，还用于接收所述网关服务器发送的数据存储信息；当接收到的数据存储信息为第一对应关系时，获得所述第一对应关系中的标识信息和网络地址信息；将所述第一对应关系中的标识信息发送至与所述网络地址信息对应的存储服务器；并且，当接收到的数据存储信息为第二对应关系和第一对应关系时，保存所述数据存储信息；
所述存储服务器，还用于接收所述标识信息，删除存储的所述标识信息对应的目标数据。
21.根据权利要求20所述的分布式存储系统，其特征在于，所述存储服务器，还用于在删除所述目标数据之后，删除所述目标数据的保存位置信息与所述标识信息的第二对应关系。
CN201610586825.5A 2016-07-25 2016-07-25 一种数据存储、删除方法、装置及分布式存储系统 Active CN107656695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610586825.5A CN107656695B (zh) 2016-07-25 2016-07-25 一种数据存储、删除方法、装置及分布式存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610586825.5A CN107656695B (zh) 2016-07-25 2016-07-25 一种数据存储、删除方法、装置及分布式存储系统

Publications (2)

Publication Number Publication Date
CN107656695A true CN107656695A (zh) 2018-02-02
CN107656695B CN107656695B (zh) 2020-12-25

Family

ID=61126828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610586825.5A Active CN107656695B (zh) 2016-07-25 2016-07-25 一种数据存储、删除方法、装置及分布式存储系统

Country Status (1)

Country Link
CN (1) CN107656695B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445692A (zh) * 2018-10-18 2019-03-08 深圳市硅格半导体有限公司 基于网络的数据存储方法、终端、服务器和系统
CN110554839A (zh) * 2019-07-30 2019-12-10 华为技术有限公司 分布式存储系统访问方法、客户端及计算机程序产品
CN111563008A (zh) * 2020-04-29 2020-08-21 深圳震有科技股份有限公司 数据存储方法、装置、存储系统及计算机可读存储介质
CN111580755A (zh) * 2020-05-09 2020-08-25 杭州海康威视系统技术有限公司 分布式数据处理系统、分布式数据处理方法
CN112506896A (zh) * 2019-09-16 2021-03-16 杭州海康威视系统技术有限公司 一种数据删除方法、装置及电子设备
CN112600924A (zh) * 2020-12-15 2021-04-02 四川长虹电器股份有限公司 IoT终端数据存储系统、方法、计算机设备及存储介质
CN113180729A (zh) * 2021-03-31 2021-07-30 上海深至信息科技有限公司 一种超声数据传输方法及系统
WO2021189306A1 (en) * 2020-03-25 2021-09-30 Beijing Didi Infinity Technology And Development Co., Ltd. Write operation in object storage system using enhanced meta structure
CN113640321A (zh) * 2020-05-11 2021-11-12 同方威视技术股份有限公司 安检延迟优化方法以及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005078606A2 (en) * 2004-02-11 2005-08-25 Storage Technology Corporation Clustered hierarchical file services
CN101706817A (zh) * 2009-12-01 2010-05-12 中兴通讯股份有限公司 分布式文件系统及其垃圾数据清理方法
CN102136003A (zh) * 2011-03-25 2011-07-27 上海交通大学 大规模分布式存储系统
CN102279881A (zh) * 2011-07-28 2011-12-14 南京中兴新软件有限责任公司 清除垃圾数据的方法及文件访问服务器
KR20120027786A (ko) * 2010-09-13 2012-03-22 에스케이 텔레콤주식회사 메타 데이터 서버, 데이터 서버, 복제 서버, 비대칭 분산 파일 시스템 및 그 데이터 처리 방법
US20130198522A1 (en) * 2010-04-08 2013-08-01 Tadayoshi Kohno Systems and methods for file access auditing
CN103678337A (zh) * 2012-09-06 2014-03-26 华为技术有限公司 数据清除方法、装置及系统
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技（深圳）有限公司 一种存取文件的方法、装置及分布式存储系统
US20150215400A1 (en) * 2012-10-12 2015-07-30 Tencent Technology (Shenzhen) Company Limited File Upload Method And System
CN104881466A (zh) * 2015-05-25 2015-09-02 百度在线网络技术（北京）有限公司 数据分片的处理以及垃圾文件的删除方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005078606A2 (en) * 2004-02-11 2005-08-25 Storage Technology Corporation Clustered hierarchical file services
CN101706817A (zh) * 2009-12-01 2010-05-12 中兴通讯股份有限公司 分布式文件系统及其垃圾数据清理方法
US20130198522A1 (en) * 2010-04-08 2013-08-01 Tadayoshi Kohno Systems and methods for file access auditing
KR20120027786A (ko) * 2010-09-13 2012-03-22 에스케이 텔레콤주식회사 메타 데이터 서버, 데이터 서버, 복제 서버, 비대칭 분산 파일 시스템 및 그 데이터 처리 방법
CN102136003A (zh) * 2011-03-25 2011-07-27 上海交通大学 大规模分布式存储系统
CN102279881A (zh) * 2011-07-28 2011-12-14 南京中兴新软件有限责任公司 清除垃圾数据的方法及文件访问服务器
CN103678337A (zh) * 2012-09-06 2014-03-26 华为技术有限公司 数据清除方法、装置及系统
US20150215400A1 (en) * 2012-10-12 2015-07-30 Tencent Technology (Shenzhen) Company Limited File Upload Method And System
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技（深圳）有限公司 一种存取文件的方法、装置及分布式存储系统
CN104881466A (zh) * 2015-05-25 2015-09-02 百度在线网络技术（北京）有限公司 数据分片的处理以及垃圾文件的删除方法和装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445692A (zh) * 2018-10-18 2019-03-08 深圳市硅格半导体有限公司 基于网络的数据存储方法、终端、服务器和系统
CN110554839A (zh) * 2019-07-30 2019-12-10 华为技术有限公司 分布式存储系统访问方法、客户端及计算机程序产品
CN112506896A (zh) * 2019-09-16 2021-03-16 杭州海康威视系统技术有限公司 一种数据删除方法、装置及电子设备
CN112506896B (zh) * 2019-09-16 2023-08-04 杭州海康威视系统技术有限公司 一种数据删除方法、装置及电子设备
WO2021189306A1 (en) * 2020-03-25 2021-09-30 Beijing Didi Infinity Technology And Development Co., Ltd. Write operation in object storage system using enhanced meta structure
CN111563008A (zh) * 2020-04-29 2020-08-21 深圳震有科技股份有限公司 数据存储方法、装置、存储系统及计算机可读存储介质
CN111580755B (zh) * 2020-05-09 2022-07-05 杭州海康威视系统技术有限公司 分布式数据处理系统、分布式数据处理方法
CN111580755A (zh) * 2020-05-09 2020-08-25 杭州海康威视系统技术有限公司 分布式数据处理系统、分布式数据处理方法
CN113640321B (zh) * 2020-05-11 2024-04-02 同方威视技术股份有限公司 安检延迟优化方法以及设备
CN113640321A (zh) * 2020-05-11 2021-11-12 同方威视技术股份有限公司 安检延迟优化方法以及设备
CN112600924B (zh) * 2020-12-15 2022-02-22 四川长虹电器股份有限公司 IoT终端数据存储系统、方法、计算机设备及存储介质
CN112600924A (zh) * 2020-12-15 2021-04-02 四川长虹电器股份有限公司 IoT终端数据存储系统、方法、计算机设备及存储介质
CN113180729B (zh) * 2021-03-31 2023-07-14 上海深至信息科技有限公司 一种超声数据传输方法及系统
CN113180729A (zh) * 2021-03-31 2021-07-30 上海深至信息科技有限公司 一种超声数据传输方法及系统

Also Published As

Publication number Publication date
CN107656695B (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN107656695A (zh) 一种数据存储、删除方法、装置及分布式存储系统
CN101409706B (zh) 一种边缘网络中的数据分发方法、数据分发系统及相关设备
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其系统
JP2018085117A5 (zh)
CN110703980B (zh) 一种文件传输方法及装置
CN103475682B (zh) 文件迁移方法及设备
CN103607428B (zh) 一种访问共享内存的方法和装置
CN106850710A (zh) 一种数据云存储系统、客户终端、存储服务器及应用方法
CN105224255B (zh) 一种存储文件管理方法及装置
CN105704036B (zh) 报文转发方法、装置和系统
CN104426718B (zh) 数据监听服务器、缓存服务器和重定向下载方法
CN109491758A (zh) docker镜像分发方法、系统、数据网关及计算机可读存储介质
CN105765901B (zh) 智能防火墙访问规则
CN108847952A (zh) 请求链路上下文的处理方法、装置及系统
CN103561060B (zh) 一种多线程环境下的通信链接方法及中转服务器
CN104239125B (zh) 对象处理方法、分布式文件系统及客户端设备
CN104144223B (zh) 一种数据获取方法及装置
CN105512279A (zh) 一种元数据访问方法、相关设备及系统
CN106991008A (zh) 一种资源锁管理方法、相关设备及系统
CN108563697A (zh) 一种数据处理方法、装置和存储介质
CN104618304A (zh) 数据处理方法及数据处理系统
CN108574705A (zh) 一种容器间的通信方法、装置及系统
CN109873855A (zh) 一种基于区块链网络的资源获取方法和系统
CN107659493A (zh) 一种即时通信消息的处理方法和装置
CN107835095A (zh) 一种日志的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant