CN106341448A - 分布式存储方法、装置及系统 - Google Patents
分布式存储方法、装置及系统 Download PDFInfo
- Publication number
- CN106341448A CN106341448A CN201610670886.XA CN201610670886A CN106341448A CN 106341448 A CN106341448 A CN 106341448A CN 201610670886 A CN201610670886 A CN 201610670886A CN 106341448 A CN106341448 A CN 106341448A
- Authority
- CN
- China
- Prior art keywords
- disk
- stored
- data
- target disk
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分布式存储方法、装置及系统,该方法包括:当用户请求数据写入时,接收所述用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息,将所述待存储数据进行存储,根据所述目标磁盘的磁盘信息,将所述待存储数据发送给所述目标磁盘进行存储,实现了磁盘对数据进行简单操作的功能,如识别磁盘信息,代替服务器将需要存储的数据转发给其他磁盘以实现分布式存储,这样磁盘不仅仅是单纯的作为存储数据的设备,而是代替服务器进行简单的数据操作,减少了服务器的负载量,而可以提高服务器的运行速率以及运行效率,延长了服务器使用寿命,进而可以节省更换服务器的成本。
Description
技术领域
本发明属于云存储技术领域,尤其涉及一种分布式存储方法、装置及系统。
背景技术
最近几年,大批的厂商开始推广一种新型存储设备:互联网协议(IP,Internetprotocol)磁盘。IP磁盘与传统的串口(SATA,serial ATA)硬盘或小型计算机系统接口(SCSI,small computer system interface)磁盘不同之处在于,IP磁盘直接具有一个IP地址和端口,并采用键/值(key/value)的存储方式写入数据。
现有技术中,传统的分布式存储系统中,在存储性服务器上增加多个IP磁盘,存储性服务器负责所有存储系统中的工作,IP磁盘相当于普通磁盘,仅仅用于存储数据。
在现有技术中,由于服务器负责所有存储系统中的工作,当服务器连接的IP磁盘个数增加时,服务器承载的负载量增加或者需要超负荷运行,这样会导致服务器运行速率变慢,运行效率降低,同时减少服务器的使用寿命。
发明内容
本发明提供一种分布式存储方法、装置及系统,旨在解决由于服务器连接的IP磁盘个数增加,所导致的服务器运行速率变慢,运行效率降低,减少服务器的使用寿命的问题。
本发明提供的一种分布式存储方法,包括:当用户请求数据写入时,接收所述用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息,将所述待存储数据进行存储,根据所述目标磁盘的磁盘信息,将所述待存储数据发送给所述目标磁盘进行存储。
本发明提供的一种分布式存储装置,包括:接收模块用于当用户请求数据写入时,接收所述用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息,存储模块用于将所述待存储数据进行存储,发送处理模块用于根据所述目标磁盘的磁盘信息,将所述待存储数据发送给所述目标磁盘进行存储。
本发明提供的一种分布式存储系统,所述系统包括:服务器、第一磁盘和目标磁盘,所述服务器用于当用户请求数据写入时,接收所述用户使用的终端发送的写入请求,并将所述第一磁盘的磁盘信息和目标磁盘的磁盘信息发送给所述终端,所述第一磁盘用于接收所述终端发送的待存储数据和目标磁盘的磁盘信息,并将所述待存储数据进行存储;以及,根据接收的所述目标磁盘的磁盘信息,将所述待存储数据发送给所述目标磁盘,所述目标磁盘用于将所述待存储数据进行存储。
本发明提供的分布式存储方法、装置及系统,当用户请求数据写入时,接收所述用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息,将所述待存储数据进行存储,根据所述目标磁盘的磁盘信息,将所述待存储数据发送给所述目标磁盘进行存储,实现了磁盘对数据进行简单操作的功能,如识别磁盘信息,代替服务器将需要存储的数据转发给其他磁盘以实现分布式存储,这样磁盘不仅仅是单纯的作为存储数据的设备,而是代替服务器进行简单的数据操作,减少了服务器的负载量,而可以提高服务器的运行速率以及运行效率,延长了服务器使用寿命,进而可以节省更换服务器的成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1是本发明第一实施例提供的分布式存储方法的实现流程示意图;
图2是本发明第二实施例提供的分布式存储方法的实现流程示意图;
图3是本发明第三实施例提供的分布式存储装置的结构示意图;
图4是本发明第四实施例提供的分布式存储装置的结构示意图;
图5是本发明第五实施例提供的分布式存储系统的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,图1为本发明第一实施例提供的分布式存储方法的实现流程示意图,可应用于带有中央处理器(CPU,Central Processing Unit)、内存条以及多个网卡的磁盘中,如IP磁盘。图1所示的分布式存储方法,主要包括以下步骤:
S101、当用户请求数据写入时,接收该用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息。
S102、将该待存储数据进行存储。
磁盘接收终端发送的待存储数据和目标磁盘的磁盘信息,然后将待存储数据进行存储,即磁盘自身将待存储数据进行写入。需要说明的是,磁盘与目标磁盘均属于一个分布式存储系统。
磁盘信息的实现方式不做限定,可以是一个列表,也可以是各信息数据的罗列。
S103、根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘进行存储。
当磁盘将待存储数据进行存储后,根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘,使得目标磁盘将该待存储数据进行存储,这里磁盘与磁盘之间是通过磁盘内置的网卡进行通信的。从磁盘存储该待存储数据到目标磁盘存储该待存储数据的过程相当于对待存储数据备份的过程,但是磁盘与目标磁盘存储的待存储数据是相同的。
本发明实施例中,当用户请求数据写入时,接收该用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息,将该待存储数据进行存储,根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘进行存储,实现了磁盘对数据进行简单操作的功能,如识别磁盘信息,代替服务器将需要存储的数据转发给其他磁盘以实现分布式存储,这样磁盘不仅仅是单纯的作为存储数据的设备,而是代替服务器进行简单的数据操作,减少了服务器的负载量,而可以提高服务器的运行速率以及运行效率,延长了服务器使用寿命,进而可以节省更换服务器的成本。
请参阅图2,图2为本发明第二实施例提供的分布式存储方法的实现流程示意图,可应用于可应用于带有CPU、内存条以及多个网卡的磁盘中,如IP磁盘,主要包括以下步骤:
S201、当用户请求数据写入时,接收该用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息。
S202、将该待存储数据进行存储。
该用户所使用的终端不做限定,该终端还可以是计算机、手机、平板电脑等具有网络通信功能的终端。将待存储数据进行存储,即磁盘自身将待存储数据进行写入。需要说明的是,磁盘与目标磁盘均属于一个分布式存储系统。目标磁盘的个数不做限定,可以是一个,也可以两个或两个以上。
分布式存储系统中包含有多个磁盘,该多个磁盘安放于预置数目的机柜中,存储有相同数据的多个磁盘位于不同的机柜,即本实施例中存储有该待存储数据的执行主体和各目标磁盘位于不同的机柜,例如,磁盘1、目标磁盘2和目标磁盘3均存储有数据1,此时磁盘1、目标磁盘2和目标磁盘3位于不同的机柜中。
磁盘信息的实现方式不做限定,可以是一个列表,也可以是各信息数据的罗列。磁盘信息可以包括磁盘的编号、磁盘与其他磁盘之间的对应关系,磁盘的机柜号等磁盘的信息,其中磁盘与其他磁盘之间的对应关系是指存储有相同数据的磁盘之间的关系,本实施例中磁盘与目标磁盘具有对应关系。本领域技术人员可以在本实施例中磁盘信息的基础上,对该磁盘信息所包含的内容进行添加或者减少。
S203、根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘进行存储。
可选地,根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘进行存储具体为:
根据该目标磁盘的磁盘信息中该目标磁盘的编号查找该目标磁盘的IP地址;
按照该目标磁盘的IP地址将该待存储数据发送给该目标磁盘进行存储。
目标磁盘中包括目标磁盘的编号,通过目标磁盘的编号可以查找目标磁盘的IP地址,其中,目标磁盘的IP地址与该目标磁盘的编号具有对应关系。同一分布式存储系统中磁盘的IP地址和磁盘的编号的对应关系的存储位置不做限定,可以存储于分布式存储系统中的服务器中,也可以存储于在分布式存储系统中设置专门存储磁盘的IP地址和磁盘的编号的对应关系的存储模块。
S204、当该用户读取该待存储数据时,接收该终端发送的读取该待存储数据的请求。
S205、根据该读取该待存储数据的请求中该终端的互联网协议地址,将该待存储数据发送给该终端。
当用户要读取数据时,磁盘可以直接接收该用户通过终端发送的读取该待存储数据的请求,其中该读取该待存储数据的请求中包括终端的IP地址,磁盘按照终端的IP地址,将该待存储数据发送给该终端,这样在读取磁盘中存储的数据时,磁盘可以直接用户所持终端进行通信,并且可以将请求读取的数据直接发送给终端,不需通过分布式存储系统中的服务器。
本发明实施例中,当用户请求数据写入时,接收该用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息,将该待存储数据进行存储,根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘进行存储,当该用户读取该待存储数据时,接收该终端发送的读取该待存储数据的请求,根据该读取该待存储数据的请求中该终端的IP地址,将该待存储数据发送给该终端,实现了磁盘对数据进行简单操作的功能,如识别磁盘信息,代替服务器将需要存储的数据转发给其他磁盘以实现分布式存储,同时无论是数据的写入还是数据的读取,磁盘均可以与用户直接通信,这样磁盘不仅仅是单纯的作为存储数据的设备,而是代替服务器进行简单的数据操作,减少了服务器的负载量,而可以提高服务器的运行速率以及运行效率,延长了服务器使用寿命,进而可以节省更换服务器的成本。
请参阅图3,图3是本发明第三实施例提供的分布式存储装置的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分。图3示例的分布式存储装置可以是前述图1和图2所示实施例提供的分布式存储方法的执行主体,可以是磁盘或磁盘中的一个控制模块。图3示例的分布式存储装置,主要包括:接收模块301、存储模块302和发送处理模块303。以上各功能模块详细说明如下:
接收模块301,用于当用户请求数据写入时,接收该用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息。
存储模块302,用于将该待存储数据进行存储。
接收模块301接收终端发送的待存储数据和目标磁盘的磁盘信息,然后存储模块302将待存储数据进行存储,即分布式存储装置通过存储模块302将待存储数据进行写入。需要说明的是,分布式存储装置与目标磁盘均属于一个分布式存储系统。
磁盘信息的实现方式不做限定,可以是一个列表,也可以是各信息数据的罗列。
发送处理模块303,用于根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘进行存储。
当存储模块302将待存储数据进行存储后,发送处理模块303根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘,使得目标磁盘将该待存储数据进行存储,
分布式存储系统中磁盘与磁盘之间是通过磁盘内置的网卡进行通信的。从存储模块302存储该待存储数据到目标磁盘存储该待存储数据的过程相当于对待存储数据备份的过程,但是存储模块302与目标磁盘存储的待存储数据是相同的。
在实际应用中,该发送处理模303块可以位于磁盘的处理器中。
本实施例未尽之细节,请参阅前述图1所示实施例的描述,此处不再赘述。
需要说明的是,以上图3示例的分布式存储装置的实施方式中,各功能模块的划分仅是举例说明,实际应用中可以根据需要,例如相应硬件的配置要求或者软件的实现的便利考虑,而将上述功能分配由不同的功能模块完成。而且,实际应用中,本实施例中的相应的功能模块可以是由相应的硬件实现,也可以由相应的硬件执行相应的软件完成。本说明书提供的各个实施例都可应用上述描述原则,以下不再赘述。
本发明实施例中,当用户请求数据写入时,接收模块301接收该用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息,存储模块302将该待存储数据进行存储,发送处理模块303根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘进行存储,实现了磁盘对数据进行简单操作的功能,如识别磁盘信息,代替服务器将需要存储的数据转发给其他磁盘以实现分布式存储,这样磁盘不仅仅是单纯的作为存储数据的设备,而是代替服务器进行简单的数据操作,减少了服务器的负载量,而可以提高服务器的运行速率以及运行效率,延长了服务器使用寿命,进而可以节省更换服务器的成本。
请参阅图4,本发明第四实施例提供的分布式存储装置的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分。图4示例的分布式存储装置可以是前述图2所示实施例提供的分布式存储方法的执行主体,可以是磁盘或磁盘中的一个控制模块。图4示例的分布式存储装置,主要包括:接收模块401、存储模块402和发送处理模块403,其中发送处理模块403包括:查找模块4031和发送模块4032。以上各功能模块详细说明如下:
接收模块401,用于当用户请求数据写入时,接收该用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息。
存储模块402,用于将该待存储数据进行存储。
该用户所使用的终端不做限定,该终端还可以是计算机、手机、平板电脑等具有网络通信功能的终端。存储模块402将待存储数据进行存储,即磁盘自身将待存储数据进行写入。需要说明的是,分布式存储装置与目标磁盘均属于一个分布式存储系统。目标磁盘的个数不做限定,可以是一个,也可以两个或两个以上。
分布式存储系统中包含有多个磁盘,该多个磁盘安放于预置数目的机柜中,存储有相同数据的多个磁盘位于不同的机柜,即本实施例中存储有该待存储数据的执行主体和各目标磁盘位于不同的机柜,例如,磁盘1、目标磁盘2和目标磁盘3均存储有数据1,此时磁盘1、目标磁盘2和目标磁盘3位于不同的机柜中。
磁盘信息的实现方式不做限定,可以是一个列表,也可以是各信息数据的罗列。磁盘信息可以包括磁盘的编号、磁盘与其他磁盘之间的对应关系,磁盘的机柜号等磁盘的信息,其中磁盘与其他磁盘之间的对应关系是指存储有相同数据的磁盘之间的关系,本实施例中分布式存储装置与目标磁盘具有对应关系。本领域技术人员可以在本实施例中磁盘信息的基础上,对该磁盘信息所包含的内容进行添加或者减少。
发送处理模块403,用于根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘进行存储。
可选地,发送处理模块403包括:查找模块4031和发送模块4032。
查找模块4031,用于根据该目标磁盘的磁盘信息中该目标磁盘的编号查找该目标磁盘的IP地址;
发送模块4032,用于按照该目标磁盘的IP地址将该待存储数据发送给该目标磁盘进行存储。
目标磁盘中包括目标磁盘的编号,查找模块4031通过目标磁盘的编号可以查找目标磁盘的IP地址,其中,目标磁盘的IP地址与该目标磁盘的编号具有对应关系。同一分布式存储系统中磁盘的IP地址和磁盘的编号的对应关系的存储位置不做限定,可以存储于分布式存储系统中的服务器中,也可以存储于在分布式存储系统中设置专门存储磁盘的IP地址和磁盘的编号的对应关系的存储模块。
接收模块401,还用于当该用户读取该待存储数据时,接收该终端发送的读取该待存储数据的请求。
发送处理模块403,还用于根据该读取该待存储数据的请求中该终端的IP地址,将该待存储数据发送给该终端。
当用户要读取数据时,接收模块401可以直接接收该用户通过终端发送的读取该待存储数据的请求,其中该读取该待存储数据的请求中包括终端的IP地址,发送处理模块403按照终端的IP地址,将该待存储数据发送给该终端,这样在读取磁盘中存储的数据时,分布式存储装置可以直接用户所持终端进行通信,并且可以将请求读取的数据直接发送给终端,不需通过分布式存储系统中的服务器。
在实际应用中,该发送处理模块403可以位于磁盘的处理器中。
本实施例未尽之细节,请参阅前述图2所示实施例的描述,此处不再赘述。
本发明实施例中,当用户请求数据写入时,接收模块401接收该用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息,存储模块402将该待存储数据进行存储,发送处理模块403根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘进行存储,当该用户读取该待存储数据时,接收模块401接收该终端发送的读取该待存储数据的请求,发送处理模块403根据该读取该待存储数据的请求中该终端的IP地址,将该待存储数据发送给该终端,实现了磁盘对数据进行简单操作的功能,如识别磁盘信息,代替服务器将需要存储的数据转发给其他磁盘以实现分布式存储,同时无论是数据的写入还是数据的读取,磁盘均可以与用户直接通信,这样磁盘不仅仅是单纯的作为存储数据的设备,而是代替服务器进行简单的数据操作,减少了服务器的负载量,而可以提高服务器的运行速率以及运行效率,延长了服务器使用寿命,进而可以节省更换服务器的成本。
请参阅图5,本发明第五实施例提供的分布式存储系统的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分。图5示例的分布式存储系统,主要包括:服务器501、第一磁盘5021和目标磁盘5022。以上各功能模块详细说明如下:
服务器501,用于当用户请求数据写入时,接收该用户使用的终端发送的写入请求,并将该第一磁盘5021的磁盘信息和目标磁盘5022的磁盘信息发送给该终端。
第一磁盘5021为图1和图2所示的实施例中的执行主体。磁盘信息的实现方式不做限定,可以是一个列表,也可以是各信息数据的罗列。第一磁盘为一个磁盘,目标磁盘可以为一个,也可以为两个或者两个以上的磁盘
第一磁盘5021,用于接收该终端发送的待存储数据和目标磁盘5022的磁盘信息,并将该待存储数据进行存储;以及,根据接收的该目标磁盘5022的磁盘信息,将该待存储数据发送给该目标磁盘5022。
目标磁盘5022,用于将该待存储数据进行存储。
磁盘将待存储数据进行存储的过程是磁盘自身将待存储数据进行写入的过程。分布式存储系统中磁盘与磁盘之间是通过磁盘内置的网卡进行通信的,即,本实施例中第一磁盘5021与目标磁盘5022之间通过各自内置的网卡进行通信。从第一磁盘5021存储该待存储数据到目标磁盘5022存储该待存储数据的过程相当于对待存储数据备份的过程,但是第一磁盘5021与目标磁盘5022存储的待存储数据是相同的。
通过第一磁盘5021执行接收、发送以及处理数据的操作,实现了磁盘对数据进行简单操作的功能,如识别磁盘信息,代替服务器501将需要存储的数据转发给其他磁盘以实现分布式存储,这样磁盘不仅仅是单纯的作为存储数据的设备,而是代替服务器501进行简单的数据操作,减少了服务器501的负载量,而可以提高服务器501的运行速率以及运行效率,延长了服务器501使用寿命,进而可以节省更换服务器501的成本。
可选地,分布式存储系统中包括多个磁盘,服务器501还用于按照磁盘所属的机柜号,将该多个磁盘分成多个群组。当服务器501接收到终端发送的写入请求后,服务器501还用于在该多个磁盘中查找空闲存储容量大于预置存储容量的磁盘,并从大于预置存储容量的磁盘中选取一个第一磁盘5021和预置数目的目标磁盘5022,其中该第一磁盘5021和该目标磁盘5022中每一磁盘均属于不同的群组。
该多个磁盘安放于多个机柜中,存储有相同数据的多个磁盘位于不同的机柜,即本实施例中存储有该待存储数据的第一磁盘5021和目标磁盘5022位于不同的机柜,若目标磁盘5022有两个或者两个以上,则每一目标磁盘5022位于的机柜也不相同。例如,第一磁盘1、目标磁盘2和目标磁盘3均存储有数据1,此时磁盘1、目标磁盘2和目标磁盘3位于不同的机柜中。
其中从大于预置存储容量的磁盘中选取的第一磁盘5021可以是随机选取,也可以是选取空闲容量最多的磁盘,从大于预置存储容量的磁盘中选取目标磁盘5022只需满足与该第一磁盘5021位于不同的机柜的条件即可。
可选地,该第一磁盘5021,还用于根据该目标磁盘5022的磁盘信息中该目标磁盘5022的编号查找该目标磁盘5022的互联网协议地址,并按照该目标磁盘5022的互联网协议地址将该待存储数据发送给该目标磁盘5022进行存储。
磁盘信息可以包括磁盘的编号、磁盘与其他磁盘之间的对应关系,磁盘的机柜号等磁盘的信息,其中磁盘与其他磁盘之间的对应关系是指存储有相同数据的磁盘之间的关系,本实施例中第一磁盘5021与目标磁盘5022具有对应关系。本领域技术人员可以在本实施例中磁盘信息的基础上,对该磁盘信息所包含的内容进行添加或者减少。
目标磁盘5022中包括目标磁盘5022的编号,通过目标磁盘5022的编号可以查找目标磁盘5022的IP地址,其中,目标磁盘5022的IP地址与该目标磁盘5022的编号具有对应关系。同一分布式存储系统中磁盘的IP地址和磁盘的编号的对应关系的存储位置不做限定,可以存储于分布式存储系统中的服务器501中,也可以存储于在分布式存储系统中设置专门存储磁盘的IP地址和磁盘的编号的对应关系的存储模块。
可选地,服务器501,还用于接收该终端发送的读取该待存储数据的请求,并根据该读取该待存储数据的请求,查找存储有该待存储数据的该第一磁盘5021或者该目标磁盘5022;以及,将该第一磁盘5021的磁盘信息或者该目标磁盘5022的磁盘信息发送给该终端;
第一磁盘5021,还用于接收该终端发送的读取该待存储数据的请求,并根据该读取该待存储数据的请求中该终端的互联网协议地址,将该待存储数据发送给该终端。
当用户要读取数据时,服务器501根据接收到的请求查找存储有待存储数据的第一磁盘5021或目标磁盘5022,并将将该第一磁盘5021的磁盘信息或者该目标磁盘5022的磁盘信息发送给该终端。
第一磁盘5021或者目标磁盘5022可以直接接收该用户通过终端发送的读取该待存储数据的请求,其中该读取该待存储数据的请求中包括终端的IP地址,第一磁盘5021或者目标磁盘5022按照终端的IP地址,将该待存储数据发送给该终端,这样在读取磁盘中存储的数据时,分布式存储系统中磁盘可以直接用户所持终端进行通信,并且可以将请求读取的数据直接发送给终端,不需通过分布式存储系统中的服务器501。
可选地,该系统还包括:代理服务器503和第二磁盘5023;
代理服务器503,还用于当接收第二磁盘5023发送的更换消息后,向服务器501发送恢复失效磁盘中数据的恢复请求;
该恢复请求中包含第二磁盘5023的编号,且该第二磁盘5023的编号与该失效磁盘的编号相同。在实际应用中,当有磁盘失效时,失效磁盘会从机柜中拔出,并在拔出的位置插入第二磁盘5023,这样第二磁盘5023的编号与该失效磁盘的编号相同,当第二磁盘5023插入后,该第二磁盘5023向代理服务器503发送更换消息,其中该更换消息用于表示已更换该失效磁盘,然后代理服务器503向服务器501发送恢复该失效磁盘中数据的恢复请求。
该服务器501,还用于根据该第二磁盘5023的编号查找待恢复数据对应的元数据,并将该元数据中预置磁盘的编号发送给代理服务器503;
其中该预置磁盘存储有该待恢复数据。该预置磁盘是存储有该待恢复数据的磁盘,该预置磁盘也包含在分布式存储系统中。元数据是用于描述数据属性(property)的信息,如指示存储位置、历史数据、资源查找、文件记录等功能。本实施例中,元数据存储有磁盘的磁盘信息。
代理服务器503,还用于按照该预置磁盘的编号,查找该预置磁盘的互联网协议地址,并按照该预置磁盘的互联网协议地址读取该预置磁盘中存储的该待恢复数据,以及向第二磁盘5023发送数据写入请求;
第二磁盘5023,用于从代理服务器503中获取该待恢复数据,并将该待恢复数据进行存储。
当第二磁盘5023接收到代理服务器503发送的数据写入请求后,第二磁盘5023从代理服务器503中获取该待恢复数据,并将该待恢复数据进行存储。
本实施例未尽之细节,请参阅前述图1和图2所示实施例的描述,此处不再赘述。
本发明实施例中,当用户请求数据写入时,当用户请求数据写入时,服务器501接收该用户使用的终端发送的写入请求,并将第一磁盘5021的磁盘信息和目标磁盘5022的磁盘信息发送给该终端,第一磁盘5021接收该终端发送的待存储数据和目标磁盘5022的磁盘信息,并将该待存储数据进行存储;以及,根据接收的目标磁盘5022的磁盘信息,将该待存储数据发送给目标磁盘5022,目标磁盘5022将该待存储数据进行存储,实现了磁盘对数据进行简单操作的功能,如识别磁盘信息,代替服务器将需要存储的数据转发给其他磁盘以实现分布式存储,这样磁盘不仅仅是单纯的作为存储数据的设备,而是代替服务器进行简单的数据操作,减少了服务器的负载量,而可以提高服务器的运行速率以及运行效率,延长了服务器使用寿命,进而可以节省更换服务器的成本。
本发明第五实施例还提供了一种用于执行分布式存储方法的磁盘,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。
该磁盘包括:一个CPU、内存条、多个网卡以及一个或者多个程序(模块)。其中该一个或者多个程序(模块)存储在该内存条中,当被该一个或者多个处理器执行时,该CPU执行以下操作:
当用户请求数据写入时,接收该用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息;
将该待存储数据进行存储;
根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘进行存储。
本发明实施中,处理器用于当用户请求数据写入时,接收该用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息,将该待存储数据进行存储,根据该目标磁盘的磁盘信息,将该待存储数据发送给该目标磁盘进行存储,实现了磁盘对数据进行简单操作的功能,如识别磁盘信息,代替服务器将需要存储的数据转发给其他磁盘以实现分布式存储,这样磁盘不仅仅是单纯的作为存储数据的设备,而是代替服务器进行简单的数据操作,减少了服务器的负载量,而可以提高服务器的运行速率以及运行效率,延长了服务器使用寿命,进而可以节省更换服务器的成本。
在本申请所提供的多个实施例中,应该理解到,所揭露的系统、终端和方法,可以通过其它的方式实现。例如,以上所描述的终端实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口,模块的间接耦合或通信链接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上为对本发明所提供的分布式存储方法、装置及系统的描述,对于本领域的技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种分布式存储方法,其特征在于,包括:
当用户请求数据写入时,接收所述用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息;
将所述待存储数据进行存储;
根据所述目标磁盘的磁盘信息,将所述待存储数据发送给所述目标磁盘进行存储。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标磁盘的磁盘信息,将所述待存储数据发送给所述目标磁盘进行存储,包括:
根据所述目标磁盘的磁盘信息中所述目标磁盘的编号查找所述目标磁盘的互联网协议地址;
按照所述目标磁盘的互联网协议地址将所述待存储数据发送给所述目标磁盘进行存储。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述用户读取所述待存储数据时,接收所述终端发送的读取所述待存储数据的请求;
根据所述读取所述待存储数据的请求中所述终端的互联网协议地址,将所述待存储数据发送给所述终端。
4.一种分布式存储装置,其特征在于,包括:
接收模块,用于当用户请求数据写入时,接收所述用户所使用的终端发送的待存储数据和目标磁盘的磁盘信息;
存储模块,用于将所述待存储数据进行存储;
发送处理模块,用于根据所述目标磁盘的磁盘信息,将所述待存储数据发送给所述目标磁盘进行存储。
5.根据权利要求4所述的装置,其特征在于,所述发送处理模块包括:
查找模块,用于根据所述目标磁盘的磁盘信息中所述目标磁盘的编号查找所述目标磁盘的互联网协议地址;
发送模块,用于按照所述目标磁盘的互联网协议地址将所述待存储数据发送给所述目标磁盘进行存储。
6.根据权利要求4所述的装置,其特征在于,
所述接收模块,还用于当所述用户读取所述待存储数据时,接收所述终端发送的读取所述待存储数据的请求;
所述发送处理模块,还用于根据所述读取所述待存储数据的请求中所述终端的互联网协议地址,将所述待存储数据发送给所述终端。
7.一种分布式存储系统,其特征在于,所述系统包括:服务器、第一磁盘和目标磁盘;
所述服务器,用于当用户请求数据写入时,接收所述用户使用的终端发送的写入请求,并将所述第一磁盘的磁盘信息和目标磁盘的磁盘信息发送给所述终端;
所述第一磁盘,用于接收所述终端发送的待存储数据和目标磁盘的磁盘信息,并将所述待存储数据进行存储;以及,根据接收的所述目标磁盘的磁盘信息,将所述待存储数据发送给所述目标磁盘;
所述目标磁盘,用于将所述待存储数据进行存储。
8.根据权利要求7所述的系统,其特征在于,
所述第一磁盘,还用于根据所述目标磁盘的磁盘信息中所述目标磁盘的编号查找所述目标磁盘的互联网协议地址,并按照所述目标磁盘的互联网协议地址将所述待存储数据发送给所述目标磁盘进行存储。
9.根据权利要求7所述的系统,其特征在于,
所述服务器,还用于接收所述终端发送的读取所述待存储数据的请求,并根据所述读取所述待存储数据的请求,查找存储有所述待存储数据的所述第一磁盘或者所述目标磁盘;以及,将所述第一磁盘的磁盘信息或者所述目标磁盘的磁盘信息发送给所述终端;
所述第一磁盘,还用于接收所述终端发送的读取所述待存储数据的请求,并根据所述读取所述待存储数据的请求中所述终端的互联网协议地址,将所述待存储数据发送给所述终端。
10.根据权利要求7所述的系统,其特征在于,所述系统还包括:代理服务器和第二磁盘;
所述代理服务器,还用于当接收所述第二磁盘发送的更换消息后,向所述服务器发送恢复失效磁盘中数据的恢复请求,所述恢复请求中包含所述第二磁盘的编号,且所述第二磁盘的编号与所述失效磁盘的编号相同;
所述服务器,还用于根据所述第二磁盘的编号查找待恢复数据对应的元数据,并将所述元数据中预置磁盘的编号发送给所述代理服务器,其中所述预置磁盘存储有所述待恢复数据;
所述代理服务器,还用于按照所述预置磁盘的编号,查找所述预置磁盘的互联网协议地址,并按照所述预置磁盘的互联网协议地址读取所述预置磁盘中存储的所述待恢复数据,以及向所述第二磁盘发送数据写入请求;
所述第二磁盘,用于从所述代理服务器中获取所述待恢复数据,并将所述待恢复数据进行存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610670886.XA CN106341448A (zh) | 2016-08-15 | 2016-08-15 | 分布式存储方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610670886.XA CN106341448A (zh) | 2016-08-15 | 2016-08-15 | 分布式存储方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106341448A true CN106341448A (zh) | 2017-01-18 |
Family
ID=57825114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610670886.XA Pending CN106341448A (zh) | 2016-08-15 | 2016-08-15 | 分布式存储方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106341448A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109901953A (zh) * | 2019-02-14 | 2019-06-18 | 新华三技术有限公司成都分公司 | 数据重构方法及装置 |
CN113778332A (zh) * | 2021-08-16 | 2021-12-10 | 联想凌拓科技有限公司 | 一种信息确定方法、第一存储服务器及存储介质 |
CN114527936A (zh) * | 2022-01-14 | 2022-05-24 | 苏州浪潮智能科技有限公司 | 一种服务器高性能磁盘分布式存储方法及装置 |
WO2024051259A1 (zh) * | 2022-09-06 | 2024-03-14 | 华为技术有限公司 | 数据处理方法及装置 |
-
2016
- 2016-08-15 CN CN201610670886.XA patent/CN106341448A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109901953A (zh) * | 2019-02-14 | 2019-06-18 | 新华三技术有限公司成都分公司 | 数据重构方法及装置 |
CN109901953B (zh) * | 2019-02-14 | 2022-07-08 | 新华三技术有限公司成都分公司 | 数据重构方法及装置 |
CN113778332A (zh) * | 2021-08-16 | 2021-12-10 | 联想凌拓科技有限公司 | 一种信息确定方法、第一存储服务器及存储介质 |
CN114527936A (zh) * | 2022-01-14 | 2022-05-24 | 苏州浪潮智能科技有限公司 | 一种服务器高性能磁盘分布式存储方法及装置 |
CN114527936B (zh) * | 2022-01-14 | 2023-08-08 | 苏州浪潮智能科技有限公司 | 一种服务器高性能磁盘分布式存储方法及装置 |
WO2024051259A1 (zh) * | 2022-09-06 | 2024-03-14 | 华为技术有限公司 | 数据处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101378270B1 (ko) | Sas 확장기를 포함하는 저장 시스템에서 데이터 판독을 가능하게 하기 위한 방법, 시스템 및 sas 확장기 디바이스 | |
CN106341448A (zh) | 分布式存储方法、装置及系统 | |
WO2015066489A2 (en) | Efficient implementations for mapreduce systems | |
CN103873559A (zh) | 一种高速存储的数据库一体机 | |
CN103250143A (zh) | 数据存储方法和存储设备 | |
CN102215268A (zh) | 一种迁移文件数据的方法和装置 | |
CN101375241A (zh) | 集群文件系统中的有效数据管理 | |
CN104834484B (zh) | 基于嵌入式可编程逻辑阵列的数据处理系统及处理方法 | |
CN101944066A (zh) | 固态硬盘的接口处理方法、固态硬盘以及存储系统 | |
CN106503020A (zh) | 日志数据处理方法及装置 | |
EP2637091A1 (en) | Management interface for multiple storage subsystems virtualization | |
CN103034592B (zh) | 数据处理方法和装置 | |
CN110377590A (zh) | 基于物联网的数据采集系统、方法及计算机可读存储介质 | |
CN104077239A (zh) | Ip硬盘与存储系统,及其数据操作方法 | |
CN108572970A (zh) | 一种结构化数据的处理方法和分布式处理系统 | |
CN102473078A (zh) | 用于从非易失性存储器读取数据的控制器 | |
CN102413183B (zh) | 云智能交换机及其处理方法、系统 | |
CN101488924A (zh) | 一种元数据的修改方法和元数据服务器 | |
CN107291392A (zh) | 一种固态硬盘及其读写方法 | |
CN111984557A (zh) | 数据处理方法、装置和系统 | |
CN104484132B (zh) | 数据缩减的方法及装置 | |
CN102566942A (zh) | 一种文件条带化写入方法、装置及系统 | |
CN103577469B (zh) | 数据库连接复用方法和装置 | |
CN102662879B (zh) | 基于Windows操作系统对多路外部设备的输入的处理方法及系统 | |
CN102393838A (zh) | 数据处理方法及装置、pci-e总线系统、服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170118 |