CN106951190B - 数据存储及访问方法、节点和服务器集群 - Google Patents

数据存储及访问方法、节点和服务器集群 Download PDF

Info

Publication number
CN106951190B
CN106951190B CN201710170184.XA CN201710170184A CN106951190B CN 106951190 B CN106951190 B CN 106951190B CN 201710170184 A CN201710170184 A CN 201710170184A CN 106951190 B CN106951190 B CN 106951190B
Authority
CN
China
Prior art keywords
target data
data
storage
address
graphics processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710170184.XA
Other languages
English (en)
Other versions
CN106951190A (zh
Inventor
李栋
于辰涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710170184.XA priority Critical patent/CN106951190B/zh
Publication of CN106951190A publication Critical patent/CN106951190A/zh
Application granted granted Critical
Publication of CN106951190B publication Critical patent/CN106951190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Storage Device Security (AREA)

Abstract

本申请公开了一种数据存储及访问方法、节点和服务器集群，本申请的方案中，存储节点接收数据节点发送的数据存储请求之后，存储节点确定存储该目标数据的起始地址，并将该起始地址的信息以及该数据存储请求携带有待存储的目标数据发送给存储节点的图形处理器，并通过图形处理器依据该起始地址，将该目标数据存储到存储器。本申请的方案实现了利用图形处理器来处理存储节点所需处理的数据存储以及读取任务，可以减少对处理器的占用，从而在保证高效存储以及读取数据的同时，有利于提高处理器对数据计算处理的效率。

Description

数据存储及访问方法、节点和服务器集群
技术领域
本申请涉及通信技术领域，更具体地说，涉及一种数据存储及访问方法、节点和服务器集群。
背景技术
在大数据时代，大数据平台(如，分布式存储系统等数据存储平台)承载着海量数据的存储。随着大数据平台存储数据量的增加，大数据平台的存储节点需要数据的处理量日益增多。然而存储节点中所需处理的数据量越多，存储节点的处理器的负载也会越大。
然而受限于存储节点中处理器的处理能力，如果处理器所需处理的数据量过大，必然导致存储节点对于数据存储或读取等数据处理效率过低，而且必然影响到处理器的处理性能，进而影响到存储节点整体的数据处理效率，因此，如何提高大数据平台的数据处理效率是本领域技术人员迫切需要解决的技术问题。
发明内容
有鉴于此，本申请提供了一种数据存储及访问方法、节点和服务器集群，以提高数据存储以及读取的效率，并有利于提高处理器的数据处理效率。
为了实现上述目的，现提出的方案如下：
一种数据存储方法，应用于存储节点，所述方法包括：
接收数据节点发送的数据存储请求，所述数据存储请求携带有待存储的目标数据；
确定存储所述目标数据的起始地址；
将所述起始地址的信息以及所述目标数据发送给图形处理器，以使得所述图形处理器依据所述起始地址，将所述目标数据存储到存储区。
优选的，所述确定存储所述目标数据的起始地址，包括：
依据所述存储区存储数据的索引信息，确定向所述存储区中存储所述目标数据的起始地址。
优选的，在所述图形处理器将所述目标数据存储到存储区之后，还包括：
获取所述图形处理器返回的所述目标数据对应的结束地址，其中，存储区中所述起始地址到所述结束地址之间的存储空间表征所述目标数据所占据的存储空间；
存储所述目标数据所对应的起始地址以及所述结束地址。
优选的，所述存储所述目标数据所对应的起始地址以及所述结束地址，包括：
依据所述目标数据的起始地址以及结束地址，生成所述目标数据的索引信息，并存储所述目标数据的索引信息。
优选的，在所述图形处理器依据所述起始地址，将所述目标数据存储到存储区之前，还包括：
所述图形处理器对所述目标数据进行压缩。
优选的，所述在所述图形处理器依据所述起始地址，将所述目标数据存储到存储区之前，还包括：
所述图形处理器对所述目标数据进行加密，得到经过加密的目标数据。
另一方面，本申请实施例还提供了一种数据存储方法，应用于存储节点，所述方法包括：
图形处理器接收处理器发送的数据存储指令；
所述图形处理器获取所述数据存储指令携带的待存储的目标数据以及起始地址，其中，起始地址为所述处理器在接收到数据节点发送的数据存储请求之后，确定出的用于存储所述目标数据的起始地址；
所述图形处理器依据所述起始地址，将所述目标数据存储到存储区。
优选的，在所述图形处理器将所述目标数据存储到存储区之后，还包括：
向所述处理器返回的所述目标数据对应的结束地址，以便所述处理器存储所述目标数据所对应的起始地址以及所述结束地址，其中，存储区中所述起始地址到所述结束地址之间的存储空间表征所述目标数据所占据的存储空间。
优选的，在所述图形处理器依据所述起始地址，将所述目标数据存储到存储区之前，还包括：
所述图形处理器对所述目标数据进行压缩。
优选的，所述在所述图形处理器依据所述起始地址，将所述目标数据存储到存储区之前，还包括：
所述图形处理器对所述目标数据进行加密，得到经过加密的目标数据。
另一方面，本申请实施例还提供了一种数据访问方法，应用于存储节点，所述方法包括：
接收数据节点发送的数据访问请求，所述数据访问请求携带有待访问的目标数据的数据标识；
依据所述数据标识，确定所述目标数据的存储地址；
将所述存储地址发送给图形处理器，以使得所述图形处理器依据所述存储地址，从存储区中读取所述目标数据；
将所述图形处理器读取出的所述目标数据发送给所述数据节点。
优选的，所述依据所述数据标识，确定所述目标数据的存储地址，包括：
从存储的索引信息中，查询所述数据标识对应的索引信息。
优选的，所述图形处理器依据所述存储地址，从存储区中读取所述目标数据，包括：
所述图形处理器依据所述存储地址，从存储区中读取经过压缩的所述目标数据；
对经过压缩的所述目标数据进行解压缩，得到所述目标数据。
优选的，所述图形处理器依据所述存储地址，从存储区中读取所述目标数据，包括：
所述图形处理器依据所述存储地址，从存储区中读取经过加密的所述目标数据；
对经过加密的所述目标数据进行解密，得到所述目标数据。
另一方面，本申请实施例还提供了一种存储节点，包括：
通信接口，用于接收数据节点发送的数据存储请求，所述数据存储请求携带有待存储的目标数据；
处理器，用于确定存储所述目标数据的起始地址；将所述起始地址的信息以及所述目标数据发送给图形处理器；
所述图形处理器，用于依据所述起始地址，将所述目标数据存储到存储器的存储区；
存储器，用于存储所述目标数据。
优选的，所述处理器在确定存储所述目标数据的起始地址时，具体用于，依据所述存储区存储数据的索引信息，确定向所述存储区中存储所述目标数据的起始地址。
优选的，还包括：
所述图形处理器，还用于在将所述目标数据存储到存储区之后，向所述处理器返回所述目标数据对应的结束地址，其中，存储区中所述起始地址到所述结束地址之间的存储空间表征所述目标数据所占据的存储空间
所述处理器，用于将所述目标数据所对应的起始地址以及所述结束地址存储到所述存储器中。
另一方面，本申请实施例还提供了一种存储节点，包括：
通信接口，用于接收数据节点发送的数据访问请求，所述数据访问请求携带有待访问的目标数据的数据标识；
处理器，用于依据所述数据标识，确定所述待访问的目标数据的存储地址；将所述存储地址发送给图形处理器；
所述图形处理器，用于依据所述存储地址，从存储区中读取所述目标数据；
所述通信接口，还用于将所述图形处理器读取出的所述目标数据发送给所述数据节点。
另一方面，本申请还提供了一种服务器集群，包括：
存储节点和至少一个数据节点；
其中，数据节点，用于向存储节点发送的数据存储请求，所述数据存储请求携带有待存储的目标数据；
所述存储节点，用于确定存储所述目标数据的起始地址；将所述起始地址的信息以及所述目标数据发送给图形处理器，以通过所述图像处理器依据所述起始地址，将所述目标数据存储到存储区。
由以上内容可知，在本申请实施例中，通过将服务器集群中存储节点对于数据的存储以及读取的操作转移到图形处理器，可以减少对处理器的资源占用，并有效利用了图形处理器的高效处理数据的性能，从而实现了通过处理器与图形处理器结合来高效的进行数据存储与访问，提高了数据处理效率。
同时，由于在数据读取以及存储过程中，利用了图形处理器进行了部分数据处理操作，也有利于降低处理器所需处理的数据量，从而降低了处理器的负责，有利于避免由于处理器的负载过大而导致数据读写效率低的问题，从而也有利于提高数据存储以及读取的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本申请一种服务器集群的组成架构示意图；
图2示出了本申请一种数据存储方法一个实施例的流程示意图；
图3示出了本申请一种数据存储方法又一个实施例的流程示意图；
图4示出了本申请又一种数据存储方法又一个实施例的流程示意图；
图5示出了本申请一种数据访问方法一个实施例的流程示意图；
图6示出了本申请一种数据访问法又一个实施例的流程示意图；
图7示出了本申请一种存储节点的组成结构示意图。
具体实施方式
本申请的数据存储及访问方法、节点和服务器集群，以有效降低服务器集群中存储节点内处理器的负载，并有效利用存储节点的图形处理器完成数据存储以及读取，有利于提高数据存储以及读取的效率，并能提高存储节点中处理器的数据处理性能，提高数据处理效率。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，先对本申请的方案所适用的服务器集群进行介绍。如，参见图1，其示出了本申请一种服务器集群的组成结构示意图。
由图1可知，该服务器集群100可以包括：
至少一个存储节点101和至少一个数据节点102。存储节点与数据节点之间可以通过网络相连。可选的，考虑到服务器集群中数据的安全性，一般会对服务器集群中的数据进行备份，因此，存储数据的存储节点一般可以有多个。
其中，数据节点101，用于向存储节点发送的数据存储请求，该数据存储请求携带有待存储的目标数据；
相应的，存储节点102，用于确定存储该目标数据的起始地址；将起始地址的信息以及该目标数据发送给图形处理器，以通过该图像处理器依据所述起始地址，将该目标数据存储到存储区。
进一步的，该数据节点101，还可以用于向存储节点发送数据访问请求，该数据存储请求携带有待访问的数据的数据标识；
相应的，存储节点，还用于依据该数据访问请求所携带的数据标识，确定待访问的数据的存储地址；将该存储地址发送给图形处理器，以使得图形处理器依据该起始地址，从存储区中读取该目标数据；并将所述图形处理器读取出的所述目标数据发送给所述数据节点。
需要说明的是，在本申请实施例中，将服务器集群中用于请求存储以及读取数据的服务器称为数据节点，而将用于处理数据存储以及读取的服务器称为存储节点，但是可以理解的是，实际应用中，该存储节点同样可以进行一些数据计算等操作，在此加以限制。
结合图1，下面对本申请实施例的一种数据存储方法进行介绍。
参见图2，其示出了本申请一种数据存储方法一个实施例的流程示意图，本实施例的方法应用于存储节点，以下流程所涉及到的操作均从存储节点侧进行描述，本实施例的方法可以包括：
S201，接收数据节点发送的数据存储请求。
其中，该数据存储请求携带有待存储的目标数据。
在本申请实施例中，将数据节点发送的需要存储的数据称为目标数据。
S202，确定存储该目标数据的起始地址。
可以理解的是，在向存储节点的存储区存储数据时，需要确定需要从存储区的哪个位置开始依次向存储区中写入数据，因此，存储节点的处理器在通过通信接口接收到数据存储请求之后，会确定需要从存储区的哪个地址确定的存储位置开始写入该目标数据。其中，该起始地址是指存储器的存储区中能够写入目标数据的起始位置的地址。一般情况下，存储区中位于该起始地址之前的存储空间已经存储有其他数据，而使得位于该起始地址之前的存储空间被占据。
可以理解的是，在存储节点中会维护存储区存储数据的索引信息，通过该索引信息可以确定该存储区中哪些地址所对应的存储空间已经被占据，且存储有数据的存储空间具体存储哪些数据等等。可见，通过查询该索引信息可以确定存储区中哪些存储空间仍处于空闲状态，因此，作为一种可选方式，在本申请实施例中，处理器可以依据该存储区存储数据的索引信息，确定向该存储区中存储该目标数据的起始地址。
S203，将起始地址的信息以及目标数据发送给图形处理器，以使得图形处理器依据所述起始地址，将该目标数据存储到存储区。
在本申请实施例中，存储区可以为存储节点的存储器中用于存储数据的区域，其中，该存储器可以为存储节点的磁盘，或者是存储节点的其他存储介质。
在处理器确定出存储区中用于存储该目标数据的存储空间的起始地址之后，处理器可以将起始地址的信息以及目标数据均发送给图形处理器，然后，图形处理器会依据该起始地址，从存储区的该起始地址开始将该目标数据写入到该存储区。
可以理解的是，存储节点的处理器除了需要实现数据存储之外，还需要处理其他数据节点对数据的读取请求，因此，处理器需要维护存储区中数据的存储情况。而本申请为了能够实现利用图形处理器完成数据存储，同时，又避免影响到处理器正常的数据处理，所以仍由处理器来维护存储区的数据存储情况，这样，在需要存储数据时，处理器仅需确定存储区中可存储该目标数据的存储空间的起始地址，而图形处理器也可以通过处理器获取到该起始地址，从而为将目标数据存储到该存储区提供了可能。
可见，由于图形处理器具备较高的数据处理能力，因此，由图形处理器将数据存储到存储区，有利于实现数据的高效存储。而且，处理器将数据存储的操作转给图形处理器来完成，也可以减少处理器本身所需处理的数据量，从而减少了处理器的负载，进而有利于提高处理器确定存储地址等相关操作的效率，还可以提高处理器计算数据的性能。
可以理解的是，在数据存储过程中，可能需要涉及到数据的压缩等操作，因此，在本申请实施例中，该图形处理器在存储数据的过程中，可以先对目标数据进行压缩等处理，以减少处理器对数据的压缩等操作。如，参见图3，其示出了本申请一种数据存储方法又一个实施例的流程示意图，本实施例的方法应用于存储节点，以下流程所涉及到的操作均从存储节点侧进行描述，本实施例的方法可以包括：
S301，接收数据节点发送的数据存储请求。
S302，依据存储区存储数据的索引信息，确定向存储区中存储该目标数据的起始地址。
可以理解的是，本实施例是以依据索引信息，确定该起始地址为例进行介绍进行说明，但是对于通过其他方式确定该起始地址的方式也同样适用于本实施例，在此不再赘述。
S303，将起始地址的信息以及目标数据发送给图形处理器。
S304，通过图形处理器对目标数据进行压缩，并依据该起始地址，将经过压缩的目标数据存储到存储区。
在本申请实施例中，图形处理器在存储目标数据之前，对目标数据进行了压缩处理，以减少存储数据所占据的存储空间；同时，由图形处理器来对目标数据进行压缩，也可以避免处理器对目标数据的压缩运算，进一步减少处理器的数据储量。
S305，获取该图形处理器返回的目标数据对应的结束地址。
其中，起始地址和结束地址用于表征目标数据所占据的存储空间范围。也就是说，存储区中从该起始地址到该结束地址之间的存储空间为目标数据所占据的存储空间。
如，该起始地址可以为经过压缩的目标数据中第一个比特在存储区中存储的地址；而结束地址可以为该经过压缩的目标数据中最后一个比特在存储区中存储的地址。
S306，存储该目标数据所对应的起始地址以及结束地址。
可以理解的是，图形处理器确定出该存储区存储该目标数据的结束地址之后，可以将该结束地址的信息传输给该存储节点的处理器，以便于处理器管理存储空间。处理器可以存储该目标数据对应的起始地址以及结束地址之后，后续根据该起始地址和结束地址，读取该目标数据；或者是，后续确定存储区中空闲区域，从而确定其他待存储数据所需存储到的起始地址等。
在一种实现方式中，处理器可以是存储目标数据的标识与该起始地址以及该结束地址的对应关系，这样，根据目标数据的标识，可以查询出相应的起始地址以及结束地址。
可选的，在该步骤S306之后，还可以依据该目标数据的起始地址以及结束地址，生成该目标数据的索引信息，并存储该目标数据的索引信息。当然，生成索引信息的方式可以有多种，在此不加以限制。
可以理解的是，在实际应用中，为了提高数据安全性，还可能会对数据进行加密，因此，在图形处理器存储目标数据之前，还可以对目标数据进行加密，然后，依据该起始地址，将经过加密的数据存储到存储区。可以理解的是，图形处理器对目标数据进行加密后存储到存储区的过程可以与图3实施例中，图形处理器将目标数据压缩后进行存储的过程相似，在此不再赘述。
当然，为了保证数据安全性，同时还可以减少存储目标数据所占据的存储空间，图形处理器可以依次对目标数据进行压缩以及加密的操作，如，先对目标数据进行加密，然后在对加密后的目标数据进行压缩，并将加密以及压缩处理后的目标数据存储到存储区。
另一方面，本申请实施例还提供了又一种数据存储方法，如图4所示，该数据存储方法应用于存储节点的图形处理器，本实施例的方法可以包括：
S401，图形处理器接收处理器发送的数据存储指令。
S402，该图形处理器获取该数据存储指令携带的待存储的目标数据以及起始地址。
其中，该数据存储指令携带有待存储的目标数据以及起始地址，且该数据存储指令用于指示该图形处理器存储该目标数据。
其中，起始地址为该处理器在接收到数据节点发送的数据存储请求之后，确定出的用于存储该目标数据的起始地址。对于处理器确定该起始地址的过程可以参见前面实施例的相关介绍，在此不在赘述。
S403，该图形处理器依据该起始地址，将目标数据存储到存储区。
图4实施例是从存储节点的图形处理器处理数据的过程进行的描述，但是可以理解的是，图形处理器对目标数据的存储过程可以与前面实施例中图形处理器所进行的操作过程相同，在此不在赘述。
可选的，该图形处理器在将目标数据存储到该存储区之后，还可以向处理器返回的该目标数据对应的结束地址，以便处理器存储目标数据所对应的起始地址以及结束地址，其中，存储区中起始地址到所述结束地址之间的存储空间表征该目标数据所占据的存储空间。
进一步的，在所述图形处理器依据所述起始地址，将所述目标数据存储到存储区之前，该图形处理器还可以对目标数据进行压缩。
进一步的，在所述图形处理器依据所述起始地址，将所述目标数据存储到存储区之前，该图形处理还可以对目标数据进行加密，得到经过加密的目标数据，并依据该起始地址，将经过加密的目标数据存储到存储区。
另一方面，结合图1至图4，本申请实施例还提供了一种数据访问方法，该数据访问方法可以认为是在图2至图4所示的数据存储方法的基础上实现的。
如图5，其示出了一种数据访问方法一个实施例的流程示意图，本实施例所涉及的以下流程均从存储节点侧进行描述，本实施例的方法可以包括：
S501，接收数据节点发送的数据访问请求。
该数据访问请求用于请求对目标数据进行读取。该数据访问请求携带有待访问的目标数据的数据标识。
其中，该数据标识用于标识所需访问该目标数据，如该数据标识可以为数据包的包名称、数据表的表名、字段名称等等。
S502，依据该数据标识，确定待访问的目标数据的存储地址。
其中，该存储地址表示存储器中用于存储该目标数据的存储空间所对应的地址，如，该存储地址至少可以包括前面实施例提到的存储目标数据的起始地址以及结束地址。当然，一般情况下，该存储地址是一个地址空间范围。
S503，将该存储地址发送给图形处理器，以使得图形处理器依据该存储地址，从存储区中读取该目标数据。
图形处理器得到该目标数据的存储地址后，可以直接从存储区中该存储地址所指向的存储空间中读取该目标数据。
其中，该存储区为存储器中的存储空间，如，存储节点中的磁盘或者其他非易失性存储介质中的存储区。
在一种可能的情况中，如果存储区中存储的数据为经过压缩的数据，该图形处理器可以依据该存储地址，先从存储区中读取出经过压缩的目标数据；然后，对经过压缩的目标数据进行解压缩，得到该目标数据。
在另一种可能的情况中，如果存储区中存储的数据为经过加密的数据，该图形处理器可以依据该存储地址，从存储区中读取经过加密的目标数据，并对经过压缩的目标数据进行解压缩，得到该目标数据。
S504，将该图形处理器读取出的目标数据发送给该数据节点。
图形处理器读取出该目标数据之后，可以将该目标数据传输给处理器，以由处理器控制通信接口将该目标数据发送给该数据节点；当然，图形处理器也可以直接将目标数据传输给通信接口，这样，存储节点通过通信接口将该目标数据发送给数据节点。
在本申请实施例中，在存储节点接收到数据节点发送的数据访问请求之后，存储节点通过处理器获取该数据访问请求中携带的目标数据的数据标识，并在根据该数据标识确定出目标数据的存储地址之后，直接将存储地址转发给图形处理器，并由图形处理器依据该存储地址，从存储区读取出该目标数据，从而减少了处理器的数据处理量，降低了处理器的负载，有利于提高处理器的数据处理性能，提高数据处理效率；同时，由于读取数据的过程中，借助了图形处理器完成数据读取操作，通过处理器与图形处理器协作来完成数据读取，能够实现更为高效的数据读取。
为了便于理解，参见图6，其示出了本申请实施例一种数据访问方法又一个实施例的流程示意图，本实施例的方法可以应用于存储节点，该方法包括：
S601，接收数据节点发送的数据访问请求。
其中，该数据访问请求携带有待访问的目标数据的数据标识。
S602，从存储的索引信息中，查询该数据标识对应的索引信息。
在本申请实施例中，以处理器通过索引信息来维护存储器中数据的存储地址等信息，因此，查询到该数据标识对应的索引信息之后，依据该索引信息就可以定位到该数据标识所表征的目标数据所在的存储位置。
S603，将该索引信息发送给图形处理器，以使得图形处理器依据该索引信息，从存储区中读取经过压缩的目标数据。
S604，对经过压缩的目标数据进行解压缩，得到目标数据。
可以理解的是，步骤S603和S604是以存储区中的目标数据为经过压缩的数据为例进行介绍，但是可以理解的是，在实际应用中，对于存储区中的目标数据为经过加密的数据的情况下，通过图形处理器从存储器中读取经过加密的目标数据，并对经过加密的目标数据进行解密，以得到目标数据实现方式，也同样适用于本实施例。
当然，在存储区中的目标数据为经过加密且压缩过的数据的情况下，图形处理器可以依次对读取到的数据进行解密以及解压缩即可。
S605，将该图形处理器读取出的目标数据发送给该数据节点。
在本申请实施例中，为了实现存储节点的以上操作，该存储节点中可以至少包括处理器，也可以称为中央处理器(CPU，CentralProcessing Unit)，以及图形处理器(GPU，Graphics Processing Unit)，如，参见图7，其示出了本申请一种存储节点的组成结构示意图。
由图2所示，该存储节点700包括：通信接口701、处理器702、图形处理器703以及存储器704。该通信接口、处理器、图形处理器以及存储器可以通过通信总线实现互连。
通信接口701可以实现数据的接收与发送。在存储节点处理数据存储请求的过程中，具体的，该通信接口701可以用于接收数据节点发送的数据存储请求，该数据存储请求携带有待存储的目标数据。
处理器702为存储节点的控制中心，利用各种接口和线路连接整个存储节点的各个部件，如，处理器702可以通过通信总线204与通信接口201、图形处理器703以及存储器704相连。
在存储节点对数据进行存储处理的过程中，该处理器，用于确定存储该目标数据的起始地址；将起始地址的信息以及目标数据发送给图形处理器704。
相应的，该图形处理器703，用于依据处理器所传输的该目标数据的起始地址，将该目标数据存储到存储器的存储区。具体的，该图形处理器可以用于执行前面图2至图4中图形处理器所需执行的相关操作中所涉及到的相关操作。
在本申请实施例中，该存储器704可以为磁盘或者其他非易失性存储介质，该存储器704，至少用于存储数据节点所请求访问的该目标数据。
当然，本申请还可以包括用于存储软件程序以及模块的存储装置，如，存储操作系统、至少一个功能(比如声音播放功能、图象播放功能等)所需的应用程序。
另一方面，本申请还提供了另一种存储节点，该存储节点的组成结构可以参见图7所示，在存储节点需进行数据读取处理的过程中，通信接口701，用于接收数据节点发送的数据访问请求，所述数据访问请求携带有待访问的数据的数据标识；
处理器702，用于依据所述数据标识，确定所述待访问的数据的存储地址；将所述存储地址发送给图形处理器；
图形处理器703，用于依据所述起始地址，从存储区中读取所述目标数据；
相应的，通信接口701，还用于将所述图形处理器读取出的所述目标数据发送给该数据节点。
在本申请实施例中，存储器704可以认为是磁盘，也可以认为是存储软件程序以及模块的存储装置。
可以理解的是，在本申请的服务器集群中，该数据节点的组成结构同样可以参见图7所示的组成结构，不同之处仅在于各个组成部件的功能会有所不同，如数据节点中的通信接口用于向存储节点发送数据存储请求以及数据读取请求，并接收存储节点返回的目标数据等，在此不再赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (19)

1.一种数据存储方法，其特征在于，应用于存储节点，所述方法包括：
接收数据节点发送的数据存储请求，所述数据存储请求携带有待存储的目标数据；
确定存储所述目标数据的起始地址；
将所述起始地址的信息以及所述目标数据发送给图形处理器，以使得所述图形处理器依据所述起始地址，将所述目标数据存储到存储区。
2.根据权利要求1所述的数据存储方法，其特征在于，所述确定存储所述目标数据的起始地址，包括：
依据所述存储区存储数据的索引信息，确定向所述存储区中存储所述目标数据的起始地址。
3.根据权利要求1或2所述的数据存储方法，其特征在于，在所述图形处理器将所述目标数据存储到存储区之后，还包括：
获取所述图形处理器返回的所述目标数据对应的结束地址，其中，存储区中所述起始地址到所述结束地址之间的存储空间表征所述目标数据所占据的存储空间；
存储所述目标数据所对应的起始地址以及所述结束地址。
4.根据权利要求3所述的数据存储方法，其特征在于，所述存储所述目标数据所对应的起始地址以及所述结束地址，包括：
依据所述目标数据的起始地址以及结束地址，生成所述目标数据的索引信息，并存储所述目标数据的索引信息。
5.根据权利要求1所述的数据存储方法，其特征在于，在所述图形处理器依据所述起始地址，将所述目标数据存储到存储区之前，还包括：
所述图形处理器对所述目标数据进行压缩。
6.根据权利要求1或5所述的数据存储方法，其特征在于，在所述图形处理器依据所述起始地址，将所述目标数据存储到存储区之前，还包括：
所述图形处理器对所述目标数据进行加密，得到经过加密的目标数据。
7.一种数据存储方法，其特征在于，应用于存储节点，所述方法包括：
图形处理器接收处理器发送的数据存储指令；
所述图形处理器获取所述数据存储指令携带的待存储的目标数据以及起始地址，其中，起始地址为所述处理器在接收到数据节点发送的数据存储请求之后，确定出的用于存储所述目标数据的起始地址；
所述图形处理器依据所述起始地址，将所述目标数据存储到存储区。
8.根据权利要求7所述的数据存储方法，其特征在于，在所述图形处理器将所述目标数据存储到存储区之后，还包括：
向所述处理器返回的所述目标数据对应的结束地址，以便所述处理器存储所述目标数据所对应的起始地址以及所述结束地址，其中，存储区中所述起始地址到所述结束地址之间的存储空间表征所述目标数据所占据的存储空间。
9.根据权利要求8所述的数据存储方法，其特征在于，在所述图形处理器依据所述起始地址，将所述目标数据存储到存储区之前，还包括：
所述图形处理器对所述目标数据进行压缩。
10.根据权利要求7或9所述的数据存储方法，其特征在于，在所述图形处理器依据所述起始地址，将所述目标数据存储到存储区之前，还包括：
所述图形处理器对所述目标数据进行加密，得到经过加密的目标数据。
11.一种数据访问方法，其特征在于，应用于存储节点，所述方法包括：
接收数据节点发送的数据访问请求，所述数据访问请求携带有待访问的目标数据的数据标识；
依据所述数据标识，确定所述目标数据的存储地址；
将所述存储地址发送给图形处理器，以使得所述图形处理器依据所述存储地址，从存储区中读取所述目标数据；
将所述图形处理器读取出的所述目标数据发送给所述数据节点。
12.根据权利要求11所述的数据访问方法，其特征在于，所述依据所述数据标识，确定所述目标数据的存储地址，包括：
从存储的索引信息中，查询所述数据标识对应的索引信息。
13.根据权利要求12所述的数据访问方法，其特征在于，所述图形处理器依据所述存储地址，从存储区中读取所述目标数据，包括：
所述图形处理器依据所述存储地址，从存储区中读取经过压缩的所述目标数据；
对经过压缩的所述目标数据进行解压缩，得到所述目标数据。
14.根据权利要求12或13所述的数据访问方法，其特征在于，所述图形处理器依据所述存储地址，从存储区中读取所述目标数据，包括：
所述图形处理器依据所述存储地址，从存储区中读取经过加密的所述目标数据；
对经过加密的所述目标数据进行解密，得到所述目标数据。
15.一种存储节点，其特征在于，包括：
通信接口，用于接收数据节点发送的数据存储请求，所述数据存储请求携带有待存储的目标数据；
处理器，用于确定存储所述目标数据的起始地址；将所述起始地址的信息以及所述目标数据发送给图形处理器；
所述图形处理器，用于依据所述起始地址，将所述目标数据存储到存储器的存储区；
存储器，用于存储所述目标数据。
16.根据权利要求15所述的存储节点，其特征在于，所述处理器在确定存储所述目标数据的起始地址时，具体用于，依据所述存储区存储数据的索引信息，确定向所述存储区中存储所述目标数据的起始地址。
17.根据权利要求15或16所述的存储节点，其特征在于，还包括：
所述图形处理器，还用于在将所述目标数据存储到存储区之后，向所述处理器返回所述目标数据对应的结束地址，其中，存储区中所述起始地址到所述结束地址之间的存储空间表征所述目标数据所占据的存储空间
所述处理器，用于将所述目标数据所对应的起始地址以及所述结束地址存储到所述存储器中。
18.一种存储节点，其特征在于，包括：
通信接口，用于接收数据节点发送的数据访问请求，所述数据访问请求携带有待访问的目标数据的数据标识；
处理器，用于依据所述数据标识，确定所述待访问的目标数据的存储地址；将所述存储地址发送给图形处理器；
所述图形处理器，用于依据所述存储地址，从存储区中读取所述目标数据；
所述通信接口，还用于将所述图形处理器读取出的所述目标数据发送给所述数据节点。
19.一种服务器集群，其特征在于，包括：
存储节点和至少一个数据节点；
其中，数据节点，用于向存储节点发送的数据存储请求，所述数据存储请求携带有待存储的目标数据；
所述存储节点，用于确定存储所述目标数据的起始地址；将所述起始地址的信息以及所述目标数据发送给图形处理器，以通过所述图形处理器依据所述起始地址，将所述目标数据存储到存储区。
CN201710170184.XA 2017-03-21 2017-03-21 数据存储及访问方法、节点和服务器集群 Active CN106951190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710170184.XA CN106951190B (zh) 2017-03-21 2017-03-21 数据存储及访问方法、节点和服务器集群

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710170184.XA CN106951190B (zh) 2017-03-21 2017-03-21 数据存储及访问方法、节点和服务器集群

Publications (2)

Publication Number Publication Date
CN106951190A CN106951190A (zh) 2017-07-14
CN106951190B true CN106951190B (zh) 2019-11-26

Family

ID=59473679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710170184.XA Active CN106951190B (zh) 2017-03-21 2017-03-21 数据存储及访问方法、节点和服务器集群

Country Status (1)

Country Link
CN (1) CN106951190B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309471B (zh) * 2018-12-11 2024-02-09 迈普通信技术股份有限公司 数据处理方法、装置及分布式系统
CN109739570B (zh) * 2018-12-24 2022-04-08 新华三技术有限公司 一种数据读取方法、服务器控制设备、服务器及计算机可读存储介质
CN116010992A (zh) * 2023-02-07 2023-04-25 之江实验室 一种数据处理方法、装置、可读存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102036043A (zh) * 2010-12-15 2011-04-27 成都市华为赛门铁克科技有限公司 视频数据处理方法、装置及视频监控系统
CN102135949A (zh) * 2011-03-01 2011-07-27 浪潮(北京)电子信息产业有限公司 基于图形处理器的计算网络系统、方法及装置
CN103984695A (zh) * 2014-03-21 2014-08-13 华为技术有限公司 一种数据库中的数据查询方法及装置
CN104102542A (zh) * 2013-04-10 2014-10-15 华为技术有限公司 一种网络数据包处理方法和装置
CN104424033A (zh) * 2013-09-02 2015-03-18 联想(北京)有限公司 一种电子设备及数据处理方法
CN105589829A (zh) * 2014-09-15 2016-05-18 华为技术有限公司 基于多核处理器芯片的数据处理方法、装置以及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4493626B2 (ja) * 2006-05-25 2010-06-30 株式会社ソニー・コンピュータエンタテインメント マルチプロセッサシステム、ライブラリモジュール、および描画処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102036043A (zh) * 2010-12-15 2011-04-27 成都市华为赛门铁克科技有限公司 视频数据处理方法、装置及视频监控系统
CN102135949A (zh) * 2011-03-01 2011-07-27 浪潮(北京)电子信息产业有限公司 基于图形处理器的计算网络系统、方法及装置
CN104102542A (zh) * 2013-04-10 2014-10-15 华为技术有限公司 一种网络数据包处理方法和装置
CN104424033A (zh) * 2013-09-02 2015-03-18 联想(北京)有限公司 一种电子设备及数据处理方法
CN103984695A (zh) * 2014-03-21 2014-08-13 华为技术有限公司 一种数据库中的数据查询方法及装置
CN105589829A (zh) * 2014-09-15 2016-05-18 华为技术有限公司 基于多核处理器芯片的数据处理方法、装置以及系统

Also Published As

Publication number Publication date
CN106951190A (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
CN106096023B (zh) 数据读取方法、数据写入方法及数据服务器
CN101854388B (zh) 一种集群存储中并行访问大量小文件的方法及系统
CN106951190B (zh) 数据存储及访问方法、节点和服务器集群
CN102662992B (zh) 一种海量小文件的存储、访问方法及装置
WO2018228973A1 (en) Improved hardware security module management
US20130254326A1 (en) Electronic device, cloud storage system for managing cloud storage spaces, method and tangible embodied computer readable medium thereof
EP2187332A1 (en) Storage area allocation method and a management server
CN104520822A (zh) 数据存储应用编程界面
CN102750324A (zh) 文件存储系统、装置及文件存取方法
CN105612490A (zh) 用于分布式存储架构的盘区散列技术
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其系统
CN105956035A (zh) 一种文件存储方法及装置
CN103778034A (zh) 基于云存储的数据备份容灾方法及系统
CN102833298A (zh) 分布式的重复数据删除系统及其处理方法
CN103473272A (zh) 数据处理方法、装置及系统
CN102307206A (zh) 基于云存储的快速访问虚拟机镜像的缓存系统及其方法
CN104536702A (zh) 一种存储阵列系统及数据写请求处理方法
CN102629934A (zh) 基于分布式存储系统的数据存储方法及装置
CN106020731B (zh) 存储设备、存储设备阵列和网络适配器
CN108064374A (zh) 一种数据访问方法、装置和系统
CN103095824A (zh) 文件上传控制方法及系统
US20180109641A1 (en) Data Processing Method and Apparatus, Server, and Controller
CN110134338A (zh) 一种分布式存储系统及其数据冗余保护方法和相关设备
CN108900626A (zh) 一种云环境下数据存储方法、装置及系统
CN103491193B (zh) 一种文件共享的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant