CN103905512A - 一种数据处理方法和设备 - Google Patents

一种数据处理方法和设备 Download PDF

Info

Publication number
CN103905512A
CN103905512A CN201210586821.9A CN201210586821A CN103905512A CN 103905512 A CN103905512 A CN 103905512A CN 201210586821 A CN201210586821 A CN 201210586821A CN 103905512 A CN103905512 A CN 103905512A
Authority
CN
China
Prior art keywords
memory device
grouping
address
data block
targeted packets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210586821.9A
Other languages
English (en)
Other versions
CN103905512B (zh
Inventor
周大
钱岭
梁智超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201210586821.9A priority Critical patent/CN103905512B/zh
Publication of CN103905512A publication Critical patent/CN103905512A/zh
Application granted granted Critical
Publication of CN103905512B publication Critical patent/CN103905512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理方法和设备,所述方法包括:对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述方法包括:接收客户端发送的用于请求数据加载地址的地址请求;根据地址请求确定目标分组以及目标分组中各存储设备上的目标数据块的地址;向客户端返回目标分组中各存储设备上的目标数据块的地址,以使客户端根据目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据加载请求。通过采用本发明提供的方法,可以减少被加锁存储设备的数量,降低存储系统出现死锁的概率。

Description

一种数据处理方法和设备
技术领域
本发明涉及通信技术领域,尤其涉及一种数据处理方法和设备。
背景技术
事务处理(TRANSACTION)是由一个或多个SQL(Structured QueryLanguage,结构化查询语言)语句序列结合在一起所形成的一个逻辑处理单元。事务处理中的每个语句都是完成整个任务的一部分工作,所有的语句组织在一起能够完成某一特定的任务。DBMS(Database Management System,数据库管理系统)在对事务处理中的语句进行处理时,是按照下面的约定来进行的,即“事务处理中的所有语句被作为一个原子工作单位,所有的语句既可成功地被执行,也可以没有任何一个语句被执行”。DBMS负责完成这种约定,即使在事务处理中应用程序异常退出,或者是硬件出现故障等各种意外情况下,也是如此。在任何意外情况下,DBMS都负责确保在系统恢复正常后,数据库内容决不会出现“部分事务处理中的语句被执行完”的情况。
HDFS(Hadoop Distributed File System,分布式文件系统)采用主/从(master/slave)架构。一个HDFS集群是由一个命名节点(Namenode)和一定数目的数据节点(Datanode)组成。Namenode是一个中心服务器,负责管理文件系统的命名空间(namespace)和客户端对文件的访问。Datanode在集群中一般是一个节点一个,负责管理节点上附带的存储。在内部,一个文件其实分成一个或多个block(块),这些block存储在Datanode集合里。Block副本的存放是HDFS可靠性和性能的关键,在大多数情况下,副本数是3,HDFS的存放策略是将一个副本存放在本地机架上的节点,一个副本放在同一机架上的另一个节点,最后一个副本放在不同机架上的一个节点。机架的错误远远比节点的错误少,这个策略不会影响到数据的可靠性和有效性。三分之一的副本在一个节点上,三分之二在一个机架上,其他保存在剩下的机架中,这一策略改进了写的性能。
现有技术中提出了多副本的分布式存储系统,数据经过分区后存储在各个数据节点上,每份数据都有多个副本,副本数量由系统参数设置。该方案的副本在各个节点分配策略与Hadoop分布式文件系统的副本分布策略一致。
上述技术方案极易导致大量数据节点被锁,从而导致大量数据死锁,如图1所示,存在8个存储设备,每个存储设备即为一个节点,假设一个事务需要对数据块2进行更新,此时事务会加载表锁操作,使整个存储设备上的数据无法进行操作,数据块2位于存储设备1、2、4上,由于表锁操作,位于存储设备1上的数据块1和存储设备4上的数据块5都将被锁,以此类推,所有存储设备都会被锁,可见,现有技术会导致一个数据块被锁时,大量不相关存储设备同时被锁,从而影响分布式存储系统所能提供的服务。
发明内容
本发明实施例提供了一种数据处理方法和设备,以减少被加锁存储设备的数量,降低存储系统出现死锁的概率。
为达到上述目的,本发明实施例提供了一种数据处理方法,对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述方法包括:
接收客户端发送的用于请求数据加载地址的地址请求;
根据所述地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址;
向所述客户端返回所述目标分组中各存储设备上的目标数据块的地址,以使所述客户端根据所述目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据加载请求。
优选的,所述对存储系统中的存储设备进行分组,具体包括:
将设置在同一机架上的存储设备划分到同一分组中;或
将接入同一交换机的存储设备划分到同一分组中;或
将处于同一网段的存储设备划分到同一分组中。
优选的,所述根据地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址,具体包括:
选择所有分组中负载最小的分组作为目标分组,并从所述目标分组中的存储设备上选择未写入数据的数据块作为目标数据块;或按照分组顺序确定目标分组,并从所述目标分组中的存储设备上选择未写入数据的数据块作为目标数据块。
为达到上述目的,本发明实施例提供了一种管理设备,对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述管理设备包括:
接收单元,用于接收客户端发送的用于请求数据加载地址的地址请求;
确定单元,用于根据所述接收单元接收到的地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址;
处理单元,用于根据所述接收单元接收到的地址请求,向所述客户端返回所述目标分组中各存储设备上的目标数据块的地址,以使所述客户端根据所述目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据加载请求。
优选的,还包括:
配置单元,用于对所述存储系统中的存储设备配置分组,其中,每个分组中的存储设备数量与数据副本数量相同。
优选的,所述配置单元,具体用于将设置在同一机架上的存储设备配置为一个分组;或将接入同一交换机的存储设备配置为一个分组;或将处于同一网段的存储设备配置为一个分组。
优选的,所述确定单元,具体用于根据所述接收单元接收到的所述地址请求,选择所有分组中负载最小的分组作为目标分组,并从所述目标分组中的存储设备上选择未写入数据的数据块作为目标数据块;或根据所述接收单元接收到的所述地址请求,按照分组顺序确定目标分组,并从所述目标分组中的存储设备上选择未写入数据的数据块作为目标数据块。
本发明实施例中还提供了一种数据处理方法,对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述方法包括:
接收客户端发送的用于请求数据访问地址的地址请求;
根据所述地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址;
向所述客户端返回所述目标分组中各存储设备上的目标数据块的地址,以使所述客户端根据所述目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据访问请求。
优选的,所述对存储系统中的存储设备进行分组,具体包括:
将设置在同一机架上的存储设备划分到同一分组中;或
将接入同一交换机的存储设备划分到同一分组中;或
将处于同一网段的存储设备划分到同一分组中。
优选的,所述地址请求中携带了数据标识,所述根据地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址,具体包括:
根据所述数据标识,选择所有分组中存储相应数据的分组作为目标分组,并在所述目标分组中的存储设备上选择存储有所述相应数据的数据块作为目标数据块。
本发明实施例中还提供了一种管理设备,对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述管理设备包括:
接收单元,用于接收客户端发送的用于请求数据访问地址的地址请求;
确定单元,用于根据所述接收单元接收到的地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址;
处理单元,用于根据所述接收单元接收到的地址请求,向所述客户端返回所述目标分组中各存储设备上的目标数据块的地址,以使所述客户端根据所述目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据访问请求。
优选的,还包括:
配置单元,用于对所述存储系统中的存储设备配置分组,其中,每个分组中的存储设备数量与数据副本数量相同。
优选的,所述配置单元,具体用于将设置在同一机架上的存储设备配置为一个分组;或将接入同一交换机的存储设备配置为一个分组;或将处于同一网段的存储设备配置为一个分组。
优选的,所述地址请求中携带了数据标识;
所述确定单元,具体用于根据所述数据标识,选择所有分组中存储相应数据的分组作为目标分组,并在所述目标分组中的存储设备上选择存储有所述相应数据的数据块作为目标数据块。
通过对存储系统中的存储设备进行分组,使每个分组中的存储设备数量与数据副本数量相同,管理设备在接收到客户端发送的请求数据加载地址或数据访问地址的地址请求后,根据地址请求确定所请求访问的数据的目标分组以及目标分组中各存储设备上的目标数据块的地址,并向客户端返回目标分组中各存储设备上的目标数据块的地址,以使客户端根据目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据加载请求或数据访问请求,从而减少了被加锁存储设备的数量,并降低了存储系统出现死锁的概率。
附图说明
图1为本发明背景技术中提供的存储系统的系统架构示意图;
图2为本发明实施例中提供的存储系统的系统架构示意图;
图3为本发明实施例中提供的数据处理方法的流程图;
图4为本发明实施例中提供的存储系统的系统架构示意图;
图5为本发明实施例中提供的数据处理方法的流程图;
图6为本发明实施例中提供的管理设备的结构示意图。
具体实施方式
下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中,通过对存储系统中的存储设备进行分组,使每个分组中的存储设备数量与数据副本数量相同,管理设备在接收到客户端发送的用于请求数据加载地址或数据访问地址的地址请求后,根据地址请求确定所请求访问的数据的目标分组以及目标分组中各存储设备上的目标数据块的地址,并向客户端返回目标分组中各存储设备上的目标数据块的地址,以使客户端根据目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据加载请求或数据访问请求,减少了被加锁存储设备的数量,降低了存储系统出现死锁的概率。
如图2所示,为本发明实施例提供的存储系统的结构示意图,该存储系统采用事务处理技术,包括通过有线方式进行通信的管理设备和多个存储设备。其中,存储设备被划分为多个分组,管理设备中配置有分组信息(如分组序列号、相应分组中的存储设备的标识(或地址)、各存储设备中的数据块地址、数据块地址和数据块中存储的数据标识的对应关系,分组序列号用以唯一标识一个分组)。每个分组中的存储设备数量与数据副本数量相同。图2中以数据副本数量等于3为例,示出了存储设备分组情况。同一数据块的各副本,分别存储于同一分组中的各存储设备上。比如,图2中,数据块1有3个副本(即图中数字为1的方格),分别存储于分组1内的存储设备1、存储设备2和存储设备3上。
在对存储设备进行分组时,可以采用就近原则,具体可包括以下之一:
(1)根据存储设备所在的机架进行分组,即将设置于同一机架的存储设备划分到同一分组内。
(2)根据存储设备接入的交换机进行分组,即将接入于同一交换机的存储设备划分到同一分组。
(3)根据存储设备所处的网段进行分组,即将处于同一网段中的存储设备设置划分到同一分组。
存储设备的分组是固定的,即,一旦几个存储设备组成一个分组之后就不会变化,除非对分组进行重新调整。
需要说明的是,在上述三种分组方式中,若存储系统中的所有存储设备都处于同一机架、同一交换机或同一网段中,或同一机架、同一交换机或同一网段中有超过三台存储设备,则可以根据存储设备的IP地址进行分组,例如将IP地址最低的三台存储设备设置在一个分组中等。
下面,分别对客户端需要进行加载操作和数据访问操作时的流程进行详细描述。
如图3所示,为本发明实施例中提供的当客户端需要进行加载操作时,基于上述存储系统的数据处理方法,包括以下步骤:
步骤301,管理设备接收客户端发送的用于请求数据加载地址的地址请求。
具体的,该用于请求数据加载地址的地址请求中可以不携带数据标识。
步骤302,管理设备根据本地存储的分组信息,选择目标分组。
具体的,管理设备还可以收集各存储设备的负载信息(比如可用存储空间等),从而得到各分组的负载情况。管理设备在选择分组时,可以选择当前负载最小的分组(比如可用存储空间最大的分组)作为目标分组。
管理设备中还可以存储有各分组在配置时被分配的分组序列号,优选的,分组序列号从1开始顺序递增。管理设备在选择分组时,可以根据分组的序列号选择分组,例如,本次接收到数据请求时,管理设备选择序列号为1的分组,下一次接收到地址请求时,管理设备选择分组号为2的存储设备,以此类推,即以轮询方式选择分组。
优选的,上述两种分组选择策略可以结合在一起使用,例如,当负载最小的分组为多个时,可以进一步根据分组的序列号,确定唯一的目标分组(比如选择其中序列号最大或最小的分组)。
步骤303,管理设备向客户端发送目标分组中各存储设备上的目标数据块的地址。
具体的,管理设备根据本地存储的分组信息,确定各存储设备上的目标数据块的地址,优选的,管理设备可以从确定出的目标分组中的存储设备上选择未写入数据的数据块作为目标数据块。
步骤304,管理设备接收客户端在向目标分组中的各存储设备上的目标数据块写入数据后,发送的加载成功消息,并根据该加载成功消息更新本地存储的分组信息,其中,加载成功消息中携带了客户端本次写入的数据的标识、数据量和相应数据块地址的对应关系。
下面结合具体的应用场景对本发明实施例进行进一步阐述。
如图4所示,在本应用场景中,数据副本数量等于3,共有九台存储设备,其中,存储设备1、存储设备2、存储设备3被设置为分组1,存储设备4、存储设备5、存储设备6被设置为分组2,存储设备7、存储设备8、存储设备9被设置为分组3,分组1中的存储设备中已经存储有数据1、数据2,分组2中的存储设备已经存储有数据3、数据4,分组3中的存储设备已经存储有数据5。管理设备记录有上述分组信息以及每个分组的负载信息。
管理设备接收到客户端发送的地址请求后,查询每个分组中的负载情况,获知分组3的负载最小,管理设备将分组3确定为目标分组,并选择分组3中的存储设备7、存储设备8、存储设备9上未存储数据的数据块作为目标数据块,并将选择出的目标数据块的地址发送给客户端,客户端根据接收到的数据块地址在分组3中的存储设备上写入数据。需要说明的是,在写入数据时,需要在分组3中的三个存储设备中分别写入数据,以建立3个数据副本,从而提高数据的安全性。
在上述实施例中,由于数据5仅存储于分组3中,当在分组3中加载数据时,仅需要对分组3中的三个存储设备进行加载表锁操作,而不会影响分组1和分组2中的存储设备,从而减少了被加锁的存储设备,降低了存储系统出现死锁的概率。
下面,对客户端需要进行数据访问操作时的流程进行详细描述,其中,数据访问操作可以包括数据读操作、数据修改操作、数据查询操作等。
如图5所示,为本发明实施例中提供的当客户端需要进行数据查询操作时,基于上述存储系统的数据处理方法,包括以下步骤:
步骤501,管理设备接收客户端发送的用于请求数据访问地址的地址请求,该地址请求中携带了数据标识。
步骤502,管理设备根据地址请求中携带的数据标识,确定目标分组以及目标分组中各存储设备上的目标数据块的地址。
具体的,管理设备中通常存储有分组与该分组中存储的数据的标识的对应关系,当管理设备接收到地址请求时,根据地址请求中携带的数据标识,选择存储有该数据的分组作为目标分组,并选择该目标分组中存储设备上存储该数据的数据块作为目标数据块。
步骤503,管理设备向客户端发送目标分组中各存储设备上的目标数据块的地址。
当客户端需要进行数据修改操作或删除操作时,具体的操作流程与上述数据访问流程类似,区别在于客户端需要在修改数据或删除数据成功后,向管理设备发送成功消息,该成功消息中携带了数据标识、修改或删除后数据的数据量以及数据块地址的对应关系,以通知管理设备更新本地存储的分组信息,在此不再赘述。
下面结合具体的应用场景对本发明实施例进行进一步阐述。
如图4所示,在本应用场景中,数据副本数量为3,共有九台存储设备,其中,存储设备1、存储设备2、存储设备3被设置为分组1,存储设备4、存储设备5、存储设备6被设置为分组2,存储设备7、存储设备8、存储设备9被设置为分组3,分组1中的存储设备中已经存储有数据1、数据2,分组2中的存储设备已经存储有数据3、数据4,分组3中的存储设备已经存储有数据5。管理设备记录有上述分组信息以及每个分组中存储的数据的标识。
管理设备接收到客户端发送的地址请求后,获取地址请求中携带的数据标识,例如数据1,管理设备根据本地存储的分组信息,获知数据1存储于分组1中,因此,管理设备将分组1中3台存储设备上相应数据块的地址发送给客户端,客户端根据接收到的数据块地址,从相应数据块中读取数据。
在上述实施例中,由于数据1仅存储于分组1中,当从分组1中读取数据时,仅需要对分组1中的三个存储设备进行加载表锁操作,而不会影响分组2和分组3中的存储设备,从而减少了被加锁的存储设备,降低了存储系统出现死锁的概率。
基于与上述方法实施例相同的技术构思,本发明实施例中还提供了一种管理设备,如图6所示,该管理设备应用于包含有存储设备的存储系统,对所述存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述管理设备包括:
接收单元601,用于接收客户端发送的地址请求,其中,所述地址请求用于请求所访问的数据的地址信息;
确定单元602,用于根据所述接收单元601接收到的地址请求确定所请求访问的数据的目标分组以及所述目标分组中各存储设备上的目标数据块的地址;
处理单元603,用于根据所述接收单元601接收到的地址请求,向所述客户端返回所述目标分组中各存储设备上的目标数据块的地址,以使所述客户端根据所述目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据处理请求。
还包括:
配置单元604,用于对所述存储系统中的存储设备配置分组,其中,每个分组中的存储设备数量与数据副本数量相同。
所述配置单元604,具体用于将设置在同一机架上的存储设备配置为一个分组;或将接入同一交换机的存储设备配置为一个分组;或将处于同一网段的存储设备配置为一个分组。
所述确定单元602,具体用于根据所述接收单元601接收到的所述地址请求,选择所有分组中负载最小的分组作为目标分组,并从所述目标分组中的存储设备上选择未写入数据的数据块作为目标数据块;或根据所述接收单元601接收到的所述地址请求,按照分组顺序确定目标分组,并从所述目标分组中的存储设备上选择未写入数据的数据块作为目标数据块。
基于与上述方法实施例相同的技术构思,本发明实施例中还提供了一种管理设备,对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述管理设备包括:
接收单元,用于接收客户端发送的用于请求数据访问地址的地址请求;
确定单元,用于根据所述接收单元接收到的地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址;
处理单元,用于根据所述接收单元接收到的地址请求,向所述客户端返回所述目标分组中各存储设备上的目标数据块的地址,以使所述客户端根据所述目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据访问请求。
还包括:
配置单元,用于对所述存储系统中的存储设备配置分组,其中,每个分组中的存储设备数量与数据副本数量相同。
所述配置单元,具体用于将设置在同一机架上的存储设备配置为一个分组;或将接入同一交换机的存储设备配置为一个分组;或将处于同一网段的存储设备配置为一个分组。
所述地址请求中携带了数据标识;
所述确定单元,具体用于根据所述数据标识,选择所有分组中存储相应数据的分组作为目标分组,并在所述目标分组中的存储设备上选择存储有所述相应数据的数据块作为目标数据块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上公开的仅为本发明的几个具体实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (14)

1.一种数据处理方法,其特征在于,对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述方法包括:
接收客户端发送的用于请求数据加载地址的地址请求;
根据所述地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址;
向所述客户端返回所述目标分组中各存储设备上的目标数据块的地址,以使所述客户端根据所述目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据加载请求。
2.如权利要求1所述的方法,其特征在于,所述对存储系统中的存储设备进行分组,具体包括:
将设置在同一机架上的存储设备划分到同一分组中;或
将接入同一交换机的存储设备划分到同一分组中;或
将处于同一网段的存储设备划分到同一分组中。
3.如权利要求1所述的方法,其特征在于,所述根据地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址,具体包括:
选择所有分组中负载最小的分组作为目标分组,并从所述目标分组中的存储设备上选择未写入数据的数据块作为目标数据块;或按照分组顺序确定目标分组,并从所述目标分组中的存储设备上选择未写入数据的数据块作为目标数据块。
4.一种管理设备,其特征在于,对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述管理设备包括:
接收单元,用于接收客户端发送的用于请求数据加载地址的地址请求;
确定单元,用于根据所述接收单元接收到的地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址;
处理单元,用于根据所述接收单元接收到的地址请求,向所述客户端返回所述目标分组中各存储设备上的目标数据块的地址,以使所述客户端根据所述目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据加载请求。
5.如权利要求4所述的管理设备,其特征在于,还包括:
配置单元,用于对所述存储系统中的存储设备配置分组,其中,每个分组中的存储设备数量与数据副本数量相同。
6.如权利要求5所述的管理设备,其特征在于,所述配置单元,具体用于将设置在同一机架上的存储设备配置为一个分组;或将接入同一交换机的存储设备配置为一个分组;或将处于同一网段的存储设备配置为一个分组。
7.如权利要求4所述的管理设备,其特征在于,所述确定单元,具体用于根据所述接收单元接收到的所述地址请求,选择所有分组中负载最小的分组作为目标分组,并从所述目标分组中的存储设备上选择未写入数据的数据块作为目标数据块;或根据所述接收单元接收到的所述地址请求,按照分组顺序确定目标分组,并从所述目标分组中的存储设备上选择未写入数据的数据块作为目标数据块。
8.一种数据处理方法,其特征在于,对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述方法包括:
接收客户端发送的用于请求数据访问地址的地址请求;
根据所述地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址;
向所述客户端返回所述目标分组中各存储设备上的目标数据块的地址,以使所述客户端根据所述目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据访问请求。
9.如权利要求8所述的方法,其特征在于,所述对存储系统中的存储设备进行分组,具体包括:
将设置在同一机架上的存储设备划分到同一分组中;或
将接入同一交换机的存储设备划分到同一分组中;或
将处于同一网段的存储设备划分到同一分组中。
10.如权利要求8所述的方法,其特征在于,所述地址请求中携带了数据标识,所述根据地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址,具体包括:
根据所述数据标识,选择所有分组中存储相应数据的分组作为目标分组,并在所述目标分组中的存储设备上选择存储有所述相应数据的数据块作为目标数据块。
11.一种管理设备,其特征在于,对存储系统中的存储设备进行分组,每个分组中的存储设备数量与数据副本数量相同,所述管理设备包括:
接收单元,用于接收客户端发送的用于请求数据访问地址的地址请求;
确定单元,用于根据所述接收单元接收到的地址请求确定目标分组以及所述目标分组中各存储设备上的目标数据块的地址;
处理单元,用于根据所述接收单元接收到的地址请求,向所述客户端返回所述目标分组中各存储设备上的目标数据块的地址,以使所述客户端根据所述目标分组中各存储设备上的目标数据块的地址向相应分组中的存储设备发起数据访问请求。
12.如权利要求11所述的管理设备,其特征在于,还包括:
配置单元,用于对所述存储系统中的存储设备配置分组,其中,每个分组中的存储设备数量与数据副本数量相同。
13.如权利要求12所述的管理设备,其特征在于,所述配置单元,具体用于将设置在同一机架上的存储设备配置为一个分组;或将接入同一交换机的存储设备配置为一个分组;或将处于同一网段的存储设备配置为一个分组。
14.如权利要求11所述的管理设备,其特征在于,所述地址请求中携带了数据标识;
所述确定单元,具体用于根据所述数据标识,选择所有分组中存储相应数据的分组作为目标分组,并在所述目标分组中的存储设备上选择存储有所述相应数据的数据块作为目标数据块。
CN201210586821.9A 2012-12-28 2012-12-28 一种数据处理方法和设备 Active CN103905512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210586821.9A CN103905512B (zh) 2012-12-28 2012-12-28 一种数据处理方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210586821.9A CN103905512B (zh) 2012-12-28 2012-12-28 一种数据处理方法和设备

Publications (2)

Publication Number Publication Date
CN103905512A true CN103905512A (zh) 2014-07-02
CN103905512B CN103905512B (zh) 2017-06-20

Family

ID=50996667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210586821.9A Active CN103905512B (zh) 2012-12-28 2012-12-28 一种数据处理方法和设备

Country Status (1)

Country Link
CN (1) CN103905512B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592178A (zh) * 2015-09-17 2016-05-18 杭州华三通信技术有限公司 一种数据节点位置的确定方法和装置
CN107943510A (zh) * 2017-11-23 2018-04-20 郑州云海信息技术有限公司 分布式存储系统升级方法、系统、装置及可读存储介质
CN108334470A (zh) * 2018-01-10 2018-07-27 西安万像电子科技有限公司 数据处理方法、装置和系统
CN110058790A (zh) * 2018-01-18 2019-07-26 伊姆西Ip控股有限责任公司 用于存储数据的方法、设备和计算机程序产品
CN112187501A (zh) * 2019-07-05 2021-01-05 腾讯科技(深圳)有限公司 终端分组管理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1776595A (zh) * 2004-11-19 2006-05-24 国际商业机器公司 存储区域网络知晓的文件系统上的自治数据缓存和拷贝
CN101488104A (zh) * 2009-02-26 2009-07-22 北京世纪互联宽带数据中心有限公司 一种实现高效安全存储的系统和方法
CN101706802A (zh) * 2009-11-24 2010-05-12 成都市华为赛门铁克科技有限公司 一种数据写入、修改及恢复的方法、装置及服务器
US7752316B1 (en) * 1998-06-30 2010-07-06 Emc Corporation Method and system for securing network access to data stored in a data storage system
US8001307B1 (en) * 2007-04-27 2011-08-16 Network Appliance, Inc. Apparatus and a method to eliminate deadlock in a bi-directionally mirrored data storage system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7752316B1 (en) * 1998-06-30 2010-07-06 Emc Corporation Method and system for securing network access to data stored in a data storage system
CN1776595A (zh) * 2004-11-19 2006-05-24 国际商业机器公司 存储区域网络知晓的文件系统上的自治数据缓存和拷贝
US8001307B1 (en) * 2007-04-27 2011-08-16 Network Appliance, Inc. Apparatus and a method to eliminate deadlock in a bi-directionally mirrored data storage system
CN101488104A (zh) * 2009-02-26 2009-07-22 北京世纪互联宽带数据中心有限公司 一种实现高效安全存储的系统和方法
CN101706802A (zh) * 2009-11-24 2010-05-12 成都市华为赛门铁克科技有限公司 一种数据写入、修改及恢复的方法、装置及服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WILLIAN J.DALLY,ETC,: ""Deadlock-Free Message Routing in Multiprocessor Interconnection Networks"", 《IEEE TRANSACTIONS ON COMPUTERS》 *
朱静,刘心松,王征,: ""一种改进的主副本分布式锁"", 《成都信息工程学院学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592178A (zh) * 2015-09-17 2016-05-18 杭州华三通信技术有限公司 一种数据节点位置的确定方法和装置
CN105592178B (zh) * 2015-09-17 2018-12-25 新华三技术有限公司 一种数据节点位置的确定方法和装置
CN107943510A (zh) * 2017-11-23 2018-04-20 郑州云海信息技术有限公司 分布式存储系统升级方法、系统、装置及可读存储介质
CN108334470A (zh) * 2018-01-10 2018-07-27 西安万像电子科技有限公司 数据处理方法、装置和系统
CN110058790A (zh) * 2018-01-18 2019-07-26 伊姆西Ip控股有限责任公司 用于存储数据的方法、设备和计算机程序产品
CN110058790B (zh) * 2018-01-18 2022-05-13 伊姆西Ip控股有限责任公司 用于存储数据的方法、设备和计算机程序产品
CN112187501A (zh) * 2019-07-05 2021-01-05 腾讯科技(深圳)有限公司 终端分组管理方法、装置、设备及存储介质
CN112187501B (zh) * 2019-07-05 2022-08-09 腾讯科技(深圳)有限公司 终端分组管理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN103905512B (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
EP2721504B1 (en) File processing method, system and server-clustered system for cloud storage
CN111046057B (zh) 服务器集群的数据处理方法、装置、计算机设备和介质
CN107977396B (zh) 一种KeyValue数据库的数据表的更新方法与表数据更新装置
CN106997557B (zh) 订单信息采集方法及装置
CN109298835B (zh) 区块链的数据归档处理方法、装置、设备及存储介质
CN103905512A (zh) 一种数据处理方法和设备
CN109299225B (zh) 日志检索方法、系统、终端及计算机可读存储介质
CN102739622A (zh) 一种可扩展的数据存储系统
CN105095313A (zh) 一种数据访问方法和设备
CN112650812A (zh) 一种数据分片存储方法、装置、计算机设备和存储介质
CN114218267A (zh) 查询请求异步处理方法、装置、计算机设备、存储介质
CN107493309B (zh) 一种分布式系统中的文件写入方法及装置
CN111274004A (zh) 进程实例管理方法、装置及计算机存储介质
US20180293317A1 (en) Prefix matching using distributed tables for storage services compatibility
US10185735B2 (en) Distributed database system and a non-transitory computer readable medium
CN112035413B (zh) 元数据信息查询方法、装置及存储介质
CN111259062B (zh) 一种能够保证分布式数据库全表查询语句结果集顺序的方法和装置
KR20130038517A (ko) 분산된 컨테이너들을 사용하여 데이터를 관리하는 시스템 및 방법
CN111428114A (zh) Elasticsearch搜索引擎的索引创建方法及装置
CN111782346A (zh) 基于同库模式的分布式事务全局id生成方法及装置
CN114968095B (zh) 分布式硬盘管理方法、系统、电子设备及可读存储介质
CN110955460A (zh) 一种服务进程启动方法、装置、电子设备和存储介质
CN105653566A (zh) 一种实现数据库写访问的方法及装置
CN114328439A (zh) 数据存储的方法、装置、电子设备及存储介质
CN110427390B (zh) 数据查询方法及装置、存储介质、电子装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant