CN105007317A - 一种分布式节点的数据处理方法及网关设备 - Google Patents
一种分布式节点的数据处理方法及网关设备 Download PDFInfo
- Publication number
- CN105007317A CN105007317A CN201510407553.3A CN201510407553A CN105007317A CN 105007317 A CN105007317 A CN 105007317A CN 201510407553 A CN201510407553 A CN 201510407553A CN 105007317 A CN105007317 A CN 105007317A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- packet
- gateway device
- carry out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
- G06F16/24556—Aggregation; Duplicate elimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种分布式节点的数据处理方法,包括:当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个待处理节点;根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令;当接收到所有所述待处理节点返回的聚合结果时,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。本发明实施例还公开了一种网关设备。采用本发明,这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理,并将聚合结果返回给网关设备,网关设备再对各个节点返回的聚合结果进行最后的聚合,从而避免大量数据进行传输,有效节省资源,并提高传输效率。
Description
技术领域
本发明涉及通信领域,尤其涉及一种分布式节点的数据处理方法及网关设备。
背景技术
数据库一般通过数据表来存储数据,但数据量不一定是可控的,随着时间和业务的发展,数据库中的数据表会越开越多,数据表中的数据量也会越来越大。另外,一台服务器的硬件资源也是有限的,最终数据库所能承载的数据量、数据处理能力都讲遭遇硬件资源的瓶颈,因此需进行分库分表。即是原本把存储于一个服务器的数据库的数据分块存储于多个服务器的多个数据数据库中,把原本存储于一个数据表中的数据分块存储到多个数据表,或多个服务器的数据库中,可称为节点。
但是,进行分库分表后,由于数据原本集中存储于一个数据表中或一个节点中,现在分布在多个数据表甚至多个节点中,故网关设备常需对来自多个节点的数据进行聚合汇总的操作。
而目前对数据进行聚合汇总的方案中,大多是采用网关从各个数据库获取所需聚合的数据,再在网关上根据聚合指令进行聚合的方案,但是,当网关是采用大量数据进行聚合时,网关与节点间需进行大量的数据传输,这不仅浪费了资源,也影响了其他数据的传输,造成传输效率过低。
发明内容
本发明实施例所要解决的技术问题在于,提供一种分布式节点的数据处理方法及设备。可这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理,并将聚合结果返回给网关设备,网关设备再对各个节点返回的聚合结果进行最后的聚合,从而避免大量数据进行传输,有效节省资源,并提高传输效率。为了解决上述技术问题,本发明实施例提供了一种分布式节点的数据处理方法,包括:
当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点,其中,所述待处理节点为需进行数据聚合的节点;
根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;
接收所有所述待处理节点返回的聚合结果,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。
其中,所述数据聚合操作请求携带聚合函数;
所述根据所述数据聚合操作请求生成聚合操作指令包括:
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
其中,所述方法还包括:
当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理;
当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理。
其中,所述数据包包括所述聚合结果;
所述当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理包括:
当接收到任意一个所述待处理节点返回的所述聚合结果时,判断是否需对所述聚合结果进行操作处理;
所述当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理包括:
当确定不需对所述聚合结果进行操作处理时,将所述聚合结果返回给所述客户端。
其中,当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点之前包括:
建立与网关设备连接的所有节点的数据映射的逻辑表,所述逻辑表包括所有所述节点的数据以及所述节点的数据的索引值。
相应地,本发明实施例还提供了一种网关设备,包括:
确定单元,用于当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点,其中,所述待处理节点为需进行数据聚合的节点;
生成传输单元,用于根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;
处理传输单元,用于接收所有所述待处理节点返回的聚合结果,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。
其中所述数据聚合操作请求携带聚合函数;
所述生成传输单元具体用于:
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
其中,所述方法还包括:
判断单元,用于当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理;
传输单元,用于当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理。
其中,所述判断单元具体用于:
当接收到任意一个所述待处理节点返回的所述聚合结果时,判断是否需对所述聚合结果进行操作处理;、
所述传输单元具体用于:
当确定不需对所述聚合结果进行操作处理时,将所述聚合结果返回给所述客户端。
其中,当设备包括:
建立与网关设备连接的节点的数据映射的逻辑表,所述逻辑表包括所述节点的数据以及所述节点的数据的索引值。
实施本发明实施例,具有如下有益效果:
在本发明实施例中,当网关设备接收到客户端发送的数据聚合操作请求时,网关设备可根据数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;当接收到所有所述待处理节点返回的聚合结果时,可对所有聚合结果进行聚合处理,获得聚合数据,并将所述聚合数据返回给所述客户端,这使得网关设备可让每个节点对其存储的待聚合数据进行聚合,并将聚合结果返回给网关设备,网关设备再对各个节点返回的聚合结果进行最后的聚合,从而避免大量数据进行传输,有效节省资源,并提高传输效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一种分布式节点的数据处理方法的第一实施例流程示意图;
图2是本发明一种分布式节点的数据处理方法的第二实施例流程示意图;
图3是本发明一种网关设备的第一实施结构图;
图4是本发明一种网关设备的第二实施结构图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,为本发明一种分布式节点的数据处理方法的第一实施例流程示意图。如图1所示,本实施例所述的一种分布式节点的数据处理方法包括步骤:
S100,当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点。
在本发明实施例中,节点可包括主数据库和备数据库,每个节点可以是同个逻辑集合,不同的逻辑集合可组成一个集群,其中,当主数据库的数据更新时,同个节点的备数据库也同步进行更新,以保证主备数据库的数据一致性。执行主体网关设备可设置在客户端和节点之间,客户端可通过浏览器访问网关设备实现对节点的操作,即是,网关设备为客户端操作节点提供了接口。网关设备可根据客户端的操作请求对节点进行操作以及返回操作结果的功能。其中,节点可以分布在多个服务器中。
在具体应用中,可例如,节点可以是MYSQL节点。随着MYSQL节点存储的数据越来越大,一个MYSQL节点可能无法存储所有数据,因而需进行扩容增加新的MYSQL节点,使得数据可存储在若干个MYSQL节点中。进一步的,当一个服务器无法存储若干个MYSQL节点时,MYSQL节点可分布在多个服务器中,因此,MYSQL节点可以实现跨机器的数据库分布。
在本发明实施例中,数据库由一张或多张数据库表组成,其中数据库表又由行组成,而行又可由多个字段或列组成,数据库的数据最终保存在一张或多张数据库表的相应行的相应字段中,由此可获知,每个数据都有其相应的存储位置。在本发明实施例中,网关设备可建立于网关设备连接的所有节点的数据映射的逻辑表,其中,逻辑表包括所有节点的数据以及每个数据对应的索引值。其中,索引值可以是对应的数据的存储位置。这使得客户端可通过该逻辑表操作节点,使得终端用户只需像操作单表一样访问数据,而不需知道节点的结构,关心数据在节点的存放位置,仅需对数据进行操作即可,有效提高用户操作便捷度。
在本发明实施例中,由于节点分布于多个服务器中,即把原本存储于一个服务器的节点中的数据分区存储到多个服务器中,数据原本集中存储于一个数据表中的某一个或多个列将会转移到多个数据表,甚至多个数据库中,进行散列分布,故客户端常需对数据进行聚合来汇总来自多行信息的操作。
在本发明实施例中,当网关设备接收到客户端发送的数据聚合操作请求时,网关设备可对客户端进行权限验证。当网关设备对客户端的权限验证不通过时,网关设备可向客户端返回访问失败的提示信息。当网关设备对客户端的权限验证通过时,网关设备可根据数据聚合操作请求确定所请求的待聚合数据所存储的待处理节点,并且,由于数据聚合操作请求是针对于多个节点的操作请求,故待处理节点为至少两个。其中,数据聚合操作请求携带待处理数据的索引值,网关设备可根据待处理数据的索引值获取数据所存储的具体位置。进一步的,数据聚合操作请求可包括:求和操作、求最大值操作、求最小值操作和求平均数操作等。其中,求和操作可以是SQL中的SUM聚合函数,求最大值操作可以是SQL中的MAX聚合函数,求最小值可以是SQL中的MIN聚合函数,求平均数可以是SQL中的AVG聚合函数,即是,数据聚合操作请求可携带所述聚合函数。其中,数据聚合操作请求可以是SQL语句。
S101,根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令。
在本发明实施例中,网关设备可根据数据聚合操作请求生成聚合操作指令,聚合操作指令指示待处理节点查询获取数据聚合操作请求所请求的待聚合数据,并对获得的待聚合数据进行聚合获得聚合结果的指令。进一步的,聚合操作指令可携带聚合函数,此时,聚合操作指令可指示待处理节点查询获取数据聚合操作请求所请求的待聚合数据,并根据聚合函数对待聚合数据进行聚合,获得聚合结果的指令。其中,当网关设备生成聚合操作指令后,网关设备可将聚合操作指令发送给待处理节点,以使待处理节点响应所述聚合操作指令。其中,聚合操作指令可以是SQL语句。
在本发明实施例中,当待处理节点接收到聚合操作指令后,待处理节点可根据聚合操作指令在存储的数据中获取数据聚合操作请求所请求的待聚合数据,并根据聚合操作指令对待聚合数据进行聚合,如对待聚合数据进行SUM函数操作获得聚合结果,例如:当待处理节点获取待聚合数据为1,2,3时,则对待聚合数据进行SUM函数操作获得聚合结果可为6。
S102,当接收到所有所述待处理节点返回的聚合结果,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。
在本发明实施例中,当各待处理节点对待聚合数据进行聚合获得聚合结果后,各待处理节点可将获得的聚合结果返回给网关设备。
在本发明实施例中,当网关设备接收到各待处理节点返回的聚合结果后,网关设备可对各聚合结果进行聚合处理,获得聚合数据。优选的,网关设备可根据聚合函数对各聚合结果进行聚合处理,获得聚合数据。如网关设备可对各聚合结果进行SUM函数操作。
在本发明实施例中,当网关设备获得聚合数据后,网关设备将聚合数据返回给客户端。其中,网关设备可通过TCP的传输方式将聚合数据返回给客户端。
在本发明实施例中,当网关设备接收到客户端发送的数据聚合操作请求时,网关设备可根据数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;当接收到所有所述待处理节点返回的聚合结果时,可对所有聚合结果进行聚合处理,获得聚合数据,并将所述聚合数据返回给所述客户端,这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理,并将聚合结果返回给网关设备,网关设备再对各个节点返回的聚合结果进行最后的聚合,从而避免大量数据进行传输,有效节省资源,并提高传输效率。
请参见图2,为本发明一种分布式节点的数据处理方法的第一实施例流程示意图。如图2所示,本实施例所述的一种分布式节点的数据处理方法包括步骤:
S200,当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理。
在本发明实施例中,网关设备可向节点发送数据包请求,此时节点可响应数据包请求返回网关设备所请求的数据包。当网关设备接收到节点发送的数据包时,网关设备可判断是否需对数据包进行操作处理,如需等待其他节点返回的数据包进行聚合处理,如需对数据包进行修改数据等,若网关设备判断不需对数据包进行操作处理时,网关设备可确定不需对数据包进行操作处理。优选的,网关设备可查询是否存储有对该数据包进行操作处理的操作指令,当网关设备没有查询到存储有对该数据包进行操作处理的操作指令时,网关设备可确定不需对数据包进行操作处理。
优选的,在本发明实施例中,数据包可包括以上实施例所描述的聚合结果,当网关设备接收到任意一个待处理节点返回的聚合结果时,网关设备可判断是否需对该聚合结果进行聚合处理或其他操作处理等,其中,网关设备可查询是否存储有对该聚合结果进行操作处理的操作指令,如聚合函数操作等指令。当网关设备没有查询到存储有对该聚合结果进行操作处理的操作指令时,网关设备可确定不需对该聚合结果进行操作处理。
S201,当确定不需对数据包进行操作处理时,将所述数据包进行传输处理。
在本发明实施例中,当网关设备确定不需对数据包进行操作处理时,网关设备不需等待其他节点返回数据包,再一起将数据包进行传输处理,而是网关设备可直接将数据包进行转发。
优选的,在本发明实施例中,当网关设备确定待处理节点返回的聚合结果不需进行操作处理时,网关设备可将该聚合结果返回给客户端,而不需等待其他待处理节点返回的聚合结果。
在本发明实施例中,当网关设备接收到与网关设备连接的节点发送的数据包时,可判断是否需对所述数据包进行操作处理,当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理,这使得网关设备可将所需发送的数据进行错开发送,有效利用传输资源,并可提高传输效率。
参见图3,是本发明实施例的一种网关设备的第一实施例结构示意图。本实施例中所描述的网关设备,包括:
确定单元100,用于当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点。
生成传输单元200,用于根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令。
处理传输单元300,用于接收所有所述待处理节点返回的聚合结果,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。
其中,所述生成传输单元200具体用于:
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
所述终端还包括建立单元,用于建立与网关设备连接的节点的数据映射的逻辑表,所述逻辑表包括所述节点的数据以及所述节点的数据的索引值。
在本发明实施例中,节点可包括主数据库和备数据库,每个节点可以是同个逻辑集合,不同的逻辑集合可组成一个集群,其中,当主数据库的数据更新时,同个节点的备数据库也同步进行更新,以保证主备数据库的数据一致性。执行主体网关设备可设置在客户端和节点之间,客户端可通过浏览器访问网关设备实现对节点的操作,即是,网关设备为客户端操作节点提供了接口。网关设备可根据客户端的操作请求对节点进行操作以及返回操作结果的功能。其中,节点可以分布在多个服务器中。
在具体应用中,可例如,节点可以是MYSQL节点。随着MYSQL节点存储的数据越来越大,一个MYSQL节点可能无法存储所有数据,因而需进行扩容增加新的MYSQL节点,使得数据可存储在若干个MYSQL节点中。进一步的,当一个服务器无法存储若干个MYSQL节点时,MYSQL节点可分布在多个服务器中,因此,MYSQL节点可以实现跨机器的数据库分布。
在本发明实施例中,数据库由一张或多张数据库表组成,其中数据库表又由行组成,而行又可由多个字段或列组成,数据库的数据最终保存在一张或多张数据库表的相应行的相应字段中,由此可获知,每个数据都有其相应的存储位置。在本发明实施例中,建立单元可建立于网关设备连接的所有节点的数据映射的逻辑表,其中,逻辑表包括所有节点的数据以及每个数据对应的索引值。其中,索引值可以是对应的数据的存储位置。这使得客户端可通过该逻辑表操作节点,使得终端用户只需像操作单表一样访问数据,而不需知道节点的结构,关心数据在节点的存放位置,仅需对数据进行操作即可,有效提高用户操作便捷度。
在本发明实施例中,由于节点分布于多个服务器中,即把原本存储于一个服务器的节点中的数据分区存储到多个服务器中,数据原本集中存储于一个数据表中的某一个或多个列将会转移到多个数据表,甚至多个数据库中,进行散列分布,故客户端常需对数据进行聚合来汇总来自多行信息的操作。
在本发明实施例中,当网关设备接收到客户端发送的数据聚合操作请求时,网关设备可对客户端进行权限验证。当网关设备对客户端的权限验证不通过时,网关设备可向客户端返回访问失败的提示信息。当网关设备对客户端的权限验证通过时,确定单元100可根据数据聚合操作请求确定所请求的待聚合数据所存储的待处理节点,并且,由于数据聚合操作请求是针对于多个节点的操作请求,故待处理节点为至少两个。其中,数据聚合操作请求携带待处理数据的索引值,网关设备可根据待处理数据的索引值获取数据所存储的具体位置。进一步的,数据聚合操作请求可包括:求和操作、求最大值操作、求最小值操作和求平均数操作等。其中,求和操作可以是SQL中的SUM聚合函数,求最大值操作可以是SQL中的MAX聚合函数,求最小值可以是SQL中的MIN聚合函数,求平均数可以是SQL中的AVG聚合函数,即是,数据聚合操作请求可携带所述聚合函数。其中,数据聚合操作请求可以是SQL语句。
在本发明实施例中,生成传输单元200可根据数据聚合操作请求生成聚合操作指令,聚合操作指令指示待处理节点查询获取数据聚合操作请求所请求的待聚合数据,并对获得的待聚合数据进行聚合获得聚合结果的指令。进一步的,聚合操作指令可携带聚合函数,此时,聚合操作指令可指示待处理节点查询获取数据聚合操作请求所请求的待聚合数据,并根据聚合函数对待聚合数据进行聚合,获得聚合结果的指令。其中,当生成传输单元200生成聚合操作指令后,生成传输单元200可将聚合操作指令发送给待处理节点,以使待处理节点响应所述聚合操作指令。其中,聚合操作指令可以是SQL语句。
在本发明实施例中,当待处理节点接收到聚合操作指令后,待处理节点可根据聚合操作指令在存储的数据中获取数据聚合操作请求所请求的待聚合数据,并根据聚合操作指令对待聚合数据进行聚合,如对待聚合数据进行SUM函数操作获得聚合结果,例如:当待处理节点获取待聚合数据为1,2,3时,则对待聚合数据进行SUM函数操作获得聚合结果可为6。
在本发明实施例中,当各待处理节点对待聚合数据进行聚合获得聚合结果后,各待处理节点可将获得的聚合结果返回给网关设备。
在本发明实施例中,当处理传输单元300接收到各待处理节点返回的聚合结果后,处理传输单元300可对各聚合结果进行聚合处理,获得聚合数据。优选的,处理传输单元300可根据聚合函数对各聚合结果进行聚合处理,获得聚合数据。如网关设备可对各聚合结果进行SUM函数操作。
在本发明实施例中,当处理传输单元300获得聚合数据后,处理传输单元300将聚合数据返回给客户端。其中,处理传输单元300可通过TCP的传输方式将聚合数据返回给客户端。
在本发明实施例中,当网关设备接收到客户端发送的数据聚合操作请求时,网关设备可根据数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;当接收到所有所述待处理节点返回的聚合结果时,可对所有聚合结果进行聚合处理,获得聚合数据,并将所述聚合数据返回给所述客户端,这使得网关设备可让每个节点对其存储的待聚合数据进行聚合,并将聚合结果返回给网关设备,网关设备再对各个节点返回的聚合结果进行最后的聚合,从而避免大量数据进行传输,有效节省资源,并提高传输效率。
参见图4,是本发明实施例的一种网关设备的第二实施例结构示意图。本实施例中所描述的网关设备,包括:
判断单元400,用于当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理。
传输单元500,用于当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理。
其中,所述判断单元400具体用于:
当接收到任意一个所述待处理节点返回的所述聚合结果时,判断是否需对所述聚合结果进行操作处理;
所述传输单元500具体用于:
当确定不需对所述聚合结果进行操作处理时,将所述聚合结果返回给所述客户端。
在本发明实施例中,网关设备可向节点发送数据包请求,此时节点可响应数据包请求返回网关设备所请求的数据包。当网关设备接收到节点发送的数据包时,判断单元400可判断是否需对数据包进行操作处理,如需等待其他节点返回的数据包进行聚合处理,如需对数据包进行修改数据等,若判断单元400判断不需对数据包进行操作处理时,判断单元400可确定不需对数据包进行操作处理。优选的,判断单元400可查询是否存储有对该数据包进行操作处理的操作指令,当判断单元400没有查询到存储有对该数据包进行操作处理的操作指令时,判断单元400可确定不需对数据包进行操作处理。
优选的,在本发明实施例中,数据包可包括以上实施例所描述的聚合结果,当网关设备接收到任意一个待处理节点返回的聚合结果时,判断单元400可判断是否需对该聚合结果进行聚合处理或其他操作处理等,其中,判断单元400可查询是否存储有对该聚合结果进行操作处理的操作指令,如聚合函数操作等指令。当判断单元400没有查询到存储有对该聚合结果进行操作处理的操作指令时,判断单元400可确定不需对该聚合结果进行操作处理。
在本发明实施例中,当传输单元500确定不需对数据包进行操作处理时,传输单元500不需等待其他节点返回数据包,再一起将数据包进行传输处理,而是传输单元500可直接将数据包进行转发。
优选的,在本发明实施例中,当传输单元500确定待处理节点返回的聚合结果不需进行操作处理时,传输单元500可将该聚合结果返回给客户端,而不需等待其他待处理节点返回的聚合结果。
在本发明实施例中,当网关设备接收到与网关设备连接的节点发送的数据包时,可判断是否需对所述数据包进行操作处理,当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理,这使得网关设备可将所需发送的数据进行错开发送,有效利用传输资源,并可提高传输效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (10)
1.一种分布式节点的数据处理方法,其特征在于,所述方法包括:
当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点,其中,所述待处理节点为需进行数据聚合的节点;
根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;
当接收到所有所述待处理节点返回的聚合结果时,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。
2.如权利要求1所述的方法,其特征在于,所述数据聚合操作请求携带聚合函数;
所述根据所述数据聚合操作请求生成聚合操作指令包括:
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理;
当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理。
4.如权利要求3所述的方法,其特征在于,所述数据包包括所述聚合结果;
所述当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理包括:
当接收到任意一个所述待处理节点返回的所述聚合结果时,判断是否需对所述聚合结果进行操作处理;
所述当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理包括:
当确定不需对所述聚合结果进行操作处理时,将所述聚合结果返回给所述客户端。
5.如权利要求1所述的方法,其特征在于,当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点之前包括:
建立与网关设备连接的所有节点的数据映射的逻辑表,所述逻辑表包括所有所述节点的数据以及所述节点的数据的索引值。
6.一种网关设备,其特征在于,所述设备包括:
确定单元,用于当接收到客户端发送的数据聚合操作请求时,根据所述请求确定至少两个个待处理节点,其中,所述待处理节点为需进行数据聚合的节点;
生成传输单元,用于根据所述数据聚合操作请求生成聚合操作指令,并向所有所述待处理节点发送所述数据聚合操作指令,其中,所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据,并对所述待聚合数据进行聚合获得聚合结果的指令;
处理传输单元,用于接收所有所述待处理节点返回的聚合结果,对所有所述聚合结果进行聚合处理获得聚合数据,并将所述聚合数据返回给所述客户端。
7.如权利要求6所述的设备,其特征在于,所述数据聚合操作请求携带聚合函数;
所述生成传输单元具体用于:
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
8.如权利要求6所述的设备,其特征在于,所述方法还包括:
判断单元,用于当接收到与网关设备连接的节点发送的数据包时,判断是否需对所述数据包进行操作处理;
传输单元,用于当确定不需对所述数据包进行操作处理时,将所述数据包进行传输处理。
9.如权利要求8所述的设备,其特征在于,所述数据包包括所述聚合结果
所述判断单元具体用于:
当接收到任意一个所述待处理节点返回的所述聚合结果时,判断是否需对所述聚合结果进行操作处理;
所述传输单元具体用于:
当确定不需对所述聚合结果进行操作处理时,将所述聚合结果返回给所述客户端。
10.如权利要求6所述的设备,其特征在于,当设备包括:
建立单元,用于建立与网关设备连接的节点的数据映射的逻辑表,所述逻辑表包括所述节点的数据以及所述节点的数据的索引值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510407553.3A CN105007317B (zh) | 2015-07-10 | 2015-07-10 | 一种分布式节点的数据处理方法及网关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510407553.3A CN105007317B (zh) | 2015-07-10 | 2015-07-10 | 一种分布式节点的数据处理方法及网关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105007317A true CN105007317A (zh) | 2015-10-28 |
CN105007317B CN105007317B (zh) | 2019-08-06 |
Family
ID=54379835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510407553.3A Active CN105007317B (zh) | 2015-07-10 | 2015-07-10 | 一种分布式节点的数据处理方法及网关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105007317B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106844405A (zh) * | 2015-12-07 | 2017-06-13 | 杭州海康威视数字技术股份有限公司 | 数据查询方法和装置 |
CN110046187A (zh) * | 2018-12-25 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 数据处理系统、方法及装置 |
CN110880982A (zh) * | 2018-09-05 | 2020-03-13 | 千寻位置网络有限公司 | 分布式基站的数据监控方法及终端 |
CN112307066A (zh) * | 2020-11-03 | 2021-02-02 | 平安普惠企业管理有限公司 | 分布式数据聚合方法、系统、设备及存储介质 |
WO2021238771A1 (zh) * | 2020-05-27 | 2021-12-02 | 华为技术有限公司 | 一种边缘节点中的数据的访问方法、装置及系统 |
CN116996516A (zh) * | 2023-09-22 | 2023-11-03 | 新华三技术有限公司 | 一种集群通信方法及装置、电子设备及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101196890A (zh) * | 2006-12-08 | 2008-06-11 | 国际商业机器公司 | 聚合数据库运行时信息和分析应用性能的方法及装置 |
CN102521307A (zh) * | 2011-12-01 | 2012-06-27 | 北京人大金仓信息技术股份有限公司 | 一种云计算环境下的无共享数据库集群并行查询处理方法 |
CN104123374A (zh) * | 2014-07-28 | 2014-10-29 | 北京京东尚科信息技术有限公司 | 分布式数据库中聚合查询的方法及装置 |
CN104462350A (zh) * | 2014-12-04 | 2015-03-25 | 北京国双科技有限公司 | 数据库文本聚合处理方法及装置 |
-
2015
- 2015-07-10 CN CN201510407553.3A patent/CN105007317B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101196890A (zh) * | 2006-12-08 | 2008-06-11 | 国际商业机器公司 | 聚合数据库运行时信息和分析应用性能的方法及装置 |
CN102521307A (zh) * | 2011-12-01 | 2012-06-27 | 北京人大金仓信息技术股份有限公司 | 一种云计算环境下的无共享数据库集群并行查询处理方法 |
CN104123374A (zh) * | 2014-07-28 | 2014-10-29 | 北京京东尚科信息技术有限公司 | 分布式数据库中聚合查询的方法及装置 |
CN104462350A (zh) * | 2014-12-04 | 2015-03-25 | 北京国双科技有限公司 | 数据库文本聚合处理方法及装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106844405A (zh) * | 2015-12-07 | 2017-06-13 | 杭州海康威视数字技术股份有限公司 | 数据查询方法和装置 |
CN106844405B (zh) * | 2015-12-07 | 2019-10-22 | 杭州海康威视数字技术股份有限公司 | 数据查询方法和装置 |
CN110880982A (zh) * | 2018-09-05 | 2020-03-13 | 千寻位置网络有限公司 | 分布式基站的数据监控方法及终端 |
CN110046187A (zh) * | 2018-12-25 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 数据处理系统、方法及装置 |
WO2021238771A1 (zh) * | 2020-05-27 | 2021-12-02 | 华为技术有限公司 | 一种边缘节点中的数据的访问方法、装置及系统 |
CN112307066A (zh) * | 2020-11-03 | 2021-02-02 | 平安普惠企业管理有限公司 | 分布式数据聚合方法、系统、设备及存储介质 |
CN116996516A (zh) * | 2023-09-22 | 2023-11-03 | 新华三技术有限公司 | 一种集群通信方法及装置、电子设备及可读存储介质 |
CN116996516B (zh) * | 2023-09-22 | 2023-12-05 | 新华三技术有限公司 | 一种集群通信方法及装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105007317B (zh) | 2019-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105007317A (zh) | 一种分布式节点的数据处理方法及网关设备 | |
CN109660607B (zh) | 一种业务请求分发方法、接收方法、装置及服务器集群 | |
CN106294233B (zh) | 一种直接内存访问的传输控制方法及装置 | |
CN108924221A (zh) | 分配资源的方法和装置 | |
CN103036979A (zh) | 一种服务器负载均衡方法及负载均衡器 | |
CN110430274A (zh) | 一种基于云存储的文件下载方法及系统 | |
CN110703980A (zh) | 一种文件传输方法及装置 | |
CN104092756A (zh) | 一种基于dht机制的云存储系统的资源动态分配方法 | |
CN109873839A (zh) | 数据访问的方法、服务器与分布式系统 | |
CN112130748A (zh) | 一种数据访问方法、网卡及服务器 | |
CN104601680A (zh) | 一种资源管理方法及装置 | |
CN106169994A (zh) | 容器间通信的安全控制方法及装置 | |
CN102982116A (zh) | 基于云的多媒体转换方法及系统 | |
CN106776848A (zh) | 一种数据库查询方法及装置 | |
CN106569874B (zh) | 存储设备的操作方法及物理服务器 | |
CN106331160A (zh) | 一种数据迁移方法及系统 | |
CN108023932A (zh) | 一种基于Redis通用代理的实现方法、存储介质及电子设备 | |
CN112866421A (zh) | 基于分布式缓存以及nsq的智能合约运行方法及装置 | |
CN106940712A (zh) | 序列生成方法与设备 | |
CN112087401A (zh) | 分布式存储中实现服务质量的方法和装置 | |
CN113127477A (zh) | 访问数据库的方法、装置、计算机设备和存储介质 | |
CN108259605B (zh) | 一种基于多数据中心的数据调用系统及方法 | |
CN105430028A (zh) | 服务调用方法、提供方法及节点 | |
CN110909978A (zh) | 资源处理方法、装置、服务器及计算机可读存储介质 | |
CN105354312A (zh) | 一种文件存储方法、下载方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |