CN105007317B - 一种分布式节点的数据处理方法及网关设备 - Google Patents

一种分布式节点的数据处理方法及网关设备 Download PDF

Info

Publication number
CN105007317B
CN105007317B CN201510407553.3A CN201510407553A CN105007317B CN 105007317 B CN105007317 B CN 105007317B CN 201510407553 A CN201510407553 A CN 201510407553A CN 105007317 B CN105007317 B CN 105007317B
Authority
CN
China
Prior art keywords
data
node
polymerization
processed
aggregate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510407553.3A
Other languages
English (en)
Other versions
CN105007317A (zh
Inventor
李雪冰
袁清
吕明阳
蓝应志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN CHUANGMENG TIANDI TECHNOLOGY CO LTD
Original Assignee
SHENZHEN CHUANGMENG TIANDI TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN CHUANGMENG TIANDI TECHNOLOGY CO LTD filed Critical SHENZHEN CHUANGMENG TIANDI TECHNOLOGY CO LTD
Priority to CN201510407553.3A priority Critical patent/CN105007317B/zh
Publication of CN105007317A publication Critical patent/CN105007317A/zh
Application granted granted Critical
Publication of CN105007317B publication Critical patent/CN105007317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种分布式节点的数据处理方法，包括：当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个个待处理节点；根据所述数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令；当接收到所有所述待处理节点返回的聚合结果时，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端。本发明实施例还公开了一种网关设备。采用本发明，这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理，并将聚合结果返回给网关设备，网关设备再对各个节点返回的聚合结果进行最后的聚合，从而避免大量数据进行传输，有效节省资源，并提高传输效率。

Description

一种分布式节点的数据处理方法及网关设备
技术领域
本发明涉及通信领域，尤其涉及一种分布式节点的数据处理方法及网关设备。
背景技术
数据库一般通过数据表来存储数据，但数据量不一定是可控的，随着时间和业务的发展，数据库中的数据表会越开越多，数据表中的数据量也会越来越大。另外，一台服务器的硬件资源也是有限的，最终数据库所能承载的数据量、数据处理能力都讲遭遇硬件资源的瓶颈，因此需进行分库分表。即是原本把存储于一个服务器的数据库的数据分块存储于多个服务器的多个数据数据库中，把原本存储于一个数据表中的数据分块存储到多个数据表，或多个服务器的数据库中，可称为节点。
但是，进行分库分表后，由于数据原本集中存储于一个数据表中或一个节点中，现在分布在多个数据表甚至多个节点中，故网关设备常需对来自多个节点的数据进行聚合汇总的操作。
而目前对数据进行聚合汇总的方案中，大多是采用网关从各个数据库获取所需聚合的数据，再在网关上根据聚合指令进行聚合的方案，但是，当网关是采用大量数据进行聚合时，网关与节点间需进行大量的数据传输，这不仅浪费了资源，也影响了其他数据的传输，造成传输效率过低。
发明内容
本发明实施例所要解决的技术问题在于，提供一种分布式节点的数据处理方法及设备。可这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理，并将聚合结果返回给网关设备，网关设备再对各个节点返回的聚合结果进行最后的聚合，从而避免大量数据进行传输，有效节省资源，并提高传输效率。为了解决上述技术问题，本发明实施例提供了一种分布式节点的数据处理方法，包括：
当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个个待处理节点，其中，所述待处理节点为需进行数据聚合的节点；
根据所述数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令，其中，所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据，并对所述待聚合数据进行聚合获得聚合结果的指令；
接收所有所述待处理节点返回的聚合结果，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端。
其中，所述数据聚合操作请求携带聚合函数；
所述根据所述数据聚合操作请求生成聚合操作指令包括：
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
其中，所述方法还包括：
当接收到与网关设备连接的节点发送的数据包时，判断是否需对所述数据包进行操作处理；
当确定不需对所述数据包进行操作处理时，将所述数据包进行传输处理。
其中，所述数据包包括所述聚合结果；
所述当接收到与网关设备连接的节点发送的数据包时，判断是否需对所述数据包进行操作处理包括：
当接收到任意一个所述待处理节点返回的所述聚合结果时，判断是否需对所述聚合结果进行操作处理；
所述当确定不需对所述数据包进行操作处理时，将所述数据包进行传输处理包括：
当确定不需对所述聚合结果进行操作处理时，将所述聚合结果返回给所述客户端。
其中，当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个个待处理节点之前包括：
建立与网关设备连接的所有节点的数据映射的逻辑表，所述逻辑表包括所有所述节点的数据以及所述节点的数据的索引值。
相应地，本发明实施例还提供了一种网关设备，包括：
确定单元，用于当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个个待处理节点，其中，所述待处理节点为需进行数据聚合的节点；
生成传输单元，用于根据所述数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令，其中，所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据，并对所述待聚合数据进行聚合获得聚合结果的指令；
处理传输单元，用于接收所有所述待处理节点返回的聚合结果，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端。
其中所述数据聚合操作请求携带聚合函数；
所述生成传输单元具体用于：
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
其中，所述方法还包括：
判断单元，用于当接收到与网关设备连接的节点发送的数据包时，判断是否需对所述数据包进行操作处理；
传输单元，用于当确定不需对所述数据包进行操作处理时，将所述数据包进行传输处理。
其中，所述判断单元具体用于：
当接收到任意一个所述待处理节点返回的所述聚合结果时，判断是否需对所述聚合结果进行操作处理；、
所述传输单元具体用于：
当确定不需对所述聚合结果进行操作处理时，将所述聚合结果返回给所述客户端。
其中，当设备包括：
建立与网关设备连接的节点的数据映射的逻辑表，所述逻辑表包括所述节点的数据以及所述节点的数据的索引值。
实施本发明实施例，具有如下有益效果：
在本发明实施例中，当网关设备接收到客户端发送的数据聚合操作请求时，网关设备可根据数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令，其中，所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据，并对所述待聚合数据进行聚合获得聚合结果的指令；当接收到所有所述待处理节点返回的聚合结果时，可对所有聚合结果进行聚合处理，获得聚合数据，并将所述聚合数据返回给所述客户端，这使得网关设备可让每个节点对其存储的待聚合数据进行聚合，并将聚合结果返回给网关设备，网关设备再对各个节点返回的聚合结果进行最后的聚合，从而避免大量数据进行传输，有效节省资源，并提高传输效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种分布式节点的数据处理方法的第一实施例流程示意图；
图2是本发明一种分布式节点的数据处理方法的第二实施例流程示意图；
图3是本发明一种网关设备的第一实施结构图；
图4是本发明一种网关设备的第二实施结构图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，为本发明一种分布式节点的数据处理方法的第一实施例流程示意图。如图1所示，本实施例所述的一种分布式节点的数据处理方法包括步骤：
S100，当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个个待处理节点。
在本发明实施例中，节点可包括主数据库和备数据库，每个节点可以是同个逻辑集合，不同的逻辑集合可组成一个集群，其中，当主数据库的数据更新时，同个节点的备数据库也同步进行更新，以保证主备数据库的数据一致性。执行主体网关设备可设置在客户端和节点之间，客户端可通过浏览器访问网关设备实现对节点的操作，即是，网关设备为客户端操作节点提供了接口。网关设备可根据客户端的操作请求对节点进行操作以及返回操作结果的功能。其中，节点可以分布在多个服务器中。
在具体应用中，可例如，节点可以是MYSQL节点。随着MYSQL节点存储的数据越来越大，一个MYSQL节点可能无法存储所有数据，因而需进行扩容增加新的MYSQL节点，使得数据可存储在若干个MYSQL节点中。进一步的，当一个服务器无法存储若干个MYSQL节点时，MYSQL节点可分布在多个服务器中，因此，MYSQL节点可以实现跨机器的数据库分布。
在本发明实施例中，数据库由一张或多张数据库表组成，其中数据库表又由行组成，而行又可由多个字段或列组成，数据库的数据最终保存在一张或多张数据库表的相应行的相应字段中，由此可获知，每个数据都有其相应的存储位置。在本发明实施例中，网关设备可建立于网关设备连接的所有节点的数据映射的逻辑表，其中，逻辑表包括所有节点的数据以及每个数据对应的索引值。其中，索引值可以是对应的数据的存储位置。这使得客户端可通过该逻辑表操作节点，使得终端用户只需像操作单表一样访问数据，而不需知道节点的结构，关心数据在节点的存放位置，仅需对数据进行操作即可，有效提高用户操作便捷度。
在本发明实施例中，由于节点分布于多个服务器中，即把原本存储于一个服务器的节点中的数据分区存储到多个服务器中，数据原本集中存储于一个数据表中的某一个或多个列将会转移到多个数据表，甚至多个数据库中，进行散列分布，故客户端常需对数据进行聚合来汇总来自多行信息的操作。
在本发明实施例中，当网关设备接收到客户端发送的数据聚合操作请求时，网关设备可对客户端进行权限验证。当网关设备对客户端的权限验证不通过时，网关设备可向客户端返回访问失败的提示信息。当网关设备对客户端的权限验证通过时，网关设备可根据数据聚合操作请求确定所请求的待聚合数据所存储的待处理节点，并且，由于数据聚合操作请求是针对于多个节点的操作请求，故待处理节点为至少两个。其中，数据聚合操作请求携带待处理数据的索引值，网关设备可根据待处理数据的索引值获取数据所存储的具体位置。进一步的，数据聚合操作请求可包括：求和操作、求最大值操作、求最小值操作和求平均数操作等。其中，求和操作可以是SQL中的SUM聚合函数，求最大值操作可以是SQL中的MAX聚合函数，求最小值可以是SQL中的MIN聚合函数，求平均数可以是SQL中的AVG聚合函数，即是，数据聚合操作请求可携带所述聚合函数。其中，数据聚合操作请求可以是SQL语句。
S101，根据所述数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令。
在本发明实施例中，网关设备可根据数据聚合操作请求生成聚合操作指令，聚合操作指令指示待处理节点查询获取数据聚合操作请求所请求的待聚合数据，并对获得的待聚合数据进行聚合获得聚合结果的指令。进一步的，聚合操作指令可携带聚合函数，此时，聚合操作指令可指示待处理节点查询获取数据聚合操作请求所请求的待聚合数据，并根据聚合函数对待聚合数据进行聚合，获得聚合结果的指令。其中，当网关设备生成聚合操作指令后，网关设备可将聚合操作指令发送给待处理节点，以使待处理节点响应所述聚合操作指令。其中，聚合操作指令可以是SQL语句。
在本发明实施例中，当待处理节点接收到聚合操作指令后，待处理节点可根据聚合操作指令在存储的数据中获取数据聚合操作请求所请求的待聚合数据，并根据聚合操作指令对待聚合数据进行聚合，如对待聚合数据进行SUM函数操作获得聚合结果，例如：当待处理节点获取待聚合数据为1，2，3时，则对待聚合数据进行SUM函数操作获得聚合结果可为6。
S102，当接收到所有所述待处理节点返回的聚合结果，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端。
在本发明实施例中，当各待处理节点对待聚合数据进行聚合获得聚合结果后，各待处理节点可将获得的聚合结果返回给网关设备。
在本发明实施例中，当网关设备接收到各待处理节点返回的聚合结果后，网关设备可对各聚合结果进行聚合处理，获得聚合数据。优选的，网关设备可根据聚合函数对各聚合结果进行聚合处理，获得聚合数据。如网关设备可对各聚合结果进行SUM函数操作。
在本发明实施例中，当网关设备获得聚合数据后，网关设备将聚合数据返回给客户端。其中，网关设备可通过TCP的传输方式将聚合数据返回给客户端。
在本发明实施例中，当网关设备接收到客户端发送的数据聚合操作请求时，网关设备可根据数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令，其中，所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据，并对所述待聚合数据进行聚合获得聚合结果的指令；当接收到所有所述待处理节点返回的聚合结果时，可对所有聚合结果进行聚合处理，获得聚合数据，并将所述聚合数据返回给所述客户端，这使得网关设备可让每个节点对其存储的待聚合数据进行聚合处理，并将聚合结果返回给网关设备，网关设备再对各个节点返回的聚合结果进行最后的聚合，从而避免大量数据进行传输，有效节省资源，并提高传输效率。
请参见图2，为本发明一种分布式节点的数据处理方法的第一实施例流程示意图。如图2所示，本实施例所述的一种分布式节点的数据处理方法包括步骤：
S200，当接收到与网关设备连接的节点发送的数据包时，判断是否需对所述数据包进行操作处理。
在本发明实施例中，网关设备可向节点发送数据包请求，此时节点可响应数据包请求返回网关设备所请求的数据包。当网关设备接收到节点发送的数据包时，网关设备可判断是否需对数据包进行操作处理，如需等待其他节点返回的数据包进行聚合处理，如需对数据包进行修改数据等，若网关设备判断不需对数据包进行操作处理时，网关设备可确定不需对数据包进行操作处理。优选的，网关设备可查询是否存储有对该数据包进行操作处理的操作指令，当网关设备没有查询到存储有对该数据包进行操作处理的操作指令时，网关设备可确定不需对数据包进行操作处理。
优选的，在本发明实施例中，数据包可包括以上实施例所描述的聚合结果，当网关设备接收到任意一个待处理节点返回的聚合结果时，网关设备可判断是否需对该聚合结果进行聚合处理或其他操作处理等，其中，网关设备可查询是否存储有对该聚合结果进行操作处理的操作指令，如聚合函数操作等指令。当网关设备没有查询到存储有对该聚合结果进行操作处理的操作指令时，网关设备可确定不需对该聚合结果进行操作处理。
S201，当确定不需对数据包进行操作处理时，将所述数据包进行传输处理。
在本发明实施例中，当网关设备确定不需对数据包进行操作处理时，网关设备不需等待其他节点返回数据包，再一起将数据包进行传输处理，而是网关设备可直接将数据包进行转发。
优选的，在本发明实施例中，当网关设备确定待处理节点返回的聚合结果不需进行操作处理时，网关设备可将该聚合结果返回给客户端，而不需等待其他待处理节点返回的聚合结果。
在本发明实施例中，当网关设备接收到与网关设备连接的节点发送的数据包时，可判断是否需对所述数据包进行操作处理，当确定不需对所述数据包进行操作处理时，将所述数据包进行传输处理，这使得网关设备可将所需发送的数据进行错开发送，有效利用传输资源，并可提高传输效率。
参见图3，是本发明实施例的一种网关设备的第一实施例结构示意图。本实施例中所描述的网关设备，包括：
确定单元100，用于当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个个待处理节点。
生成传输单元200，用于根据所述数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令。
处理传输单元300，用于接收所有所述待处理节点返回的聚合结果，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端。
其中，所述生成传输单元200具体用于：
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
所述终端还包括建立单元，用于建立与网关设备连接的节点的数据映射的逻辑表，所述逻辑表包括所述节点的数据以及所述节点的数据的索引值。
在本发明实施例中，节点可包括主数据库和备数据库，每个节点可以是同个逻辑集合，不同的逻辑集合可组成一个集群，其中，当主数据库的数据更新时，同个节点的备数据库也同步进行更新，以保证主备数据库的数据一致性。执行主体网关设备可设置在客户端和节点之间，客户端可通过浏览器访问网关设备实现对节点的操作，即是，网关设备为客户端操作节点提供了接口。网关设备可根据客户端的操作请求对节点进行操作以及返回操作结果的功能。其中，节点可以分布在多个服务器中。
在具体应用中，可例如，节点可以是MYSQL节点。随着MYSQL节点存储的数据越来越大，一个MYSQL节点可能无法存储所有数据，因而需进行扩容增加新的MYSQL节点，使得数据可存储在若干个MYSQL节点中。进一步的，当一个服务器无法存储若干个MYSQL节点时，MYSQL节点可分布在多个服务器中，因此，MYSQL节点可以实现跨机器的数据库分布。
在本发明实施例中，数据库由一张或多张数据库表组成，其中数据库表又由行组成，而行又可由多个字段或列组成，数据库的数据最终保存在一张或多张数据库表的相应行的相应字段中，由此可获知，每个数据都有其相应的存储位置。在本发明实施例中，建立单元可建立于网关设备连接的所有节点的数据映射的逻辑表，其中，逻辑表包括所有节点的数据以及每个数据对应的索引值。其中，索引值可以是对应的数据的存储位置。这使得客户端可通过该逻辑表操作节点，使得终端用户只需像操作单表一样访问数据，而不需知道节点的结构，关心数据在节点的存放位置，仅需对数据进行操作即可，有效提高用户操作便捷度。
在本发明实施例中，由于节点分布于多个服务器中，即把原本存储于一个服务器的节点中的数据分区存储到多个服务器中，数据原本集中存储于一个数据表中的某一个或多个列将会转移到多个数据表，甚至多个数据库中，进行散列分布，故客户端常需对数据进行聚合来汇总来自多行信息的操作。
在本发明实施例中，当网关设备接收到客户端发送的数据聚合操作请求时，网关设备可对客户端进行权限验证。当网关设备对客户端的权限验证不通过时，网关设备可向客户端返回访问失败的提示信息。当网关设备对客户端的权限验证通过时，确定单元100可根据数据聚合操作请求确定所请求的待聚合数据所存储的待处理节点，并且，由于数据聚合操作请求是针对于多个节点的操作请求，故待处理节点为至少两个。其中，数据聚合操作请求携带待处理数据的索引值，网关设备可根据待处理数据的索引值获取数据所存储的具体位置。进一步的，数据聚合操作请求可包括：求和操作、求最大值操作、求最小值操作和求平均数操作等。其中，求和操作可以是SQL中的SUM聚合函数，求最大值操作可以是SQL中的MAX聚合函数，求最小值可以是SQL中的MIN聚合函数，求平均数可以是SQL中的AVG聚合函数，即是，数据聚合操作请求可携带所述聚合函数。其中，数据聚合操作请求可以是SQL语句。
在本发明实施例中，生成传输单元200可根据数据聚合操作请求生成聚合操作指令，聚合操作指令指示待处理节点查询获取数据聚合操作请求所请求的待聚合数据，并对获得的待聚合数据进行聚合获得聚合结果的指令。进一步的，聚合操作指令可携带聚合函数，此时，聚合操作指令可指示待处理节点查询获取数据聚合操作请求所请求的待聚合数据，并根据聚合函数对待聚合数据进行聚合，获得聚合结果的指令。其中，当生成传输单元200生成聚合操作指令后，生成传输单元200可将聚合操作指令发送给待处理节点，以使待处理节点响应所述聚合操作指令。其中，聚合操作指令可以是SQL语句。
在本发明实施例中，当待处理节点接收到聚合操作指令后，待处理节点可根据聚合操作指令在存储的数据中获取数据聚合操作请求所请求的待聚合数据，并根据聚合操作指令对待聚合数据进行聚合，如对待聚合数据进行SUM函数操作获得聚合结果，例如：当待处理节点获取待聚合数据为1，2，3时，则对待聚合数据进行SUM函数操作获得聚合结果可为6。
在本发明实施例中，当各待处理节点对待聚合数据进行聚合获得聚合结果后，各待处理节点可将获得的聚合结果返回给网关设备。
在本发明实施例中，当处理传输单元300接收到各待处理节点返回的聚合结果后，处理传输单元300可对各聚合结果进行聚合处理，获得聚合数据。优选的，处理传输单元300可根据聚合函数对各聚合结果进行聚合处理，获得聚合数据。如网关设备可对各聚合结果进行SUM函数操作。
在本发明实施例中，当处理传输单元300获得聚合数据后，处理传输单元300将聚合数据返回给客户端。其中，处理传输单元300可通过TCP的传输方式将聚合数据返回给客户端。
在本发明实施例中，当网关设备接收到客户端发送的数据聚合操作请求时，网关设备可根据数据聚合操作请求生成聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令，其中，所述数据聚合操作指令指示所述待处理节点获取所述聚合操作请求所请求的待聚合数据，并对所述待聚合数据进行聚合获得聚合结果的指令；当接收到所有所述待处理节点返回的聚合结果时，可对所有聚合结果进行聚合处理，获得聚合数据，并将所述聚合数据返回给所述客户端，这使得网关设备可让每个节点对其存储的待聚合数据进行聚合，并将聚合结果返回给网关设备，网关设备再对各个节点返回的聚合结果进行最后的聚合，从而避免大量数据进行传输，有效节省资源，并提高传输效率。
参见图4，是本发明实施例的一种网关设备的第二实施例结构示意图。本实施例中所描述的网关设备，包括：
判断单元400，用于当接收到与网关设备连接的节点发送的数据包时，判断是否需对所述数据包进行操作处理。
传输单元500，用于当确定不需对所述数据包进行操作处理时，将所述数据包进行传输处理。
其中，所述判断单元400具体用于：
当接收到任意一个所述待处理节点返回的所述聚合结果时，判断是否需对所述聚合结果进行操作处理；
所述传输单元500具体用于：
当确定不需对所述聚合结果进行操作处理时，将所述聚合结果返回给所述客户端。
在本发明实施例中，网关设备可向节点发送数据包请求，此时节点可响应数据包请求返回网关设备所请求的数据包。当网关设备接收到节点发送的数据包时，判断单元400可判断是否需对数据包进行操作处理，如需等待其他节点返回的数据包进行聚合处理，如需对数据包进行修改数据等，若判断单元400判断不需对数据包进行操作处理时，判断单元400可确定不需对数据包进行操作处理。优选的，判断单元400可查询是否存储有对该数据包进行操作处理的操作指令，当判断单元400没有查询到存储有对该数据包进行操作处理的操作指令时，判断单元400可确定不需对数据包进行操作处理。
优选的，在本发明实施例中，数据包可包括以上实施例所描述的聚合结果，当网关设备接收到任意一个待处理节点返回的聚合结果时，判断单元400可判断是否需对该聚合结果进行聚合处理或其他操作处理等，其中，判断单元400可查询是否存储有对该聚合结果进行操作处理的操作指令，如聚合函数操作等指令。当判断单元400没有查询到存储有对该聚合结果进行操作处理的操作指令时，判断单元400可确定不需对该聚合结果进行操作处理。
在本发明实施例中，当传输单元500确定不需对数据包进行操作处理时，传输单元500不需等待其他节点返回数据包，再一起将数据包进行传输处理，而是传输单元500可直接将数据包进行转发。
优选的，在本发明实施例中，当传输单元500确定待处理节点返回的聚合结果不需进行操作处理时，传输单元500可将该聚合结果返回给客户端，而不需等待其他待处理节点返回的聚合结果。
在本发明实施例中，当网关设备接收到与网关设备连接的节点发送的数据包时，可判断是否需对所述数据包进行操作处理，当确定不需对所述数据包进行操作处理时，将所述数据包进行传输处理，这使得网关设备可将所需发送的数据进行错开发送，有效利用传输资源，并可提高传输效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种分布式节点的数据处理方法，其特征在于，所述方法包括：
当接收到客户端发送的数据聚合操作请求时，对所述客户端进行权限验证，当对所述客户端的权限验证通过时，根据所述数据聚合操作请求确定至少两个待处理节点，其中，所述待处理节点为需进行数据聚合的节点；
根据所述数据聚合操作请求生成数据聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令，其中，所述数据聚合操作指令指示所述待处理节点获取所述数据聚合操作请求所请求的待聚合数据，并对所述待聚合数据进行聚合获得聚合结果的指令，所述数据聚合操作指令指示对所述待聚合数据进行聚合获得聚合结果包括指示所述待处理节点对所述待聚合数据进行聚合操作获得聚合结果，其中，所述聚合操作包括求和操作、求最大值操作、求最小值操作和求平均数操作；
当接收到所有所述待处理节点返回的聚合结果时，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端，其中，所述当接收到所有所述待处理节点返回的聚合结果时，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端包括：当接收到任意一个所述待处理节点返回的所述聚合结果时，查询是否存储有对所述任意一个待处理节点返回的聚合结果进行操作处理的操作指令，当没有查询到存储有对所述任意一个待处理节点返回的聚合结果进行操作处理的操作指令时，将所述任意一个待处理节点返回的聚合结果直接返回给所述客户端。
2.如权利要求1所述的方法，其特征在于，所述数据聚合操作请求携带聚合函数；
所述根据所述数据聚合操作请求生成聚合操作指令包括：
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
3.如权利要求1所述的方法，其特征在于，当接收到客户端发送的数据聚合操作请求时，根据所述请求确定至少两个待处理节点之前包括：
建立与网关设备连接的所有节点的数据映射的逻辑表，所述逻辑表包括所有所述节点的数据以及所述节点的数据的索引值。
4.一种网关设备，其特征在于，所述设备包括：
确定单元，用于当接收到客户端发送的数据聚合操作请求时，对所述客户端进行权限验证，当对所述客户端的权限验证通过时，根据所述数据聚合操作请求确定至少两个待处理节点，其中，所述待处理节点为需进行数据聚合的节点；
生成传输单元，用于根据所述数据聚合操作请求生成数据聚合操作指令，并向所有所述待处理节点发送所述数据聚合操作指令，其中，所述数据聚合操作指令指示所述待处理节点获取所述数据聚合操作请求所请求的待聚合数据，并对所述待聚合数据进行聚合获得聚合结果的指令，所述数据聚合操作指令指示对所述待聚合数据进行聚合获得聚合结果包括指示所述待处理节点对所述待聚合数据进行聚合操作获得聚合结果，其中，所述聚合操作包括求和操作、求最大值操作、求最小值操作和求平均数操作；
处理传输单元，用于接收所有所述待处理节点返回的聚合结果，对所有所述聚合结果进行聚合处理获得聚合数据，并将所述聚合数据返回给所述客户端，其中，所述处理传输单元还用于：当接收到任意一个所述待处理节点返回的所述聚合结果时，查询是否存储有对所述任意一个待处理节点返回的聚合结果进行操作处理的操作指令，当没有查询到存储有对所述任意一个待处理节点返回的聚合结果进行操作处理的操作指令时，将所述任意一个待处理节点返回的聚合结果直接返回给所述客户端。
5.如权利要求4所述的设备，其特征在于，所述数据聚合操作请求携带聚合函数；
所述生成传输单元具体用于：
根据所述数据聚合操作请求生成携带所述聚合函数的聚合操作指令。
6.如权利要求5所述的设备，其特征在于，当设备包括：
建立单元，用于建立与网关设备连接的节点的数据映射的逻辑表，所述逻辑表包括所述节点的数据以及所述节点的数据的索引值。
CN201510407553.3A 2015-07-10 2015-07-10 一种分布式节点的数据处理方法及网关设备 Active CN105007317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510407553.3A CN105007317B (zh) 2015-07-10 2015-07-10 一种分布式节点的数据处理方法及网关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510407553.3A CN105007317B (zh) 2015-07-10 2015-07-10 一种分布式节点的数据处理方法及网关设备

Publications (2)

Publication Number Publication Date
CN105007317A CN105007317A (zh) 2015-10-28
CN105007317B true CN105007317B (zh) 2019-08-06

Family

ID=54379835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510407553.3A Active CN105007317B (zh) 2015-07-10 2015-07-10 一种分布式节点的数据处理方法及网关设备

Country Status (1)

Country Link
CN (1) CN105007317B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106844405B (zh) * 2015-12-07 2019-10-22 杭州海康威视数字技术股份有限公司 数据查询方法和装置
CN110880982A (zh) * 2018-09-05 2020-03-13 千寻位置网络有限公司 分布式基站的数据监控方法及终端
CN110046187B (zh) * 2018-12-25 2023-10-27 创新先进技术有限公司 数据处理系统、方法及装置
CN113742372A (zh) * 2020-05-27 2021-12-03 华为技术有限公司 一种边缘节点中的数据的访问方法、装置及系统
CN112307066B (zh) * 2020-11-03 2023-04-07 平安普惠企业管理有限公司 分布式数据聚合方法、系统、设备及存储介质
CN116996516B (zh) * 2023-09-22 2023-12-05 新华三技术有限公司 一种集群通信方法及装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196890A (zh) * 2006-12-08 2008-06-11 国际商业机器公司 聚合数据库运行时信息和分析应用性能的方法及装置
CN102521307A (zh) * 2011-12-01 2012-06-27 北京人大金仓信息技术股份有限公司 一种云计算环境下的无共享数据库集群并行查询处理方法
CN104123374A (zh) * 2014-07-28 2014-10-29 北京京东尚科信息技术有限公司 分布式数据库中聚合查询的方法及装置
CN104462350A (zh) * 2014-12-04 2015-03-25 北京国双科技有限公司 数据库文本聚合处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196890A (zh) * 2006-12-08 2008-06-11 国际商业机器公司 聚合数据库运行时信息和分析应用性能的方法及装置
CN102521307A (zh) * 2011-12-01 2012-06-27 北京人大金仓信息技术股份有限公司 一种云计算环境下的无共享数据库集群并行查询处理方法
CN104123374A (zh) * 2014-07-28 2014-10-29 北京京东尚科信息技术有限公司 分布式数据库中聚合查询的方法及装置
CN104462350A (zh) * 2014-12-04 2015-03-25 北京国双科技有限公司 数据库文本聚合处理方法及装置

Also Published As

Publication number Publication date
CN105007317A (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
CN105007317B (zh) 一种分布式节点的数据处理方法及网关设备
CN104092756B (zh) 一种基于dht机制的云存储系统的资源动态分配方法
CN105812351B (zh) 实现会话共享的方法和系统
TWI360323B (en) Computer-executable method of remote execution of
JP2018088293A (ja) 単一テナント及び複数テナント環境を提供するデータベースシステム
CN111277616B (zh) 一种基于rdma的数据传输方法和分布式共享内存系统
CN105471760B (zh) 一种路由方法、负载均衡的装置及数据通信系统
CN106294233B (zh) 一种直接内存访问的传输控制方法及装置
CN108028833A (zh) 一种nas数据访问的方法、系统及相关设备
CN103391312B (zh) 资源离线下载方法及装置
CN110430274A (zh) 一种基于云存储的文件下载方法及系统
CN108933829A (zh) 一种负载均衡方法及装置
CN111600936A (zh) 一种适用于泛在电力物联网边缘终端的基于多容器的非对称处理系统
TW201419809A (zh) 一種具高度適應性交談管理機制之遠端管理系統
US20220318071A1 (en) Load balancing method and related device
CN109074281A (zh) 图形处理器任务的分配方法和装置
CN106713391A (zh) 一种session信息的共享方法和共享系统
CN102981857A (zh) 数据库集群的并行压缩海量数据装载方法
CN112866421B (zh) 基于分布式缓存以及nsq的智能合约运行方法及装置
WO2018045541A1 (zh) 一种容器分配的优化方法及处理设备
CN106776848A (zh) 一种数据库查询方法及装置
CN106453460A (zh) 一种文件分发方法、装置和系统
CN109327511A (zh) 一种基于http协议的数据请求方法和服务器
CN106899621B (zh) 一种调度系统及方法
CN104821958B (zh) 基于WebService的用电数据分组交互接口方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant