CN108111590A - 一种基于多服务节点的数据处理系统及其方法 - Google Patents

一种基于多服务节点的数据处理系统及其方法 Download PDF

Info

Publication number
CN108111590A
CN108111590A CN201711351890.0A CN201711351890A CN108111590A CN 108111590 A CN108111590 A CN 108111590A CN 201711351890 A CN201711351890 A CN 201711351890A CN 108111590 A CN108111590 A CN 108111590A
Authority
CN
China
Prior art keywords
etl
data
imp
message processor
interface message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711351890.0A
Other languages
English (en)
Inventor
黄仁高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Changtai Information Security Service Co Ltd
Original Assignee
Anhui Changtai Information Security Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Changtai Information Security Service Co Ltd filed Critical Anhui Changtai Information Security Service Co Ltd
Priority to CN201711351890.0A priority Critical patent/CN108111590A/zh
Publication of CN108111590A publication Critical patent/CN108111590A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1014—Server selection for load balancing based on the content of a request
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于多服务节点的数据处理系统及其方法。涉及多服务节点数据处理系统及其方法技术领域。包括干接口机、ETL服务器集群；ETL服务器集群包括若干ETL服务器；若干接口机与ELT服务器集群通信连接；接口机通过以太网接收数据源数据；数据源数据由若干客户端发送数据；任意两接口机间通过以太网通信连接；接口机内均设有ETL服务器集群中ETL服务器信息表；ETL服务器根据主要处理的数据不同分为不同的种类；ETL服务器内均设有ETL服务器集群中同类ETL服务器信息表。本发明通过ETL服务器集群中对ETL服务器分类并采用ETL服务器信息表、同类ETL服务器列表，实现了对ETL服务器集群中ETL服务器合理安排，解决了现有接口机与ETL服务器负载不平衡的问题。

Description

一种基于多服务节点的数据处理系统及其方法
技术领域
本发明属于多服务节点数据处理系统及其方法技术领域，特别是涉及一种基于多服务节点的数据处理系统及其方法。
背景技术
ETL服务器负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
ETL服务器接收接口机传递数据后进行数据处理，ETL处理器处理数据的速度有常采用多节点分布处理；然而ETL服务器的负载均衡问题是我们亟待解决的问题。
本发明致力于发明一种基于多服务节点的数据处理系统及其方法；以解决现有ETL服务器在处理数据时与接口机负载不均衡的问题。
发明内容
本发明的目的在于提供一种基于多服务节点的数据处理系统及其方法，通过ETL服务器集群中对ETL服务器分类并采用ETL服务器信息表、同类 ETL服务器列表，实现了对ETL服务器集群中ETL服务器合理安排，解决了现有接口机与ETL服务器负载不平衡的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种基于多服务节点的数据处理系统及其方法，包括若干接口机、ETL服务器集群；所述ETL服务器集群包括若干ETL服务器；若干所述接口机与ELT服务器集群通信连接；所述接口机通过以太网接收数据源数据；所述数据源数据由若干客户端发送数据；任意两所述接口机间通过以太网通信连接；所述接口机内均设有ETL服务器集群中ETL服务器信息表；任意两所述ETL服务器彼此通信连接；所述ETL服务器根据主要处理的数据不同分为不同的种类；所述ETL服务器内均设有ETL服务器集群中同类ETL服务器信息表。
优选地，所述ETL服务器信息表包含ETL服务器节点IP、处理数据类型、最大数据处理容量、剩余数据处理量；同类所述ETL服务器信息表包括ETL 服务器节点IP、最大数据处理容量、剩余数据处理量。
优选地，所述接口机接收客户端传递的数据；所述接口机根据ETL服务器信息表信息、数据类型传递数据至对应的ETL服务器。
优选地所述ETL服务器定时传递剩余处理量至接口机；当ETL服务器剩余处理量大于最大数据处理容量，所述ETL服务器根据同类ETL服务器信息表传送待处理数据至其他ETL服务器。
一种基于多服务节点的数据处理的方法，包括如下步骤：
A000：接口机接收客户端传递的数据；
A001：接口机根据数据类型、ETL服务器信息表判断是否存在ETL服务器剩余数据处理量小于最大数据处理容量；若存在，则传递数据至对应的 ETL服务器且执行A002；若不存在，则执行A004；
A002：ETL服务器接收数据并处理；ETL服务器更新同类ETL服务器信息表并传递剩余数据处理量至同类ETL服务器、接口机；
A003：同类ETL服务器更新同类ETL服务器信息表；
A004：接口机更新ETL服务器信息表并执行A001；
A005：接口机根据ETL服务器信息表传递数据至与数据类型不同的ETL 服务器并执行A002。
本发明具有以下有益效果：
本发明通过ETL服务器集群中对ETL服务器分类并采用ETL服务器信息表、同类ETL服务器列表，实现了对ETL服务器集群中ETL服务器合理安排，解决了现有接口机与ETL服务器负载不平衡的问题，提高了接口机云ETL服务器负载均衡性能，提高了ETL服务器的数据处理效率。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于多服务节点的数据处理系统结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种基于多服务节点的数据处理系统，包括若干接口机、ETL服务器集群；ETL服务器集群包括若干ETL服务器；若干接口机与ELT服务器集群通信连接；接口机通过以太网接收数据源数据；数据源数据由若干客户端发送数据；任意两接口机间通过以太网通信连接；接口机内均设有ETL服务器集群中ETL服务器信息表；任意两ETL服务器彼此通信连接；ETL服务器根据主要处理的数据不同分为不同的种类；ETL服务器内均设有ETL服务器集群中同类ETL服务器信息表。
其中，ETL服务器信息表包含ETL服务器节点IP、处理数据类型、最大数据处理容量、剩余数据处理量；同类ETL服务器信息表包括ETL服务器节点IP、最大数据处理容量、剩余数据处理量。
其中，接口机接收客户端传递的数据；接口机根据ETL服务器信息表信息、数据类型传递数据至对应的ETL服务器。
其中，ETL服务器定时传递剩余处理量至接口机；当ETL服务器剩余处理量大于最大数据处理容量，ETL服务器根据同类ETL服务器信息表传送待处理数据至其他ETL服务器。
一种基于多服务节点的数据处理的方法，包括如下步骤：
A000：接口机接收客户端传递的数据；
A001：接口机根据数据类型、ETL服务器信息表判断是否存在ETL服务器剩余数据处理量小于最大数据处理容量；若存在，则传递数据至对应的 ETL服务器且执行A002；若不存在，则执行A004；
A002：ETL服务器接收数据并处理；ETL服务器更新同类ETL服务器信息表并传递剩余数据处理量至同类ETL服务器、接口机；
A003：同类ETL服务器更新同类ETL服务器信息表；
A004：接口机更新ETL服务器信息表并执行A001；
A005：接口机根据ETL服务器信息表传递数据至与数据类型不同的ETL 服务器并执行A002。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种基于多服务节点的数据处理系统，其特征在于，包括若干接口机、ETL服务器集群；
所述ETL服务器集群包括若干ETL服务器；若干所述接口机与ELT服务器集群通信连接；所述接口机通过以太网接收数据源数据；所述数据源数据由若干客户端发送数据；
任意两所述接口机间通过以太网通信连接；所述接口机内均设有ETL服务器集群中ETL服务器信息表；
任意两所述ETL服务器彼此通信连接；所述ETL服务器根据主要处理的数据不同分为不同的种类；所述ETL服务器内均设有ETL服务器集群中同类ETL服务器信息表。
2.根据权利要求1所述的一种基于多服务节点的数据处理系统，其特征在于，所述ETL服务器信息表包含ETL服务器节点IP、处理数据类型、最大数据处理容量、剩余数据处理量；同类所述ETL服务器信息表包括ETL服务器节点IP、最大数据处理容量、剩余数据处理量。
3.根据权利要求1或2所述的一种基于多服务节点的数据处理系统，其特征在于，所述接口机接收客户端传递的数据；所述接口机根据ETL服务器信息表信息、数据类型传递数据至对应的ETL服务器。
4.根据权利要求1所述的一种基于多服务节点的数据处理系统，其特征在于，所述ETL服务器定时传递剩余处理量至接口机；当ETL服务器剩余处理量大于最大数据处理容量，所述ETL服务器根据同类ETL服务器信息表传送待处理数据至其他ETL服务器。
5.如权利要求1-4任意一所述的一种基于多服务节点的数据处理的方法，其特征在于，包括如下步骤：
A000：接口机接收客户端传递的数据；
A001：接口机根据数据类型、ETL服务器信息表判断是否存在ETL服务器剩余数据处理量小于最大数据处理容量；若存在，则传递数据至对应的ETL服务器且执行A002；若不存在，则执行A004；
A002：ETL服务器接收数据并处理；ETL服务器更新同类ETL服务器信息表并传递剩余数据处理量至同类ETL服务器、接口机；
A003：同类ETL服务器更新同类ETL服务器信息表；
A004：接口机更新ETL服务器信息表并执行A001；
A005：接口机根据ETL服务器信息表传递数据至与数据类型不同的ETL服务器并执行A002。
CN201711351890.0A 2017-12-15 2017-12-15 一种基于多服务节点的数据处理系统及其方法 Pending CN108111590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711351890.0A CN108111590A (zh) 2017-12-15 2017-12-15 一种基于多服务节点的数据处理系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711351890.0A CN108111590A (zh) 2017-12-15 2017-12-15 一种基于多服务节点的数据处理系统及其方法

Publications (1)

Publication Number Publication Date
CN108111590A true CN108111590A (zh) 2018-06-01

Family

ID=62216306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711351890.0A Pending CN108111590A (zh) 2017-12-15 2017-12-15 一种基于多服务节点的数据处理系统及其方法

Country Status (1)

Country Link
CN (1) CN108111590A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505278A (zh) * 2019-07-19 2019-11-26 联想(北京)有限公司 一种数据流处理方法、服务器及计算机存储介质
CN112604977A (zh) * 2020-11-07 2021-04-06 泰州芯源半导体科技有限公司 利用大数据服务的目标分类平台及方法
CN114844898A (zh) * 2022-04-29 2022-08-02 中国光大银行股份有限公司 一种互联网接入方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030051042A1 (en) * 2001-09-13 2003-03-13 International Business Machines Corporation Load balancing method and system for allocation of service requests on a network
CN102055654A (zh) * 2009-11-10 2011-05-11 中兴通讯股份有限公司 一种进行网络设备负载均衡的方法及ip多媒体子系统
CN106790692A (zh) * 2017-02-20 2017-05-31 郑州云海信息技术有限公司 一种多集群的负载均衡方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030051042A1 (en) * 2001-09-13 2003-03-13 International Business Machines Corporation Load balancing method and system for allocation of service requests on a network
CN102055654A (zh) * 2009-11-10 2011-05-11 中兴通讯股份有限公司 一种进行网络设备负载均衡的方法及ip多媒体子系统
CN106790692A (zh) * 2017-02-20 2017-05-31 郑州云海信息技术有限公司 一种多集群的负载均衡方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505278A (zh) * 2019-07-19 2019-11-26 联想(北京)有限公司 一种数据流处理方法、服务器及计算机存储介质
CN110505278B (zh) * 2019-07-19 2021-09-14 联想(北京)有限公司 一种数据流处理方法、服务器及计算机存储介质
CN112604977A (zh) * 2020-11-07 2021-04-06 泰州芯源半导体科技有限公司 利用大数据服务的目标分类平台及方法
CN112604977B (zh) * 2020-11-07 2021-12-28 北京创想开盈科贸有限公司 利用大数据服务的目标分类平台及方法
CN114844898A (zh) * 2022-04-29 2022-08-02 中国光大银行股份有限公司 一种互联网接入方法、装置及系统
CN114844898B (zh) * 2022-04-29 2024-06-11 中国光大银行股份有限公司 一种互联网接入方法、装置及系统

Similar Documents

Publication Publication Date Title
US11736561B2 (en) Load balanced network file accesses
CN103744719B (zh) 锁管理方法及系统、锁管理系统的配置方法及装置
CN104751348B (zh) 一种基于社交网络的电子商务系统
CN108111590A (zh) 一种基于多服务节点的数据处理系统及其方法
CN107078969A (zh) 实现负载均衡的计算机设备、系统和方法
CN105447110A (zh) 一种数据库集群批量快速加载数据的方法及加载系统
CN103957246A (zh) 基于租户感知的动态负载均衡方法及系统
CN106101290A (zh) 一种服务器集群管理的方法及系统
CN112202918B (zh) 长连接通信的负载调度方法、装置、设备及存储介质
CN104426976B (zh) 一种虚拟服务器集群在线更新装置及方法
CN105978950A (zh) 一种服务器资源分配方法、装置及系统
CN104202364B (zh) 一种控制器的自动发现和配置方法和设备
CN112953982B (zh) 一种服务处理的方法、服务配置的方法以及相关装置
CN104158868B (zh) 一种文件传输方法和管理服务器
CN106506701A (zh) 一种服务器负载均衡方法及负载均衡器
CN105959411A (zh) 云计算环境下基于协调的动态负载均衡分布式处理方法
CN104954155B (zh) 具有多个业务板的网络设备以及多业务板分担方法
CN103685056A (zh) 负载均衡方法及其系统
CN106412030B (zh) 一种选择存储资源方法、装置及系统
CN104965810B (zh) 多核模式下快速处理数据报文的方法及装置
CN104519138B (zh) 一种基于分布式ftp的数据传输方法及系统
Aditya et al. A high availability (HA) MariaDB Galera Cluster across data center with optimized WRR scheduling algorithm of LVS-TUN
CN103905324A (zh) 一种基于报文五元组的调度分流方法和系统
CN101534255A (zh) 一种实现特定请求定向处理的方法及装置
CN105245428A (zh) 一种报文处理规则的配置方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180601

RJ01 Rejection of invention patent application after publication