CN109639785A - 一种数据汇聚集群管理系统及方法 - Google Patents

一种数据汇聚集群管理系统及方法 Download PDF

Info

Publication number
CN109639785A
CN109639785A CN201811465305.4A CN201811465305A CN109639785A CN 109639785 A CN109639785 A CN 109639785A CN 201811465305 A CN201811465305 A CN 201811465305A CN 109639785 A CN109639785 A CN 109639785A
Authority
CN
China
Prior art keywords
data
information
service
management
data convergence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811465305.4A
Other languages
English (en)
Other versions
CN109639785B (zh
Inventor
严春利
徐强
杨波
刘豹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI XILING INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI XILING INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI XILING INFORMATION TECHNOLOGY Co Ltd filed Critical SHANGHAI XILING INFORMATION TECHNOLOGY Co Ltd
Priority to CN201811465305.4A priority Critical patent/CN109639785B/zh
Publication of CN109639785A publication Critical patent/CN109639785A/zh
Application granted granted Critical
Publication of CN109639785B publication Critical patent/CN109639785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1073—Registration or de-registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种数据汇聚集群管理系统及方法，涉及数据汇聚系统领域，所述数据汇聚集群管理系统包括数据汇聚与上报管理模块、信息持久化管理模块和REST通讯模块；所述数据汇聚与上报管理模块又包括数据汇聚服务信息管理模块和数据上报信息管理模块；所述数据汇聚与上报管理模块与所述信息持久化管理模块之间保持信息的双向流通；所述数据汇聚与上报管理模块也与所述REST通讯模块之间保持信息的双向流通；所述REST通讯模块与数据汇聚服务连接；所述REST通讯模块与数据上报服务连接。本发明采用动态加静态负载方式，减少主站点服务器压力并且保证了每个数据汇聚服务负载均衡，从根本上解决项目扩展性和维护成本过高的问题，降低项目实现技术难度。

Description

一种数据汇聚集群管理系统及方法
技术领域
本发明涉及数据汇聚系统领域，尤其涉及一种数据汇聚集群管理系统及方法。
背景技术
在智能安防领域中一个非常重要的系统就是数据汇聚系统。数据汇聚系统的建设是市级、区县级智慧城市总体工程建设的重要组成部分，通过平台建设，可完成市级、区县级智慧城市核心技术平台的搭建，并为后续的各行业应用建设奠定坚实的技术基础。数据汇聚系统作为市级、区县级智慧城市整体架构下的基础平台，将分散在各部门的业务数据进行加工处理、分析挖掘形成统一的、完整的、有序的数据资产体系，通过共享交换，实现跨行业、跨部门、跨区域的综合应用和数据共享。对与大数据量汇聚单机已经无法满足性能要求，目前使用集群汇聚系统接收各个平台业务数据，对于集群负责管理目前市场有以下几种常见方法：
一、HTTP重定向
当HTTP代理(比如浏览器)向web服务器请求某个URL后，web服务器可以通过HTTP响应头信息中的Location标记来返回一个新的URL。这意味着HTTP代理需要继续请求这个新的URL，完成自动跳转。
二、DNS负载均衡
DNS负责提供域名解析服务，当访问某个站点时，实际上首先需要通过该站点域名的DNS服务器来获取域名指向的IP地址，在这一过程中，DNS服务器完成了域名到IP地址的映射，同样，这样映射也可以是一对多的，这时候，DNS服务器便充当了负载均衡调度器，它就像HTTP重定向转换策略一样，将用户的请求分散到多台服务器上，但是它的实现机制完全不同。
三、反向代理负载均衡
几乎所有主流的Web服务器都热衷于支持基于反向代理的负载均衡。它的核心工作就是转发HTTP请求。相比前面的HTTP重定向和DNS解析，反向代理的调度器扮演的是用户和实际服务器中间人的角色：1、任何对于实际服务器的HTTP请求都必须经过调度器。2、调度器必须等待实际服务器的HTTP响应，并将它反馈给用户(前两种方式不需要经过调度反馈，是实际服务器直接发送给用户)。
但是，以上三种现有常用方法仍存在一定缺陷。HTTP重定向受HTTP吞吐率限制，尤其对于较大数据汇聚服务需求，则相应的需要增加数据汇聚服务器的数量才可以满足。DNS负载均衡则由于无法得知解析到哪一台实际服务器而增加服务器运维人云的调试困难度。反向代理则对并发处理能力的要求比较高。
因此，本领域的技术人员致力于开发一种数据汇聚集群管理系统及方法，减少主站点服务器压力并保证每个数据汇聚服务负载平衡，且无需DNS或其他附加条件，减少运维压力，降低维护成本。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何减少主站点服务器压力的同时，保证每个数据汇聚服务的负载平衡，并降低维护成本，减少运维压力。
为实现上述目的，本发明提供了一种数据汇聚集群管理系统，包括数据汇聚与上报管理模块、信息持久化管理模块和REST通讯模块；
所述数据汇聚与上报管理模块又包括数据汇聚服务信息管理模块和数据上报信息管理模块；所述数据汇聚与上报管理模块与所述信息持久化管理模块之间保持信息的双向流通；所述数据汇聚与上报管理模块也与所述REST通讯模块之间保持信息的双向流通；所述REST通讯模块与数据汇聚服务连接；所述REST通讯模块与数据上报服务连接。
进一步地，所述数据汇聚服务有一个或多个。
进一步地，所述数据上报服务有一个或多个。
本发明还提供了一种数据汇聚集群管理方法，所述方法是基于权利要求1-3中任一项所述的数据汇聚集群管理系统，所述方法包括以下步骤：
步骤1、启动程序；
步骤2、设置初始化；如果设置所述初始化成功，则开始处理业务；否则结束；
步骤3、处理业务；在处理业务结束后，询问是否退出；如果不退出，则继续处理业务；否则结束。
进一步地，所述步骤2还包括：
步骤2.1、读取配置信息，如果读取成功，则继续所述初始化；否则结束；
步骤2.2、读取存储信息，如果读取成功，则继续所述初始化；否则结束；
步骤2.3、初始化集群管理服务，如果成功，则继续所述初始化；否则结束；
步骤2.4、初始化负载均衡，如果成功，则继续所述初始化；否则结束；
步骤2.5、初始化REST服务，如果成功，则所述初始化成功；否则结束。
进一步地，所述步骤3中的所述业务包括数据汇聚服务管理、数据上报服务管理、信息持久化管理；
所述数据汇聚服务管理包括以下步骤：
步骤3.1.1、判断是否退出；如果不退出，则继续所述数据汇聚服务管理；否则结束；
步骤3.1.2、如果是获取REST消息，进行数据汇聚服务注册和数据统计；如果是获取信息，进行状态监测；
步骤3.1.3、在所述数据汇聚服务注册、所述状态监测或所述数据统计结束之后，更新存储信息状态；
所述数据上报服务管理包括以下步骤：
步骤3.2.1、判断是否退出；如果不退出，则继续所述数据上报服务管理；否则结束；
步骤3.2.2、获取REST消息，进行数据上报服务注册，并删除已注册信息；
步骤3.2.3、负载均衡，确定所述负载均衡的策略，更新存储信息状态；
步骤3.2.4、所述数据上报服务重定向到所述数据汇聚服务；所述信息持久化管理包括以下步骤：
步骤3.3.1、判断是否退出；如果不退出，则继续所述信息持久化管理；否则结束；
步骤3.3.2、获取信息，进行信息持久化或信息恢复；
步骤3.3.3、在所述信息持久化或所述信息恢复结束之后，更新存储信息状态。
进一步地，在所述步骤3.1.2中的所述数据汇聚服务注册过程中：
a、如果历史信息中存在所述数据汇聚服务的信息，且所述数据汇聚服务的状态为在线，则更新所述数据汇聚服务的最新上报时间；
b、如果所述历史信息中存在所述数据汇聚服务的信息，但所述数据汇聚服务的状态为离线，则修改所述数据汇聚服务的状态为在线，并更新所述最新上报时间；
c、如果所述历史信息不存在所述数据汇聚服务的信息，则新建所述数据汇聚服务的信息；
在所述步骤3.1.2中的所述状态监测过程中：
a、如果是一次心跳超时，则设置所述数据汇聚服务的状态为离线；
b、如果是三次心跳超时，则移除所述数据汇聚服务的信息；
在所述步骤3.1.2中的所述数据统计过程中：
a、所述数据汇聚服务向所述集群管理服务上报接入设备的状态和接收数据量，包含设备ID、数据量、状态；
b、所述集群管理服务将离线设备从管理信息中删除；如果在线设备不存在于所述管理信息中，则添加所述在线设备到所述管理信息中；如果设备从在线设备切换到离线设备，并已经上报所述离线设备的状态到所述管理信息中，则不再上报该离线设备。
进一步地，在所述步骤3.2.2中的所述数据上报服务注册过程中：
a、如果所述历史信息中存在所述数据上报服务的信息，则从所述历史信息中删除所述数据上报服务的信息，保证所述历史信息中只存在所述数据上报服务一次；
b、如果所述历史信息中存在所述数据上报服务的信息，则从所述历史信息中删除所述数据上报服务的信息，保证所述历史信息中只存在所述数据上报服务一次；
在所述步骤3.2.3中的所述负载均衡过程中：
a、检测所述设备的状态，如果为离线，则直接跳过；
b、检测所述设备数量/数据量，如果超过阈值，则跳过；
c、所述负载均衡的策略采用所述接入设备的数量和所述数据上报服务所上报的数据量共同决定；
在所述步骤3.2.4中的所述数据上报服务重定向到所述数据汇聚服务过程中：
a、根据所述负载均衡的策略选择最佳数据汇聚服务，并将所述数据汇聚服务的信息返回给所述数据上报服务；
b、所述数据上报服务根据相应的所述数据汇聚服务注册；
c、所述数据上报服务向所述数据汇聚服务发送心跳信息监测链路是否正常的信息；
d、所述数据上报服务采集到数据，并直接向所述数据汇聚服务发送；
e、所述数据上报服务监测到所述数据汇聚服务链路异常，重新向所述集群管理服务发送注册请求，所述集群管理服务重新将所述数据上报服务负载到所述其它数据汇聚服务。
进一步地，在所述步骤3.3.2中的所述信息持久化过程中：
a、所述信息持久化管理接收到信息变化，更新持久化信息维护表；
b、所述信息持久化管理实时更新；一旦数据有变化，则立即持久化到存储设备；
c、所述信息持久化管理定时更新数据，当时间与空间阈值超过设定值，则持久化到所述存储设备；
d、在所述集群管理服务退出时，将内存中相关信息全部持久化到所述存储设备。
进一步地，在所述步骤3.3.2中的所述信息恢复过程中：
a、所述集群管理服务重新启动，各项参数初始化成功，将信息读入内存；
b、根据时间选择策略，初始化所述集群管理服务的服务信息。
本发明提供的一种数据汇聚集群管理系统及方法，至少具有以下有益的技术效果：
(1)采用动态加静态负载方式，减少主站点服务器压力并且保证了每个数据汇聚服务负载均衡。解决数据汇聚数据量大时，集群管理服务压力过大导致的不稳定。合理使用数据汇聚系统集群资源，保证数据接收的稳定性。
(2)采用优良的设计，从根本上解决项目扩展性和维护成本过高的问题，降低项目实现技术难度，增强系统扩展性和延伸性，使之成为一个高效、简洁、易于维护的系统。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的数据交互逻辑示意图；
图2是本发明的一个较佳实施例的数据汇聚服务信息管理流程示意图；
图3是本发明的一个较佳实施例的数据上报信息管理与负载均衡流程示意图；
图4是本发明的一个较佳实施例的集群管理处理逻辑流程示意图；
图5是本发明的一个较佳实施例的集群管理处理逻辑流程详解示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
如图1所示，本发明提供了一种数据汇聚集群管理系统，包括数据汇聚与上报管理模块、信息持久化管理模块和REST通讯模块；数据汇聚与上报管理模块又包括数据汇聚服务信息管理模块和数据上报信息管理模块；数据汇聚与上报管理模块与信息持久化管理模块之间保持信息的双向流通；数据汇聚与上报管理模块也与REST通讯模块之间保持信息的双向流通；REST通讯模块与数据汇聚服务连接；REST通讯模块与数据上报服务连接。
数据汇聚服务信息管理模块通过数据汇聚服务向集群管理服务注册，集群管理服务根据注册信息验证身份，验证成功后将数据汇聚服务信息保存到内存中并同步到数据库。数据汇聚服务维持心跳，用于检测链路是否通信正常。数据汇聚服务统计数据，用于集群管理服务向数据汇聚服务负载数据策略判定条件之一。数据汇聚服务向集群管理服务上报数据上报服务状态，用于集群管理服务与数据汇聚服务关于数据上报服务状态统一。
数据上报信息管理模块与负载均衡用于管理，数据上报服务向集群管理服务注册，集群管理服务根据注册信息验证身份。验证成功后集群管理服务查找数据汇聚服务信息管理中的信息根据负载策略选择最佳数据汇聚服务信息，将数据汇聚服务信息返回给数据上报服务。数据上报服务根据集群管理服务返回数据汇聚服务信息向数据汇聚服务注册，注册成功后维持心跳，用于检测链路是否通信正常。当链路正常是，数据上报服务直接上报业务数据到数据汇聚服务，从而减小了集群管理服务压力。当数据上报服务于数据汇聚服务通信链路异常时，重新向集群管理服务注册，集群管理服务根据负载策略重新为数据上报服务分配数据汇聚服务，从而保证数据负载均衡与完整性。
信息持久化管理模块用于数据的备份与恢复，数据汇聚服务信息管理与数据上报信息管理发生变化时，会将差异推送到信息持久化管理模块，信息持久化管理将根据时间与空间策略持久化到硬盘。系统出现异常或者退出后，再次重启会将备份数据恢复到内存中，为系统正常运行提供数据依据，解决项目扩展性和维护成本过高的问题，降低项目实现技术难度，增强系统扩展性和延伸性。
进一步地，数据汇聚服务有一个或多个。
进一步地，数据上报服务有一个或多个。
本发明还提供了一种数据汇聚集群管理方法，该方法是基于上述任一数据汇聚集群管理系统，方法包括以下步骤(如图4所示)：
步骤1、启动程序；
步骤2、设置初始化；如果设置初始化成功，则开始处理业务；否则结束；
步骤3、处理业务；在处理业务结束后，询问是否退出；如果不退出，则继续处理业务；否则结束。
步骤2还包括：
步骤2.1、读取配置信息，如果读取成功，则继续初始化；否则结束；
步骤2.2、读取存储信息，如果读取成功，则继续初始化；否则结束；
步骤2.3、初始化集群管理服务，如果成功，则继续初始化；否则结束；
步骤2.4、初始化负载均衡，如果成功，则继续初始化；否则结束；
步骤2.5、初始化REST服务，如果成功，则初始化成功；否则结束。
如图5所示，步骤3中的业务包括数据汇聚服务管理、数据上报服务管理、信息持久化管理；
数据汇聚服务管理包括以下步骤：
步骤3.1.1、判断是否退出；如果不退出，则继续数据汇聚服务管理；否则结束；
步骤3.1.2、如果是获取REST消息，进行数据汇聚服务注册和数据统计；如果是获取信息，进行状态监测；
步骤3.1.3、在数据汇聚服务注册、状态监测或数据统计结束之后，更新存储信息状态；
数据上报服务管理包括以下步骤：
步骤3.2.1、判断是否退出；如果不退出，则继续数据上报服务管理；否则结束；
步骤3.2.2、获取REST消息，进行数据上报服务注册，并删除已注册信息；
步骤3.2.3、负载均衡，确定负载均衡的策略，更新存储信息状态；
步骤3.2.4、数据上报服务重定向到数据汇聚服务；
信息持久化管理包括以下步骤：
步骤3.3.1、判断是否退出；如果不退出，则继续信息持久化管理；否则结束；
步骤3.3.2、获取信息，进行信息持久化或信息恢复；
步骤3.3.3、在信息持久化或信息恢复结束之后，更新存储信息状态。
如图2所示，在步骤3.1.2中的数据汇聚服务注册过程中：
a、如果历史信息中存在数据汇聚服务的信息，且数据汇聚服务的状态为在线，则更新数据汇聚服务的最新上报时间；
b、如果历史信息中存在数据汇聚服务的信息，但数据汇聚服务的状态为离线，则修改数据汇聚服务的状态为在线，并更新最新上报时间；
c、如果历史信息不存在数据汇聚服务的信息，则新建数据汇聚服务的信息；
一次心跳超时，设置状态为离线，保存数据汇聚服务的相关信息。
在步骤3.1.2中的状态监测过程中：
a、如果是一次心跳超时，则设置数据汇聚服务的状态为离线；
b、如果是三次心跳超时，则移除数据汇聚服务的信息；
为防止集群管理服务未感知到数据汇聚服务重启，数据上报未感知(重启时长小于数据上报心跳时长)，不会重新注册仍然向集群管理服务发送数据集群管理服务会在一次心跳超时将下级服务状态设置为离线，暂时保存下级服务所有信息，直到三次心跳超时确认数据汇聚服务异常，将数据汇聚服务移除信息管理存储。在离线到移除期间数据汇聚服务不接受注册。
在步骤3.1.2中的数据统计过程中：
a、数据汇聚服务向集群管理服务上报接入设备的状态和接收数据量，包含设备ID、数据量、状态；
b、集群管理服务将离线设备从管理信息中删除；如果在线设备不存在于管理信息中，则添加在线设备到管理信息中；如果设备从在线设备切换到离线设备，并已经上报离线设备的状态到管理信息中，则不再上报该离线设备。
如图3所示，在步骤3.2.2中的数据上报服务注册过程中：
a、如果历史信息中存在数据上报服务的信息，则从历史信息中删除数据上报服务的信息，保证历史信息中只存在数据上报服务一次；
b、如果历史信息中存在数据上报服务的信息，则从历史信息中删除数据上报服务的信息，保证历史信息中只存在数据上报服务一次；
在步骤3.2.3中的负载均衡过程中：
a、检测设备的状态，如果为离线，则直接跳过；
b、检测设备数量/数据量，如果超过阈值，则跳过；
c、负载均衡的策略采用接入设备的数量和数据上报服务所上报的数据量共同决定；
在步骤3.2.4中的数据上报服务重定向到数据汇聚服务过程中：
a、根据负载均衡的策略选择最佳数据汇聚服务，并将数据汇聚服务的信息返回给数据上报服务；
b、数据上报服务根据相应的数据汇聚服务注册；
c、数据上报服务向数据汇聚服务发送心跳信息监测链路是否正常的信息；
d、数据上报服务采集到数据，并直接向数据汇聚服务发送；
e、数据上报服务监测到数据汇聚服务链路异常，重新向集群管理服务发送注册请求，集群管理服务重新将数据上报服务负载到其它数据汇聚服务。
进一步地，在步骤3.3.2中的信息持久化过程中：
a、信息持久化管理接收到信息变化，更新持久化信息维护表；
b、信息持久化管理实时更新；一旦数据有变化，则立即持久化到存储设备；
c、信息持久化管理定时更新数据，当时间与空间阈值超过设定值，则持久化到存储设备；
d、在集群管理服务退出时，将内存中相关信息全部持久化到存储设备。
进一步地，在步骤3.3.2中的信息恢复过程中：
a、集群管理服务重新启动，各项参数初始化成功，将信息读入内存；
b、根据时间选择策略，初始化集群管理服务的服务信息。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种数据汇聚集群管理系统，其特征在于，包括数据汇聚与上报管理模块、信息持久化管理模块和REST通讯模块；
所述数据汇聚与上报管理模块又包括数据汇聚服务信息管理模块和数据上报信息管理模块；所述数据汇聚与上报管理模块与所述信息持久化管理模块之间保持信息的双向流通；所述数据汇聚与上报管理模块也与所述REST通讯模块之间保持信息的双向流通；所述REST通讯模块与数据汇聚服务连接；所述REST通讯模块与数据上报服务连接。
2.如权利要求1所述的数据汇聚集群管理系统，其特征在于，所述数据汇聚服务有一个或多个。
3.如权利要求1所述的数据汇聚集群管理系统，其特征在于，所述数据上报服务有一个或多个。
4.一种数据汇聚集群管理方法，其特征在于，所述方法是基于权利要求1-3中任一项所述的数据汇聚集群管理系统，所述方法包括以下步骤：
步骤1、启动程序；
步骤2、设置初始化；如果设置所述初始化成功，则开始处理业务；否则结束；
步骤3、处理业务；在处理业务结束后，询问是否退出；如果不退出，则继续处理业务；否则结束。
5.如权利要求4所述的数据汇聚集群管理方法，其特征在于，所述步骤2还包括：
步骤2.1、读取配置信息，如果读取成功，则继续所述初始化；否则结束；
步骤2.2、读取存储信息，如果读取成功，则继续所述初始化；否则结束；
步骤2.3、初始化集群管理服务，如果成功，则继续所述初始化；否则结束；
步骤2.4、初始化负载均衡，如果成功，则继续所述初始化；否则结束；
步骤2.5、初始化REST服务，如果成功，则所述初始化成功；否则结束。
6.如权利要求5所述的数据汇聚集群管理方法，其特征在于，所述步骤3中的所述业务包括数据汇聚服务管理、数据上报服务管理、信息持久化管理；
所述数据汇聚服务管理包括以下步骤：
步骤3.1.1、判断是否退出；如果不退出，则继续所述数据汇聚服务管理；否则结束；
步骤3.1.2、如果是获取REST消息，进行数据汇聚服务注册和数据统计；如果是获取信息，进行状态监测；
步骤3.1.3、在所述数据汇聚服务注册、所述状态监测或所述数据统计结束之后，更新存储信息状态；
所述数据上报服务管理包括以下步骤：
步骤3.2.1、判断是否退出；如果不退出，则继续所述数据上报服务管理；否则结束；
步骤3.2.2、获取REST消息，进行数据上报服务注册，并删除已注册信息；
步骤3.2.3、负载均衡，确定所述负载均衡的策略，更新存储信息状态；
步骤3.2.4、所述数据上报服务重定向到所述数据汇聚服务；
所述信息持久化管理包括以下步骤：
步骤3.3.1、判断是否退出；如果不退出，则继续所述信息持久化管理；否则结束；
步骤3.3.2、获取信息，进行信息持久化或信息恢复；
步骤3.3.3、在所述信息持久化或所述信息恢复结束之后，更新存储信息状态。
7.如权利要求6所述的数据汇聚集群管理方法，其特征在于，在所述步骤3.1.2中的所述数据汇聚服务注册过程中：
a、如果历史信息中存在所述数据汇聚服务的信息，且所述数据汇聚服务的状态为在线，则更新所述数据汇聚服务的最新上报时间；
b、如果所述历史信息中存在所述数据汇聚服务的信息，但所述数据汇聚服务的状态为离线，则修改所述数据汇聚服务的状态为在线，并更新所述最新上报时间；
c、如果所述历史信息不存在所述数据汇聚服务的信息，则新建所述数据汇聚服务的信息；
在所述步骤3.1.2中的所述状态监测过程中：
a、如果是一次心跳超时，则设置所述数据汇聚服务的状态为离线；
b、如果是三次心跳超时，则移除所述数据汇聚服务的信息；
在所述步骤3.1.2中的所述数据统计过程中：
a、所述数据汇聚服务向所述集群管理服务上报接入设备的状态和接收数据量，包含设备ID、数据量、状态；
b、所述集群管理服务将离线设备从管理信息中删除；如果在线设备不存在于所述管理信息中，则添加所述在线设备到所述管理信息中；如果设备从在线设备切换到离线设备，并已经上报所述离线设备的状态到所述管理信息中，则不再上报该离线设备。
8.如权利要求7所述的数据汇聚集群管理方法，其特征在于，在所述步骤3.2.2中的所述数据上报服务注册过程中：
a、如果所述历史信息中存在所述数据上报服务的信息，则从所述历史信息中删除所述数据上报服务的信息，保证所述历史信息中只存在所述数据上报服务一次；
b、如果所述历史信息中存在所述数据上报服务的信息，则从所述历史信息中删除所述数据上报服务的信息，保证所述历史信息中只存在所述数据上报服务一次；
在所述步骤3.2.3中的所述负载均衡过程中：
a、检测所述设备的状态，如果为离线，则直接跳过；
b、检测所述设备数量/数据量，如果超过阈值，则跳过；
c、所述负载均衡的策略采用所述接入设备的数量和所述数据上报服务所上报的数据量共同决定；
在所述步骤3.2.4中的所述数据上报服务重定向到所述数据汇聚服务过程中：
a、根据所述负载均衡的策略选择最佳数据汇聚服务，并将所述数据汇聚服务的信息返回给所述数据上报服务；
b、所述数据上报服务根据相应的所述数据汇聚服务注册；
c、所述数据上报服务向所述数据汇聚服务发送心跳信息监测链路是否正常的信息；
d、所述数据上报服务采集到数据，并直接向所述数据汇聚服务发送；
e、所述数据上报服务监测到所述数据汇聚服务链路异常，重新向所述集群管理服务发送注册请求，所述集群管理服务重新将所述数据上报服务负载到所述其它数据汇聚服务。
9.如权利要求7所述的数据汇聚集群管理方法，其特征在于，在所述步骤3.3.2中的所述信息持久化过程中：
a、所述信息持久化管理接收到信息变化，更新持久化信息维护表；
b、所述信息持久化管理实时更新；一旦数据有变化，则立即持久化到存储设备；
c、所述信息持久化管理定时更新数据，当时间与空间阈值超过设定值，则持久化到所述存储设备；
d、在所述集群管理服务退出时，将内存中相关信息全部持久化到所述存储设备。
10.如权利要求7所述的数据汇聚集群管理方法，其特征在于，在所述步骤3.3.2中的所述信息恢复过程中：
a、所述集群管理服务重新启动，各项参数初始化成功，将信息读入内存；
b、根据时间选择策略，初始化所述集群管理服务的服务信息。
CN201811465305.4A 2018-12-03 2018-12-03 一种数据汇聚集群管理系统及方法 Active CN109639785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811465305.4A CN109639785B (zh) 2018-12-03 2018-12-03 一种数据汇聚集群管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811465305.4A CN109639785B (zh) 2018-12-03 2018-12-03 一种数据汇聚集群管理系统及方法

Publications (2)

Publication Number Publication Date
CN109639785A true CN109639785A (zh) 2019-04-16
CN109639785B CN109639785B (zh) 2021-08-13

Family

ID=66070658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811465305.4A Active CN109639785B (zh) 2018-12-03 2018-12-03 一种数据汇聚集群管理系统及方法

Country Status (1)

Country Link
CN (1) CN109639785B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025593A (zh) * 2009-09-21 2011-04-20 中国移动通信集团公司 分布式用户接入系统及方法
CN103631922A (zh) * 2013-12-03 2014-03-12 南通大学 基于Hadoop集群的大规模Web信息提取方法及系统
CN105099911A (zh) * 2015-06-28 2015-11-25 成都西加云杉科技有限公司 通信系统、应用该通信系统的通信方法和装置
CN106484857A (zh) * 2016-10-09 2017-03-08 珠海经济特区远宏科技有限公司大连分公司 数据采集系统及其方法
WO2017083288A1 (en) * 2015-11-10 2017-05-18 Veniam, Inc. Systems and methods for optimizing data gathering in a network of moving things
CN206212051U (zh) * 2016-11-30 2017-05-31 天津易遨在线科技有限公司 一种分布式搜索优化服务器集群架构

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025593A (zh) * 2009-09-21 2011-04-20 中国移动通信集团公司 分布式用户接入系统及方法
CN103631922A (zh) * 2013-12-03 2014-03-12 南通大学 基于Hadoop集群的大规模Web信息提取方法及系统
CN105099911A (zh) * 2015-06-28 2015-11-25 成都西加云杉科技有限公司 通信系统、应用该通信系统的通信方法和装置
WO2017083288A1 (en) * 2015-11-10 2017-05-18 Veniam, Inc. Systems and methods for optimizing data gathering in a network of moving things
CN106484857A (zh) * 2016-10-09 2017-03-08 珠海经济特区远宏科技有限公司大连分公司 数据采集系统及其方法
CN206212051U (zh) * 2016-11-30 2017-05-31 天津易遨在线科技有限公司 一种分布式搜索优化服务器集群架构

Also Published As

Publication number Publication date
CN109639785B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110213371B (zh) 消息消费方法、装置、设备及计算机存储介质
US10838777B2 (en) Distributed resource allocation method, allocation node, and access node
US9703608B2 (en) Variable configurations for workload distribution across multiple sites
CN108536532A (zh) 一种批量任务处理方法及系统
CN103856760B (zh) 一种视频监控设备间纵向虚拟化装置
CN105357296A (zh) 一种Docker云平台下弹性缓存系统
CN105302676B (zh) 一种分布式文件系统的主备机制数据传输方法及装置
CN106506490A (zh) 一种分布式计算控制方法以及分布式计算系统
CN110505155A (zh) 请求降级处理方法、装置、电子设备及存储介质
CN106959820B (zh) 一种数据提取方法和系统
CN111338773A (zh) 一种分布式定时任务调度方法、调度系统及服务器集群
CN112202918B (zh) 长连接通信的负载调度方法、装置、设备及存储介质
CN105959235A (zh) 分布式数据处理系统及方法
CN108234150A (zh) 用于数据中心监控系统的数据采集和处理方法及系统
CN107623703A (zh) 全局事务标识gtid的同步方法、装置及系统
CN103634411A (zh) 一种具有状态一致性的市场数据实时广播系统及方法
CN107276857A (zh) 一种监测流量的方法及装置
US7428655B2 (en) Smart card for high-availability clustering
CN111314443A (zh) 基于分布式存储系统的节点处理方法、装置和设备及介质
US7418506B1 (en) Apparatus for connection management and the method therefor
EP3570169B1 (en) Method and system for processing device failure
CN116737560B (zh) 基于智能导控的智慧训练系统
CN105450679B (zh) 进行数据云存储的方法及系统
CN109067600A (zh) 一种私有云管理平台系统及其任务处理方法
CN109491767A (zh) 分布式事务的处理方法和分布式系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant