CN109327509A - 一种主/从架构的低耦合的分布式流式计算框架 - Google Patents

一种主/从架构的低耦合的分布式流式计算框架 Download PDF

Info

Publication number
CN109327509A
CN109327509A CN201811057446.2A CN201811057446A CN109327509A CN 109327509 A CN109327509 A CN 109327509A CN 201811057446 A CN201811057446 A CN 201811057446A CN 109327509 A CN109327509 A CN 109327509A
Authority
CN
China
Prior art keywords
node
cluster
distributed
master
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811057446.2A
Other languages
English (en)
Other versions
CN109327509B (zh
Inventor
邹复好
李开
熊饶饶
刘鹏坤
孙斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Charm Pupil Technology Co Ltd
Original Assignee
Wuhan Charm Pupil Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Charm Pupil Technology Co Ltd filed Critical Wuhan Charm Pupil Technology Co Ltd
Priority to CN201811057446.2A priority Critical patent/CN109327509B/zh
Publication of CN109327509A publication Critical patent/CN109327509A/zh
Application granted granted Critical
Publication of CN109327509B publication Critical patent/CN109327509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668—Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H04L67/1051—Group master selection mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/133—Protocols for remote procedure calls [RPC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Abstract

本发明实施例提供了一种主/从架构的低耦合的分布式流式计算框架，包括：分布式服务环境、集群管理主节点、集群的工作从节点、集群的业务处理节点；所述分布式服务环境用于存储各个分布式节点的运行状态、负载状态以及任务执行状态；所述集群管理主节点用于管理集群节点的运行状态，并向各个集群节点分发任务；所述集群的工作从节点用于执行所述集群管理主节点分发的任务，并将任务执行的中间结果在Kafka中缓存；所述集群的业务处理节点用于消费Kafka中产生的消息，并得到业务结果。能够适用于多种情况下的流式数据处理，模块之间充分解耦合，能够实现动态缩扩容，实现数据的冗余备份，主节点的备份机制能实现服务的可靠性。

Description

一种主/从架构的低耦合的分布式流式计算框架
技术领域
本发明实施例涉及大数据处理和流式计算技术领域，尤其涉及一种主/从架构的低耦合的分布式流式计算框架。
背景技术
近年来，随着信息技术的快速发展，数据量呈现飞速增长的趋势，对于海量数据，单台计算机的处理能力已经远远不够，由此推动了分布式系统的研究和进展。分布式计算系统的核心思想就是“分而治之”，将海量数据源进行任务分割，将分割后的任务分发给多台计算机并行处理，并将并行处理的结果合并为最终的结果。分布式计算机集群通过网络互连，可以实现资源的共享、协同工作、并行化处理，对外提供统一的接口，呈现单个完整的计算系统。在海量的、复杂的数据环境中，不仅包含静态的、结构化的数据，还包括源源不断持续产生的、实时性强、非结构化的数据，例如摄像头采集的视频数据，服务器产生的日志数据，搜索引擎的日志等。如何在海量数据中快速分析获取有用的信息是现在分布式计算领域的研究热点。
针对流数据应用场景，与传统的存储在磁盘或内存中的数据不同，流数据的特点在于：实时性：数据流实时产生，需要实时得出分析结果；持久性：数据流无限、持续产生和流入；容错性：对于流数据，经过系统处理后变丢弃，很难恢复数据流，因此需要保证数据源的可靠性处理。例如在分析摄像头的视频流的应用场景中，对于每个摄像头抓取到的视频帧的处理，要考虑到在有限的计算资源的情况下，如何能够实现生产消费平衡，保证流数据处理的实时性，确保每一个数据都被处理好。现有典型的分布式流计算框架有Storm、Sparkstreaming、Flink等，这些框架在分布式环境下的实时性和容错性都很不错，但是针对特定的业务场景，耦合度过高，增加开发维护成本，降低模块间的异构性，且框架的代码利用率低，造成一定的系统资源浪费。
在流式计算场景下，通用的流计算框架有相对笨重、耦合度高、异构性低的缺点。因此，现在亟需一种新的分布式流式计算框架来解决上述现有技术中存在的问题。
发明内容
为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种主/从架构的低耦合的分布式流式计算框架。
第一方面本发明实施例提供一种主/从架构的低耦合的分布式流式计算框架，包括：
分布式服务环境、集群管理主节点、集群的工作从节点、集群的业务处理节点；
所述分布式服务环境用于存储各个分布式节点的运行状态、负载状态以及任务执行状态；
所述集群管理主节点用于管理集群节点的运行状态，并向各个集群节点分发任务；
所述集群的工作从节点用于执行所述集群管理主节点分发的任务，并将任务执行的中间结果在Kafka中缓存；
所述集群的业务处理节点用于消费Kafka中产生的消息，并得到业务结果。
其中，所述主/从架构的低耦合的分布式流式计算框架还包括：
API网关节点，所述API网关节点用于为外部提供API服务或者WebSocket服务。
其中，所述API网关节点采用了SSL加密和标准的RestfulAPI的方式来保证结果的安全获取。
其中，所述分布式服务环境包括：
Zookeeper集群模块、负载均衡模块、分布式服务通信模块以及分布式服务部署模块；
所述Zookeeper集群模块用于保存分布式节点的运行状态和服务状态；
所述负载均衡模块用于实现任务的负载均衡；
所述分布式服务通信模块用于实现分布式环境下的节点之间的通信；
所述分布式服务部署模块用于采用容器技术实现分布式服务的部署，采并用统一的RestfulAPI接口用于容器服务间的通信。
其中，所述分布式服务通信模块还用于实现流数据的传输。
其中，所述集群管理主节点包括：
备份模块和监控模块，所述备份模块采用Zookeeper的Watch机制来进行主从备份，当主节点任务失败时，备份节点立刻进行工作状态；
所述监控模块采用Zookeeper的心跳机制来实时监控从节点的工作状态。
其中，所述集群的工作从节点还用于将节点状态保存在Zookeeper中。
其中，所述集群的业务处理节点还用于将流式数据的结果实时推送到WebSocket中，以使所述流式数据的结果显示到前端浏览器上。
本发明实施例提供的主/从架构的低耦合的分布式流式计算框架，能够适用于多种情况下的流式数据处理，模块之间充分解耦合，能够实现动态缩扩容，实现数据的冗余备份，主节点的备份机制能实现服务的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种主/从架构的低耦合的分布式流式计算框架结构示意图；
图2是本发明实施例提供的API网关结构示意图；
图3是本发明实施例提供的分布式基础环境构成示意图；
图4是本发明实施例提供的集群管理主节点功能示意图；
图5是本发明实施例提供的集群的工作从节点功能示意图；
图6是本发明实施例提供的业务处理节点功能示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，现有典型的分布式流计算框架有Storm、Sparkstreaming、Flink等，这些框架在分布式环境下的实时性和容错性都很不错，但是针对特定的业务场景，耦合度过高，增加开发维护成本，降低模块间的异构性，且框架的代码利用率低，造成一定的系统资源浪费。
针对上述现有技术中存在的问题，图1是本发明实施例提供的一种主/从架构的低耦合的分布式流式计算框架结构示意图，如图1所示，所述一种主/从架构的低耦合的分布式流式计算框架包括：
分布式服务环境、集群管理主节点、集群的工作从节点、集群的业务处理节点；
所述分布式服务环境用于存储各个分布式节点的运行状态、负载状态以及任务执行状态；
所述集群管理主节点用于管理集群节点的运行状态，并向各个集群节点分发任务；
所述集群的工作从节点用于执行所述集群管理主节点分发的任务，并将任务执行的中间结果在Kafka中缓存；
所述集群的业务处理节点用于消费Kafka中产生的消息，并得到业务结果。
需要说明的是，本发明实施例实质上为了提供该主/从架构的低耦合的分布式流式计算框架，实质上是在计算机软件层面上进行框架搭建的过程。
具体的，首先，本发明实施例需要搭建主/从架构的低耦合的分布式流式计算框架中的分布式服务环境。本发明实施例采用了Zookeeper作为分布式协调服务工具，搭建分布式环境，存储分布式节点的运行状态、负载状态、任务执行状态。采用SeaweadFS/HDFS/HBase来作为分布式数据存储环境。利用Kafka/ZeroMQ作为分布式环境下的消息中间件，负责各个模块直接的通信，以及流处理中间结果的推送，以实现低耦合特性。利用Docker和kubernetes来实现服务的容器化部署和分布式环境的容器编排。
然后，本发明实施例需要搭建集群管理的主节点(Master节点)，该节点的功能是负责分布式系统任务调度、负载均衡，管理集群节点的运行状态，任务的分发，机器的任务负载状态和任务的进度管理等。
紧接着，本发明实施例需要搭建集群的工作从节点(Slave节点)。该节点通常有多个，可根据机器的配置来动态扩展节点的数量。该节点的功能是负责执行主节点分发的任务，将任务执行的中间结果发送到Kafka上面缓存，等待其他模块消费。
下一步，本发明实施例还需要搭建集群的业务处理(Process)节点。该节点通常也有多个，可根据业务需求量动态配置。该节点负责消费Kafka中从节点在分布式消息系统中生产的消息，最终产生业务相关的结果。
从而通过上述节点和配置环境实现了框架的构建。与现有技术相比，本发明实施例提供的主/从架构的低耦合的分布式流式计算框架有下述优点：
1、能够降低处理模块之间的耦合性，便于开发维护。对于不同的业务，可以在模块之间并行开发，单独测试；
2、能够提高框架的异构性，各个模块之间只需要遵守预先定义好的数据通信协议，本身可以根据应用场景采用不同的编程语言实现。
3、能够提高计算资源的利用率，和通用的流式处理框架相比，本发明的框架为轻量级的，可减少通用框架部分不需要的功能，降低计算机资源消耗。
4、扩展性好，隔离性高。在分布式集群中，本框架可根据业务需求自动缩扩容，满足业务的吞吐量需求。容器化部署的方式以及分布式环境的容器编排技术可以提高服务的可靠性。
在上述实施例的基础上，所述主/从架构的低耦合的分布式流式计算框架还包括：
API网关节点，所述API网关节点用于为外部提供API服务或者WebSocket服务。
需要说明的是，如图1所示，本发明实施例提供的主/从架构的低耦合的分布式流式计算框架实质上还包括第五部分的内容，也就是API网关节点，该节点负责对外部提供API服务或者WebSocket服务(针对流式数据)。该节点作为集群的门户，承担集群的管理控制、响应外部请求、主动推送流式数据的处理结果。
所述API网关节点采用了SSL加密和标准的RestfulAPI的方式来保证结果的安全获取。
图2是本发明实施例提供的API网关结构示意图，如图2所示，可以理解的是，API网关是整个框架的出入口，负责集群的管理、响应外部的请求。在多数情况下，API节点可通过RestfulAPI对集群进行管理或者响应业务相关的请求，但是对于流式数据，例如处理之后的视频流，可以采用WebSocket长连接的通信方式持续获取结果。
在上述实施例的基础上，所述分布式服务环境包括：
Zookeeper集群模块、负载均衡模块、分布式服务通信模块以及分布式服务部署模块；
所述Zookeeper集群模块用于保存分布式节点的运行状态和服务状态；
所述负载均衡模块用于实现任务的负载均衡；
所述分布式服务通信模块用于实现分布式环境下的节点之间的通信；
所述分布式服务部署模块用于采用容器技术实现分布式服务的部署，采并用统一的RestfulAPI接口用于容器服务间的通信。
图3是本发明实施例提供的分布式基础环境构成示意图，如图3所示，本发明实施例在搭建分布式基础环境时，包含了分布式文件存储、消息队列和分布式协同工具。分布式文件系统可以采用多种方案，这里用HDFS做说明，HDFS是一个可靠的分布式文件系统，适合存储超大的文件，SeaweadFs适合存储大量小文件。消息队列或者RPC是用于框架各个模块之间的通信。Zookeeper作为集群管理工具，用于从节点和主节点之间的通信。
具体的，本发明实施例提供的Zookeeper集群模块、负载均衡模块、分布式服务通信模块以及分布式服务部署模块实质上也是计算机软件搭建的过程。
首先，本发明实施例需要搭建Zookeeper集群，即本发明实施例所述的Zookeeper集群模块。Zookeeper集群负责保存分布式节点的运行状态，服务状态。利用Zookeeper实现心跳检测机制，保证主和从之间的关联，一旦发现从无法访问，则将已分配出去的任务重新分发到新的节点。
紧接着，本发明实施例需要实现负载均衡设置，即本发明实施例所述的负载均衡模块，负载均衡设置是采用加权最少任务算法来实现任务的负载均衡。对于不同的从节点，根据性能来设置一个最大的处理并发数，根据集群所有机器的负载情况来选择一个当前正在处理的任务的数量最小工作节点。
然后，本发明实施例需要实现分布式服务通信，具体的实现方式是采用消息队列的方式来实现分布式环境下的节点之间的通信以及流数据的传输。
最后，本发明实施例需要完成分布式服务部署，即本发明实施例所述的分布式服务部署模块，具体的是采用容器技术实现分布式服务的部署，采用统一的RestfulAPI接口用于容器服务间的通信。在分布式环境下，可以采用分布式容器编排技术来实现容器的跨机器的通信。
在上述实施例的基础上，所述分布式服务通信模块还用于实现流数据的传输。
由上述内容可知，本发明实施例提供了节点之间的通信以及流数据的传输两种方式，对于流式数据，数据源不断产生数据，从节点对源数据不断进行处理，将中间结果传入到KafkaTopic中，同时将处理的部分信息存储到MySql中。对于Kafka中传输的数据，采用base64来对二进制数据编码传输。采用JSON定义通信协议，方便后续Process的业务处理。
在上述实施例的基础上，所述集群管理主节点包括：
备份模块和监控模块，所述备份模块采用Zookeeper的Watch机制来进行主从备份，当主节点任务失败时，备份节点立刻进行工作状态；
所述监控模块采用Zookeeper的心跳机制来实时监控从节点的工作状态。
图4是本发明实施例提供的集群管理主节点功能示意图，如图4所示，在搭建好分布式服务环境的基础上，主节点和Zookeeper保持长连接，通过Zookeeper来获取从节点的运行状态，通过心跳机制来保证从节点的在线状态。
可以理解的是，本发明实施例利用Zookeeper的Watch机制作为备份模块来实现主节点的主从备份，一旦主节点失败挂掉，备份节点立即进入工作状态；与此同时，本发明实施例利用Zookeeper的心跳机制作为监控模块来实时监控从节点的工作状态。
在上述实施例的基础上，所述集群的工作从节点还用于将节点状态保存在Zookeeper中。
图5是本发明实施例提供的集群的工作从节点功能示意图，如图5所示，本发明实施例提供的集群的工作从节点是逻辑上的一个节点，负责执行主节点分发的任务，任务处理的结果送入消息队列缓存起来。从节点的状态保存在Zookeeper中。
需要说明的是，本发明实施例中的搭建从节点的阶段，从节点会执行主节点分发的任务，对流式数据源进行预处理，将预处理的结果放到消息队列中，供业务处理节点调用。
在上述实施例的基础上，所述集群的业务处理节点还用于将流式数据的结果实时推送到WebSocket中，以使所述流式数据的结果显示到前端浏览器上。
图6是本发明实施例提供的业务处理节点功能示意图，如图6所示，本发明实施例提供的业务处理(process)节点也是逻辑上的一个节点，负责最终的业务处理，处理的结果会持久化到数据库中，对于流式数据，直接将结果实时推送到WebSocket中，显示到前端浏览器上。
需要说明的是，本发明实施例中的搭建Process节点的阶段，Process节点是处理具体业务的节点，从消息队列中消费数据，然后对数据做具体的业务分析。例如：对摄像头采集到的图片做人脸识别，性别识别，应用日志分析等，这些具体的业务由用户自行定义。
综上所述，本发明实施例提供的主/从架构的低耦合的分布式流式计算框架能够适用于多种情况下的流式数据处理，模块之间充分解耦合，能够实现动态缩扩容，实现数据的冗余备份，主节点的备份机制能实现服务的可靠性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种主/从架构的低耦合的分布式流式计算框架，其特征在于，包括：
分布式服务环境、集群管理主节点、集群的工作从节点、集群的业务处理节点；
所述分布式服务环境用于存储各个分布式节点的运行状态、负载状态以及任务执行状态；
所述集群管理主节点用于管理集群节点的运行状态，并向各个集群节点分发任务；
所述集群的工作从节点用于执行所述集群管理主节点分发的任务，并将任务执行的中间结果在Kafka中缓存；
所述集群的业务处理节点用于消费Kafka中产生的消息，并得到业务结果。
2.根据权利要求1所述的主/从架构的低耦合的分布式流式计算框架，其特征在于，所述主/从架构的低耦合的分布式流式计算框架还包括：
API网关节点，所述API网关节点用于为外部提供API服务或者WebSocket服务。
3.根据权利要求2所述的主/从架构的低耦合的分布式流式计算框架，其特征在于，所述API网关节点采用了SSL加密和标准的RestfulAPI的方式来保证结果的安全获取。
4.根据权利要求1所述的主/从架构的低耦合的分布式流式计算框架，其特征在于，所述分布式服务环境包括：
Zookeeper集群模块、负载均衡模块、分布式服务通信模块以及分布式服务部署模块；
所述Zookeeper集群模块用于保存分布式节点的运行状态和服务状态；
所述负载均衡模块用于实现任务的负载均衡；
所述分布式服务通信模块用于实现分布式环境下的节点之间的通信；
所述分布式服务部署模块用于采用容器技术实现分布式服务的部署，采并用统一的RestfulAPI接口用于容器服务间的通信。
5.根据权利要求4所述的主/从架构的低耦合的分布式流式计算框架，其特征在于，所述分布式服务通信模块还用于实现流数据的传输。
6.根据权利要求1所述的主/从架构的低耦合的分布式流式计算框架，其特征在于，所述集群管理主节点包括：
备份模块和监控模块，所述备份模块采用Zookeeper的Watch机制来进行主从备份，当主节点任务失败时，备份节点立刻进行工作状态；
所述监控模块采用Zookeeper的心跳机制来实时监控从节点的工作状态。
7.根据权利要求1所述的主/从架构的低耦合的分布式流式计算框架，其特征在于，所述集群的工作从节点还用于将节点状态保存在Zookeeper中。
8.根据权利要求1所述的主/从架构的低耦合的分布式流式计算框架，其特征在于，所述集群的业务处理节点还用于将流式数据的结果实时推送到WebSocket中，以使所述流式数据的结果显示到前端浏览器上。
CN201811057446.2A 2018-09-11 2018-09-11 一种主/从架构的低耦合的分布式流式计算系统 Active CN109327509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811057446.2A CN109327509B (zh) 2018-09-11 2018-09-11 一种主/从架构的低耦合的分布式流式计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811057446.2A CN109327509B (zh) 2018-09-11 2018-09-11 一种主/从架构的低耦合的分布式流式计算系统

Publications (2)

Publication Number Publication Date
CN109327509A true CN109327509A (zh) 2019-02-12
CN109327509B CN109327509B (zh) 2022-01-18

Family

ID=65264957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811057446.2A Active CN109327509B (zh) 2018-09-11 2018-09-11 一种主/从架构的低耦合的分布式流式计算系统

Country Status (1)

Country Link
CN (1) CN109327509B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977161A (zh) * 2019-03-28 2019-07-05 上海中通吉网络技术有限公司 presto集群的监控系统
CN109978334A (zh) * 2019-02-26 2019-07-05 国电南京自动化股份有限公司 一种基于电力模型的统计方法及系统
CN109995669A (zh) * 2019-04-09 2019-07-09 深圳前海微众银行股份有限公司 分布式限流方法、装置、设备及可读存储介质
CN110008286A (zh) * 2019-03-26 2019-07-12 华南理工大学 一种注塑成型装备大数据采集和存储系统及方法
CN110113406A (zh) * 2019-04-29 2019-08-09 成都网阔信息技术股份有限公司 基于分布式的计算服务集群框架
CN110362390A (zh) * 2019-06-06 2019-10-22 银江股份有限公司 一种分布式数据集成作业调度方法及装置
CN110389766A (zh) * 2019-06-21 2019-10-29 深圳市汇川技术股份有限公司 HBase容器集群部署方法、系统、设备及计算机可读存储介质
CN110427354A (zh) * 2019-07-12 2019-11-08 四川九洲电器集团有限责任公司 一种分布式研判系统、方法及计算机存储介质、电子设备
CN110569144A (zh) * 2019-08-09 2019-12-13 苏宁金融科技(南京)有限公司 基于storm流式计算的数据处理方法和数据处理系统
CN110633145A (zh) * 2019-08-27 2019-12-31 苏宁云计算有限公司 一种分布式系统内实时通讯方法、装置及分布式系统
CN111176783A (zh) * 2019-11-20 2020-05-19 航天信息股份有限公司 容器治理平台的高可用方法、装置及电子设备
CN111181765A (zh) * 2019-12-03 2020-05-19 中国建设银行股份有限公司 一种任务处理方法和装置
CN111610979A (zh) * 2020-04-15 2020-09-01 河南大学 一种经过持久化和耦合度优化的api网关及其方法
CN111752970A (zh) * 2020-06-26 2020-10-09 武汉众邦银行股份有限公司 一种基于缓存的分布式查询服务响应方法及存储介质
CN111898009A (zh) * 2020-06-16 2020-11-06 华北电力大学 一种多源电力数据融合的分布式采集系统及方法
CN111953785A (zh) * 2020-08-14 2020-11-17 中国工商银行股份有限公司 数据传输方法、系统及服务器
CN111970195A (zh) * 2020-08-13 2020-11-20 上海哔哩哔哩科技有限公司 数据传输方法和流式数据传输系统
CN112395269A (zh) * 2020-11-16 2021-02-23 中国工商银行股份有限公司 MySQL高可用组的搭建方法及装置
CN112671889A (zh) * 2020-12-21 2021-04-16 高新兴智联科技有限公司 一种实现支持多协议的分布式物联网中间件的方法
CN112769634A (zh) * 2020-12-09 2021-05-07 航天信息股份有限公司 一种基于Zookeeper的可横向扩展的分布式系统及开发方法
CN112764679A (zh) * 2021-01-19 2021-05-07 福建天泉教育科技有限公司 一种动态扩容的方法及终端
CN113010337A (zh) * 2021-01-21 2021-06-22 腾讯科技（深圳）有限公司 故障检测方法、总控节点、工作节点及分布式系统
CN113010261A (zh) * 2021-02-20 2021-06-22 博普乐科技(北京)有限公司 一种虚拟编程环境构建方法
CN113010307A (zh) * 2021-02-25 2021-06-22 成都库珀区块链科技有限公司 一种多链区块链浏览器系统及其使用方法
CN113032090A (zh) * 2021-02-20 2021-06-25 博普乐科技(北京)有限公司 一种虚拟编程仿真管理平台
CN113055476A (zh) * 2021-03-12 2021-06-29 杭州网易再顾科技有限公司 一种集群式服务系统、方法、介质和计算设备
WO2021139280A1 (zh) * 2020-07-20 2021-07-15 平安科技（深圳）有限公司 基于zookeeper的日志处理方法、装置、计算机设备和存储介质
CN114050960A (zh) * 2021-10-19 2022-02-15 厦门亿联网络技术股份有限公司 一种分布式服务器集群节点管理方法及装置
CN114448995A (zh) * 2021-12-24 2022-05-06 苏州纳智天地智能科技有限公司 基于raft选主策略的分布式计算方法
CN109995669B (zh) * 2019-04-09 2024-05-03 深圳前海微众银行股份有限公司 分布式限流方法、装置、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516809A (zh) * 2013-10-22 2014-01-15 浪潮电子信息产业股份有限公司 一种高扩展、高性能的分布式存储体系结构
US20150127608A1 (en) * 2013-11-01 2015-05-07 Cloudera, Inc. Manifest-based snapshots in distributed computing environments
CN105468735A (zh) * 2015-11-23 2016-04-06 武汉虹旭信息技术有限责任公司 基于移动互联网海量信息的流式预处理系统及其方法
CN106778033A (zh) * 2017-01-10 2017-05-31 南京邮电大学 一种基于Spark平台的Spark Streaming异常温度数据报警方法
CN106982356A (zh) * 2017-04-08 2017-07-25 复旦大学 一种分布式大规模视频流处理系统
CN107766157A (zh) * 2017-11-02 2018-03-06 山东浪潮云服务信息科技有限公司 基于国产cpu和os的分布式容器集群框架实现方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516809A (zh) * 2013-10-22 2014-01-15 浪潮电子信息产业股份有限公司 一种高扩展、高性能的分布式存储体系结构
US20150127608A1 (en) * 2013-11-01 2015-05-07 Cloudera, Inc. Manifest-based snapshots in distributed computing environments
CN105468735A (zh) * 2015-11-23 2016-04-06 武汉虹旭信息技术有限责任公司 基于移动互联网海量信息的流式预处理系统及其方法
CN106778033A (zh) * 2017-01-10 2017-05-31 南京邮电大学 一种基于Spark平台的Spark Streaming异常温度数据报警方法
CN106982356A (zh) * 2017-04-08 2017-07-25 复旦大学 一种分布式大规模视频流处理系统
CN107766157A (zh) * 2017-11-02 2018-03-06 山东浪潮云服务信息科技有限公司 基于国产cpu和os的分布式容器集群框架实现方法

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978334A (zh) * 2019-02-26 2019-07-05 国电南京自动化股份有限公司 一种基于电力模型的统计方法及系统
CN110008286A (zh) * 2019-03-26 2019-07-12 华南理工大学 一种注塑成型装备大数据采集和存储系统及方法
CN109977161A (zh) * 2019-03-28 2019-07-05 上海中通吉网络技术有限公司 presto集群的监控系统
CN109995669A (zh) * 2019-04-09 2019-07-09 深圳前海微众银行股份有限公司 分布式限流方法、装置、设备及可读存储介质
CN109995669B (zh) * 2019-04-09 2024-05-03 深圳前海微众银行股份有限公司 分布式限流方法、装置、设备及可读存储介质
CN110113406B (zh) * 2019-04-29 2022-04-08 成都网阔信息技术股份有限公司 基于分布式的计算服务集群系统
CN110113406A (zh) * 2019-04-29 2019-08-09 成都网阔信息技术股份有限公司 基于分布式的计算服务集群框架
CN110362390A (zh) * 2019-06-06 2019-10-22 银江股份有限公司 一种分布式数据集成作业调度方法及装置
CN110362390B (zh) * 2019-06-06 2021-09-07 银江股份有限公司 一种分布式数据集成作业调度方法及装置
CN110389766A (zh) * 2019-06-21 2019-10-29 深圳市汇川技术股份有限公司 HBase容器集群部署方法、系统、设备及计算机可读存储介质
CN110389766B (zh) * 2019-06-21 2022-12-27 深圳市汇川技术股份有限公司 HBase容器集群部署方法、系统、设备及计算机可读存储介质
CN110427354B (zh) * 2019-07-12 2022-04-15 四川九洲电器集团有限责任公司 一种分布式研判系统、方法及计算机存储介质、电子设备
CN110427354A (zh) * 2019-07-12 2019-11-08 四川九洲电器集团有限责任公司 一种分布式研判系统、方法及计算机存储介质、电子设备
CN110569144A (zh) * 2019-08-09 2019-12-13 苏宁金融科技(南京)有限公司 基于storm流式计算的数据处理方法和数据处理系统
CN110633145B (zh) * 2019-08-27 2023-03-31 苏宁云计算有限公司 一种分布式系统内实时通讯方法、装置及分布式系统
CN110633145A (zh) * 2019-08-27 2019-12-31 苏宁云计算有限公司 一种分布式系统内实时通讯方法、装置及分布式系统
CN111176783A (zh) * 2019-11-20 2020-05-19 航天信息股份有限公司 容器治理平台的高可用方法、装置及电子设备
CN111181765A (zh) * 2019-12-03 2020-05-19 中国建设银行股份有限公司 一种任务处理方法和装置
CN111610979A (zh) * 2020-04-15 2020-09-01 河南大学 一种经过持久化和耦合度优化的api网关及其方法
CN111898009A (zh) * 2020-06-16 2020-11-06 华北电力大学 一种多源电力数据融合的分布式采集系统及方法
CN111752970A (zh) * 2020-06-26 2020-10-09 武汉众邦银行股份有限公司 一种基于缓存的分布式查询服务响应方法及存储介质
CN111752970B (zh) * 2020-06-26 2024-01-30 武汉众邦银行股份有限公司 一种基于缓存的分布式查询服务响应方法及存储介质
WO2021139280A1 (zh) * 2020-07-20 2021-07-15 平安科技（深圳）有限公司 基于zookeeper的日志处理方法、装置、计算机设备和存储介质
CN111970195A (zh) * 2020-08-13 2020-11-20 上海哔哩哔哩科技有限公司 数据传输方法和流式数据传输系统
CN111970195B (zh) * 2020-08-13 2022-04-19 上海哔哩哔哩科技有限公司 数据传输方法和流式数据传输系统
CN111953785A (zh) * 2020-08-14 2020-11-17 中国工商银行股份有限公司 数据传输方法、系统及服务器
CN112395269B (zh) * 2020-11-16 2023-08-29 中国工商银行股份有限公司 MySQL高可用组的搭建方法及装置
CN112395269A (zh) * 2020-11-16 2021-02-23 中国工商银行股份有限公司 MySQL高可用组的搭建方法及装置
CN112769634B (zh) * 2020-12-09 2023-11-07 航天信息股份有限公司 一种基于Zookeeper的可横向扩展的分布式系统及开发方法
CN112769634A (zh) * 2020-12-09 2021-05-07 航天信息股份有限公司 一种基于Zookeeper的可横向扩展的分布式系统及开发方法
CN112671889A (zh) * 2020-12-21 2021-04-16 高新兴智联科技有限公司 一种实现支持多协议的分布式物联网中间件的方法
CN112671889B (zh) * 2020-12-21 2022-05-10 高新兴智联科技有限公司 一种实现支持多协议的分布式物联网中间件的方法
CN112764679A (zh) * 2021-01-19 2021-05-07 福建天泉教育科技有限公司 一种动态扩容的方法及终端
CN112764679B (zh) * 2021-01-19 2022-04-12 福建天泉教育科技有限公司 一种动态扩容的方法及终端
CN113010337A (zh) * 2021-01-21 2021-06-22 腾讯科技（深圳）有限公司 故障检测方法、总控节点、工作节点及分布式系统
CN113032090A (zh) * 2021-02-20 2021-06-25 博普乐科技(北京)有限公司 一种虚拟编程仿真管理平台
CN113010261A (zh) * 2021-02-20 2021-06-22 博普乐科技(北京)有限公司 一种虚拟编程环境构建方法
CN113010307A (zh) * 2021-02-25 2021-06-22 成都库珀区块链科技有限公司 一种多链区块链浏览器系统及其使用方法
CN113010307B (zh) * 2021-02-25 2024-04-05 库珀科技集团有限公司 一种多链区块链浏览器系统及其使用方法
CN113055476A (zh) * 2021-03-12 2021-06-29 杭州网易再顾科技有限公司 一种集群式服务系统、方法、介质和计算设备
CN114050960A (zh) * 2021-10-19 2022-02-15 厦门亿联网络技术股份有限公司 一种分布式服务器集群节点管理方法及装置
CN114448995A (zh) * 2021-12-24 2022-05-06 苏州纳智天地智能科技有限公司 基于raft选主策略的分布式计算方法

Also Published As

Publication number Publication date
CN109327509B (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
CN109327509A (zh) 一种主/从架构的低耦合的分布式流式计算框架
CN107479990B (zh) 一种分布式软件服务系统
US8949847B2 (en) Apparatus and method for managing resources in cluster computing environment
CN100570566C (zh) 一种异构多核间协调调度的方法及异构多核系统
CN108400992B (zh) 一种流式通信数据协议解析软件框架实现系统及方法
CN101146127B (zh) 一种分布式系统中客户端缓存更新的方法和装置
CN102915254A (zh) 任务管理方法及装置
US11656902B2 (en) Distributed container image construction scheduling system and method
CN111984505B (zh) 一种运维数据采集装置及采集方法
CN109271256A (zh) 一种基于分布式部署的云资源管理和监控系统及方法
CN113468221A (zh) 一种基于kafka消息数据总线的系统集成方法
EP4361808A1 (en) Resource scheduling method and device and computing node
CN114710571B (zh) 数据包处理系统
CN102193831B (zh) 一种建立层次化的映射/归约并行编程模型的方法
CN110442446A (zh) 实时处理高速数字信号数据流的方法
CN111541646A (zh) 一种增强密码机安全服务接入能力的方法
Roy et al. A proposal for optimization of horizontal scaling in big data environment
Syrigos et al. Optimization of Execution for Machine Learning Applications in the Computing Continuum
Coviello et al. Dataxe: A system for application self-optimization in serverless edge computing environments
CN113515524A (zh) 一种分布式缓存接入层节点的自动动态分配方法及装置
CN113626869A (zh) 数据处理方法、系统、电子设备以及存储介质
CN112148546A (zh) 电力系统静态安全分析并行计算系统及方法
CN117076057B (zh) 一种ai服务请求调度的方法、装置、设备及介质
CN117076508B (zh) 一种流数据处理系统支持批数据处理的方法
CN113590437B (zh) 一种告警信息处理方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant