CN111049898A - 一种实现计算集群资源跨域架构的方法及系统 - Google Patents

一种实现计算集群资源跨域架构的方法及系统 Download PDF

Info

Publication number
CN111049898A
CN111049898A CN201911259787.2A CN201911259787A CN111049898A CN 111049898 A CN111049898 A CN 111049898A CN 201911259787 A CN201911259787 A CN 201911259787A CN 111049898 A CN111049898 A CN 111049898A
Authority
CN
China
Prior art keywords
cluster
domain
computing
data
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911259787.2A
Other languages
English (en)
Inventor
孟彬
梁策
陈亚萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Eastcom Software Technology Co ltd
Original Assignee
Hangzhou Eastcom Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Eastcom Software Technology Co ltd filed Critical Hangzhou Eastcom Software Technology Co ltd
Priority to CN201911259787.2A priority Critical patent/CN111049898A/zh
Publication of CN111049898A publication Critical patent/CN111049898A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1087—Peer-to-peer [P2P] networks using cross-functional networking aspects
    • H04L67/1089—Hierarchical topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于大数据处理技术领域，具体涉及一种实现计算集群资源跨域架构的方法及系统。包括多个域的计算集群，包括至少两级计算集群的跨域汇合集群单元，所述跨域汇合集群单元包括一级n域集群和二级汇合集群，其中一级n域集群包括并列的n个域的计算集群，所述n为大于1的整数；所述方法包括：所述一级n域集群的n个计算集群分别进行分布式计算数据处理后，分别推送给所述二级汇合集群，进行汇合计算。本发明通过架设多级计算集群的跨域汇合集群单元，抽取跨域集群的结果数据，实现二级汇合计算，解决跨域集群间专线网络的通信压力，支持不同地区、不同机房架设集群实施跨域分布式计算。

Description

一种实现计算集群资源跨域架构的方法及系统
技术领域
本发明属于大数据处理技术领域，具体涉及一种实现计算集群资源跨域架构的方法及系统。
背景技术
随着电信运营商网络规模的不断扩大，网络结构逐渐复杂，2G、3G、4G用户数激增的同时，业务种类和业务量突飞猛增。运营商对此越来越重视，通过对这类大数据的实时流计算以辅助决策。实时流计算分析体现在，对数据按全省、地市、区县、各场景、小区甚至用户级别提供各项指标实时粒度数据。
由于全省每天要处理上百TB的信令话单文件数据，且要做到数据无积压，无延时，数据完整、准确，这对集群性能有特别高的要求，需要准实时获取指标数据。图1为现有技术共域资源计算集群架构示意图，现有的处理方案如图1所示：以同域资源为基础，架构流计算单一集群，从南向话单数据源端采集抽取信令等话单数据到计算集群的数据解析&分发节点(M集合)，并按数据的不同业务维度分片，分发或复制(当同一条数据应用于不同维度计算时需要复制)到集群内数据处理节点(N集合)中，现有架构方案虽然M、N集之间的网状数据交互非常复杂，但在同一计算集群域(如同一服务器机房)中，通常带宽不会成为限制数据处理性能的最主要矛盾。所以一般而言，要应对同一集群域计算数据量的增长，可以通过水平扩展计算集群中M和N集的处理节点数量，也能很好的达到预期良好的计算性能目标。扩展处理节点相应的需要扩展集群计算服务器。
但是，电信运营商近年的数据量增速惊人，每年以非常迅猛的速度增加，而且越来越表现出加速增长的趋势。虽然从理论上而言，一个流计算集群的服务器和处理节点可以准线性增加，但现在会出现以下问题：
1)同一计算集群中，由于计算结果数据的缓存集群(如，redis集群)计算能力与计算节点扩展之间线性增长关系难以无限维持，存在瓶颈问题，如图2所示。
2)在同一域(如，同一机房)中的服务器资源却因为机房容量等限制原因，该架构方案开始出现无法解决的资源扩展瓶颈。
3)常规而言，多域扩展服务器资源是可行的，但是此时，数据解析&分发节点(M集合)与数据处理节点(N集合)产生的跨域性网状交叉复制性传输每日几百TB数据的现象，对集群节点间的带宽IO要求非常高。主要矛盾是：跨域间网络通常为专线方式，专线方式的成本较高，同时专线承载了除流计算集群之外的其他跨域应用之间的数据通信，图3为现有技术多域间带宽不足的架构示意图，如图3所示，其实际带宽远远不能满足M、N集合计算节点间的交互数据IO带宽需求。
发明内容
本发明提供一种实现计算集群资源跨域架构的方法，通过架构多级计算集群的跨域汇合集群单元，分解单一集群的计算压力，从而使单一集群计算节点做到有限扩展，避免数据缓存集群压力。
为实现上述目的，本发明采用以下技术方案：
一种实现计算集群资源跨域架构的方法，包括多个域的计算集群，包括至少两级计算集群的跨域汇合集群单元，所述跨域汇合集群单元包括一级n域集群和二级汇合集群，其中一级n域集群包括并列的n个域的计算集群，所述n为大于1的整数；所述方法包括：所述一级n域集群的n个计算集群分别进行分布式计算数据处理后，分别推送给所述二级汇合集群，进行汇合计算。
优选地，所述方法包括以下步骤：
话单数据源采集实时粒度数据分发给所述一级n域集群的各域计算集群；
所述一级n域集群各域计算集群分别进行分布式计算数据处理，得到各域计算集群的结果数据；
分别推送给所述二级汇合集群；
所述二级汇合集群对各域的结果数据进行节点数据处理。
优选地，还包括：
所述二级汇合集群进行的数据处理，之后数据持久化或数据应用。
优选地，所述二级汇合集群进行节点数据处理后，形成临时缓存，然后数据持久化和/或数据应用。
优选地，所述话单数据源采集后按节点规模比例、随机分发或根据业务量分发。
优选地，所述一级n域集群各域计算集群的结果数据分别通过Kafka消息中间件推送给所述二级汇合集群。
本发明还提供一种实现计算集群资源跨域架构的系统，通过架设多级计算集群的跨域汇合集群单元，抽取跨域集群的结果数据，实现二级汇合计算，解决跨域集群间专线网络的通信压力，支持不同地区、不同机房架设集群实施跨域分布式计算。
为实现上述目的，采用以下技术方案：
一种实现计算集群资源跨域架构的系统，包括多个域的计算集群，包括至少两级计算集群的跨域汇合集群单元，所述跨域汇合集群单元包括一级n域集群和二级汇合集群，其中一级n域集群包括并列的n个域的计算集群，所述n为大于1的整数；所述一级n域集群的多个计算集群分别与所述二级汇合集群交互设置，用于将n个计算集群的数据分别计算并推送给所述二级汇合集群。
优选地，所述计算集群包括流计算集群,用于进行分布式流计算。
优选地，所述系统的架构包括：
采集分发模块，用于采集消息，分区分发；
所述一级n域集群包括n个一级流计算模块：
所述n个一级流计算模块，用于分别接收所述消息并进行实时计算，得到n个一级消息，其中n为正整数；
Kafka消息中间件，用于推送n个一级消息；
所述二级汇合集群包括二级流计算模块，用于计算上述n个一级消息，得到二级消息。
优选地，二级汇合集群还包括：
二级缓存模块，用于存储所述二级消息，得到二级缓存消息；
汇集存储模块，用于数据持久存储。
优选地，所述系统的架构还包括：
应用模块，用于数据应用。
优选地，所述采集分发模块，按节点规模比例、按照业务量或者随机分发。
优选地，所述多个域的计算集群采用Storm集群。
优选地，所述一级缓存模块和二级缓存模块分别采用Redis集群。
优选地，所述汇集存储模块采用HBase集群。
本发明具有以下优点：
1)本发明解决单一集群计算节点扩展的瓶颈问题。单一计算集群中，由于数据结果缓存集群存在瓶颈问题，计算集群计算节点随着数据量增长而线性扩展的状况难以维系。本发明通过架构多级计算集群的跨域汇合集群单元，分解单一集群的计算压力，从而使单一集群计算节点做到有限扩展，避免数据缓存集群压力。
2)本发明解决多计算集群跨域架构问题。本发明通过架设多级计算集群的跨域汇合集群单元，抽取跨域集群的结果数据，实现二级汇合计算，解决跨域集群间专线网络的通信压力，支持不同地区、不同机房架设集群实施跨域分布式计算。
3)本发明计算的过程中，虽然存在数据节点之间巨额高频网状数据分发，但每个集群的输出计算产生的结果数据量远远少于数据源的数据量。
4)本发明计算结果数据量基本稳定，受数据源数据量的变化影响不大。即，同一集群中的数据源数据量在允许的范围内随机减少一定量(如，剩余1/2、1/3等)，结果数据量变化微小。
附图说明
图1为现有技术共域资源计算集群架构示意图；
图2为现有技术存在缓存瓶颈的架构示意图；
图3为现有技术多域间带宽不足的架构示意图；
图4为本实施例1跨域资源流计算集群架构图；
图5为本实施例1分布式的流式计算效果示意图；
图6为本实施例1方法的流程图；
图7为本实施例1系统架构的结构示意图；
图8为本实施例1数据采集到数据解析示意图。
下面结合附图和实施例，对本发明的技术方案做进一步描述。
具体实施方式
实施例1
大数据、流式处理技术中，分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，与MapReduce一样是一种通用计算框架，期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，用它来描述流处理作业的拓扑。
应对如此大流量的大数据流计算处理，跨域间(不同地域间或不同机房间)的网络通常为专线方式，同时承载了除流计算集群之外的其他应用之间的数据通信，其实际带宽远远不能满足M、N集合计算节点间的交互数据IO带宽的需求。
为此，本实施例提供一种实现计算集群资源跨域架构的方法，包括多个域的计算集群，包括至少两级计算集群的跨域汇合集群单元，所述跨域汇合集群单元包括一级n域集群和二级汇合集群，其中一级n域集群包括并列的多个域的计算集群，所述一级n域集群的多个计算集群分别进行分布式计算数据处理后，分别推送给所述二级汇合集群，进行汇合计算。
所述多个域的计算集群采用Storm集群。Apache Storm集群:简称Storm集群，是主流的流处理框架，后期已经成为长期的工业级的标准。Storm集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构实现，是开源的分布式系统，允许在运行数据流代码时，将任务分配到一系列具有容错能力的计算机上并行运行。此外，Storm集群是原生的流处理系统，提供low-level的API。它提供简单的API来简化底层实现的复杂程度。API:应用程序接口(API:Application Program Interface)应用程序接口是一组定义、程序及协议的集合，通过API接口实现计算机软件之间的相互通信。Storm集群具有低延迟、可扩展和容错性诸多优点。
在Storm集群中，先要设计一个用于实时计算的图状结构，我们称之为拓扑结构(topology)。这个拓扑结构将会被提交给集群，由集群中的主控节点(master node)分发代码，将任务分配给工作节点(worker node)执行。Storm集群使用Thrift来定义topology(拓扑结构)和支持多语言协议，使得我们可以使用大部分编程语言开发，对于允许增量计算的高速事件处理系统，Storm集群会是最佳选择。
图4为本实施例1跨域资源流计算集群架构图，如图4所示，话单数据源采用FTP(File Transfer Protocol，文件传输协议)采集数据，形成FTP文件，以消息的形式发给Kafka的消息队列，监听消息队列，然后分片分发处理。如图5所示，例如某条话单数据被分区复制到两个处理节点分别按用户统计和按区域(如小区、场景)等维度统计，某条话单数据被分区分发到一个处理节点按业务类别(如即时通信、视频)等维度统计，然后在数据处理节点(N集合)进一步对数据进行分布式的流式计算，并将数据按实时周期(例如，每5分钟为一个周期)计算累加为各业务维度结果数据(注：对于每周期的数据计算结果，其特点是维度相对固定、数据量相对稳定),结果数据被提交到数据缓存(如redis集群)，供北向进一步持久化及各类应用二次分析使用。
所述一级n域集群包括多域的计算集群，每个域的计算集群包括但不限于M集合节点与N集合节点，M集合节点与N集合节点之间在同一个域(如，同一机房)内交互，不存在跨域复杂的网状数据复制交互发生，有效解决跨域间交互数据IO带宽的瓶颈问题。
所述一级n域集群按节点分层交互数据处理，即以流水线的形式，将每一个环节的n个消息处理结果流到下一步，经过缓存形成n个一级消息，通过Kafka消息中间件分别将n个一级消息传输给所述二级汇合集群。经过二级汇合集群分片分发处理后，数据缓存，然后进行数据持久化及数据应用。
上述Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余。
具体地，如图6所示，图6为本实施例1方法的流程图，包括以下步骤：
S1、话单数据源采集实时粒度数据分发给所述一级n域集群的各域计算集群；
S2、所述一级n域集群各域计算集群分别进行分布式计算数据处理，得到各域计算集群的结果数据；
S3、分别通过Kafka消息中间件及时推送给所述二级汇合集群；
S4、所述二级汇合集群对各域的临时缓存消息进行节点数据处理；
S5、形成临时缓存，之后数据持久化或数据应用。
优选地，所述二级汇合集群进行的数据处理采用节点分层交互处理。
本发明通过架设多级计算集群的跨域汇合集群单元，抽取跨域集群的结果数据，实现二级汇合计算，解决跨域集群间专线网络的通信压力，支持不同地区、不同机房架设集群实施跨域分布式计算，有效解决多计算集群跨域架构问题。
优选地，所述话单数据源采集实时粒度数据后按节点规模比例、随机分发或根据业务量分发。
粒度是数据库名词，是指计算机领域中粒度指系统内存扩展增量的最小值。粒度问题是设计数据仓库的一个最重要方面。粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度级就越小；相反，细化程度越低，粒度级就越大。
按业务分发：将多份业务分发到不同的节点或者多份业务集中在某几个节点承载，节省数据流量，减少网状交互。
经过一级n域集群各域计算集群的n个计算集群处理后数据量大大降低，然后分别通过kafka消息中间件传输给所述二级汇合集群，数据量显著降低，即相当于通过一级n域集群将数据压缩了，由此解决了域间网状交互带宽不够的问题。
本发明还提供一种实现计算集群资源跨域架构的系统，与前述的方法实施例对应，可参照进行理解。
具体地，包括多个域的计算集群，包括至少两级计算集群的跨域汇合集群单元，所述跨域汇合集群单元包括一级n域集群和二级汇合集群，其中一级n域集群包括并列的多个域的计算集群，所述一级n域集群的多个计算集群分别与所述二级汇合集群交互设置。
优选地，所述计算集群包括流计算集群,用于进行分布式流计算。
单一计算集群中，由于数据结果缓存集群存在瓶颈问题，计算集群计算节点随着数据量增长而线性扩展的状况难以维系。本发明通过架构多级计算集群的跨域汇合集群单元，分解单一集群的计算压力，从而使单一集群计算节点做到有限扩展，避免数据缓存集群压力，有效解决单一集群计算节点扩展的瓶颈问题。
如图5所示，设置包括至少两级计算集群的跨域汇合集群单元，包括设置并列的多个域的流计算集群的一级n域集群ZONE-1～ZONE-n，所述一级n域集群ZONE-1～ZONE-n的计算集群分别抽取到数据采集数据源的分区数据。例如，根据各跨域集群规模大小，对各集群按计算资源规模比例分配，这样一级n域集群ZONE-1～ZONE-n的计算结果数据量几乎相同，但已经对跨域情况的传输带宽没有压力。此时，一级n域集群ZONE-1～ZONE-n的计算结果还不是最终的需求结果，需要架构二级汇合集群ZONE-0基于一级n域集群ZONE-1～ZONE-n的临时结果计算产生最终结果数据。
架构二级汇合集群ZONE-0通过跨域专线网络，分别从一级n域集群ZONE-1～ZONE-n的计算结果队列(如kafka)中分别监听抽取n个域的结果数据。此时，二级汇合集群ZONE-0与一级n域集群ZONE-1～ZONE-n之间产生了跨域数据传输，但属于总线式传输，并非复杂的网状复制数据交互，对跨域网络带宽不再成为瓶颈。
优选地，图7为本实施例1系统架构的结构示意图，如图7所示，采集分发模块分发给一级n域集群ZONE-1～ZONE-n，然后分别推送给二级汇合集群ZONE-0，所述二级汇合集群ZONE-0与一级n域集群ZONE-1～ZONE-n之间产生了跨域数据总线式传输。
具体地，所述系统的架构包括采集分发模块1、n个一级流计算模块2、n个一级缓存模块3、二级流计算模块4，还包括二级缓存模块5、汇集存储模块6，还可以包括应用模块7。其中，
采集分发模块1，用于采集消息，分区分发；
具体地，话单数据源(信令XDR(external data representation，外部数据表示)文件)每隔设定时间(例如，每一分钟)或文件达到设定大小(例如，500MB)时输出一个文件到指定的FTP服务器目录下，通过采集分发模块1，每分钟轮询FTP(File TransferProtocol，文件传输协议)服务器文件状态，将检测到的文件通过FTP/SFTP(Secure FileTransfer Protocol，安全文件传送协议)等方式数据缓存模块，在文件写入完成后，采集分发模块1发送消息通知一级流计算模块2对数据进行实时处理。
其中，采集分发模块1可以使用消息队列(如，Kafka等)作为通知消息的通道，通过单独部署的消息队列集群方式(如，Zookeeper+Kafka)进行采集信息的可靠性保障。图8为本实施例1数据采集到数据解析示意图，如图8所示，从数据采集到数据解析的次序过程如下：
a、分布式采集模块从话单数据源抽取数据；
b、采集文件按集群规模比例或话单类型分流存储到各计算域的分布式文件存储集群(如hadoop)；
c、采集模块将文件准备好通知通过消息队列集群(如kafka)通知对应域的计算集群；
d、各域计算集群及时监听队列中文件准备好通知消息；
e、各域计算集群数据解析节点(M集)根据通知信息，分别提取对应的文件，并解析，为下一步分发处理做准备。
采集分发模块1可以将采集的信令XDR文件在本地以HDFS(Hadoop DistributedFile System，分布式文件系统)的方式进行分布式存储，作为一级流计算模块2实时计算的数据源，每次文件采集完成后即通知一级流计算模块2进行实时计算。采用分布式HDFS方式存储接口数据既可以实现接口数据的快速存储，也方便对接口数据的质量进行核查，接口缓存数据可存储设定的时间(例如，3天)，超过设定时间的数据按照系统的删除策略(例如，直接删除或者删除并备份等等)进行删除。
所述一级n域集群包括n个一级流计算模块2：
所述n个一级流计算模块2，用于分别接收所述消息并进行实时计算，得到n个一级消息，其中n为正整数；
具体地，一级流计算模块2对采集的信令XDR数据通过流计算框架(如，Storm集群)实现海量数据的实时计算，流计算集群由一个主节点和多个工作节点组成，主节点采用主备方式进行部署，主节点的守护进程用于分配代码、布置任务及故障检测，每个工作节点的守护进程用于监听工作，开始并终止工作进程，由ZooKeeper来实现两者的协调工作。
Kafka消息中间件，用于及时推送n个一级消息；
Kafka是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率。能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余。分别将一级流计算模块2内缓存在Redis集群的消息及时推送至二级汇合集群。
所述二级汇合集群包括二级流计算模块4，用于计算上述n个临时缓存消息，得到二级消息。
二级流计算模块4对采集的信令XDR数据通过流计算框架(Storm集群)实现海量数据的实时计算，流计算集群由一个主节点和多个工作节点组成。二级流计算模块4计算上述n个临时缓存消息，得到二级消息。
所述二级汇合集群还包括：二级缓存模块5，用于存储所述二级消息，得到二级缓存消息；
所述二级缓存模块5采用分布式内存数据库实现，例如采用Redis集群。存储所述二级消息，得到二级缓存消息。二级缓存模块5可采用Redis作为内存数据库，在数据量小的时候可以采用主备模式，数据量大的情况下采用集群模式进行部署。
一级缓存主要用于在各域中缓存计算处理过程中数据临时交换作用，各域计算集群与一级缓存的缓存数据交换频次通常会比结果输出周期小很多(比如1秒交换一次)；二级缓存一方面同样作为计算集群的数据交换使用，另一方面也是对所有话单数据计算的最终版的结果缓存，该缓存数据可以被直接持久化，也可以被其他应用二次分析处理。
汇集存储模块6，用于数据持久存储。
持久化(Persistence)，即把数据(如内存中的对象)保存到可永久保存的存储设备中(如磁盘)。持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。持久化是将程序数据在持久状态和瞬时状态间转换的机制。持久数据其实就是将数据保存到数据库。数据持久化是将内存中的数据模型转换为存储模型,以及将存储模型转换为内存中的数据模型的统称。持久化技术封装了数据访问细节，为大部分业务逻辑提供面向对象的API。
通过持久化技术可以减少访问数据库数据次数，增加应用程序执行速度；代码重用性高，能够完成大部分数据库操作；松散耦合，使持久化不依赖于底层数据库和上层业务逻辑实现，更换数据库时只需修改配置文件而不用修改代码。
例如，所述汇集存储模块6采用HBase集群，用于数据持久存储。
Hadoop Database，简称HBase，是一个开源的、分布式的、版本化、列式存储的非关系型数据库。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
ZooKeeper协调HBase和kafka保障高可用性。
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
所述系统的架构还包括：应用模块7，用于数据应用。
应用程序可以根据需要采用自己编写的程序，应用时，能够实时查询并展现从海量数据中计算出的性能指标值等数据，实时访问二级缓存模块5或汇集存储模块6里面的数据。
例如：进行查询：查找如1秒、1天、1周、1月等的数据；
实时监控应用：例如监控3分钟内页面，每隔一定时间取一定数据，直接把实时数据在页面上展示。
后续分析应用：访问成功率查询时，取出访问次数及访问成功次数，计算出访问成功率的百分比，计算出对应的率值，根据率值分析某一地市或某业务的访问成功率，进而分析出不同指标间的关系，判别问题。
汇合分析应用：例如将5分钟的数据汇集成小时、天等的数据，或者地市的数据汇集成省级数据，可直接编程应用。
可批量应用：外部接口可以一次性发送多个查询内容打包，接口会将所有数据打包返回给接口调用商。
通过本发明实施例提供的实时采集、数据处理、快速查询和分析应用等架构，将海量信令XDR数据通过采集处理并消息通知的方式，结合流计算集群和分级的内存缓存集群进行实时的数据处理，缩短数据处理的时长；且架构二级汇合集群ZONE-0通过跨域专线网络，分别从一级n域集群ZONE-1～ZONE-n的计算结果队列(如kafka)中分别监听抽取两域的临时结果数据，传输给所述二级汇合集群的数据量显著降低，由此解决了域间网状交互带宽不够的问题。同时还可以提供数据实时查询的能力和历史数据持久化的能力。实现了海量数据的采集、实时数据计算和汇合、历史海量数据存储以及实时/历史数据的快速查询和分析应用。
计算的过程中，虽然存在数据节点之间巨额高频网状数据分发，但计算产生的结果数据量远远少于数据源的数据量。且计算结果数据量基本稳定，受数据源数据量的变化影响不大。即，同一集群中的数据源数据量在允许的范围内随机减少一定量(如，剩余1/2、1/3等)，结果数据量变化微小。
而此时，二级汇合集群ZONE-0与一级n域集群ZONE-1～ZONE-n之间产生了跨域数据传输，属于总线式传输，并非复杂的网状复制数据交互，解决跨域网络带宽的瓶颈问题。
实施例2
本实施例还可以设置为三级或多级汇合集群，包括上述的跨域汇合集群单元。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种实现计算集群资源跨域架构的方法，包括多个域的计算集群，其特征在于，包括至少两级计算集群的跨域汇合集群单元，所述跨域汇合集群单元包括一级n域集群和二级汇合集群，其中一级n域集群包括并列的n个域的计算集群，所述n为大于1的整数；所述方法包括：所述一级n域集群的n个计算集群分别进行分布式计算数据处理后，分别推送给所述二级汇合集群，进行汇合计算。
2.根据权利要求1所述的实现计算集群资源跨域架构的方法，其特征在于，所述方法包括以下步骤：
话单数据源采集实时粒度数据分发给所述一级n域集群的各域计算集群；
所述一级n域集群各域计算集群分别进行分布式计算数据处理，得到各域计算集群的结果数据；
分别推送给所述二级汇合集群；
所述二级汇合集群对各域的结果数据进行节点数据处理。
3.根据权利要求2所述的实现计算集群资源跨域架构的方法，其特征在于，还包括：
所述二级汇合集群进行的数据处理，之后数据持久化或数据应用。
4.根据权利要求3所述的实现计算集群资源跨域架构的方法，其特征在于，所述一级n域集群各域计算集群的结果数据分别通过Kafka消息中间件推送给所述二级汇合集群。
5.根据权利要求2-4中任一权利要求所述的实现计算集群资源跨域架构的方法，其特征在于，所述话单数据源采集后按节点规模比例、随机分发或根据业务量分发。
6.一种实现计算集群资源跨域架构的系统，包括多个域的计算集群，其特征在于，包括至少两级计算集群的跨域汇合集群单元，所述跨域汇合集群单元包括一级n域集群和二级汇合集群，其中一级n域集群包括并列的n个域的计算集群，所述n为大于1的整数；所述一级n域集群的多个计算集群分别与所述二级汇合集群交互设置，用于将n个计算集群的数据分别计算并推送给所述二级汇合集群。
7.根据权利要求6所述的实现计算集群资源跨域架构的系统，其特征在于，所述计算集群包括流计算集群,用于进行分布式流计算。
8.根据权利要求7所述的实现计算集群资源跨域架构的系统，其特征在于，所述系统的架构包括：
采集分发模块，用于采集消息，分区分发；
所述一级n域集群包括n个一级流计算模块：
n个一级流计算模块，用于分别接收所述消息并进行实时计算，得到n个一级消息，其中n为正整数；
Kafka消息中间件，用于推送n个一级消息；
所述二级汇合集群包括二级流计算模块，用于计算上述n个一级消息，得到二级消息。
9.根据权利要求8所述的实现计算集群资源跨域架构的系统，其特征在于，所述二级汇合集群还包括：
二级缓存模块，用于存储所述二级消息，得到二级缓存消息；
汇集存储模块，用于数据持久存储。
10.根据权利要求9所述的实现计算集群资源跨域架构的系统，其特征在于，所述系统的架构还包括：
应用模块，用于数据应用。
CN201911259787.2A 2019-12-10 2019-12-10 一种实现计算集群资源跨域架构的方法及系统 Pending CN111049898A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911259787.2A CN111049898A (zh) 2019-12-10 2019-12-10 一种实现计算集群资源跨域架构的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911259787.2A CN111049898A (zh) 2019-12-10 2019-12-10 一种实现计算集群资源跨域架构的方法及系统

Publications (1)

Publication Number Publication Date
CN111049898A true CN111049898A (zh) 2020-04-21

Family

ID=70235436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911259787.2A Pending CN111049898A (zh) 2019-12-10 2019-12-10 一种实现计算集群资源跨域架构的方法及系统

Country Status (1)

Country Link
CN (1) CN111049898A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597024A (zh) * 2020-05-14 2020-08-28 科东(广州)软件科技有限公司 跨域集群处理方法、装置、电子设备及存储介质
CN112051968A (zh) * 2020-08-07 2020-12-08 东北大学 基于Kafka的分布式数据流分级缓存自动迁移算法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140365433A1 (en) * 2013-06-05 2014-12-11 Netapp, Inc. Cross domain locking in a distributed environment
CN105703940A (zh) * 2015-12-10 2016-06-22 中国电力科学研究院 一种面向多级调度分布式并行计算的监控系统及监控方法
CN106034160A (zh) * 2015-03-19 2016-10-19 阿里巴巴集团控股有限公司 分布式计算系统和方法
CN106250566A (zh) * 2016-08-31 2016-12-21 天津南大通用数据技术股份有限公司 一种分布式数据库及其数据运算的管理方法
CN106504242A (zh) * 2016-10-25 2017-03-15 Tcl集团股份有限公司 目标检测方法及系统
CN107070890A (zh) * 2017-03-10 2017-08-18 北京市天元网络技术股份有限公司 一种通信网优系统中的流数据处理装置及通信网优系统
CN107193909A (zh) * 2017-05-08 2017-09-22 杭州东方通信软件技术有限公司 数据处理方法及系统
CN107679192A (zh) * 2017-10-09 2018-02-09 中国工商银行股份有限公司 多集群协同数据处理方法、系统、存储介质及设备
CN107888666A (zh) * 2017-10-27 2018-04-06 北京奇艺世纪科技有限公司 一种跨地域数据存储系统以及数据同步方法和装置
CN107943668A (zh) * 2017-12-15 2018-04-20 江苏神威云数据科技有限公司 计算机服务器集群日志监控方法及监控平台
CN109815254A (zh) * 2018-12-28 2019-05-28 北京东方国信科技股份有限公司 基于大数据的跨地域任务调度方法及系统
CN109960710A (zh) * 2019-01-16 2019-07-02 平安科技（深圳）有限公司 数据库之间的数据同步方法和系统
CN110308984A (zh) * 2019-04-30 2019-10-08 北京航空航天大学 一种用于处理地理分布式数据的跨集群计算系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140365433A1 (en) * 2013-06-05 2014-12-11 Netapp, Inc. Cross domain locking in a distributed environment
CN106034160A (zh) * 2015-03-19 2016-10-19 阿里巴巴集团控股有限公司 分布式计算系统和方法
CN105703940A (zh) * 2015-12-10 2016-06-22 中国电力科学研究院 一种面向多级调度分布式并行计算的监控系统及监控方法
CN106250566A (zh) * 2016-08-31 2016-12-21 天津南大通用数据技术股份有限公司 一种分布式数据库及其数据运算的管理方法
CN106504242A (zh) * 2016-10-25 2017-03-15 Tcl集团股份有限公司 目标检测方法及系统
CN107070890A (zh) * 2017-03-10 2017-08-18 北京市天元网络技术股份有限公司 一种通信网优系统中的流数据处理装置及通信网优系统
CN107193909A (zh) * 2017-05-08 2017-09-22 杭州东方通信软件技术有限公司 数据处理方法及系统
CN107679192A (zh) * 2017-10-09 2018-02-09 中国工商银行股份有限公司 多集群协同数据处理方法、系统、存储介质及设备
CN107888666A (zh) * 2017-10-27 2018-04-06 北京奇艺世纪科技有限公司 一种跨地域数据存储系统以及数据同步方法和装置
CN107943668A (zh) * 2017-12-15 2018-04-20 江苏神威云数据科技有限公司 计算机服务器集群日志监控方法及监控平台
CN109815254A (zh) * 2018-12-28 2019-05-28 北京东方国信科技股份有限公司 基于大数据的跨地域任务调度方法及系统
CN109960710A (zh) * 2019-01-16 2019-07-02 平安科技（深圳）有限公司 数据库之间的数据同步方法和系统
CN110308984A (zh) * 2019-04-30 2019-10-08 北京航空航天大学 一种用于处理地理分布式数据的跨集群计算系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597024A (zh) * 2020-05-14 2020-08-28 科东(广州)软件科技有限公司 跨域集群处理方法、装置、电子设备及存储介质
CN111597024B (zh) * 2020-05-14 2022-02-18 科东(广州)软件科技有限公司 跨域集群处理方法、装置、电子设备及存储介质
CN112051968A (zh) * 2020-08-07 2020-12-08 东北大学 基于Kafka的分布式数据流分级缓存自动迁移算法

Similar Documents

Publication Publication Date Title
US11755452B2 (en) Log data collection method based on log data generated by container in application container environment, log data collection device, storage medium, and log data collection system
US9652723B2 (en) Electrical transformer failure prediction
CN103761309B (zh) 一种运营数据处理方法及系统
CN111459986B (zh) 数据计算系统及方法
CN105893628A (zh) 一种数据实时收集系统及方法
CN107103064B (zh) 数据统计方法及装置
CN107070890A (zh) 一种通信网优系统中的流数据处理装置及通信网优系统
CN107193909A (zh) 数据处理方法及系统
CN109710731A (zh) 一种基于Flink的数据流多向处理系统
CN105677842A (zh) 基于Hadoop大数据处理技术的日志分析系统
Fernández-Rodríguez et al. Benchmarking real-time vehicle data streaming models for a smart city
CN109739919A (zh) 一种用于电力系统的前置机和采集系统
CN107343021A (zh) 国网云中应用的一种基于大数据的日志管理系统
CN105405070A (zh) 一种分布式内存电网系统构建方法
CN111782620A (zh) 一种信用链路自动跟踪平台及其方法
CN108268569A (zh) 基于大数据技术的水资源监测数据采集与分析系统及方法
CN111049898A (zh) 一种实现计算集群资源跨域架构的方法及系统
CN112559634A (zh) 一种基于计算机云计算大数据用数据管理系统
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
CN105989065B (zh) 一种闪拍数据处理方法及系统
CN105069029A (zh) 一种实时etl系统及方法
CN113672668A (zh) 大数据场景下的日志实时处理方法及装置
CN107480189A (zh) 一种多维度实时分析系统及方法
CN111049846A (zh) 数据处理方法和装置、电子设备及计算机可读存储介质
CN115391429A (zh) 基于大数据云计算的时序数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination