CN109495337A - 一种基于udp的海量事件实时数据收集方法及装置 - Google Patents

一种基于udp的海量事件实时数据收集方法及装置 Download PDF

Info

Publication number
CN109495337A
CN109495337A CN201811124792.8A CN201811124792A CN109495337A CN 109495337 A CN109495337 A CN 109495337A CN 201811124792 A CN201811124792 A CN 201811124792A CN 109495337 A CN109495337 A CN 109495337A
Authority
CN
China
Prior art keywords
data
graphite
udp
brubeck
disk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811124792.8A
Other languages
English (en)
Inventor
马哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING THUNDERSTONE TECHNOLOGY Ltd
Original Assignee
BEIJING THUNDERSTONE TECHNOLOGY Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING THUNDERSTONE TECHNOLOGY Ltd filed Critical BEIJING THUNDERSTONE TECHNOLOGY Ltd
Priority to CN201811124792.8A priority Critical patent/CN109495337A/zh
Publication of CN109495337A publication Critical patent/CN109495337A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/164—Adaptation or special uses of UDP protocol

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供一种基于UDP的海量事件实时数据收集方法及装置，所述方法包括：将应用服务的开发代码通过用户数据报协议UDP发送到数据聚合器Brubeck；将利用Brubeck收集的数据发送到Graphite；利用CollectD从本地或者远程收集数据发送到Graphite；将Graphite获取的数据写入磁盘；利用可视化面板Crafana从Graphite获取数据，并作为统一的门户用来显示数据。上述技术方案具有如下有益效果：可以自由的配置监控系统，构建多维度报表，可以进行海量事件数据的收集,并且具有容错性。

Description

一种基于UDP的海量事件实时数据收集方法及装置
技术领域
本发明涉及数据统计和分析技术领域，尤其涉及一种基于UDP的海量事件实时数据收集方法及装置。
背景技术
为了适应行业的发展,现在的项目都有许多个应用微服务组成，由于对数据统计和分析的需求越来越强烈,已经是必不可少的一部分,所以必须对应用微服务加以监控,如果这些监控全部人工完成,显然不太可能。
发明内容
本发明实施例提供一种基于UDP的海量事件实时数据收集方法及装置，以自由的配置监控系统，进行海量事件数据的收集。
一方面，本发明实施例提供了一种基于UDP的海量事件实时数据收集方法，所述方法包括：
将应用服务的开发代码通过用户数据报协议UDP发送到数据聚合器Brubeck；
将利用Brubeck收集的数据发送到Graphite；
利用CollectD从本地或者远程收集数据发送到Graphite；
将Graphite获取的数据写入磁盘；
利用可视化面板Crafana从Graphite获取数据，并作为统一的门户用来显示数据。
另一方面，本发明实施例提供了一种基于UDP的海量事件实时数据收集装置，所述装置包括：
数据聚合器Brubeck单元，用于接收通过用户数据报协议UDP发送的应用服务的开发代码；
Graphite单元，用于作为路由，收集利用Brubeck收集的数据和利用CollectD从本地或者远程收集的数据，并将Graphite获取的数据写入磁盘；
可视化面板Crafana单元，用于从Graphite获取数据，并作为统一的门户用来显示数据。
上述技术方案具有如下有益效果：可以自由的配置监控系统，构建多维度报表，可以进行海量事件数据的收集,并且具有容错性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种基于UDP的海量事件实时数据收集方法流程图；
图2为本发明实施例一种基于UDP的海量事件实时数据收集装置结构示意图；
图3为本发明应用实例一种基于UDP的海量事件实时DevOp数据收集原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明实施例一种基于UDP的海量事件实时数据收集方法流程图，所述方法包括：
101、将应用服务的开发代码通过用户数据报协议UDP发送到数据聚合器Brubeck；
102、将利用Brubeck收集的数据发送到Graphite；
103、利用CollectD从本地或者远程收集数据发送到Graphite；
104、将Graphite获取的数据写入磁盘；
105、利用可视化面板Crafana从Graphite获取数据，并作为统一的门户用来显示数据。
优选地，所述将利用Brubeck收集的数据发送到Graphite，具体包括：将利用Brubeck收集的数据通过传输控制协议TCP发送到Graphite。UDP:是一个简单的面向数据包的传输层协议，只把应用程序传给IP层的数据报发送出去。Graphite:开源实时、显示时间序列度量数据的图形系统，就像一个数据库一样，接受度量数据，然后以实时方式查询、转换、组合这些度量数据。Crafana:一个可视化面板，非常漂亮的图表和布局展示，可以混搭多种风格。CollectD：是一个守护进程，收集系统上的信息。
优选地，所述将Graphite获取的数据写入磁盘，具体包括：
将Graphite获取的数据中不符合预设条件规范的丢掉，符合预设条件规范的写入磁盘。
优选地，将Graphite获取的数据中不符合预设条件规范的丢掉，符合预设条件规范的通过结构化的文件存储whisper写入磁盘。
优选地，所述方法还包括：
使用基于Moira构建的系统，通过触发器比对获取的数据，并在评估达不到预设指标时发送报警消息。
对应于上述方法实施例，如图2所示，为本发明实施例一种基于UDP的海量事件实时数据收集装置结构示意图，所述装置包括：
数据聚合器Brubeck单元21，用于接收通过用户数据报协议UDP发送的应用服务的开发代码；
Graphite单元22，用于作为路由，收集利用Brubeck收集的数据和利用CollectD从本地或者远程收集的数据，并将Graphite获取的数据写入磁盘；
可视化面板Crafana单元23，用于从Graphite获取数据，并作为统一的门户用来显示数据。
优选地，所述Graphite单元22，用于作为路由，具体通过传输控制协议TCP收集利用Brubeck收集的数据。
优选地，所述Graphite单元22，具体用于将Graphite获取的数据中不符合预设条件规范的丢掉，符合预设条件规范的写入磁盘。
优选地，所述Graphite单元22，进一步具体用于将Graphite获取的数据中不符合预设条件规范的丢掉，符合预设条件规范的通过结构化的文件存储whisper写入磁盘。
优选地，所述装置还包括：
Moira单元24，用于使用基于Moira构建的系统，通过触发器比对获取的数据，并在评估达不到预设指标时发送报警消息。
如图3所示，为本发明应用实例一种基于UDP的海量事件实时DevOp数据收集原理示意图(DevOps:是一组过程、方法与系统的统称,提倡开发和IT运维之间高度协同，从而在完成高频率部署的同时，提高生产环境的可靠行、稳定性、弹性和安全性)，其可以自由的配置监控系统，可以把所有应用服务(APPS)的开发代码都通过UDP发送到数据聚合器Brubeck，数据聚合器Brubeck通过TCP发送数据到Graphite；所有的数据都使用CollectD收集；CollectD会从本地或者远程收集数据发送到Graphite。Graphite作为一个路由收集所有聚合器发送过来的数据以及路由到这些节点，并且在路由时会检查所有监控数据，不符合规范就会被丢掉；获取的数据使用whisper结构化的文件存储)写入磁盘。Crafana(可视化面板)从Graphite获取数据，并且作为统一的门户用来显示监控数据；对于每个服务开发者可以构建自己独有的报表；然后使用二维图形会显示来自应用的监控数据。除了Crafana，本发明应用实例还用一个基于Graphite的数据分析SLA(服务等级协议)的python进程。使用SLAM查看文档对比Graphite的数据，并且评估服务的可用性是不是达到了指标。
对于报警本发明应用实例可以使用基于Moira构建的强大系统。并且使用Redis集群作为主要数据库。使本发明应用实例的系统具有良好的容错能力。由于其依据一些触发器来对比监控数据，所以它具备每分钟处理GB级别的数据。
本发明应用实例为一种基于UDP的海量事件实时DevOp数据收集装置，对事件产生的数据进行统计和分析，可以自由的配置监控系统，构建多维度报表，可以进行海量事件数据的收集，并且具有容错性。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于UDP的海量事件实时数据收集方法，其特征在于，所述方法包括：
将应用服务的开发代码通过用户数据报协议UDP发送到数据聚合器Brubeck；
将利用Brubeck收集的数据发送到Graphite；
利用CollectD从本地或者远程收集数据发送到Graphite；
将Graphite获取的数据写入磁盘；
利用可视化面板Crafana从Graphite获取数据，并作为统一的门户用来显示数据。
2.如权利要求1所述基于UDP的海量事件实时数据收集方法，其特征在于，所述将利用Brubeck收集的数据发送到Graphite，具体包括：
将利用Brubeck收集的数据通过传输控制协议TCP发送到Graphite。
3.如权利要求1所述基于UDP的海量事件实时数据收集方法，其特征在于，所述将Graphite获取的数据写入磁盘，具体包括：
将Graphite获取的数据中不符合预设条件规范的丢掉，符合预设条件规范的写入磁盘。
4.如权利要求3所述基于UDP的海量事件实时数据收集方法，其特征在于，将Graphite获取的数据中不符合预设条件规范的丢掉，符合预设条件规范的通过结构化的文件存储whisper写入磁盘。
5.如权利要求1所述基于UDP的海量事件实时数据收集方法，其特征在于，所述方法还包括：
使用基于Moira构建的系统，通过触发器比对获取的数据，并在评估达不到预设指标时发送报警消息。
6.一种基于UDP的海量事件实时数据收集装置，其特征在于，所述装置包括：
数据聚合器Brubeck单元，用于接收通过用户数据报协议UDP发送的应用服务的开发代码；
Graphite单元，用于作为路由，收集利用Brubeck收集的数据和利用CollectD从本地或者远程收集的数据，并将Graphite获取的数据写入磁盘；
可视化面板Crafana单元，用于从Graphite获取数据，并作为统一的门户用来显示数据。
7.如权利要求6所述基于UDP的海量事件实时数据收集装置，其特征在于，
所述Graphite单元，用于作为路由，具体通过传输控制协议TCP收集利用Brubeck收集的数据。
8.如权利要求6所述基于UDP的海量事件实时数据收集装置，其特征在于，
所述Graphite单元，具体用于将Graphite获取的数据中不符合预设条件规范的丢掉，符合预设条件规范的写入磁盘。
9.如权利要求8所述基于UDP的海量事件实时数据收集装置，其特征在于，
所述Graphite单元，进一步具体用于将Graphite获取的数据中不符合预设条件规范的丢掉，符合预设条件规范的通过结构化的文件存储whisper写入磁盘。
10.如权利要求6所述基于UDP的海量事件实时数据收集装置，其特征在于，所述装置还包括：
Moira单元，用于使用基于Moira构建的系统，通过触发器比对获取的数据，并在评估达不到预设指标时发送报警消息。
CN201811124792.8A 2018-09-26 2018-09-26 一种基于udp的海量事件实时数据收集方法及装置 Pending CN109495337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811124792.8A CN109495337A (zh) 2018-09-26 2018-09-26 一种基于udp的海量事件实时数据收集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811124792.8A CN109495337A (zh) 2018-09-26 2018-09-26 一种基于udp的海量事件实时数据收集方法及装置

Publications (1)

Publication Number Publication Date
CN109495337A true CN109495337A (zh) 2019-03-19

Family

ID=65689989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811124792.8A Pending CN109495337A (zh) 2018-09-26 2018-09-26 一种基于udp的海量事件实时数据收集方法及装置

Country Status (1)

Country Link
CN (1) CN109495337A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760459A (zh) * 2016-02-04 2016-07-13 四川嘉宝资产管理集团股份有限公司 一种分布式数据处理系统及方法
CN106487574A (zh) * 2016-04-01 2017-03-08 国家计算机网络与信息安全管理中心 自动化运行维护监测系统
CN107193909A (zh) * 2017-05-08 2017-09-22 杭州东方通信软件技术有限公司 数据处理方法及系统
US20170289307A1 (en) * 2016-03-29 2017-10-05 Amazon Technologies, Inc. System Interaction Monitoring And Component Scaling
CN107621944A (zh) * 2017-09-22 2018-01-23 天翼电子商务有限公司 基于自动化运维的持续集成流水线系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760459A (zh) * 2016-02-04 2016-07-13 四川嘉宝资产管理集团股份有限公司 一种分布式数据处理系统及方法
US20170289307A1 (en) * 2016-03-29 2017-10-05 Amazon Technologies, Inc. System Interaction Monitoring And Component Scaling
CN106487574A (zh) * 2016-04-01 2017-03-08 国家计算机网络与信息安全管理中心 自动化运行维护监测系统
CN107193909A (zh) * 2017-05-08 2017-09-22 杭州东方通信软件技术有限公司 数据处理方法及系统
CN107621944A (zh) * 2017-09-22 2018-01-23 天翼电子商务有限公司 基于自动化运维的持续集成流水线系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATTHEW HENRY: "监控即服务：微服务架构的模块化系统", 《INFOQ, URL: HTTPS://WWW.INFOQ.CN/ARTICLE/MONITORING-AS-A-SERVICE》 *

Similar Documents

Publication Publication Date Title
US11082439B2 (en) Unsupervised method for baselining and anomaly detection in time-series data for enterprise systems
US20210073680A1 (en) Data driven methods and systems for what if analysis
US10915830B2 (en) Multiscale method for predictive alerting
CN104516807B (zh) 自动日志传感器调谐
US12001926B2 (en) Systems and methods for detecting long term seasons
CN106953740B (zh) 应用中页面访问数据的处理方法、客户端、服务器及系统
CN103200046B (zh) 监控网元设备性能的方法及系统
US20150067153A1 (en) Remote monitoring of data facility in real-time using wireless sensor network
KR102076862B1 (ko) 네트워크 성능지표를 시각화하는 방법 및 장치, 및 시스템
US11887015B2 (en) Automatically-generated labels for time series data and numerical lists to use in analytic and machine learning systems
CN108549671A (zh) 数据实时采集并可视化的实现方法及装置
CN108701152A (zh) 管理和呈现工业资产的数据
US20140279779A1 (en) System and method for detecting platform anomalies through neural networks
Shi et al. SAVE: Sensor anomaly visualization engine
US20140034721A1 (en) Self-diagnosing processes using qr-code
CN108965427A (zh) 一种离线巡检数据处理的方法及装置
JP2015057706A (ja) イベントタイムライン生成
CN108408362A (zh) 一种用于输送带的智能传输监控系统及监控方法
CN112904734A (zh) 一种物联网和区块链双网关的智能家电控制系统和方法
CN106911800A (zh) 一种基于gprs的净水器数据采集系统及方法
CN105530137B (zh) 流量数据分析方法及流量数据分析系统
CN109558299A (zh) 业务监控与预警的方法、装置、设备及存储介质
Zubair et al. Characterizing IoT data and its quality for use
CN109495337A (zh) 一种基于udp的海量事件实时数据收集方法及装置
US12105614B2 (en) Systems and methods for collecting and processing application telemetry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190319

RJ01 Rejection of invention patent application after publication