CN108280015A - 基于大数据的集群服务器日志实时处理方法及计算机设备 - Google Patents

基于大数据的集群服务器日志实时处理方法及计算机设备 Download PDF

Info

Publication number
CN108280015A
CN108280015A CN201810120576.XA CN201810120576A CN108280015A CN 108280015 A CN108280015 A CN 108280015A CN 201810120576 A CN201810120576 A CN 201810120576A CN 108280015 A CN108280015 A CN 108280015A
Authority
CN
China
Prior art keywords
time
data
daily record
real
cluster server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810120576.XA
Other languages
English (en)
Other versions
CN108280015B (zh
Inventor
黄桥藩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Star Software Co Ltd
Original Assignee
Fujian Star Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Star Software Co Ltd filed Critical Fujian Star Software Co Ltd
Priority to CN201810120576.XA priority Critical patent/CN108280015B/zh
Publication of CN108280015A publication Critical patent/CN108280015A/zh
Application granted granted Critical
Publication of CN108280015B publication Critical patent/CN108280015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种基于大数据的集群服务器日志实时处理方法，集群服务器根据设定的时间间隔收集日志数据；将收集时间作为时间标签，并将所述时间标签作为最外层数据嵌套至所述日志数据；发送所述日志数据；本发明还提供一种计算机设备，使得日志可以实时进行分析。

Description

基于大数据的集群服务器日志实时处理方法及计算机设备
技术领域
本发明涉及一种基于大数据的集群服务器日志实时处理方法及计算机设备。
背景技术
现有的服务器运维日志数据分析监控的方法无法实现数据实时采集形成数据流，分析只能对静态一段时间的运维日志进行分析，这就导致无法及时有效的对当前的服务器性能进行有效的监控和分析，特别是大规模集群服务器的数量多的时候，数据的分析更是无法实现展开。
发明内容
本发明要解决的技术问题，在于提供一种基于大数据的集群服务器日志实时处理方法及计算机设备，使得日志可以实时进行分析。
本发明之一是这样实现的：一种基于大数据的集群服务器日志实时处理方法，包括：
步骤1、集群服务器根据设定的时间间隔收集日志数据；
步骤2、将收集时间作为时间标签，并将所述时间标签作为最外层数据嵌套至所述日志数据；
步骤3、发送所述日志数据。
进一步地，所述步骤2进一步具体为：将收集时间作为时间标签，并将所述时间标签作为最外层数据嵌套至所述日志数据，并存储至一日志队列。
进一步地，所述步骤3进一步具体为：根据设定的时间间隔，将所述日志数据通过实时数据流的方式进行发送到大数据平台。
本发明之二是这样实现的：一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
步骤1、集群服务器根据设定的时间间隔收集日志数据；
步骤2、将收集时间作为时间标签，并将所述时间标签作为最外层数据嵌套至所述日志数据；
步骤3、发送所述日志数据。
进一步地，所述步骤2进一步具体为：将收集时间作为时间标签，并将所述时间标签作为最外层数据嵌套至所述日志数据，并存储至一日志队列。
进一步地，所述步骤3进一步具体为：根据设定的时间间隔，将所述日志数据通过实时数据流的方式进行发送到大数据平台。
本发明具有如下优点：
1)数据流的时间序列化：运用大数据存储和计算实现将日志数据进行时间序列化，形成数据流，并且整个服务器集群的数据采集和数据流都用相同的时间序列。
2)数流的分发：通过将日志数据流同时分发到多个分析系统组件，实现数据流的并发访问的效果。
3)海量日志数据的时间维度快速汇聚：整个集群采用相同的时间序列，实现集群数量庞大的服务器，可以通过时间序列进行时间维度的数据快速汇聚，快速访问某个时间的服务器性能，并通过大数据分析集群的实时数据流。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法执行流程图。
具体实施方式
本发明基于大数据的集群服务器日志实时处理方法，包括：
步骤1、集群服务器根据设定的时间间隔收集日志数据；
步骤2、将收集时间作为时间标签，并将所述时间标签作为最外层数据嵌套至所述日志数据，并存储至一日志队列。
步骤3、根据设定的时间间隔，将所述日志数据通过实时数据流的方式进行发送到大数据平台。
本发明计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
步骤1、集群服务器根据设定的时间间隔收集日志数据；
步骤2、将收集时间作为时间标签，并将所述时间标签作为最外层数据嵌套至所述日志数据，并存储至一日志队列。
步骤3、根据设定的时间间隔，将所述日志数据通过实时数据流的方式进行发送到大数据平台。
本发明一种具体实施方式：
本发明解决思路是将服务器的日志文件以时间序列作为数据流时间轴形成实时数据流，通过时间作为关联同时对全部服务器集群进行实时监控和分析，日志文件的实时数据队列同时为服务器实时监控系统和大数据机器学习实时优化系统提供实时的日志数据流，通过将数据流和机器学习的模型进行分析，得出实时的优化配置服务器资源的参数。
方案结构：时间序列化数据流组件、日志数据流分发组件、基于时间序列的数据汇聚组件。
主要步骤：
A:时间序列化数据流组件
日志数据收集探测器将收集到的数据存储到大数据平台，通过本发明的时间序列化数据流的组件实现将所有集群的日志数据打上时间的标签字段，时间标签作为多层数据嵌套的最外层数据，例如：在2018年02月01日17:59时刻的服务器集群的资源使用日志数据的json格式{"2018_02_01_17_59":{"Server1":[{"cupUse":"80％",memUse":"256GB"}],"Server2":[{"cupUse":"88％",memUse":"258GB"}],"Server3":[{"cupUse":"98％",memUse":"306GB"}],
}}。
将日志文件按照一定的时间间隔Interval Time，生成一个所有集群的日志数据队列，将各个服务器的日志文件存储至对应的日志数据队列中。即形成日志数据的DataStreaming数据流，为大数据的流计算提供数据源。
时间间隔Interval Time同步机制：可以实现将数据流的时间间隔与日志数据收集探测器的数据采集时间间隔同步，并且整个集群通过时间同步器，实现所有服务器的采集时间点和采集时间间隔都是一致的，实现集群数据流的时间序列的一致性。
B:日志数据流分发组件
将日志数据流以广播的形式，同时发送多个大数据分析模块，实现并发提供数据流的消息共享机制。
实时的数据流主要流向服务器实时监控系统(web页面可视化监控服务系统性能的平台)和大数据机器学习实时优化系统，实现集群服务器的流数据，同时被多个分析或监控系统并发访问的效果。
C:基于时间序列的数据汇聚组件：
由于整个集群的数据采集、日志数据流等都采用相同的时间序列，可以实现整个服务器集群的日志数据快速汇聚来访问某个时间点的所有服务器日志数据，为进行性能分析和大数据机器学习提供了更快捷访问数据的效率。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (6)

1.一种基于大数据的集群服务器日志实时处理方法，其特征在于：包括：
步骤1、集群服务器根据设定的时间间隔收集日志数据；
步骤2、将收集时间作为时间标签，并将所述时间标签作为最外层数据嵌套至所述日志数据；
步骤3、发送所述日志数据。
2.根据权利要求1所述的一种基于大数据的集群服务器日志实时处理方法，其特征在于：所述步骤2进一步具体为：将收集时间作为时间标签，并将所述时间标签作为最外层数据嵌套至所述日志数据，并存储至一日志队列。
3.根据权利要求1所述的一种基于大数据的集群服务器日志实时处理方法，其特征在于：所述步骤3进一步具体为：根据设定的时间间隔，将所述日志数据通过实时数据流的方式进行发送到大数据平台。
4.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
步骤1、集群服务器根据设定的时间间隔收集日志数据；
步骤2、将收集时间作为时间标签，并将所述时间标签作为最外层数据嵌套至所述日志数据；
步骤3、发送所述日志数据。
5.根据权利要求4所述的一种计算机设备，其特征在于：所述步骤2进一步具体为：将收集时间作为时间标签，并将所述时间标签作为最外层数据嵌套至所述日志数据，并存储至一日志队列。
6.根据权利要求4所述的一种计算机设备，其特征在于：所述步骤3进一步具体为：根据设定的时间间隔，将所述日志数据通过实时数据流的方式进行发送到大数据平台。
CN201810120576.XA 2018-02-07 2018-02-07 基于大数据的集群服务器日志实时处理方法及计算机设备 Active CN108280015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810120576.XA CN108280015B (zh) 2018-02-07 2018-02-07 基于大数据的集群服务器日志实时处理方法及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810120576.XA CN108280015B (zh) 2018-02-07 2018-02-07 基于大数据的集群服务器日志实时处理方法及计算机设备

Publications (2)

Publication Number Publication Date
CN108280015A true CN108280015A (zh) 2018-07-13
CN108280015B CN108280015B (zh) 2022-10-14

Family

ID=62807820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810120576.XA Active CN108280015B (zh) 2018-02-07 2018-02-07 基于大数据的集群服务器日志实时处理方法及计算机设备

Country Status (1)

Country Link
CN (1) CN108280015B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542946A (zh) * 2018-10-26 2019-03-29 贵州斯曼特信息技术开发有限责任公司 一种实时计算大数据系统和方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1965316A2 (en) * 2007-02-27 2008-09-03 Siemens Energy & Automation, Inc. Storage of multiple, related time-series data streams
JP2012190345A (ja) * 2011-03-11 2012-10-04 Nec Corp ログ情報自動採取装置及びログ情報自動採取方法
CN102831214A (zh) * 2006-10-05 2012-12-19 斯普兰克公司 时间序列搜索引擎
CN103824069A (zh) * 2014-03-19 2014-05-28 北京邮电大学 一种基于多主机日志关联的入侵检测方法
WO2016045367A1 (zh) * 2014-09-24 2016-03-31 中兴通讯股份有限公司 一种多数据源数据融合的方法及装置
CN105677853A (zh) * 2016-01-06 2016-06-15 北京国电通网络技术有限公司 一种基于大数据技术框架的数据存储方法及装置
CN105765659A (zh) * 2013-10-30 2016-07-13 微软技术许可有限责任公司 针对联网设备的数据管理
CN105868628A (zh) * 2016-03-24 2016-08-17 中国科学院信息工程研究所 一种自动化样本行为采集方法及其装置、系统
CN105930491A (zh) * 2016-04-28 2016-09-07 安徽四创电子股份有限公司 一种基于时间序列数据库InfluxDB的监控数据存储方法
CN106294866A (zh) * 2016-08-23 2017-01-04 北京奇虎科技有限公司 一种日志处理方法和装置
CN106294644A (zh) * 2016-08-02 2017-01-04 山东鲁能软件技术有限公司 一种基于大数据技术的海量时序数据收集处理装置及方法
CN106339509A (zh) * 2016-10-26 2017-01-18 国网山东省电力公司临沂供电公司 一种基于大数据技术的电网运营数据共享系统
CN106503276A (zh) * 2017-01-06 2017-03-15 山东浪潮云服务信息科技有限公司 一种用于实时监控系统的时间序列数据库的方法与装置
CN106557388A (zh) * 2016-12-01 2017-04-05 上海携程商务有限公司 时间序列存储方法及装置
CN106681846A (zh) * 2016-12-29 2017-05-17 北京奇虎科技有限公司 日志数据的统计方法、装置及系统
CN107249019A (zh) * 2017-05-26 2017-10-13 北京小米移动软件有限公司 基于业务的数据处理系统、方法、装置和服务器
CN107590182A (zh) * 2017-08-03 2018-01-16 华南理工大学 一种分布式日志收集方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831214A (zh) * 2006-10-05 2012-12-19 斯普兰克公司 时间序列搜索引擎
EP1965316A2 (en) * 2007-02-27 2008-09-03 Siemens Energy & Automation, Inc. Storage of multiple, related time-series data streams
JP2012190345A (ja) * 2011-03-11 2012-10-04 Nec Corp ログ情報自動採取装置及びログ情報自動採取方法
CN105765659A (zh) * 2013-10-30 2016-07-13 微软技术许可有限责任公司 针对联网设备的数据管理
CN103824069A (zh) * 2014-03-19 2014-05-28 北京邮电大学 一种基于多主机日志关联的入侵检测方法
WO2016045367A1 (zh) * 2014-09-24 2016-03-31 中兴通讯股份有限公司 一种多数据源数据融合的方法及装置
CN105512130A (zh) * 2014-09-24 2016-04-20 中兴通讯股份有限公司 数据源融合的方法和装置
CN105677853A (zh) * 2016-01-06 2016-06-15 北京国电通网络技术有限公司 一种基于大数据技术框架的数据存储方法及装置
CN105868628A (zh) * 2016-03-24 2016-08-17 中国科学院信息工程研究所 一种自动化样本行为采集方法及其装置、系统
CN105930491A (zh) * 2016-04-28 2016-09-07 安徽四创电子股份有限公司 一种基于时间序列数据库InfluxDB的监控数据存储方法
CN106294644A (zh) * 2016-08-02 2017-01-04 山东鲁能软件技术有限公司 一种基于大数据技术的海量时序数据收集处理装置及方法
CN106294866A (zh) * 2016-08-23 2017-01-04 北京奇虎科技有限公司 一种日志处理方法和装置
CN106339509A (zh) * 2016-10-26 2017-01-18 国网山东省电力公司临沂供电公司 一种基于大数据技术的电网运营数据共享系统
CN106557388A (zh) * 2016-12-01 2017-04-05 上海携程商务有限公司 时间序列存储方法及装置
CN106681846A (zh) * 2016-12-29 2017-05-17 北京奇虎科技有限公司 日志数据的统计方法、装置及系统
CN106503276A (zh) * 2017-01-06 2017-03-15 山东浪潮云服务信息科技有限公司 一种用于实时监控系统的时间序列数据库的方法与装置
CN107249019A (zh) * 2017-05-26 2017-10-13 北京小米移动软件有限公司 基于业务的数据处理系统、方法、装置和服务器
CN107590182A (zh) * 2017-08-03 2018-01-16 华南理工大学 一种分布式日志收集方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
平伟: "目录文件系统的日志与事务的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李洋等: "基于Hadoop与Storm的日志实时处理系统研究", 《西南师范大学学报(自然科学版)》 *
胡庆宝等: "基于Elasticsearch的实时集群日志采集和分析系统实现", 《科研信息化技术与应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542946A (zh) * 2018-10-26 2019-03-29 贵州斯曼特信息技术开发有限责任公司 一种实时计算大数据系统和方法

Also Published As

Publication number Publication date
CN108280015B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
WO2017071134A1 (zh) 分布式跟踪系统
CN102143022B (zh) 用于ip网络的云测量装置和测量方法
CN108205486A (zh) 一种基于机器学习的智能分布式调用链跟踪方法
CN111077870A (zh) 一种基于流计算的opc数据实时采集监控智能系统及方法
CN107943668A (zh) 计算机服务器集群日志监控方法及监控平台
CN108446200A (zh) 基于大数据机器学习的服务器智能运维方法及计算机设备
CN105893628A (zh) 一种数据实时收集系统及方法
CN106201754A (zh) 任务信息分析方法及装置
CN104156296A (zh) 智能监控大规模数据中心集群计算节点的系统和方法
CN104363222A (zh) 一种基于Hadoop的网络安全事件分析方法
CN103257923B (zh) 数据中心数据分析类基准测试程序的应用选取方法及系统
CN108182263A (zh) 一种数据中心综合管理系统的数据存储方法
CN106789270A (zh) 一种信息系统集中运维管理的实现方法及系统
Doraimani et al. File grouping for scientific data management: lessons from experimenting with real traces
Beermann et al. Implementation of ATLAS Distributed Computing monitoring dashboards using InfluxDB and Grafana
CN105069029B (zh) 一种实时etl系统及方法
CN112559634A (zh) 一种基于计算机云计算大数据用数据管理系统
Kim et al. Dca-io: A dynamic i/o control scheme for parallel and distributed file systems
CN105930255A (zh) 一种系统健康度预测方法及装置
CN108280015A (zh) 基于大数据的集群服务器日志实时处理方法及计算机设备
CN102761429B (zh) 一种异常话单处理方法与系统
Borghesi et al. M100 ExaData: a data collection campaign on the CINECA’s Marconi100 Tier-0 supercomputer
CN107968801A (zh) 一种云计算集群服务器对监控系统技术研究方法
CN106649034A (zh) 一种可视化智能运维方法及平台
CN111049898A (zh) 一种实现计算集群资源跨域架构的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 350000 21 / F, building 5, f District, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province

Applicant after: FUJIAN SINOREGAL SOFTWARE CO.,LTD.

Address before: Floor 20-21, building 5, area F, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province 350000

Applicant before: FUJIAN SINOREGAL SOFTWARE CO.,LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant