CN106844171A - 一种海量运维的实现方法 - Google Patents
一种海量运维的实现方法 Download PDFInfo
- Publication number
- CN106844171A CN106844171A CN201611227239.8A CN201611227239A CN106844171A CN 106844171 A CN106844171 A CN 106844171A CN 201611227239 A CN201611227239 A CN 201611227239A CN 106844171 A CN106844171 A CN 106844171A
- Authority
- CN
- China
- Prior art keywords
- elasticsearch
- daily record
- log
- logstash
- filebeat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012423 maintenance Methods 0.000 title abstract description 8
- 238000007405 data analysis Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims description 23
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 230000006378 damage Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000011990 functional testing Methods 0.000 description 1
- 230000036449 good health Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3495—Performance evaluation by tracing or monitoring for systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种海量运维的实现方法,属于产品全生命周期运维技术领域,本发明以整个业务系统为视角整体业务系统关联的主机、数据库、中间件、业务系统的日志信息,通过大数据分析海量日志,分析信息系统在软件、硬件环境下可能出现的功能和性能问题。有效监控到信息系统甚至具体业务功能在硬件、软件、服务层面的问题,增强服务能力,控制运维风险整体,提高运维效率。
Description
技术领域
本发明涉及产品全生命周期运维技术,尤其涉及一种海量运维的实现方法。
背景技术
大型研发团队通常会面临从开发、测试到生产再到后期运维各个环节麻烦不断的问题,每个环节出现的问题因为不能及时发现,导致一个点被放大到最终用户的使用,严重的会影响用户满意度,进而影响到收益。
此时需要建立一种机制来提供产品全生命周期过程中的运维机制,研发人员的代码需要及时知道程序中的BUG,测试人员除了功能测试之外还需要清楚不同版本之间的性能差异,需要有一定的数据累积和数据比对方法,生产系统发布新功能之后是否产生大量的错误,功能异常是否增多,这些影响最终用户体验的信息都应该被及时了解,并对问题进行及时的预警及时处理,日常运维也会牵扯到基础环境主机、中间件、数据库、网络层面是否健康良好。
如何保证开发环节的问题及时发现,测试中的潜在的版本问题被及时发现,以及生产系统运行环境的监控状况,后期运维数据增长、功能响应时间的变化等能及时发现,这些都需要数据的日常观察,以及提供对性能缺陷的数据分析挖掘功能才能做到,而传统的运维方式会比较困难,这主要在于数据的采集比较分散,牵扯到服务器、网络、应用、中间件、数据库等多个层面的数据,采集技术也比较麻烦,而且这么大数据量的存储查询也面临极大的挑战,更不用说能及时的产生告警了。
一般信息系统的管理方法往往在信息系统问题出现后才会查看和分析日志,并且系统中的日志存放过于分散,没有站在信息系统的整体角度统一管理。从是指分散程度主要包括web中间件日志,例如:apache、http、nginx等;app中间件日志,例如:WebSphere、weblogic、tomcat等;主机的日志,包括:性能日志、系统日志等;网络接口性能数据;数据库日志,例如:DB2、Oracle、Mysql等;应用日志,例如:log4j等;这些数据日志格式各不相同,传统方式运维起来非常麻烦,也比较孤立,很难有一种手段全方位分析,或者做到历史大数据分析都很困难。
发明内容
为了解决该问题,本发明提出了一种海量运维的实现方法。通过大数据相关技术改变传统运维不能实现的产品的全生命周期监控,并通过数据模型对性能进行分析提供一定的方法,进而建立业务功能层面的性能优化策略。
本发明运用大数据技术将传统无法实现的运维功能进行实现,同时通过大数据技术的运用好多潜在的功能问题、性能问题得以发现,及时预警。
本发明以整个业务系统为视角整体业务系统关联的主机、数据库、中间件、业务系统的日志信息,通过大数据分析海量日志,分析信息系统在软件、硬件环境下可能出现的功能和性能问题。
主要包括,
1)日志收集代理
Filebeat是一个日志收集器,以代理的方式部署在被监控服务器上,通过监控服务器上的日志目录或日志文件,收集日志文件中新增的日志内容,将日志经过logstash进一步处理后发送到elasticsearch上。
当启动Filebeat的时候,Filebeat会启动一个以上的harvester来监视所配置的日志文件,每个harvester读取一个单独的日志文件的内容。Filebeat会根据预先设置的收集周期去检查被监视的日志文件是否有新日志的增加,并收集新增加的日志内容。
2)日志处理和传输
Logstash是一个用于收集、分析和存储日志的工具;Logstash收集从Filebeat传输过来的日志,对日志进行过滤和处理,进一步将日志发送到elasticsearch上存储。
LogStash服务部署完成后,需要配置 Logstash 以指明从哪里读取数据,向哪里输出数据;这个过程称之为定义 Logstash 管道;一个管道需要包括必须的输入,输出,和一个可选项目 filter。
输入中配置了Beats端口,用来接收Filebeat的连接;输出中配置elasticsearch主机和端口,用于传输日志到目标elasticsearch集群;filter配置过滤条件和处理语句。
3)日志存储
Elasticsearch是一个开源的高扩展的分布式全文检索引擎,通过设置节点的名字和集群的名字,就能自动的组织相同集群名字的节点加入到集群中。
使用路由功能只在一个分片上执行查询命令,提高系统吞吐量;
在启动Elasticsearch之前要设置好http.port端口,并在Logstash的输出配置中设置分发到Elasticsearch集群中各个节点的IP和http.port端口;Logstash就会把从Filebeat中收集到的日志内容分发存储到Elasticsearch集群中。
4)日志分析和展示
Kibana是一个为ElasticSearch提供的日志分析和展示平台,使用它对存储在ElasticSearch中的日志进行搜索、可视化、分析操作。
Kibana所有的属性都是在kibana.yml文件中设置,通过在此配置文件中设置elasticsearch.url属性为ElasticSearch集群中节点的IP和http.port端口即可;Kibana自身对外服务的端口通过server.port在kibana.yml配置文件中设置,此端口默认值是5601。
5)数据分析
通过三个分析思路,选取不同时间段代表业务周期的两条曲线进行总结:
5.1)、曲线平滑:故障是对近期趋势的一个破坏,视觉上来说就是不平滑;
5.2)、绝对值的时间周期性:两条曲线几乎重合;
5.3)、波动的时间周期性:假设两个曲线不重合,在相同时间点的波动趋势和振幅也是类似的。
本发明要实现信息系统日志的集中管控,以信息系统为视角以具体功能为视角,集中管理和分析信息系统相关的主机信息、数据库服务、中间件服务、业务应用的日志信息。
以整个业务系统为视角整体业务系统关联的主机、数据库、中间件、业务系统的日志信息,通过大数据分析海量日志,分析信息系统在软件、硬件环境下可能出现的功能和性能问题。
本发明的有益效果是
采用该方法可以有效监控到信息系统甚至具体业务功能在硬件、软件、服务层面的问题,增强服务能力,控制运维风险整体,提高运维效率。
以业务系统以及业务系统的具体功能为视角整体监控关联的资源,将不同方面的运维数据包括主机、中间件、数据库和应用系统所涵盖的全方位数据进行手机,并能按照日志级别分类,覆盖产品全生命周期的运维分析;
采用大数据的分析工具,根据解决传统方式无法解决的数据存储以及数据查询的问题,并且采用轻量级的日志收集代理,占用系统资源小,能够在不影响具体业务的情况下实时预警;
系统日志监测自动化,产生日志实时收集;因网络原因造成日志传输失败,网络恢复后日志续传;
分布式日志数据集中式查询和管理,对海量系统和组件日志进行集中管理和准实时搜索、监控、分析;
通过大数据的分析手段能够结合几种常用的性能问题分析手段从而及时对系统进行异常检测,实现传统静态阈值无法实现的功能。
附图说明
图1是本发明的技术实现示意图。
具体实施方式
下面对本发明的内容进行更加详细的阐述:
技术实现示意图如图1所示。技术实现方案如下:
(一)日志收集代理
Filebeat是一个日志收集器,以代理的方式部署在被监控服务器上,通过监控服务器上的日志目录或日志文件,收集日志文件中新增的日志内容,将日志经过logstash进一步处理后发送到elasticsearch上。Filebeat是轻量级的代理程序,占用系统资源非常小,并且提供不同平台的安装包,解压可用,简化了在不同平台部署和配置的复杂度。通过合理的设置,Filebeat支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志。
当启动Filebeat的时候,Filebeat会启动一个或多个harvester来监视我们所配置的日志文件,每个harvester读取一个单独的日志文件的内容。Filebeat会根据预先设置的收集周期去检查被监视的日志文件是否有新日志的增加,并收集新增加的日志内容。
(二)日志处理和传输
Logstash是一个用于收集、分析和存储日志的工具。Logstash收集从Filebeat传输过来的日志,对日志进行过滤和处理,进一步将日志发送到elasticsearch上存储。
LogStash架构专为收集、分析和存储日志所设计,是一个具有实时渠道能力的数据收集引擎。LogStash服务部署完成后,我们需要配置 Logstash 以指明从哪里读取数据,向哪里输出数据。这个过程我们称之为定义 Logstash 管道(Logstash Pipeline)。通常一个管道需要包括必须的输入(input),输出(output),和一个可选项目 filter。input中配置了Beats端口,用来接收Filebeat的连接;output中配置elasticsearch主机和端口,用于传输日志到目标elasticsearch集群;filter配置过滤条件和处理语句,Logstash的filter有广泛的插件,满足各种对日志内容处理的需求。
(三)日志存储
Elasticsearch是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。Elasticsearch通过设置节点的名字和集群的名字,就能自动的组织相同集群名字的节点加入到集群中,并使很多的技术对用户透明化,分布式集群搭建非常简单。
为集群选择合适的分片(shard)和分片副本(replica)的数量,合理的使用路由对ElasticSearch分布式集群性能的提升至关重要。关于索引分片,要求尽量少的分片,避免过度分片以提高查询速度。使用路由功能可以只在一个分片上执行查询命令,作为提高系统吞吐量的一种解决方案。
在启动Elasticsearch之前要设置好http.port端口,并在Logstash的输出配置中设置分发到Elasticsearch集群中各个节点的IP和http.port端口。Logstash就会把从Filebeat中收集到的日志内容分发存储到Elasticsearch集群中。
(四)日志分析和展示
Kibana是一个为ElasticSearch提供的日志分析和展示平台,可使用它对存储在ElasticSearch中的日志进行高效的搜索、可视化、分析等各种操作。Kibana可以简便的读取大量的ElasticSearch中的日志数据,它简易的基于浏览器的交互方式可以实时的检测到ElasticSearch中数据的变化。
Kibana所有的属性都是在kibana.yml文件中设置,通过在此配置文件中设置elasticsearch.url属性为ElasticSearch集群中节点的IP和http.port端口即可。Kibana自身对外服务的端口通过server.port在kibana.yml配置文件中设置,此端口默认值是5601。
(五)数据分析的几个思路
通过大数据的比对的方法提供三个分析思路,选取不同时间段代表一定业务周期的两条曲线进行总结:
1、曲线平滑:故障一般是对近期趋势的一个破坏,视觉上来说就是不平滑
2、绝对值的时间周期性:两条曲线几乎重合
3、波动的时间周期性:假设两个曲线不重合,在相同时间点的波动趋势和振幅也是类似的
具体的分析方法如下:
曲线平滑的分析方法
这种检测的根据是在一个最近的时间窗口,比如1个小时。曲线会遵循某种趋势,而新的数据点打破了这种趋势,使得曲线不光滑了。也就是说,这种检测利用的是时间序列的时间依赖,T对于T-1有很强的趋势依赖性。业务逻辑上来说,10:00 有很多人登陆,10:01 也有很多人来登陆的概率是很高的,因为吸引人来登陆的因素是有很强的惯性的。但是10月11日很多人来登陆,11月11日也有很多人来登陆的惯性就要差很多。
绝对值的时间周期性分析方法
很多监控曲线都有这样以一天为周期的周期性(凌晨3、4点最低,上午9、10点最高之类的)。一种利用时间周期性的最简单的算法
min(7 days history) * 0.6
对历史7天的曲线取最小值。怎么个取最小值的方法。对于8:05分,有7天对应的点,取最小值。对于8:06分,有7天对应的点,取最小值。这样可以得出一条一天的曲线。然后对这个曲线整体乘以0.6。如果几天的曲线低于这条参考线则告警。
这其实是一种静态阈值告警的升级版,动态阈值告警。过去静态阈值是一个根据历史经验拍脑袋的产物。用这个算法,其实是把同时间点的历史值做为依据,计算出一个最不可能的下界。同时阈值不是唯一的一个,而是每个时间点有一个。如果1分钟一个点,一天中就有1440个下界阈值。
实际使用中0.6当然还是要酌情调整的。而且一个严重的问题是如果7天历史中有停机发布或者故障,那么最小值会受到影响。也就是说不能把历史当成正常,而是要把历史剔除掉异常值之后再进行计算。一个务实的近似的做法是取第二小的值。
为了让告警更加精确,可以累积计算实际曲线和参考曲线的差值之和。也就是相对于参考曲线下跌的面积。这个面积超过一定的值则告警。对于深度下跌,则累积几个点就可以告警。对于浅度下跌,那么多累几个点也可以告警出来。翻译成人话就是,一下在跌了很多,则很有可能是故障了。或者连续好久都偏离正常值,那么也很有可能是出问题了。
振幅的时间周期性分析方法
有些时候曲线是有周期性,但是两个周期的曲线相叠加是不重合的。两个周期的曲线一叠加,一个会比另外一个高出一头。对于这种情况,利用绝对值告警就会有问题。
比如今天是10.1日,放假第一天。过去7天的历史曲线必然会比今天的曲线低很多。那么今天出了一个小故障,曲线下跌了,相对于过去7天的曲线仍然是高很多的。这样的故障如何能够检测得出来。一个直觉的说法是,两个曲线虽然不一样高,但是“长得差不多”。那么怎么利用这种“长得差不多”呢。那就是振幅了。
与其用x(t)的值,不如用x(t) – x(t-1)的值,也就是把绝对值变成变化速度。可以直接利用这个速度值,也可以是 x(t) – x(t-1) 再除以 x(t-1),也就是一个速度相对于绝对值的比率。比如t时刻的在线900人,t-1时刻的在线是1000人,那么可以计算出掉线人数是10%。这个掉线比率在历史同时刻是高还是低。那么就和前面一样处理了。
实际使用中有两个技巧:可以是x(t) – x(t-1),也可以是x(t) – x(t-5)等值。跨度越大,越可以检测出一些缓慢下降的情况。
另外一个技巧是可以计算x(t) -x(t-2),以及x(t+1) – x(t-1),如果两个值都异常则认为是真的异常,可以避免一个点的数据缺陷问题。
运用大数据分析工具解决了传统运维无法解决的海量数据如何采集以及分析的问题,解决了大型研发团队全生命周期,包括开发、测试、生产、运维全生命周期的运维数据存储以及挖掘问题。
本发明采用大数据分析手段,该方案保证数据能够全领域涵盖,同时数据运用分布式存储以及查询技术,能够快速查询快速分析,进而实现告警的及时性,解决传统静态阈值告警无法发现的潜在问题。
Claims (7)
1.一种海量运维的实现方法,其特征在于,以整个业务系统为视角整体业务系统关联的主机、数据库、中间件、业务系统的日志信息,通过大数据分析海量日志,分析信息系统在软件、硬件环境下出现的功能和性能问题。
2.根据权利要求1所述的方法,其特征在于,
主要包括,
1)日志收集代理
Filebeat是一个日志收集器,以代理的方式部署在被监控服务器上,通过监控服务器上的日志目录或日志文件,收集日志文件中新增的日志内容,将日志经过logstash进一步处理后发送到elasticsearch上;
2)日志处理和传输
Logstash是一个用于收集、分析和存储日志的工具;Logstash收集从Filebeat传输过来的日志,对日志进行过滤和处理,进一步将日志发送到elasticsearch上存储;
3)日志存储
Elasticsearch是一个开源的高扩展的分布式全文检索引擎,通过设置节点的名字和集群的名字,就能自动的组织相同集群名字的节点加入到集群中;
4)日志分析和展示
Kibana是一个为ElasticSearch提供的日志分析和展示平台,使用它对存储在ElasticSearch中的日志进行搜索、可视化、分析操作;
5)数据分析
通过三个分析思路,选取不同时间段代表业务周期的两条曲线进行总结:
5.1)、曲线平滑:故障是对近期趋势的一个破坏,视觉上来说就是不平滑;
5.2)、绝对值的时间周期性:两条曲线几乎重合;
5.3)、波动的时间周期性:假设两个曲线不重合,在相同时间点的波动趋势和振幅也是类似的。
3.根据权利要求2所述的方法,其特征在于,
当启动Filebeat的时候,Filebeat会启动一个以上的harvester来监视所配置的日志文件,每个harvester读取一个单独的日志文件的内容;Filebeat会根据预先设置的收集周期去检查被监视的日志文件是否有新日志的增加,并收集新增加的日志内容。
4.根据权利要求2所述的方法,其特征在于,
LogStash服务部署完成后,需要配置 Logstash 以指明从哪里读取数据,向哪里输出数据;这个过程称之为定义 Logstash 管道;一个管道需要包括输入,输出,和一个可选项目 filter。
5.根据权利要求4所述的方法,其特征在于,
输入中配置了Beats端口,用来接收Filebeat的连接;输出中配置elasticsearch主机和端口,用于传输日志到目标elasticsearch集群;filter配置过滤条件和处理语句。
6.根据权利要求2所述的方法,其特征在于,
使用路由功能只在一个分片上执行查询命令,提高系统吞吐量;
在启动Elasticsearch之前要设置好http.port端口,并在Logstash的输出配置中设置分发到Elasticsearch集群中各个节点的IP和http.port端口;Logstash就会把从Filebeat中收集到的日志内容分发存储到Elasticsearch集群中。
7.根据权利要求2所述的方法,其特征在于,
Kibana所有的属性都是在kibana.yml文件中设置,通过在此配置文件中设置elasticsearch.url属性为ElasticSearch集群中节点的IP和http.port端口即可;Kibana自身对外服务的端口通过server.port在kibana.yml配置文件中设置,此端口默认值是5601。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611227239.8A CN106844171A (zh) | 2016-12-27 | 2016-12-27 | 一种海量运维的实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611227239.8A CN106844171A (zh) | 2016-12-27 | 2016-12-27 | 一种海量运维的实现方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106844171A true CN106844171A (zh) | 2017-06-13 |
Family
ID=59135645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611227239.8A Pending CN106844171A (zh) | 2016-12-27 | 2016-12-27 | 一种海量运维的实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106844171A (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590054A (zh) * | 2017-09-21 | 2018-01-16 | 大连君方科技有限公司 | 船舶服务器日志监控系统 |
CN107608078A (zh) * | 2017-09-26 | 2018-01-19 | 深圳智慧园区信息技术有限公司 | 一种带有vr眼镜的ela大数据驾驶舱系统 |
CN107800592A (zh) * | 2017-11-09 | 2018-03-13 | 郑州云海信息技术有限公司 | 一种服务器测试结果采集方法 |
CN107832196A (zh) * | 2017-11-28 | 2018-03-23 | 广东金赋科技股份有限公司 | 一种用于实时日志异常内容的监测装置及监测方法 |
CN108133021A (zh) * | 2017-12-26 | 2018-06-08 | 北京奇艺世纪科技有限公司 | 一种数据异常检测方法及装置 |
CN108133017A (zh) * | 2017-12-21 | 2018-06-08 | 广州市申迪计算机系统有限公司 | 一种多数据源采集配置方法及装置 |
CN108984583A (zh) * | 2018-05-17 | 2018-12-11 | 北京国电通网络技术有限公司 | 一种基于日志文件的搜索方法 |
CN109104487A (zh) * | 2018-08-20 | 2018-12-28 | 浪潮软件股份有限公司 | 一种基于logstash+kafka数据传输方法 |
CN109245931A (zh) * | 2018-09-19 | 2019-01-18 | 四川长虹电器股份有限公司 | 基于kubernetes的容器云平台的日志管理和监控报警的实现方法 |
CN109284251A (zh) * | 2018-08-14 | 2019-01-29 | 平安普惠企业管理有限公司 | 日志管理方法、装置、计算机设备以及存储介质 |
CN109344033A (zh) * | 2018-09-27 | 2019-02-15 | 浪潮软件股份有限公司 | 一种基于分布式架构的云日志采集方法 |
CN109491859A (zh) * | 2018-10-16 | 2019-03-19 | 华南理工大学 | 针对Kubernetes集群中容器日志的收集方法 |
CN109960622A (zh) * | 2017-12-22 | 2019-07-02 | 南京欣网互联网络科技有限公司 | 一种基于大数据可视化监控平台的数据收集方法 |
CN109978379A (zh) * | 2019-03-28 | 2019-07-05 | 北京百度网讯科技有限公司 | 时序数据异常检测方法、装置、计算机设备和存储介质 |
CN110287163A (zh) * | 2019-06-25 | 2019-09-27 | 浙江乾冠信息安全研究院有限公司 | 安全日志采集解析方法、装置、设备及介质 |
CN110503131A (zh) * | 2019-07-22 | 2019-11-26 | 北京工业大学 | 基于大数据分析的风力发电机健康监测系统 |
CN111061610A (zh) * | 2019-12-09 | 2020-04-24 | 广州鼎甲计算机科技有限公司 | 集群系统性能测试报告的生成方法、装置和计算机设备 |
CN111125044A (zh) * | 2019-12-17 | 2020-05-08 | 紫光云(南京)数字技术有限公司 | 一种elk日志监控的改进方法 |
WO2020119551A1 (zh) * | 2018-12-13 | 2020-06-18 | 深圳壹账通智能科技有限公司 | 基于日志文件的服务性能分析方法、装置及电子设备 |
CN112073233A (zh) * | 2020-09-01 | 2020-12-11 | 北京明朝万达科技股份有限公司 | 一种基于filebeats获取系统日志的运维方法及装置 |
CN112527887A (zh) * | 2020-12-02 | 2021-03-19 | 中国农业银行股份有限公司 | 一种应用于Gbase数据库的可视化运维方法及装置 |
CN113761015A (zh) * | 2020-10-22 | 2021-12-07 | 北京京东振世信息技术有限公司 | 一种日志处理方法、装置、系统及存储介质 |
CN113904913A (zh) * | 2021-08-19 | 2022-01-07 | 济南浪潮数据技术有限公司 | 一种基于管道的告警处理的方法、装置、设备、存储介质 |
CN116402496A (zh) * | 2023-06-08 | 2023-07-07 | 山东诚卓信息技术有限公司 | 一种it资产的可视化维保管控方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010116827A1 (ja) * | 2009-04-08 | 2010-10-14 | 株式会社日立製作所 | 大量データ可視化システム及び大量データ可視化方法 |
CN103399887A (zh) * | 2013-07-19 | 2013-11-20 | 蓝盾信息安全技术股份有限公司 | 一种海量日志的查询与统计分析系统 |
CN103532754A (zh) * | 2013-10-12 | 2014-01-22 | 北京首信科技股份有限公司 | 一种通过高速内存、分布式处理海量日志的系统及方法 |
CN103888287A (zh) * | 2013-12-18 | 2014-06-25 | 北京首都国际机场股份有限公司 | 信息系统一体化运维监控服务预警平台及其实现方法 |
CN105260452A (zh) * | 2015-10-12 | 2016-01-20 | 成都视达科信息技术有限公司 | 离线日志收集查询和分析系统及方法 |
-
2016
- 2016-12-27 CN CN201611227239.8A patent/CN106844171A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010116827A1 (ja) * | 2009-04-08 | 2010-10-14 | 株式会社日立製作所 | 大量データ可視化システム及び大量データ可視化方法 |
CN103399887A (zh) * | 2013-07-19 | 2013-11-20 | 蓝盾信息安全技术股份有限公司 | 一种海量日志的查询与统计分析系统 |
CN103532754A (zh) * | 2013-10-12 | 2014-01-22 | 北京首信科技股份有限公司 | 一种通过高速内存、分布式处理海量日志的系统及方法 |
CN103888287A (zh) * | 2013-12-18 | 2014-06-25 | 北京首都国际机场股份有限公司 | 信息系统一体化运维监控服务预警平台及其实现方法 |
CN105260452A (zh) * | 2015-10-12 | 2016-01-20 | 成都视达科信息技术有限公司 | 离线日志收集查询和分析系统及方法 |
Non-Patent Citations (2)
Title |
---|
FAROUK SAMU: "Design and Implementation of a Real-Time Honeypot System for the Detection and Prevention of Systems Attacks", 《WWW. REPOSITORY.STCLOUDSTATE.EDU》 * |
周映等: "ELK日志分析平台在电子商务系统监控服务中的应用", 《信息技术与标准化》 * |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590054A (zh) * | 2017-09-21 | 2018-01-16 | 大连君方科技有限公司 | 船舶服务器日志监控系统 |
CN107608078A (zh) * | 2017-09-26 | 2018-01-19 | 深圳智慧园区信息技术有限公司 | 一种带有vr眼镜的ela大数据驾驶舱系统 |
CN107800592A (zh) * | 2017-11-09 | 2018-03-13 | 郑州云海信息技术有限公司 | 一种服务器测试结果采集方法 |
CN107832196A (zh) * | 2017-11-28 | 2018-03-23 | 广东金赋科技股份有限公司 | 一种用于实时日志异常内容的监测装置及监测方法 |
CN107832196B (zh) * | 2017-11-28 | 2021-07-06 | 广东金赋科技股份有限公司 | 一种用于实时日志异常内容的监测装置及监测方法 |
CN108133017A (zh) * | 2017-12-21 | 2018-06-08 | 广州市申迪计算机系统有限公司 | 一种多数据源采集配置方法及装置 |
CN109960622A (zh) * | 2017-12-22 | 2019-07-02 | 南京欣网互联网络科技有限公司 | 一种基于大数据可视化监控平台的数据收集方法 |
CN108133021A (zh) * | 2017-12-26 | 2018-06-08 | 北京奇艺世纪科技有限公司 | 一种数据异常检测方法及装置 |
CN108984583A (zh) * | 2018-05-17 | 2018-12-11 | 北京国电通网络技术有限公司 | 一种基于日志文件的搜索方法 |
CN109284251A (zh) * | 2018-08-14 | 2019-01-29 | 平安普惠企业管理有限公司 | 日志管理方法、装置、计算机设备以及存储介质 |
CN109104487A (zh) * | 2018-08-20 | 2018-12-28 | 浪潮软件股份有限公司 | 一种基于logstash+kafka数据传输方法 |
CN109245931A (zh) * | 2018-09-19 | 2019-01-18 | 四川长虹电器股份有限公司 | 基于kubernetes的容器云平台的日志管理和监控报警的实现方法 |
CN109344033A (zh) * | 2018-09-27 | 2019-02-15 | 浪潮软件股份有限公司 | 一种基于分布式架构的云日志采集方法 |
CN109491859A (zh) * | 2018-10-16 | 2019-03-19 | 华南理工大学 | 针对Kubernetes集群中容器日志的收集方法 |
CN109491859B (zh) * | 2018-10-16 | 2021-10-26 | 华南理工大学 | 针对Kubernetes集群中容器日志的收集方法 |
WO2020119551A1 (zh) * | 2018-12-13 | 2020-06-18 | 深圳壹账通智能科技有限公司 | 基于日志文件的服务性能分析方法、装置及电子设备 |
CN109978379A (zh) * | 2019-03-28 | 2019-07-05 | 北京百度网讯科技有限公司 | 时序数据异常检测方法、装置、计算机设备和存储介质 |
CN110287163A (zh) * | 2019-06-25 | 2019-09-27 | 浙江乾冠信息安全研究院有限公司 | 安全日志采集解析方法、装置、设备及介质 |
CN110287163B (zh) * | 2019-06-25 | 2021-10-08 | 浙江乾冠信息安全研究院有限公司 | 安全日志采集解析方法、装置、设备及介质 |
CN110503131A (zh) * | 2019-07-22 | 2019-11-26 | 北京工业大学 | 基于大数据分析的风力发电机健康监测系统 |
CN110503131B (zh) * | 2019-07-22 | 2023-10-10 | 北京工业大学 | 基于大数据分析的风力发电机健康监测系统 |
CN111061610B (zh) * | 2019-12-09 | 2020-10-20 | 广州鼎甲计算机科技有限公司 | 集群系统性能测试报告的生成方法、装置和计算机设备 |
CN111061610A (zh) * | 2019-12-09 | 2020-04-24 | 广州鼎甲计算机科技有限公司 | 集群系统性能测试报告的生成方法、装置和计算机设备 |
CN111125044A (zh) * | 2019-12-17 | 2020-05-08 | 紫光云(南京)数字技术有限公司 | 一种elk日志监控的改进方法 |
CN112073233A (zh) * | 2020-09-01 | 2020-12-11 | 北京明朝万达科技股份有限公司 | 一种基于filebeats获取系统日志的运维方法及装置 |
CN113761015B (zh) * | 2020-10-22 | 2023-09-05 | 北京京东振世信息技术有限公司 | 一种日志处理方法、装置、系统及存储介质 |
CN113761015A (zh) * | 2020-10-22 | 2021-12-07 | 北京京东振世信息技术有限公司 | 一种日志处理方法、装置、系统及存储介质 |
CN112527887A (zh) * | 2020-12-02 | 2021-03-19 | 中国农业银行股份有限公司 | 一种应用于Gbase数据库的可视化运维方法及装置 |
CN113904913A (zh) * | 2021-08-19 | 2022-01-07 | 济南浪潮数据技术有限公司 | 一种基于管道的告警处理的方法、装置、设备、存储介质 |
CN116402496B (zh) * | 2023-06-08 | 2023-08-22 | 山东诚卓信息技术有限公司 | 一种it资产的可视化维保管控方法及系统 |
CN116402496A (zh) * | 2023-06-08 | 2023-07-07 | 山东诚卓信息技术有限公司 | 一种it资产的可视化维保管控方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106844171A (zh) | 一种海量运维的实现方法 | |
CN105071969B (zh) | 基于jmx的定制化实时监控及自动化异常处理的系统及方法 | |
CN104142663B (zh) | 云平台中的工业设备和系统证明 | |
CN104618343B (zh) | 一种基于实时日志的网站威胁检测的方法及系统 | |
CN105427193B (zh) | 一种基于分布式时序数据服务的大数据分析装置及方法 | |
CN109507924B (zh) | 用于油田作业设备的远程监控系统 | |
CN107302449A (zh) | 智能监控统计与报警处理系统及方法 | |
CN102638378B (zh) | 一种集成异构存储设备的海量存储系统监控方法 | |
CN102713861A (zh) | 操作管理装置、操作管理方法以及程序存储介质 | |
CN110599034A (zh) | 一种采油厂动态管理跟踪系统及其预警方法 | |
CN105528280A (zh) | 系统日志与健康监控关系决定日志告警等级的方法及系统 | |
CN113051147A (zh) | 一种数据库集群的监控方法、装置、系统、以及设备 | |
CN105468765A (zh) | 一种多节点web服务异常检测方法和系统 | |
CN106201826A (zh) | 一种诊断Oracle数据库大事务和热点事务的方法 | |
US20030120465A1 (en) | Method and apparatus for retrieving activity data related to an activity | |
CN102597966A (zh) | 运行管理装置以及运行管理方法 | |
CN106992886A (zh) | 一种基于分布式存储的日志分析方法及装置 | |
US20090307508A1 (en) | Optimizing the Efficiency of an Organization's Technology Infrastructure | |
CN104601374B (zh) | 用于数控机床的网络故障处理方法和装置 | |
CN115309815A (zh) | 一种基于大数据的网络舆情监测系统及方法 | |
CN109886434B (zh) | 一种智能钻井平台维护保养系统及方法 | |
CN117235169A (zh) | 一种智慧运维数据存储平台 | |
CN108415355A (zh) | 一种大数据的高效识别系统 | |
KR101973328B1 (ko) | 하둡 기반 공작기계 환경 데이터의 상관관계 분석 및 시각화 방법 | |
CN104021079B (zh) | 主机系统数据的实时监控与分析系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170613 |