CN103399887A - 一种海量日志的查询与统计分析系统 - Google Patents
一种海量日志的查询与统计分析系统 Download PDFInfo
- Publication number
- CN103399887A CN103399887A CN2013103069428A CN201310306942A CN103399887A CN 103399887 A CN103399887 A CN 103399887A CN 2013103069428 A CN2013103069428 A CN 2013103069428A CN 201310306942 A CN201310306942 A CN 201310306942A CN 103399887 A CN103399887 A CN 103399887A
- Authority
- CN
- China
- Prior art keywords
- interface
- query
- elasticsearch
- log
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种海量日志的查询与统计分析系统，通过使用ElasticSearch存储日志记录，建立索引，来进行实时的查询与检索；通过Hadoop集群的MapReduce运算、Hive QL的类SQL查询、RHadoop的统计分析接口等，对日志进行复杂的运算分析，从中获取有用的信息。通过本发明可以解决海量日志的实时查询、复杂运算等问题，给企业带来一定的经济效益。
Description
技术领域
本发明涉及计算机信息处理技术领域，尤其涉及一种海量日志的查询与统计分析系统。
背景技术
随着云计算、移动互联网、物联网的崛起与发展，大数据的时代已经来临。各种系统、程序、运维、交易等得日志变得越来越重要，因为它是系统恢复、错误跟踪、安全检测等操作的重要依据。在一大堆非结构化的日志文件里面，怎样快速检索出数据、怎样快速寻找到有用的数据、怎样对日志进行统计分析，变得越来越重要。
Kibana是一个开源项目，为Logstash和ElasticSearch提供的日志分析的Web接口，可使用它对日志进行高效的搜索、可视化、分析等各种操作。
Logstash是一个开源的日志采集工具，可以采集的数据源很多，包括：amqp、drupal_dblog、elasticsearch、eventlog、exec、file、ganglia、gelf、gemfire、generator、graphite、heroku、imap、irc、log4j、lumberjack、lumberjack2、pipe、rabbitmq、redis、relp、snmptrap、sqs、stdin、stomp、syslog、tcp、twitter、udp、varnishlog、websocket、xmpp、zenoss、zeromq。
ElastciSearch是开源的搜索引擎，基于Apache Lucene，开发者是ShayBanon。ElasticSearch是一个分布式的RESTful开源搜索服务器，同时也是一个可扩展的解决方案，无需特别配置就可支持接近实时的搜索和多租户。很多公司都采用了ElasticSearch，包括StumbleUpon和火狐Mozilla。ElasticSearch在Apache License2.0授权方式下开源。
ElastciSearch不能处理复杂的计算，只能进行常规的搜索和查询。因此，基于ElastciSearch的Kibana和Logstash也存在一样的不足之处。
Apache Hadoop是一个能够对大量数据进行分布式处理的开源软件框架，由Apache Software Foundation公司于2005年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由Google Lab开发的Map/Reduce和GoogleFile System(GFS)的启发。2006年3月份，Map/Reduce和Nutch DistributedFile System(NDFS)分别被纳入称为Hadoop的项目中。
Hadoop的命名灵感来自Cutting儿子的玩具大象。Hadoop的开发者DougCutting最初开发Hadoop是为了满足开源web搜索引擎Nutch的集群处理需求，Cutting实现了MapReduce功能和分布式文件系统（HDFS），并整合成为Hadoop。
Hadoop是目前最流行的大数据（包括非结构化、半结构化和结构化数据）存储和处理技术。通过MapReduce，Hadoop将大数据分解成小块分配给各个通用服务器节点进行分布处理。Hadoop具有可扩展、经济、可靠、高效等特点。
Hadoop的开源授权方式是Apache License2.0。
Hadoop技术是分布式的批处理技术，不能较好地处理实时性问题。因此，基于Hadoop来实现的应用系统，也不具备实时性的特性。比如申请号为CN201110418958.9的基于Hadoop的分布式日志分析系统。
发明内容
本发明为了解决现有技术中难以对海量日志进行实时查询处理和统计分析并挖掘出有用的数据，难以在规定时间内计算出结果等的缺点或不足，采用了基于ElasticSearch和Hadoop来处理海量日志的方案，从而实现了对海量日志进行实时查询和统计分析的目的。
一种海量日志的查询与统计分析系统，通过使用ElasticSearch存储日志记录，建立索引，来进行实时的查询与检索；通过Hadoop集群的MapReduce运算、Hive QL的类SQL查询、RHadoop的统计分析接口等，对日志进行复杂的运算分析，从中获取有用的信息。该系统包括5个模块，分别是数据源模块、日志采集模块、存储查询模块、统计分析模块、Web展示模块。
其中，数据源模块包括Syslog、Avro、Netcat、文件及其他系统外部的数据源。
日志采集模块由日志采集接口组成，其下封装集成RSyslog、Flume、Logstash及其他开源组件。
存储查询模块由存储查询接口组成，其下封装集成ElasticSearch查询接口，运行于ElasticSearch集群之上。
统计分析模块由统计分析接口组成，其下封装集成MapReduce、RHadoop、Mahout接口，运行于Hadoop集群之上。
Web展示模块主要由前台展示接口和后台管理接口组成，前台展示接口，提供和Splunk软件类似或者更加简洁的查询功能、更好的查询性能；后台管理接口，提供集群向导式自动化部署、集群监控与告警、用户管理、权限管理功能。
优选地，该系统运行需要至少5台普通PC机或者服务器。
优选地，该系统通过日志采集与存储、日志检索与查询、日志统计与分析以及后台管理来实现系统间各个模板的运行。
优选地，日志采集与存储是通过日志采集接口调用其下的RSyslog、Flume、Logstash及其他开源组件，对系统外部的数据源的日志进行采集，存储在ElasticSearch里面。
优选地，日志检索与查询是用户通过前台展示接口，和海量日志系统进行交互，通过存储查询接口，在ElasticSearch里面，查询到需要的日志信息。
优选地，日志统计与分析是通过统计分析接口，定时地调用MapReduce、RHadoop、Mahout接口，对预定义的规则进行运算，结果存入ElasticSearch中。
优选地，后台管理是系统管理员，通过后台管理接口，登录系统，进行向导式集群自动化部署、集群监控与告警、用户管理、权限管理。
优选地，本发明中的ElasticSearch能够使用SolrCloud代替。
本发明技术方案带来的有益效果：采用了基于ElasticSearch和Hadoop来处理海量日志的方案，解决了难以对海量日志的实时查询、复杂运算等问题，从而实现高效实时查询、离线处理海量日志，给企业带来一定的经济效益。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明的实施例系统架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出的一种海量日志的查询与统计分析系统综合利用ElasticSearch和Hadoop的优点，克服各自的缺点，延长避短，较好地实现了海量数据的实时查询、复杂运算的功能。
通过使用ElasticSearch存储日志记录，建立索引，来进行实时的查询与检索；通过Hadoop集群的MapReduce运算、Hive QL的类SQL查询、RHadoop的统计分析接口等，对日志进行复杂的运算分析，从中获取有用的信息。
本发明应用在SOC产品中，其系统架构图如图1所示：
本系统分为5个模块，分别是数据源模块、日志采集模块、存储查询模块、统计分析模块、Web展示模块。
其中，数据源模块包括Syslog、Avro、Netcat、文件及其他系统外部的数据源。
日志采集模块主要由日志采集接口组成，其下封装集成RSyslog、Flume、Logstash及其他开源组件。
存储查询模块主要由存储查询接口组成，其下封装集成ElasticSearch查询接口，运行于ElasticSearch集群之上。
统计分析模块主要由统计分析接口组成，其下封装集成MapReduce、RHadoop、Mahout接口，运行于Hadoop集群之上。
Web展示模块主要由前台展示接口和后台管理接口组成。前台展示接口，提供和Splunk软件类似或者更加简洁的查询功能、更好的查询性能；后台管理接口，提供集群向导式自动化部署、集群监控与告警、用户管理、权限管理等功能。
本系统所需要的最少机器是5台普通PC机或者服务器，以下对每台机器简称为节点。各个节点的角色配置如下：
该系统各个模块的运作可以分解为如下几个流程步骤：
日志采集与存储：日志采集接口，通过调用其下的RSyslog、Flume、Logstash等开源组件，对系统外部的数据源的日志进行采集，存储在ElasticSearch里面。
日志检索与查询：用户通过前台展示接口，和海量日志系统进行交互，通过存储查询接口，在ElasticSearch里面，查询到需要的日志信息。
日志统计与分析：统计分析接口，定时地调用MapReduce、RHadoop、Mahout接口，对预定义的规则进行运算，结果存入ElasticSearch中。
后台管理：系统管理员，通过后台管理接口，登录系统，进行向导式集群自动化部署、集群监控与告警、用户管理、权限管理等。
本发明系统具有如下的特点：
实时查询：
可以使用Lucene查询接口对海量日志进行实时查询，还可以实时查询已经定义好查询规则的日志信息。
离线处理：
通过编写MapReduce程序、调用Hive QL语句、编写RHadoop接口对海量日志进行复杂查询。从复杂程度而言，先考虑Hive QL，然后考虑RHadoop，最后考虑编写MapReduce代码。
高可靠、高可用：
核心组件基于ElasticSearch和Hadoop，具有高可靠、高可用等特点。
通过本发明可以解决海量日志的实时查询、复杂运算等问题，给企业带来一定的经济效益。
此外，本发明中的ElasticSearch（简称ES）可以使用SolrCloud（Solr4.0，简称SC）代替，但是ES具有的多租户和高性能特性，是SC暂时所没有的。ES主要正对Solr3.0的缺点而开发，在solr3.0的基础上做了大量工作，新的SC的架构和ES在整体上很相似了，所以原先ES相对与Solr3.0的优势对于SC就不明显了。ES在search和index的性能上优于SC，无论是单独进行search或index，还是两者同时进行。ES不需要依赖第三方的包（因为已经集成在项目里面），配置简单，方便运行，基本不用调优。
以上对本发明实施例所提供的一种海量日志的查询与统计分析系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种海量日志的查询与统计分析系统，其特征在于，该系统通过使用ElasticSearch存储日志记录，建立索引，来进行实时的查询与检索；通过Hadoop集群的MapReduce运算、Hive QL的类SQL查询、RHadoop的统计分析接口，对日志进行复杂的运算分析，从中获取有用的信息；该系统包括5个模块，分别是数据源模块、日志采集模块、存储查询模块、统计分析模块、Web展示模块；
其中，数据源模块包括Syslog、Avro、Netcat、文件及其他系统外部的数据源；
日志采集模块由日志采集接口组成，其下封装集成RSyslog、Flume、Logstash及其他开源组件；
存储查询模块由存储查询接口组成，其下封装集成ElasticSearch查询接口，运行于ElasticSearch集群之上；
统计分析模块由统计分析接口组成，其下封装集成MapReduce、RHadoop、Mahout接口，运行于Hadoop集群之上；
Web展示模块主要由前台展示接口和后台管理接口组成，前台展示接口，提供和Splunk软件类似或者更加简洁的查询功能、更好的查询性能；后台管理接口，提供集群向导式自动化部署、集群监控与告警、用户管理、权限管理功能。
2.根据权利要求1所述的系统，其特征在于，本系统运行需要至少5台普通PC机或者服务器。
3.根据权利要求1所述的系统，其特征在于，该系统通过日志采集与存储、日志检索与查询、日志统计与分析、后台管理来实现系统间各个模板的运行。
4.根据权利要求1或3所述的系统，其特征在于，日志采集与存储是通过日志采集接口调用其下的RSyslog、Flume、Logstash及其他开源组件，对系统外部的数据源的日志进行采集，存储在ElasticSearch里面。
5.根据权利要求1或3所述的系统，其特征在于，日志检索与查询是用户通过前台展示接口，和海量日志系统进行交互，通过存储查询接口，在ElasticSearch里面，查询到需要的日志信息。
6.根据权利要求1或3所述的系统，其特征在于，日志统计与分析是通过统计分析接口，定时地调用MapReduce、RHadoop、Mahout接口，对预定义的规则进行运算，结果存入ElasticSearch中。
7.根据权利要求1或3所述的系统，其特征在于，后台管理是系统管理员，通过后台管理接口，登录系统，进行向导式集群自动化部署、集群监控与告警、用户管理、权限管理。
8.根据权利要求1所述的系统，其特征在于，本发明中的ElasticSearch能够使用SolrCloud代替。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013103069428A CN103399887A (zh) | 2013-07-19 | 2013-07-19 | 一种海量日志的查询与统计分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2013103069428A CN103399887A (zh) | 2013-07-19 | 2013-07-19 | 一种海量日志的查询与统计分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103399887A true CN103399887A (zh) | 2013-11-20 |
Family
ID=49563517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2013103069428A Pending CN103399887A (zh) | 2013-07-19 | 2013-07-19 | 一种海量日志的查询与统计分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103399887A (zh) |
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103701633A (zh) * | 2013-12-09 | 2014-04-02 | 国家电网公司 | 对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统 |
| CN103944966A (zh) * | 2014-03-27 | 2014-07-23 | 汉柏科技有限公司 | 基于云计算平台日志收集方法与装置 |
| CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
| CN104102710A (zh) * | 2014-07-15 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 一种海量数据查询方法 |
| CN104113605A (zh) * | 2014-07-30 | 2014-10-22 | 浪潮软件股份有限公司 | 一种企业云应用开发的监控处理方法 |
| CN104408134A (zh) * | 2013-11-28 | 2015-03-11 | 中国科学院计算技术研究所 | 一种sql到云环境的映射方法及系统 |
| CN105005549A (zh) * | 2015-07-31 | 2015-10-28 | 山东蚁巡网络科技有限公司 | 一种自定义链式日志解析装置及方法 |
| CN105138661A (zh) * | 2015-09-02 | 2015-12-09 | 西北大学 | 一种基于Hadoop的网络安全日志k-means聚类分析系统及方法 |
| CN105243008A (zh) * | 2015-11-02 | 2016-01-13 | 上海新炬网络信息技术有限公司 | 一种基于宿主机的虚拟机性能监控方法 |
| CN105589791A (zh) * | 2015-12-28 | 2016-05-18 | 江苏省电力公司信息通信分公司 | 一种云计算环境下应用系统日志监控管理的方法 |
| CN105677842A (zh) * | 2016-01-05 | 2016-06-15 | 北京汇商融通信息技术有限公司 | 基于Hadoop大数据处理技术的日志分析系统 |
| CN106202509A (zh) * | 2016-07-21 | 2016-12-07 | 柳州龙辉科技有限公司 | 一种日志信息的处理方法 |
| CN106294741A (zh) * | 2016-08-10 | 2017-01-04 | 深圳市彬讯科技有限公司 | 一种自动化数据查询同步存储系统 |
| CN106407232A (zh) * | 2015-08-03 | 2017-02-15 | 天脉聚源（北京）科技有限公司 | 一种对电视购物进行统计分析的方法和系统 |
| CN106406985A (zh) * | 2016-09-21 | 2017-02-15 | 北京百度网讯科技有限公司 | 分布式计算框架和分布式计算方法 |
| CN106470118A (zh) * | 2015-08-21 | 2017-03-01 | 睿石网云（北京）科技有限公司 | 一种应用系统性能异常检测方法和系统 |
| CN106533782A (zh) * | 2016-12-01 | 2017-03-22 | 北京雷石天地电子技术有限公司 | 一种实时发现线下场所业务故障的方法和系统 |
| CN106557591A (zh) * | 2016-12-01 | 2017-04-05 | 深圳中兴网信科技有限公司 | 检索方法和检索装置 |
| CN106844171A (zh) * | 2016-12-27 | 2017-06-13 | 浪潮软件集团有限公司 | 一种海量运维的实现方法 |
| CN106919685A (zh) * | 2017-03-02 | 2017-07-04 | 浪潮软件集团有限公司 | 一种海量数据文件处理方法 |
| CN106934062A (zh) * | 2017-03-28 | 2017-07-07 | 广东工业大学 | 一种查询elasticsearch的实现方法及系统 |
| CN106961428A (zh) * | 2017-03-15 | 2017-07-18 | 苏州大学 | 一种基于私有云平台的集中式入侵检测系统 |
| CN107273267A (zh) * | 2017-06-09 | 2017-10-20 | 环球智达科技（北京）有限公司 | 基于elastic组件的日志分析方法 |
| CN107341217A (zh) * | 2017-06-27 | 2017-11-10 | 武汉斗鱼网络科技有限公司 | 一种数据获取方法及设备 |
| CN107423823A (zh) * | 2017-08-11 | 2017-12-01 | 成都优易数据有限公司 | 一种基于r语言的机器学习建模平台架构设计方法 |
| CN107463692A (zh) * | 2017-08-11 | 2017-12-12 | 山东合天智汇信息技术有限公司 | 超大文本数据同步到搜索引擎的方法和系统 |
| US9900317B2 (en) | 2016-02-25 | 2018-02-20 | Red Hat, Inc. | Access guards for multi-tenant logging |
| CN107800592A (zh) * | 2017-11-09 | 2018-03-13 | 郑州云海信息技术有限公司 | 一种服务器测试结果采集方法 |
| CN107992949A (zh) * | 2017-11-09 | 2018-05-04 | 北京许继电气有限公司 | 工业数据分析方法和系统 |
| CN108023959A (zh) * | 2017-12-08 | 2018-05-11 | 郑州云海信息技术有限公司 | 一种自动安装集群系统的方法及系统 |
| CN108376181A (zh) * | 2018-04-24 | 2018-08-07 | 丹阳飓风物流股份有限公司 | 基于elk的日志服务平台 |
| CN108540352A (zh) * | 2018-05-02 | 2018-09-14 | 上海妙克信息科技有限公司 | 一种用于在线教育系统用户通道自动匹配的优化扩展方法 |
| CN108710691A (zh) * | 2018-05-22 | 2018-10-26 | 浪潮软件集团有限公司 | 一种日志管理的方法及装置 |
| CN108874614A (zh) * | 2017-05-11 | 2018-11-23 | 上海宏时数据系统有限公司 | 一种大数据日志智能分析系统及方法 |
| WO2018228034A1 (zh) * | 2017-06-15 | 2018-12-20 | 北京京东尚科信息技术有限公司 | 生成弹性搜索请求的方法和装置 |
| US10250531B2 (en) | 2016-10-06 | 2019-04-02 | Microsoft Technology Licensing, Llc | Bot monitoring |
| CN109783754A (zh) * | 2018-12-17 | 2019-05-21 | 杭州玳数科技有限公司 | 一种基于web技术实现的日志展示方法及系统 |
| CN109872135A (zh) * | 2019-03-04 | 2019-06-11 | 山东浪潮云信息技术有限公司 | 一种基于elk的政务服务数据分析方法 |
| CN110188083A (zh) * | 2019-05-29 | 2019-08-30 | 口碑(上海)信息技术有限公司 | 接口信息挖掘方法及装置 |
| CN110309130A (zh) * | 2018-03-21 | 2019-10-08 | 中国人民财产保险股份有限公司 | 一种用于主机性能监控的方法及装置 |
| CN110362544A (zh) * | 2019-05-27 | 2019-10-22 | 中国平安人寿保险股份有限公司 | 日志处理系统、日志处理方法、终端及存储介质 |
| CN111177239A (zh) * | 2019-12-13 | 2020-05-19 | 航天信息股份有限公司 | 一种基于hdp大数据集群的统一日志处理方法及系统 |
| CN111209270A (zh) * | 2019-12-24 | 2020-05-29 | 曙光信息产业(北京)有限公司 | 一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法 |
| CN111611320A (zh) * | 2020-06-17 | 2020-09-01 | 天津异乡好居网络科技有限公司 | 一种基于日志服务包统计数据的方法及存储介质 |
| CN111625416A (zh) * | 2020-05-09 | 2020-09-04 | 云南大学 | 一种基于云os的日志回收及故障警报系统 |
| CN111769978A (zh) * | 2020-06-19 | 2020-10-13 | 青岛海尔科技有限公司 | 用于物联设备离线信息上报的方法、装置、终端及系统 |
| CN113918526A (zh) * | 2021-10-12 | 2022-01-11 | 平安国际智慧城市科技股份有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN116644039A (zh) * | 2023-05-25 | 2023-08-25 | 安徽继远软件有限公司 | 一种基于大数据的在线能力运营日志自动采集分析的方法 |
| CN117971606A (zh) * | 2024-03-29 | 2024-05-03 | 浙商银行股份有限公司 | 基于ElasticSearch的日志管理系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120030018A1 (en) * | 2010-07-28 | 2012-02-02 | Aol Inc. | Systems And Methods For Managing Electronic Content |
| CN102426609A (zh) * | 2011-12-28 | 2012-04-25 | 厦门市美亚柏科信息股份有限公司 | 一种基于MapReduce编程架构的索引生成方法和装置 |
| CN103166785A (zh) * | 2011-12-15 | 2013-06-19 | 同程网络科技股份有限公司 | 基于Hadoop的分布式日志分析系统 |
-
2013
- 2013-07-19 CN CN2013103069428A patent/CN103399887A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120030018A1 (en) * | 2010-07-28 | 2012-02-02 | Aol Inc. | Systems And Methods For Managing Electronic Content |
| CN103166785A (zh) * | 2011-12-15 | 2013-06-19 | 同程网络科技股份有限公司 | 基于Hadoop的分布式日志分析系统 |
| CN102426609A (zh) * | 2011-12-28 | 2012-04-25 | 厦门市美亚柏科信息股份有限公司 | 一种基于MapReduce编程架构的索引生成方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 博客园 爱开卷360: "用ElasticSearch存储日志", 《HTTP://WWW.CNBLOGS.COM/IBOOK360/ARCHIVE/2013/03/15/2961141.HTML》 * |
| 白超 等: "基于并行计算的海量日志分析系统实现", 《计算机技术与发展》 * |
Cited By (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104408134A (zh) * | 2013-11-28 | 2015-03-11 | 中国科学院计算技术研究所 | 一种sql到云环境的映射方法及系统 |
| CN103701633A (zh) * | 2013-12-09 | 2014-04-02 | 国家电网公司 | 对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统 |
| CN103701633B (zh) * | 2013-12-09 | 2017-01-11 | 国家电网公司 | 对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统 |
| CN103944966A (zh) * | 2014-03-27 | 2014-07-23 | 汉柏科技有限公司 | 基于云计算平台日志收集方法与装置 |
| CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
| CN104102710A (zh) * | 2014-07-15 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 一种海量数据查询方法 |
| CN104113605A (zh) * | 2014-07-30 | 2014-10-22 | 浪潮软件股份有限公司 | 一种企业云应用开发的监控处理方法 |
| CN105005549A (zh) * | 2015-07-31 | 2015-10-28 | 山东蚁巡网络科技有限公司 | 一种自定义链式日志解析装置及方法 |
| CN106407232A (zh) * | 2015-08-03 | 2017-02-15 | 天脉聚源（北京）科技有限公司 | 一种对电视购物进行统计分析的方法和系统 |
| CN106470118A (zh) * | 2015-08-21 | 2017-03-01 | 睿石网云（北京）科技有限公司 | 一种应用系统性能异常检测方法和系统 |
| CN105138661B (zh) * | 2015-09-02 | 2018-10-30 | 西北大学 | 一种基于Hadoop的网络安全日志k-means聚类分析系统及方法 |
| CN105138661A (zh) * | 2015-09-02 | 2015-12-09 | 西北大学 | 一种基于Hadoop的网络安全日志k-means聚类分析系统及方法 |
| CN105243008A (zh) * | 2015-11-02 | 2016-01-13 | 上海新炬网络信息技术有限公司 | 一种基于宿主机的虚拟机性能监控方法 |
| CN105589791A (zh) * | 2015-12-28 | 2016-05-18 | 江苏省电力公司信息通信分公司 | 一种云计算环境下应用系统日志监控管理的方法 |
| CN105677842A (zh) * | 2016-01-05 | 2016-06-15 | 北京汇商融通信息技术有限公司 | 基于Hadoop大数据处理技术的日志分析系统 |
| US9900317B2 (en) | 2016-02-25 | 2018-02-20 | Red Hat, Inc. | Access guards for multi-tenant logging |
| US10609035B2 (en) | 2016-02-25 | 2020-03-31 | Red Hat, Inc. | Access guards for multi-tenant logging |
| US10263993B2 (en) | 2016-02-25 | 2019-04-16 | Red Hat, Inc. | Access guards for multi-tenant logging |
| CN106202509A (zh) * | 2016-07-21 | 2016-12-07 | 柳州龙辉科技有限公司 | 一种日志信息的处理方法 |
| CN106294741B (zh) * | 2016-08-10 | 2019-09-10 | 深圳市彬讯科技有限公司 | 一种自动化数据查询同步存储系统 |
| CN106294741A (zh) * | 2016-08-10 | 2017-01-04 | 深圳市彬讯科技有限公司 | 一种自动化数据查询同步存储系统 |
| CN106406985A (zh) * | 2016-09-21 | 2017-02-15 | 北京百度网讯科技有限公司 | 分布式计算框架和分布式计算方法 |
| CN106406985B (zh) * | 2016-09-21 | 2019-10-11 | 北京百度网讯科技有限公司 | 分布式计算框架和分布式计算方法 |
| US10250531B2 (en) | 2016-10-06 | 2019-04-02 | Microsoft Technology Licensing, Llc | Bot monitoring |
| CN106533782A (zh) * | 2016-12-01 | 2017-03-22 | 北京雷石天地电子技术有限公司 | 一种实时发现线下场所业务故障的方法和系统 |
| CN106557591A (zh) * | 2016-12-01 | 2017-04-05 | 深圳中兴网信科技有限公司 | 检索方法和检索装置 |
| CN106844171A (zh) * | 2016-12-27 | 2017-06-13 | 浪潮软件集团有限公司 | 一种海量运维的实现方法 |
| CN106919685A (zh) * | 2017-03-02 | 2017-07-04 | 浪潮软件集团有限公司 | 一种海量数据文件处理方法 |
| CN106961428A (zh) * | 2017-03-15 | 2017-07-18 | 苏州大学 | 一种基于私有云平台的集中式入侵检测系统 |
| CN106934062B (zh) * | 2017-03-28 | 2020-05-19 | 广东工业大学 | 一种查询elasticsearch的实现方法及系统 |
| CN106934062A (zh) * | 2017-03-28 | 2017-07-07 | 广东工业大学 | 一种查询elasticsearch的实现方法及系统 |
| CN108874614A (zh) * | 2017-05-11 | 2018-11-23 | 上海宏时数据系统有限公司 | 一种大数据日志智能分析系统及方法 |
| CN107273267A (zh) * | 2017-06-09 | 2017-10-20 | 环球智达科技（北京）有限公司 | 基于elastic组件的日志分析方法 |
| CN109145014A (zh) * | 2017-06-15 | 2019-01-04 | 北京京东尚科信息技术有限公司 | 生成弹性搜索请求的方法和装置 |
| WO2018228034A1 (zh) * | 2017-06-15 | 2018-12-20 | 北京京东尚科信息技术有限公司 | 生成弹性搜索请求的方法和装置 |
| CN107341217A (zh) * | 2017-06-27 | 2017-11-10 | 武汉斗鱼网络科技有限公司 | 一种数据获取方法及设备 |
| CN107341217B (zh) * | 2017-06-27 | 2020-02-07 | 武汉斗鱼网络科技有限公司 | 一种数据获取方法及设备 |
| WO2019000897A1 (zh) * | 2017-06-27 | 2019-01-03 | 武汉斗鱼网络科技有限公司 | 一种数据获取方法及设备 |
| CN107463692B (zh) * | 2017-08-11 | 2019-10-18 | 山东合天智汇信息技术有限公司 | 超大文本数据同步到搜索引擎的方法和系统 |
| CN107423823B (zh) * | 2017-08-11 | 2020-11-10 | 成都优易数据有限公司 | 一种基于r语言的机器学习建模平台架构设计方法 |
| CN107423823A (zh) * | 2017-08-11 | 2017-12-01 | 成都优易数据有限公司 | 一种基于r语言的机器学习建模平台架构设计方法 |
| CN107463692A (zh) * | 2017-08-11 | 2017-12-12 | 山东合天智汇信息技术有限公司 | 超大文本数据同步到搜索引擎的方法和系统 |
| CN107992949A (zh) * | 2017-11-09 | 2018-05-04 | 北京许继电气有限公司 | 工业数据分析方法和系统 |
| CN107800592A (zh) * | 2017-11-09 | 2018-03-13 | 郑州云海信息技术有限公司 | 一种服务器测试结果采集方法 |
| CN108023959A (zh) * | 2017-12-08 | 2018-05-11 | 郑州云海信息技术有限公司 | 一种自动安装集群系统的方法及系统 |
| CN110309130A (zh) * | 2018-03-21 | 2019-10-08 | 中国人民财产保险股份有限公司 | 一种用于主机性能监控的方法及装置 |
| CN108376181A (zh) * | 2018-04-24 | 2018-08-07 | 丹阳飓风物流股份有限公司 | 基于elk的日志服务平台 |
| CN108540352A (zh) * | 2018-05-02 | 2018-09-14 | 上海妙克信息科技有限公司 | 一种用于在线教育系统用户通道自动匹配的优化扩展方法 |
| CN108710691A (zh) * | 2018-05-22 | 2018-10-26 | 浪潮软件集团有限公司 | 一种日志管理的方法及装置 |
| CN109783754A (zh) * | 2018-12-17 | 2019-05-21 | 杭州玳数科技有限公司 | 一种基于web技术实现的日志展示方法及系统 |
| CN109872135A (zh) * | 2019-03-04 | 2019-06-11 | 山东浪潮云信息技术有限公司 | 一种基于elk的政务服务数据分析方法 |
| CN110362544A (zh) * | 2019-05-27 | 2019-10-22 | 中国平安人寿保险股份有限公司 | 日志处理系统、日志处理方法、终端及存储介质 |
| CN110362544B (zh) * | 2019-05-27 | 2024-04-02 | 中国平安人寿保险股份有限公司 | 日志处理系统、日志处理方法、终端及存储介质 |
| CN110188083A (zh) * | 2019-05-29 | 2019-08-30 | 口碑(上海)信息技术有限公司 | 接口信息挖掘方法及装置 |
| CN111177239A (zh) * | 2019-12-13 | 2020-05-19 | 航天信息股份有限公司 | 一种基于hdp大数据集群的统一日志处理方法及系统 |
| CN111177239B (zh) * | 2019-12-13 | 2023-10-10 | 航天信息股份有限公司 | 一种基于hdp大数据集群的统一日志处理方法及系统 |
| CN111209270A (zh) * | 2019-12-24 | 2020-05-29 | 曙光信息产业(北京)有限公司 | 一种基于MapReduce技术的集群监控原始数据抽样计算和存储方法 |
| CN111625416B (zh) * | 2020-05-09 | 2021-08-24 | 云南大学 | 一种基于云os的日志回收及故障警报系统 |
| CN111625416A (zh) * | 2020-05-09 | 2020-09-04 | 云南大学 | 一种基于云os的日志回收及故障警报系统 |
| CN111611320A (zh) * | 2020-06-17 | 2020-09-01 | 天津异乡好居网络科技有限公司 | 一种基于日志服务包统计数据的方法及存储介质 |
| CN111769978A (zh) * | 2020-06-19 | 2020-10-13 | 青岛海尔科技有限公司 | 用于物联设备离线信息上报的方法、装置、终端及系统 |
| CN111769978B (zh) * | 2020-06-19 | 2022-10-14 | 青岛海尔科技有限公司 | 用于物联设备离线信息上报的方法、装置、终端及系统 |
| CN113918526A (zh) * | 2021-10-12 | 2022-01-11 | 平安国际智慧城市科技股份有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN113918526B (zh) * | 2021-10-12 | 2024-06-25 | 深圳平安智慧医健科技有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN116644039A (zh) * | 2023-05-25 | 2023-08-25 | 安徽继远软件有限公司 | 一种基于大数据的在线能力运营日志自动采集分析的方法 |
| CN116644039B (zh) * | 2023-05-25 | 2023-12-19 | 安徽继远软件有限公司 | 一种基于大数据的在线能力运营日志自动采集分析的方法 |
| CN117971606A (zh) * | 2024-03-29 | 2024-05-03 | 浙商银行股份有限公司 | 基于ElasticSearch的日志管理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103399887A (zh) | 一种海量日志的查询与统计分析系统 | |
| Sandhu | Big data with cloud computing: Discussions and challenges | |
| Dayarathna et al. | Recent advancements in event processing | |
| Mukherjee et al. | A comparative review of data warehousing ETL tools with new trends and industry insight | |
| Campos et al. | A big data analytical architecture for the Asset Management | |
| Gürcan et al. | Real-time processing of big data streams: Lifecycle, tools, tasks, and challenges | |
| US20140358844A1 (en) | Workflow controller compatibility | |
| CN105139281A (zh) | 一种电力营销大数据的处理方法及系统 | |
| CN111400326A (zh) | 一种智慧城市数据管理系统及其方法 | |
| CN110019267A (zh) | 一种元数据更新方法、装置、系统、电子设备及存储介质 | |
| Caldarola et al. | Big data: A survey-the new paradigms, methodologies and tools | |
| Li et al. | Challenges and trends of big data analytics | |
| Patgiri | A taxonomy on big data: Survey | |
| Franciscus et al. | Precomputing architecture for flexible and efficient big data analytics | |
| Terzi et al. | Evaluations of big data processing | |
| Joshi | Analyzing big data tools and deployment platforms | |
| Sudha et al. | A survey paper on map reduce in big data | |
| Wadhera et al. | A systematic Review of Big data tools and application for developments | |
| Mishra et al. | Challenges in big data application: a review | |
| Shukla et al. | Big data frameworks: at a glance | |
| He et al. | The high-activity parallel implementation of data preprocessing based on MapReduce | |
| Ketu et al. | Performance enhancement of distributed K-Means clustering for big Data analytics through in-memory computation | |
| Aundhkar | A review on enterprise data lake solutions | |
| US10997129B1 (en) | Data set virtual neighborhood characterization, provisioning and access | |
| Ionescu et al. | An architecture and methods for big data analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20131120 |