CN104978438A - 基于日志的实时分析方法及系统 - Google Patents

基于日志的实时分析方法及系统 Download PDF

Info

Publication number
CN104978438A
CN104978438A CN201510437483.6A CN201510437483A CN104978438A CN 104978438 A CN104978438 A CN 104978438A CN 201510437483 A CN201510437483 A CN 201510437483A CN 104978438 A CN104978438 A CN 104978438A
Authority
CN
China
Prior art keywords
log
label
log information
analysis result
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510437483.6A
Other languages
English (en)
Inventor
欧阳涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Feixun Data Communication Technology Co Ltd
Original Assignee
Shanghai Feixun Data Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Feixun Data Communication Technology Co Ltd filed Critical Shanghai Feixun Data Communication Technology Co Ltd
Priority to CN201510437483.6A priority Critical patent/CN104978438A/zh
Publication of CN104978438A publication Critical patent/CN104978438A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种基于日志的实时分析方法及系统。根据所述方法，所述系统实时获取至少一个应用所对应的日志文件中符合预设标签的日志信息，并按照所述标签将所获取的日志信息进行分配；将属于同一标签的日志信息进行日志分析，并基于所述标签展示分析结果。本发明按照标签对各日志信息进行分配，能够以分布式的方式，快速的对日志信息进行分析，解决了日志分析时效滞后的问题。

Description

基于日志的实时分析方法及系统
技术领域
本发明涉及一种数据挖掘领域，特别是涉及一种基于日志的实时分析方法及系统。
背景技术
技术人员通过记录应用运行的日志的方式，能够获取应用运行过程中对应用户行为的数据、异常信息、系统错误等。根据所获取的日志记录，技术人员不仅能够确定产生某个错误/异常的原因，还能据此对相应的应用代码进行改进。然而，随着大数据时代的来临，传统的日志分析和推送方式无法实时的更新，技术人员永远滞后的获取日志信息。此外，由于数据量巨大，导致数据的采集、传输等对计算机系统的性能要求过高。
因此，需要对现有技术进行改进。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于日志的实时分析方法及系统，用于解决现有技术中日志分析时效滞后的问题。
为实现上述目的及其他相关目的，本发明提供一种基于日志的实时分析方法，包括：实时获取至少一个应用所对应的日志文件中符合预设标签的日志信息，并按照所述标签将所获取的日志信息进行分配；将属于同一标签的日志信息进行日志分析，并基于所述标签展示分析结果。
优选地，所述标签包括以下至少一种：错误标签、警告标签、异常标签、和信息标签。
优选地，所述按照标签将所获取的日志信息进行分配的方式包括：根据预设标签将所获取的日志信息分配给基于所述标签分类的分布式文件服务器；
所述将属于同一标签的日志信息进行日志分析的方式包括：由所述分布式文件服务器基于预设时间段和/或所获取的日志信息所对应的应用，将属于同一标签的各日志信息进行日志分析，得到日志分析结果；所述日志分析结果包括以下至少一种：相应标签所对应的各日志信息的产生原因及其数量统计、相应标签所对应的各日志信息的正常类型和异常类型。
优选地，在将属于同一标签的日志信息进行日志分析的步骤之后，还包括：各所述分布式文件服务器将所得到的日志分析结果汇总保存在数据库中。
优选地，所述基于标签展示分析结果的方式包括：将同一标签下的日志分析结果进行近似度统计，展示近似度大于预设近似度阈值各日志分析结果。
基于上述目的，本发明还提供一种基于日志的实时分析系统，包括：日志获取模块，用于实时获取至少一个应用所对应的日志文件中符合预设标签的日志信息，并按照所述标签将所获取的日志信息进行分配；日志分析模块，用于将属于同一标签的日志信息进行日志分析，并基于所述标签展示分析结果。
优选地，所述标签包括以下至少一种：错误标签、警告标签、异常标签、和信息标签。
优选地，所述日志获取模块还用于根据预设标签将所获取的日志信息分配给基于所述标签分类的所述日志分析模块中的分布式文件服务器；
所述分布式文件服务器用于基于预设时间段和/或所获取的日志信息所对应的应用，将属于同一标签的各日志信息进行日志分析，得到日志分析结果；所述日志分析结果包括以下至少一种：相应标签所对应的各日志信息的产生原因及其数量统计、相应标签所对应的各日志信息的正常类型和异常类型。
优选地，各所述分布式文件服务器将所得到的日志分析结果汇总保存在数据库中。
优选地，所述日志分析模块还用于将同一标签下的日志分析结果进行近似度统计，展示近似度大于预设近似度阈值各日志分析结果。
如上所述，本发明的基于日志的实时分析方法及系统，具有以下有益效果：通过实时获取日志文件中的日志信息，并按照标签对各日志信息进行分配，能够以分布式的方式，快速的对日志信息进行分析，解决了日志分析时效滞后的问题；同时，按照标签进行日志分析，相比于全数据分析，能够更有针对性的确定产生日志的行为、原因等，有利于技术人员快速定位问题；还有，采用分布式文件服务器相比于采用多个分析线程进行日志分析，实现真正的同步日志挖掘和处理；此外，将分析结果做近似度统计，能够为技术人员提供多分析结果参考，进一步帮助技术人员进行改进。
附图说明
图1显示为本发明的基于日志的实时分析方法的流程图。
图2显示为本发明的基于日志的实时分析系统的结构示意图。
图3显示为本发明的基于日志的实时分析系统的一种优选方案的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1。本发明提供一种基于日志的实时分析方法。所述分析方法主要由分析系统来执行。所述分析系统包括：日志服务器。可选的还包括：分布式文件服务器、数据库、查询服务器等。
所述日志服务器与应用服务器相连，能够同时获取所述应用服务器运行过程中至少一个应用的日志文件。所述日志文件包括但不限于：基于logj4技术记录的日志文件等。
在步骤S1中，所述日志服务器实时收集至少一个应用所对应的日志文件中符合预设标签的日志信息，并按照所述标签将所获取的日志信息进行分配。
在此，所述标签包括但不限于以下至少一种：错误标签、警告标签、异常标签、和信息标签。例如，在基于logj4技术所记录的日志文件中，错误标签为error，警告标签为warn、异常标签为exception、信息标签为info。
具体地，所述日志服务器可周期循环的从各应用的日志文件的新增部分读取符合预设的各标签的日志信息，再按照各所述标签将所获取的所有日志信息分配给相应的分析软件，由各分析软件执行步骤S2。
优选地，利用Flume技术，所述应用服务器中的每个日志线程配置有一个或几个标签，各日志线程从各应用的日志文件中读取与所配置的标签相符的日志信息，并传至所述日志服务器。再由所述日志服务器根据预设标签将所获取的日志信息分配给基于所述标签分类的分布式文件服务器。由所述分布式文件服务器执行步骤S2。
在步骤S2中，将属于同一标签的日志信息进行日志分析，并基于所述标签展示分析结果。
具体地，所述分布式文件服务器基于预设时间段和/或所获取的日志信息所对应的应用，将属于同一标签的各日志信息进行日志分析，得到日志分析结果；所述日志分析结果包括以下至少一种：相应标签所对应的各日志信息的产生原因及其数量统计、相应标签所对应的各日志信息的正常类型和异常类型。
其中，所述预设时间段举例为：最近1秒内、最近1分钟内、最近2小时内、从A1时间至A2时间内等等。
所述分布式文件服务器在预设的时间段内将某个应用/多个应用的日志信息按照预设的关键字、和/或文本格式进行归类，以得到分析结果。进一步的还可以按照关键字在文本格式中的位置进行统计，丰富所述分析结果。其中，所述文本格式是日志信息中预先按照应用名称、日志产生原因、日志内容进行划分的。
例如，日志服务器在预设时间段内分配给分布式文件服务器Server1的标签均为error，对应的日志信息包括：log1为[应用名称1]abc：def、log2为[应用名称2]abc123：def234，所述分布式文件服务器Server1通过预设的文本格式确定“[]”之内的日志部分为应用名称，确定“：”之前的日志部分为错误产生原因、之后的部分为错误的内容。接着，所述分布式文件服务器Server1按照预设的关键字确定log1的错误产生原因包含“bc1”的日志信息归为一类，其他日志信息归为一类，再对归类后的日志信息的数量进行统计，以得到错误产生原因及其数量、和错误内容及其数量的分析结果。
需要说明的是，本领域技术人员应该理解，上述分析方式仅为举例。事实上，在大数据分析领域中，还有其他算法将属于同一标签的日志信息进行日志分析，得到日志分析结果，均应涵盖在本发明所述范围之内。
在此，所述分布式文件服务器可按照预先设置的推送时间、或者实时的将所述分析结果提供给技术人员。例如，以发送邮件、弹出自刷新网页等方式提供给技术人员。
优选地，各所述分布式文件服务器将所得到的日志分析结果汇总保存在数据库中。其中，所述数据库举例为mySQL。查询服务器可从数据库中提取日志分析结果，并以统计图表等形式发送给技术人员。
又一种优选方案中，所述查询服务器/分布式文件服务器将同一标签下的日志分析结果进行近似度统计，展示近似度大于预设近似度阈值各日志分析结果。
例如，所述查询服务器按照字符一致的数量和文本字符总数的比例，计算日志分析结果中各日志产生原因之间的近似度，若两个或更多的日志分析结果中日志产生原因之间的近似度大于预设的近似度阈值，则将相应的日志分析结果以表格比对的方式提供给技术人员，以供技术人员参考。如此，能够为技术人员提供更多的日志分析比对信息。
请参阅图2。本发明提供一种基于日志的实时分析系统。所述分析系统1包括：日志服务器。可选的还包括：分布式文件服务器、数据库、查询服务器等。如图3所示。所述分析系统1包括：日志获取模块11、日志分析模块12。所述日志获取模块11可位于所述日志服务器中。所述日志分析模块12可位于所述日志服务器中，优选地，包含所述日志服务器、数据库、查询服务器。
所述日志服务器与应用服务器相连，能够同时获取所述应用服务器运行过程中至少一个应用的日志文件。所述日志文件包括但不限于：基于logj4技术记录的日志文件等。
所述日志获取模块11用于实时收集至少一个应用所对应的日志文件中符合预设标签的日志信息，并按照所述标签将所获取的日志信息进行分配。
在此，所述标签包括但不限于以下至少一种：错误标签、警告标签、异常标签、和信息标签。例如，在基于logj4技术所记录的日志文件中，错误标签为error，警告标签为warn、异常标签为exception、信息标签为info。
具体地，所述日志获取模块11可周期循环的从各应用的日志文件的新增部分读取符合预设的各标签的日志信息，再按照各所述标签将所获取的所有日志信息分配给相应的包含分析软件的日志分析模块12。
优选地，利用Flume技术，所述应用服务器中的每个日志线程配置有一个或几个标签，各日志线程从各应用的日志文件中读取与所配置的标签相符的日志信息，并传至所述日志获取模块11。再由所述日志获取模块11根据预设标签将所获取的日志信息分配给基于所述标签分类的分布式文件服务器，由所述分布式文件服务器启动所述日志分析模块12。
所述日志分析模块12用于将属于同一标签的日志信息进行日志分析，并基于所述标签展示分析结果。
具体地，所述日志分析模块12基于预设时间段和/或所获取的日志信息所对应的应用，将属于同一标签的各日志信息进行日志分析，得到日志分析结果；所述日志分析结果包括以下至少一种：相应标签所对应的各日志信息的产生原因及其数量统计、相应标签所对应的各日志信息的正常类型和异常类型。
其中，所述预设时间段举例为：最近1秒内、最近1分钟内、最近2小时内、从A1时间至A2时间内等等。
所述日志分析模块12在预设的时间段内将某个应用/多个应用的日志信息按照预设的关键字、和/或文本格式进行归类，以得到分析结果。进一步的还可以按照关键字在文本格式中的位置进行统计，丰富所述分析结果。其中，所述文本格式是日志信息中预先按照应用名称、日志产生原因、日志内容进行划分的。
例如，所述日志获取模块11在预设时间段内分配给分布式文件服务器Server1的标签均为error，对应的日志信息包括：log1为[应用名称1]abc：def、log2为[应用名称2]abc123：def234，所述日志分析模块12中的分布式文件服务器Server1通过预设的文本格式确定“[]”之内的日志部分为应用名称，确定“：”之前的日志部分为错误产生原因、之后的部分为错误的内容。接着，所述分布式文件服务器Server1按照预设的关键字确定log1的错误产生原因包含“bc1”的日志信息归为一类，其他日志信息归为一类，再对归类后的日志信息的数量进行统计，以得到错误产生原因及其数量、和错误内容及其数量的分析结果。
需要说明的是，本领域技术人员应该理解，上述分析方式仅为举例。事实上，在大数据分析领域中，还有其他算法将属于同一标签的日志信息进行日志分析，得到日志分析结果，均应涵盖在本发明所述范围之内。
在此，所述分布式文件服务器可按照预先设置的推送时间、或者实时的将所述分析结果提供给技术人员。例如，以发送邮件、弹出自刷新网页等方式提供给技术人员。
优选地，各所述分布式文件服务器将所得到的日志分析结果汇总保存在数据库中。其中，所述数据库举例为mySQL。查询服务器可从数据库中提取日志分析结果，并以统计图表等形式发送给技术人员。
又一种优选方案中，所述日志分析模块12还用于将同一标签下的日志分析结果进行近似度统计，展示近似度大于预设近似度阈值各日志分析结果。
例如，所述日志分析模块12按照字符一致的数量和文本字符总数的比例，计算日志分析结果中各日志产生原因之间的近似度，若两个或更多的日志分析结果中日志产生原因之间的近似度大于预设的近似度阈值，则将相应的日志分析结果以表格比对的方式提供给技术人员，以供技术人员参考。如此，能够为技术人员提供更多的日志分析比对信息。
综上所述，本发明的基于日志的实时分析方法及系统，通过实时获取日志文件中的日志信息，并按照标签对各日志信息进行分配，能够以分布式的方式，快速的对日志信息进行分析，解决了日志分析时效滞后的问题；同时，按照标签进行日志分析，相比于全数据分析，能够更有针对性的确定产生日志的行为、原因等，有利于技术人员快速定位问题；还有，采用分布式文件服务器相比于采用多个分析线程进行日志分析，实现真正的同步日志挖掘和处理；此外，将分析结果做近似度统计，能够为技术人员提供多分析结果参考，进一步帮助技术人员进行改进。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于日志的实时分析方法，其特征在于，包括：
实时获取至少一个应用所对应的日志文件中符合预设标签的日志信息，并按照所述标签将所获取的日志信息进行分配；
将属于同一标签的日志信息进行日志分析，并基于所述标签展示分析结果。
2.根据权利要求1所述的基于日志的实时分析方法，其特征在于，所述标签包括以下至少一种：错误标签、警告标签、异常标签、和信息标签。
3.根据权利要求1所述的基于日志的实时分析方法，其特征在于，所述按照标签将所获取的日志信息进行分配的方式包括：
根据预设标签将所获取的日志信息分配给基于所述标签分类的分布式文件服务器；
所述将属于同一标签的日志信息进行日志分析的方式包括：
由所述分布式文件服务器基于预设时间段和/或所获取的日志信息所对应的应用，将属于同一标签的各日志信息进行日志分析，得到日志分析结果；所述日志分析结果包括以下至少一种：相应标签所对应的各日志信息的产生原因及其数量统计、相应标签所对应的各日志信息的正常类型和异常类型。
4.根据权利要求3所述的基于日志的实时分析方法，其特征在于，在将属于同一标签的日志信息进行日志分析的步骤之后，还包括：各所述分布式文件服务器将所得到的日志分析结果汇总保存在数据库中。
5.根据权利要求1所述的基于日志的实时分析方法，其特征在于，所述基于标签展示分析结果的方式包括：
将同一标签下的日志分析结果进行近似度统计，展示近似度大于预设近似度阈值各日志分析结果。
6.一种基于日志的实时分析系统，其特征在于，包括：
日志获取模块，用于实时获取至少一个应用所对应的日志文件中符合预设标签的日志信息，并按照所述标签将所获取的日志信息进行分配；
日志分析模块，用于将属于同一标签的日志信息进行日志分析，并基于所述标签展示分析结果。
7.根据权利要求6所述的基于日志的实时分析系统，其特征在于，所述标签包括以下至少一种：错误标签、警告标签、异常标签、和信息标签。
8.根据权利要求6所述的基于日志的实时分析系统，其特征在于，所述日志获取模块还用于根据预设标签将所获取的日志信息分配给基于所述标签分类的所述日志分析模块中的分布式文件服务器；
所述分布式文件服务器用于基于预设时间段和/或所获取的日志信息所对应的应用，将属于同一标签的各日志信息进行日志分析，得到日志分析结果；所述日志分析结果包括以下至少一种：相应标签所对应的各日志信息的产生原因及其数量统计、相应标签所对应的各日志信息的正常类型和异常类型。
9.根据权利要求8所述的基于日志的实时分析系统，其特征在于，各所述分布式文件服务器将所得到的日志分析结果汇总保存在数据库中。
10.根据权利要求6所述的基于日志的实时分析系统，其特征在于，所述日志分析模块还用于将同一标签下的日志分析结果进行近似度统计，展示近似度大于预设近似度阈值各日志分析结果。
CN201510437483.6A 2015-07-23 2015-07-23 基于日志的实时分析方法及系统 Pending CN104978438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510437483.6A CN104978438A (zh) 2015-07-23 2015-07-23 基于日志的实时分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510437483.6A CN104978438A (zh) 2015-07-23 2015-07-23 基于日志的实时分析方法及系统

Publications (1)

Publication Number Publication Date
CN104978438A true CN104978438A (zh) 2015-10-14

Family

ID=54274941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510437483.6A Pending CN104978438A (zh) 2015-07-23 2015-07-23 基于日志的实时分析方法及系统

Country Status (1)

Country Link
CN (1) CN104978438A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608203A (zh) * 2015-12-24 2016-05-25 Tcl集团股份有限公司 一种基于Hadoop平台的物联网日志处理方法和装置
CN105912694A (zh) * 2016-04-25 2016-08-31 上海斐讯数据通信技术有限公司 应用于嵌入式设备的日志文件及其创建、查询系统和方法
CN106100885A (zh) * 2016-06-23 2016-11-09 浪潮电子信息产业股份有限公司 一种网络安全告警系统及设计方案
CN106411579A (zh) * 2016-09-13 2017-02-15 深圳市金立通信设备有限公司 一种运行错误信息的处理方法及终端和系统
CN106649058A (zh) * 2015-10-29 2017-05-10 北京国双科技有限公司 一种日志处理方法及装置
CN106802904A (zh) * 2015-11-26 2017-06-06 北京国双科技有限公司 日志处理方法、装置及系统
CN106844576A (zh) * 2017-01-06 2017-06-13 北京蓝海讯通科技股份有限公司 一种异常检测方法、装置和监控设备
CN107783880A (zh) * 2017-09-01 2018-03-09 郑州云海信息技术有限公司 一种服务器系统的日志分析方法、装置及服务器系统
CN107832372A (zh) * 2017-10-27 2018-03-23 周燕红 一种日志分析方法及系统
CN107870842A (zh) * 2016-09-28 2018-04-03 平安科技（深圳）有限公司 一种日志管理方法及系统
CN108228881A (zh) * 2018-01-25 2018-06-29 郑州云海信息技术有限公司 一种基于Linux服务器日志分析结果展示方法
CN108964995A (zh) * 2018-07-03 2018-12-07 上海新炬网络信息技术股份有限公司 基于时间轴事件的日志关联分析方法
CN108959445A (zh) * 2018-06-13 2018-12-07 云南电网有限责任公司信息中心 分布式日志处理方法及装置
CN109002534A (zh) * 2018-07-18 2018-12-14 杭州安恒信息技术股份有限公司 一种日志分析方法、系统、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324563A (zh) * 2012-03-19 2013-09-25 宇龙计算机通信科技(深圳)有限公司 查看通信终端的终端事件的方法及其通信终端
CN103744890A (zh) * 2013-12-23 2014-04-23 清华大学 日志分离方法及装置
CN104216898A (zh) * 2013-05-31 2014-12-17 腾讯科技（深圳）有限公司 一种浏览器导航方法、装置及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324563A (zh) * 2012-03-19 2013-09-25 宇龙计算机通信科技(深圳)有限公司 查看通信终端的终端事件的方法及其通信终端
CN104216898A (zh) * 2013-05-31 2014-12-17 腾讯科技（深圳）有限公司 一种浏览器导航方法、装置及终端设备
CN103744890A (zh) * 2013-12-23 2014-04-23 清华大学 日志分离方法及装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649058A (zh) * 2015-10-29 2017-05-10 北京国双科技有限公司 一种日志处理方法及装置
CN106649058B (zh) * 2015-10-29 2020-01-07 北京国双科技有限公司 一种日志处理方法及装置
CN106802904A (zh) * 2015-11-26 2017-06-06 北京国双科技有限公司 日志处理方法、装置及系统
CN105608203A (zh) * 2015-12-24 2016-05-25 Tcl集团股份有限公司 一种基于Hadoop平台的物联网日志处理方法和装置
CN105608203B (zh) * 2015-12-24 2019-09-17 Tcl集团股份有限公司 一种基于Hadoop平台的物联网日志处理方法和装置
CN105912694A (zh) * 2016-04-25 2016-08-31 上海斐讯数据通信技术有限公司 应用于嵌入式设备的日志文件及其创建、查询系统和方法
CN106100885A (zh) * 2016-06-23 2016-11-09 浪潮电子信息产业股份有限公司 一种网络安全告警系统及设计方案
CN106411579A (zh) * 2016-09-13 2017-02-15 深圳市金立通信设备有限公司 一种运行错误信息的处理方法及终端和系统
CN107870842A (zh) * 2016-09-28 2018-04-03 平安科技（深圳）有限公司 一种日志管理方法及系统
CN107870842B (zh) * 2016-09-28 2021-05-04 平安科技（深圳）有限公司 一种日志管理方法及系统
CN106844576B (zh) * 2017-01-06 2020-10-13 北京蓝海讯通科技股份有限公司 一种异常检测方法、装置和监控设备
CN106844576A (zh) * 2017-01-06 2017-06-13 北京蓝海讯通科技股份有限公司 一种异常检测方法、装置和监控设备
CN107783880A (zh) * 2017-09-01 2018-03-09 郑州云海信息技术有限公司 一种服务器系统的日志分析方法、装置及服务器系统
CN107832372A (zh) * 2017-10-27 2018-03-23 周燕红 一种日志分析方法及系统
CN108228881A (zh) * 2018-01-25 2018-06-29 郑州云海信息技术有限公司 一种基于Linux服务器日志分析结果展示方法
CN108959445A (zh) * 2018-06-13 2018-12-07 云南电网有限责任公司信息中心 分布式日志处理方法及装置
CN108964995A (zh) * 2018-07-03 2018-12-07 上海新炬网络信息技术股份有限公司 基于时间轴事件的日志关联分析方法
CN109002534A (zh) * 2018-07-18 2018-12-14 杭州安恒信息技术股份有限公司 一种日志分析方法、系统、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN104978438A (zh) 基于日志的实时分析方法及系统
CN109408347B (zh) 一种指标实时分析系统及指标实时计算方法
CN108446305A (zh) 多维度统计业务数据的系统和方法
CN105095211B (zh) 多媒体数据的获取方法和装置
CN102629904B (zh) 一种网络水军的探测与判定方法
CN106021583B (zh) 页面流量数据的统计方法及其系统
CN102915335A (zh) 基于用户操作记录和资源内容的信息关联方法
CN109684402A (zh) 一种基于大数据平台元数据血缘关系实现方法
CN114429364A (zh) 业务数据管理方法和装置、存储介质及电子设备
CN103699611A (zh) 一种基于动态摘要技术的微博流信息提取方法
CN111814033A (zh) 用于投放的媒介信息确定方法、装置、设备和存储介质
CN102722561B (zh) 一种网页退出区域及其原因分析方法
CN109614417B (zh) 基于数据流的报表指标的显示方法、装置及终端
CN114971714A (zh) 一种基于大数据标签的精准客户运营方法和计算机设备
CN103617122B (zh) 一种源代码的比对方法
CN106557483B (zh) 一种数据处理、数据查询方法及设备
CN103853771B (zh) 一种搜索结果的推送方法及系统
CN113449077A (zh) 新闻热度计算方法、设备及存储介质
CN106227644A (zh) 一种海量信息处理装置
CN116132499B (zh) 调用链的压缩方法、装置、计算机设备及存储介质
CN104615728A (zh) 一种网页正文提取方法及装置
EP2599042A1 (en) Systems and methods of rapid business discovery and transformation of business processes
CN111209266A (zh) 一种基于Redis数据库的审计方法、装置及电子设备
CN113434507B (zh) 数据文本化方法、装置、设备及存储介质
CN109033133A (zh) 基于特征项权重增长趋势的事件检测与跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151014