CN110569274A - 一种分布式实时日志分析方法和计算机可读存储介质 - Google Patents

一种分布式实时日志分析方法和计算机可读存储介质 Download PDF

Info

Publication number
CN110569274A
CN110569274A CN201910712326.XA CN201910712326A CN110569274A CN 110569274 A CN110569274 A CN 110569274A CN 201910712326 A CN201910712326 A CN 201910712326A CN 110569274 A CN110569274 A CN 110569274A
Authority
CN
China
Prior art keywords
time service
log
logs
time
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910712326.XA
Other languages
English (en)
Inventor
郑一鸣
甘泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Star Network Intelligent Software Co Ltd
Original Assignee
Fujian Star Network Intelligent Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Star Network Intelligent Software Co Ltd filed Critical Fujian Star Network Intelligent Software Co Ltd
Priority to CN201910712326.XA priority Critical patent/CN110569274A/zh
Publication of CN110569274A publication Critical patent/CN110569274A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种分布式实时日志分析方法和计算机可读存储介质，包括步骤10、获取原始日志与授时标记，将所述授时标记与所述原始日志绑定，得到授时日志；步骤20、将所述授时日志写入消息队列缓冲；步骤30、从所述消息队列中依次获取授时日志，分析所述授时日志的内容和依赖关系，对所述授时日志分类，并根据授时标记的先后顺序排序；步骤40、根据业务需求选取对应分类的所述授时日志，按先后顺序进行增量分析，生成分析结果。本发明提供的一种分布式实时日志分析方法和计算机可读存储介质,能够对分布式集群之间所产生的关联日志进行实时并发的分析处理。

Description

一种分布式实时日志分析方法和计算机可读存储介质
技术领域
本发明涉及数据处理技术领域，具体指一种分布式实时日志分析方法和计算机可读存储介质。
背景技术
目前分布式系统越来越普及，服务会产生海量的日志。现有的日志分析系统通常使用基于Hadoop和MapReduce算法或者对基于Storm的分析系统日志进行分析处理。
利用基于Hadoop和MapReduce的算法进行分析，会导致分析结果出现T+N(N≥1)的滞后，无法及时反馈系统运行的状态。而采用基于Storm的分析系统，通常只能分析简单的无状态的数据，无法对数据进行复杂的分析处理；对于有状态的数据，则要求数据的处理必须是串行的，无法进行并发分析。对于分布式集群之间产生的关联日志，无法有效的进行实时并发高效的分析处理。
发明内容
本发明要解决的技术问题之一，在于提供一种分布式实时日志分析方法，能够对分布式集群之间所产生的关联日志进行实时并发的分析处理。
本发明要解决的技术问题之一是这样实现的：
一种分布式实时日志分析方法，包括：
步骤10、获取原始日志与授时标记，将所述授时标记与所述原始日志绑定，得到授时日志；
步骤20、将所述授时日志写入消息队列缓冲；
步骤30、从所述消息队列中依次获取授时日志，分析所述授时日志的内容和依赖关系，对所述授时日志分类，并根据授时标记的先后顺序排序；
步骤40、根据业务需求选取对应分类的所述授时日志，按先后顺序进行增量分析，生成分析结果。
进一步地，所述步骤10具体为：从至少一个业务服务器获取原始日志，从至少一个授时服务器获取授时标记，将所述授时标记与所述原始日志绑定，得到授时日志。
进一步地，所述步骤30具体包括：
步骤31、从所述消息队列中依次获取授时日志；
步骤32、分析所述授时日志的内容和依赖关系，得到所述授时日志对应的分类标记；
步骤33、根据所述分类标记在已有分类标记中进行查询，如果分类标记存在，则将分类标记与所述授时日志绑定，如果分类标记不存在，则新增分类标记，并与所述授时日志绑定；
步骤34、根据所述授时日志的授时标记，将绑定有相同分类标记的授时日志进行排序。
进一步地，所述步骤40具体包括：
步骤41、顺序读取绑定相同分类标记的所述授时日志，提取所述授时日志的授时标记，得到原始日志；
步骤42、将所述原始日志的内容按位置关系排列，得到组合日志数据；
步骤43、判断所述组合日志数据是否完整，如果不完整，则回到步骤41，如果完整，执行步骤44；
步骤44、生成分析结果。
进一步地，所述方法还包括：步骤50、将所述原始日志存储到分布式实时搜索引擎，将分析结果存储到数据库。
本发明要解决的技术问题之二，在于提供一种计算机可读存储介质，能够对分布式集群之间所产生的关联日志进行实时并发的分析处理。
本发明要解决的技术问题之二是这样实现的：
一种计算机可读存储介质，其上存储有计算机程序(指令)，该程序(指令)被处理器执行时实现以下步骤：
步骤10、获取原始日志与授时标记，将所述授时标记与所述原始日志绑定，得到授时日志；
步骤20、将所述授时日志写入消息队列缓冲；
步骤30、从所述消息队列中依次获取授时日志，分析所述授时日志的内容和依赖关系，对所述授时日志分类，并根据授时标记的先后顺序排序；
步骤40、根据业务需求选取对应分类的所述授时日志，按先后顺序进行增量分析，生成分析结果。
进一步地，所述步骤10具体为：从至少一个业务服务器获取原始日志，从至少一个授时服务器获取授时标记，将所述授时标记与所述原始日志绑定，得到授时日志。
进一步地，所述步骤30具体包括：
步骤31、从所述消息队列中依次获取授时日志；
步骤32、分析所述授时日志的内容和依赖关系，得到所述授时日志对应的分类标记；
步骤33、根据所述分类标记在已有分类标记中进行查询，如果分类标记存在，则将分类标记与所述授时日志绑定，如果分类标记不存在，则新增分类标记，并与所述授时日志绑定；
步骤34、根据所述授时日志的授时标记，将绑定有相同分类标记的授时日志进行排序。
进一步地，所述步骤40具体包括：
步骤41、顺序读取绑定相同分类标记的所述授时日志，提取所述授时日志的授时标记，得到原始日志；
步骤42、将所述原始日志的内容按位置关系排列，得到组合日志数据；
步骤43、判断所述组合日志数据是否完整，如果不完整，则回到步骤41，如果完整，执行步骤44；
步骤44、生成分析结果。
进一步地，所述程序还执行：
步骤50、将所述原始日志存储到分布式实时搜索引擎，将分析结果存储到数据库。
本发明具有如下优点：
1、通过获取授时标记，得到授时日志，由于授时标记是有序并且不重复的，因此不仅能保证日志记录的唯一性还可以保证日志是可排序的，从而将分布式集群之间产生的并发日志变为有序的日志，便于分析系统进行高效地分析处理；
2、利用一种分类、增量式分析的方法来处理关联日志，从而使得分布式系统产生的海量关联数据可以并发高效的进行实时分析。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明实施例一种分布式实时日志分析方法执行流程图。
图2是本发明实施例一种分布式实时日志分析方法日志消息授时的流程图。
图3是本发明实施例一种分布式实时日志分析方法授时日志分析归类排序的流程图
图4是本发明实施例一种分布式实时日志分析方法增量分析流程图。
图5是本发明实施例一种分布式实时日志分析方法整体框架示意图。
具体实施方式
请参考图1至5，本发明实施例一种分布式实时日志分析方法，包括：
步骤10、获取原始日志与授时标记，将所述授时标记与所述原始日志绑定，得到授时日志；
步骤20、将所述授时日志写入消息队列缓冲；
步骤30、从所述消息队列中依次获取授时日志，分析所述授时日志的内容和依赖关系，对所述授时日志分类，并根据授时标记的先后顺序排序；
步骤40、根据业务需求选取对应分类的所述授时日志，按先后顺序进行增量分析，生成分析结果。
在一实施例中，从至少一个业务服务器(业务服务集群包括复数个业务服务器)获取原始日志，从至少一个授时服务器(授时服务集群包括复数个授时服务器)获取授时标记(UUID)，将所述授时标记(UUID)与所述原始日志绑定，得到授时日志。业务服务集群与授时服务集群可以先通过统一的时间服务器进行时间同步，尽量减少服务器之间的时间差。所述至少一个业务服务器(业务服务集群包括复数个业务服务器)与至少一个授时服务器(授时服务集群包括复数个授时服务器)仅为功能上的划分，在实施中可以用不同的服务器(或服务器集群)分别实现，也可以用同一个服务器(或服务器集群)实现。
由于原始日志来源于各个服务器集群，集群之间的时间无法保证完全同步；即使服务器的时间完全是同步的，也可能会出现同一时间打印多条日志的情况，因此需要对每条日志进行授时排序。经过授时排序的日志既可以保证在服务器内是有序的，也可以保证在集群内是有序的，更关键的在于可以保证在系统全局内是有序的。
请参考图3，在一实施例中，所述步骤30具体包括：
步骤31、从所述消息队列中依次获取授时日志；
步骤32、分析所述授时日志的内容和依赖关系，得到所述授时日志对应的分类标记；
步骤33、根据所述分类标记在已有分类标记中进行查询，如果分类标记存在，则将分类标记与所述授时日志绑定，如果分类标记不存在，则新增分类标记，并与所述授时日志绑定；
步骤34、根据所述授时日志的授时标记，将绑定有相同分类标记的授时日志进行排序。
依赖关系亦称“逻辑关系”，指表示两个活动(前导活动和后续活动)中一个活动的变更将会影响到另一个活动的关系，例如：一个类使用另一个类的对象作为操作的参数，一个类用另一个类的对象作为它的数据成员，一个类向另一个类发消息等，这样的两个类之间都存在依赖关系。分布式集群之间产生的存在着依赖关系的日志，即关联日志，可以根据现有技术(比如申请号为CN200810117633.5“一种自动识别需求依赖关系的方法”或申请号为CN201410082707.1“基于数据起源依赖关系分析模型的数据依赖分析方法”)确定日志的依赖关系，然后分析日志的内容，得到该日志对应的分类标记。
在一具体实施例中，一个任务需要多个集群(A+B)完成，于是就会产生日志LOG-A和LOG-B，集群A里面，可能有多个节点，会输出日志LOG-A1、LOG-A2……LOG-An；集群B同理，最终输出的日志为LOG-A1、LOG-A2、……、LOG-An+LOG-B1、LOG-B2、……、LOG-Bn，这些日志即为有依赖关系的关联日志。
在另一具体实施例中，日志A内容为：1001呼叫1002，分析日志A内容，得到分类标记“通话1001到1002”，此分类标记不存在，新增分类标记“通话1001到1002”，并与所述日志A绑定；日志B内容为1002接听1001的呼叫，分析日志B内容，得到分类标记“通话1001到1002”，此时该分类标记已存在，然后将分类标记“通话1001到1002”与所述日志B绑定，此时日志A与日志B即被归在同一个分类下，再根据日志A和日志B绑定的授时标记，将日志A与日志B按时间顺序排序，便于分析系统进行高效地分析处理。
请参考图4，在一实施例中，所述步骤40具体包括：
步骤41、顺序读取绑定相同分类标记的所述授时日志，提取所述授时日志的授时标记，得到原始日志；
步骤42、将所述原始日志的内容按位置关系排列，得到组合日志数据；
步骤43、判断所述组合日志数据是否完整，如果不完整，则回到步骤41，如果完整，执行步骤44；
步骤44、生成分析结果。
在具体实施过程中，根据业务场景提取分类且排好序的授时日志，初始化一个空的上下文(Context)，然后每获得一原始日志，就根据当前的上下文内容以及原始日志的内容进行分析，将原始日志添加到上下文中的正确位置，更新当前的上下文生成新的上下文，最后，当收到终态标志且上下文包含了完整的数据后，分析结束并生成分析结果。
在一实施例中，所述方法还包括：
步骤50、将所述原始日志存储到分布式实时搜索引擎，将分析结果存储到数据库。
将分析结果与原始日志分别存储，方便用户在数据库中快速查询分析结果，当找到目标分析结果后，再通过分布式实时搜索引擎反向查找与分析结果相关的所有日志数据，最后可以将数据库进行数据可视化呈现。
请再参考图1至5，本发明一种计算机可读存储介质，其上存储有计算机程序(指令)，该程序(指令)被处理器执行时实现以下步骤：
步骤10、获取原始日志与授时标记，将所述授时标记与所述原始日志绑定，得到授时日志；
步骤20、将所述授时日志写入消息队列缓冲；
步骤30、从所述消息队列中依次获取授时日志，分析所述授时日志的内容和依赖关系，对所述授时日志分类，并根据授时标记的先后顺序排序；
步骤40、根据业务需求选取对应分类的所述授时日志，按先后顺序进行增量分析，生成分析结果。
在一实施例中，从至少一个业务服务器(业务服务集群包括复数个业务服务器)获取原始日志，从至少一个授时服务器(授时服务集群包括复数个授时服务器)获取授时标记(UUID)，将所述授时标记(UUID)与所述原始日志绑定，得到授时日志。业务服务集群与授时服务集群可以先通过统一的时间服务器进行时间同步，尽量减少服务器之间的时间差。所述至少一个业务服务器(业务服务集群包括复数个业务服务器)与至少一个授时服务器(授时服务集群包括复数个授时服务器)仅为功能上的划分，在实施中可以用不同的服务器(或服务器集群)分别实现，也可以用同一个服务器(或服务器集群)实现。
由于原始日志来源于各个服务器集群，集群之间的时间无法保证完全同步；即使服务器的时间完全是同步的，也可能会出现同一时间打印多条日志的情况，因此需要对每条日志进行授时排序。经过授时排序的日志既可以保证在服务器内是有序的，也可以保证在集群内是有序的，更关键的在于可以保证在系统全局内是有序的。
请参考图3，在一实施例中，所述步骤30具体包括：
步骤31、从所述消息队列中依次获取授时日志；
步骤32、分析所述授时日志的内容和依赖关系，得到所述授时日志对应的分类标记；
步骤33、根据所述分类标记在已有分类标记中进行查询，如果分类标记存在，则将分类标记与所述授时日志绑定，如果分类标记不存在，则新增分类标记，并与所述授时日志绑定；
步骤34、根据所述授时日志的授时标记，将绑定有相同分类标记的授时日志进行排序。
依赖关系亦称“逻辑关系”，指表示两个活动(前导活动和后续活动)中一个活动的变更将会影响到另一个活动的关系，例如：一个类使用另一个类的对象作为操作的参数，一个类用另一个类的对象作为它的数据成员，一个类向另一个类发消息等，这样的两个类之间都存在依赖关系。分布式集群之间产生的存在着依赖关系的日志，即关联日志，可以根据现有技术(比如申请号为CN200810117633.5“一种自动识别需求依赖关系的方法”或申请号为CN201410082707.1“基于数据起源依赖关系分析模型的数据依赖分析方法”)确定日志的依赖关系，然后分析日志的内容，得到该日志对应的分类标记。
在一具体实施例中，一个任务需要多个集群(A+B)完成，于是就会产生日志LOG-A和LOG-B，集群A里面，可能有多个节点，会输出日志LOG-A1、LOG-A2……LOG-An；集群B同理，最终输出的日志为LOG-A1、LOG-A2、……、LOG-An+LOG-B1、LOG-B2、……、LOG-Bn，这些日志即为有依赖关系的关联日志。
在另一具体实施例中，日志A内容为：1001呼叫1002，分析日志A内容，得到分类标记“通话1001到1002”，此分类标记不存在，新增分类标记“通话1001到1002”，并与所述日志A绑定；日志B内容为1002接听1001的呼叫，分析日志B内容，得到分类标记“通话1001到1002”，此时该分类标记已存在，然后将分类标记“通话1001到1002”与所述日志B绑定，此时日志A与日志B即被归在同一个分类下，再根据日志A和日志B绑定的授时标记，将日志A与日志B按时间顺序排序，便于分析系统进行高效地分析处理。
请参考图4，在一实施例中，所述步骤40具体包括：
步骤41、顺序读取绑定相同分类标记的所述授时日志，提取所述授时日志的授时标记，得到原始日志；
步骤42、将所述原始日志的内容按位置关系排列，得到组合日志数据；
步骤43、判断所述组合日志数据是否完整，如果不完整，则回到步骤41，如果完整，执行步骤44；
步骤44、生成分析结果。
在具体实施过程中，根据业务场景提取分类且排好序的授时日志，初始化一个空的上下文(Context)，然后每获得一原始日志，就根据当前的上下文内容以及原始日志的内容进行分析，将原始日志添加到上下文中的正确位置，更新当前的上下文生成新的上下文，最后，当收到终态标志且上下文包含了完整的数据后，分析结束并生成分析结果。
在一实施例中，所述程序还执行：
步骤50、将所述原始日志存储到分布式实时搜索引擎，将分析结果存储到数据库。
将分析结果与原始日志分别存储，方便用户在数据库中快速查询分析结果，当找到目标分析结果后，再通过分布式实时搜索引擎反向查找与分析结果相关的所有日志数据，最后可以将数据库进行数据可视化呈现。
本发明具通过获取授时标记，得到授时日志，由于授时标记是有序并且不重复的，因此不仅能保证日志记录的唯一性还可以保证日志是可排序的，从而将分布式集群之间产生的并发日志变为有序的日志，便于分析系统进行高效地分析处理；利用一种分类、增量式分析的方法来处理关联日志，从而使得分布式系统产生的海量关联数据可以并发高效的进行实时分析。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种分布式实时日志分析方法，其特征在于，包括：
步骤10、获取原始日志与授时标记，将所述授时标记与所述原始日志绑定，得到授时日志；
步骤20、将所述授时日志写入消息队列缓冲；
步骤30、从所述消息队列中依次获取授时日志，分析所述授时日志的内容和依赖关系，对所述授时日志分类，并根据授时标记的先后顺序排序；
步骤40、根据业务需求选取对应分类的所述授时日志，按先后顺序进行增量分析，生成分析结果。
2.根据权利要求1所述的一种分布式实时日志分析方法，其特征在于，所述步骤10具体为：从至少一个业务服务器获取原始日志，从至少一个授时服务器获取授时标记，将所述授时标记与所述原始日志绑定，得到授时日志。
3.根据权利要求1所述的一种分布式实时日志分析方法，其特征在于，所述步骤30具体包括：
步骤31、从所述消息队列中依次获取授时日志；
步骤32、分析所述授时日志的内容和依赖关系，得到所述授时日志对应的分类标记；
步骤33、根据所述分类标记在已有分类标记中进行查询，如果分类标记存在，则将分类标记与所述授时日志绑定，如果分类标记不存在，则新增分类标记，并与所述授时日志绑定；
步骤34、根据所述授时日志的授时标记，将绑定有相同分类标记的授时日志进行排序。
4.根据权利要求3所述的一种分布式实时日志分析方法，其特征在于：所述步骤40具体包括：
步骤41、顺序读取绑定相同分类标记的所述授时日志，提取所述授时日志的授时标记，得到原始日志；
步骤42、将所述原始日志的内容按位置关系排列，得到组合日志数据；
步骤43、判断所述组合日志数据是否完整，如果不完整，则回到步骤41，如果完整，执行步骤44；
步骤44、生成分析结果。
5.根据权利要求1所述的一种分布式实时日志分析方法，其特征在于，所述方法还包括：
步骤50、将所述原始日志存储到分布式实时搜索引擎，将分析结果存储到数据库。
6.一种计算机可读存储介质，其上存储有计算机程序(指令)，其特征在于，该程序(指令)被处理器执行时实现以下步骤：
步骤10、获取原始日志与授时标记，将所述授时标记与所述原始日志绑定，得到授时日志；
步骤20、将所述授时日志写入消息队列缓冲；
步骤30、从所述消息队列中依次获取授时日志，分析所述授时日志的内容和依赖关系，对所述授时日志分类，并根据授时标记的先后顺序排序；
步骤40、根据业务需求选取对应分类的所述授时日志，按先后顺序进行增量分析，生成分析结果。
7.根据权利要求6所述的一种计算机可读存储介质，其特征在于，所述步骤10具体为：从至少一个业务服务器获取原始日志，从至少一个授时服务器获取授时标记，将所述授时标记与所述原始日志绑定，得到授时日志。
8.根据权利要求6所述的一种计算机可读存储介质，其特征在于，所述步骤30具体包括：
步骤31、从所述消息队列中依次获取授时日志；
步骤32、分析所述授时日志的内容和依赖关系，得到所述授时日志对应的分类标记；
步骤33、根据所述分类标记在已有分类标记中进行查询，如果分类标记存在，则将分类标记与所述授时日志绑定，如果分类标记不存在，则新增分类标记，并与所述授时日志绑定；
步骤34、根据所述授时日志的授时标记，将绑定有相同分类标记的授时日志进行排序。
9.根据权利要求8所述的一种计算机可读存储介质，其特征在于，所述步骤40具体包括：
步骤41、顺序读取绑定相同分类标记的所述授时日志，提取所述授时日志的授时标记，得到原始日志；
步骤42、将所述原始日志的内容按位置关系排列，得到组合日志数据；
步骤43、判断所述组合日志数据是否完整，如果不完整，则回到步骤41，如果完整，执行步骤44；
步骤44、生成分析结果。
10.根据权利要求6所述的一种计算机可读存储介质，其特征在于，所述程序还执行：
步骤50、将所述原始日志存储到分布式实时搜索引擎，将分析结果存储到数据库。
CN201910712326.XA 2019-08-02 2019-08-02 一种分布式实时日志分析方法和计算机可读存储介质 Pending CN110569274A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910712326.XA CN110569274A (zh) 2019-08-02 2019-08-02 一种分布式实时日志分析方法和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910712326.XA CN110569274A (zh) 2019-08-02 2019-08-02 一种分布式实时日志分析方法和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110569274A true CN110569274A (zh) 2019-12-13

Family

ID=68774319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910712326.XA Pending CN110569274A (zh) 2019-08-02 2019-08-02 一种分布式实时日志分析方法和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110569274A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储系统的日志管理优化方法
JP2013003950A (ja) * 2011-06-20 2013-01-07 Nippon Telegr & Teleph Corp <Ntt> 分散処理システム、ログ収集サーバ、ログ収集方法、プログラム
CN103617287A (zh) * 2013-12-12 2014-03-05 用友软件股份有限公司 一种分布式环境下的日志管理方法和装置
CN104883365A (zh) * 2015-05-14 2015-09-02 浪潮电子信息产业股份有限公司 一种安全日志存储和读取方法、装置及安全管控系统
CN105574205A (zh) * 2016-01-18 2016-05-11 国家电网公司 分布式计算环境的日志动态分析系统
CN106681846A (zh) * 2016-12-29 2017-05-17 北京奇虎科技有限公司 日志数据的统计方法、装置及系统
CN107229555A (zh) * 2017-05-04 2017-10-03 北京小度信息科技有限公司 标识生成方法和装置
CN108063685A (zh) * 2017-12-06 2018-05-22 迈普通信技术股份有限公司 日志分析方法及装置
CN108763044A (zh) * 2018-05-30 2018-11-06 中国建设银行股份有限公司 一种日志处理方法及装置
CN108964995A (zh) * 2018-07-03 2018-12-07 上海新炬网络信息技术股份有限公司 基于时间轴事件的日志关联分析方法
CN109101521A (zh) * 2018-06-12 2018-12-28 江苏开拓信息与系统有限公司 基于大数据的数据自动抽取系统
US10303533B1 (en) * 2016-12-06 2019-05-28 Amazon Technologies, Inc. Real-time log analysis service for integrating external event data with log data for use in root cause analysis

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003950A (ja) * 2011-06-20 2013-01-07 Nippon Telegr & Teleph Corp <Ntt> 分散処理システム、ログ収集サーバ、ログ収集方法、プログラム
CN102411533A (zh) * 2011-08-08 2012-04-11 浪潮电子信息产业股份有限公司 一种集群存储系统的日志管理优化方法
CN103617287A (zh) * 2013-12-12 2014-03-05 用友软件股份有限公司 一种分布式环境下的日志管理方法和装置
CN104883365A (zh) * 2015-05-14 2015-09-02 浪潮电子信息产业股份有限公司 一种安全日志存储和读取方法、装置及安全管控系统
CN105574205A (zh) * 2016-01-18 2016-05-11 国家电网公司 分布式计算环境的日志动态分析系统
US10303533B1 (en) * 2016-12-06 2019-05-28 Amazon Technologies, Inc. Real-time log analysis service for integrating external event data with log data for use in root cause analysis
CN106681846A (zh) * 2016-12-29 2017-05-17 北京奇虎科技有限公司 日志数据的统计方法、装置及系统
CN107229555A (zh) * 2017-05-04 2017-10-03 北京小度信息科技有限公司 标识生成方法和装置
CN108063685A (zh) * 2017-12-06 2018-05-22 迈普通信技术股份有限公司 日志分析方法及装置
CN108763044A (zh) * 2018-05-30 2018-11-06 中国建设银行股份有限公司 一种日志处理方法及装置
CN109101521A (zh) * 2018-06-12 2018-12-28 江苏开拓信息与系统有限公司 基于大数据的数据自动抽取系统
CN108964995A (zh) * 2018-07-03 2018-12-07 上海新炬网络信息技术股份有限公司 基于时间轴事件的日志关联分析方法

Similar Documents

Publication Publication Date Title
US10666527B2 (en) Generating specifications for microservices implementations of an application
CN113360554B (zh) 一种数据抽取、转换和加载etl的方法和设备
CN108572970B (zh) 一种结构化数据的处理方法和分布式处理系统
CN112396462B (zh) 基于Clickhouse的人群圈选方法及装置
CN109857524B (zh) 流式计算方法、装置、设备及计算机可读存储介质
CN110781180B (zh) 一种数据筛选方法和数据筛选装置
CN113238843B (zh) 一种任务执行方法、装置、设备及存储介质
CN115033646B (zh) 一种基于Flink&amp;Doris构建实时数仓系统的方法
CN111460038A (zh) 一种数据准实时同步方法及装置
CN105786941B (zh) 一种信息挖掘方法和装置
CN117633116A (zh) 数据同步方法、装置、电子设备及存储介质
CN107871055B (zh) 一种数据分析方法和装置
CN111242468A (zh) 一种基于分布式的自动化生成评估报告的方法
CN111737371A (zh) 可动态预测的数据流量检测分类方法及装置
CN110750362A (zh) 生物信息的分析方法、装置和存储介质
CN110909072B (zh) 一种数据表建立方法、装置及设备
CN110569274A (zh) 一种分布式实时日志分析方法和计算机可读存储介质
CN107203633B (zh) 数据表推数处理方法、装置及电子设备
CN111723063A (zh) 一种离线日志数据处理的方法和装置
CN115794783A (zh) 数据去重方法、装置、设备和介质
CN106469086B (zh) 事件处理方法和装置
CN112214669A (zh) 家装材料甲醛释放数据处理方法、装置及监控服务器
CN113158031B (zh) 用户资源信息的确定方法及装置、计算机存储介质、终端
CN111475291A (zh) 一种数据处理方法、系统、服务器及介质
KR101638048B1 (ko) 맵리듀스를 이용한 sql 질의처리방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213

RJ01 Rejection of invention patent application after publication