CN112100133A - 一种分布式的日志处理系统 - Google Patents

一种分布式的日志处理系统 Download PDF

Info

Publication number
CN112100133A
CN112100133A CN202011212870.7A CN202011212870A CN112100133A CN 112100133 A CN112100133 A CN 112100133A CN 202011212870 A CN202011212870 A CN 202011212870A CN 112100133 A CN112100133 A CN 112100133A
Authority
CN
China
Prior art keywords
log
heterogeneous
statistics
heterogeneous system
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011212870.7A
Other languages
English (en)
Inventor
林京
卢超
李海荣
陈永辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xuanwu Wireless Technology Co Ltd
Original Assignee
Guangzhou Xuanwu Wireless Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xuanwu Wireless Technology Co Ltd filed Critical Guangzhou Xuanwu Wireless Technology Co Ltd
Priority to CN202011212870.7A priority Critical patent/CN112100133A/zh
Publication of CN112100133A publication Critical patent/CN112100133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种分布式的日志处理系统，包括：多个异构服务器和一个日志中心服务器，多个异构服务器与日志中心服务器相连，异构服务器包括日志采集分析模块，日志中心服务器包括异构系统元信息，异构系统元信息包括配置异构系统日志采集和分析规则，日志采集分析模块根据异构系统元信息配置的日志采集和分析规则，在间隔时间根据规则表达式，并根据检索维度及统计维度在异构系统中做锚点，并标记出有效日志和无效日志，进行日志的采集和分析。在本实施例中，通过日志采集模块采用低侵入式低逻辑的采集策略，对异构系统的资源占用小，有效利用了原始的日志，降低分布式存储带来的存储成本。

Description

一种分布式的日志处理系统
技术领域
本发明涉及分布式日志系统技术领域，尤其涉及一种分布式的日志处理系统。
背景技术
企业应用软件领域，拥有大量的系统，且各类系统都有自己独有的日志处理规则，因此就出现了一些分布式日志系统。现有的分布式日志系统，使用特定规则的代理模块采集各类异构系统的日志，通过分布式存储技术将海量日志数据集中存储，并通过分词索引技术提高对海量数据的查询和统计的效率。
然而，现有的分布式日志系统，在采集各类异构系统时，通过一定的规则采集并预处理新产生的日志数据，使得采集代理模块会占用异构系统的资源，影响其他异构系统的运行效率以及日志采集效率。
发明内容
本发明目的在于，提供一种分布式的日志处理系统，通过日志采集模块采用低侵入式低逻辑的采集策略，对异构系统的资源占用小，有效利用了原始的日志，降低分布式存储带来的存储成本。
为实现上述目的，本发明实施例提供一种分布式的日志处理系统，包括：多个异构服务器和一个日志中心服务器；
多个所述异构服务器与所述日志中心服务器相连，所述异构服务器包括日志采集分析模块，所述日志中心服务器包括异构系统元信息；
所述异构系统元信息包括配置异构系统日志采集和分析规则，所述日志采集分析模块，根据所述异构系统元信息配置的日志采集和分析规则，在间隔时间根据规则表达式，并根据检索维度及统计维度在所述异构系统中做锚点，并标记出有效日志和无效日志，进行日志的采集和分析。
优选地，所述异构系统元信息还包括异构系统物理信息，所述异构服务器还包括异构系统；
所述异构系统在接入所述日志中心服务器前，在所述异构系统元信息中配置异构系统日志采集和分析规则，还需配置所述异构系统物理信息。
优选地，所述异构服务器还包括日志预统计引擎模块；
若所述配置的日志采集和分析规则中含有规则统计类型，根据所述标记的日志及检索维度的锚点，所述日志预统计引擎模块在间隔时间内对分析好的日志做预统计，并建立与统计临时文件进行保存，完成预统计。
优选地，所述日志中心服务器还包括日志查询系统；
所述日志查询系统与所述日志采集分析模块通讯连接，所述日志采集分析模块通过查找所述日志标记、所述锚点信息、清洗及合并日志文本返回日志查询系统，完成日志的查询。
优选地，所述日志中心服务器还包括日志查询统计引擎模块；
所述日志查询系统与所述日志预统计引擎模块通讯连接，根据所述日志标记、所述锚点信息和所述预统计信息，所述日志预统计引擎模块汇集预统计结果返回给所述日志查询系统，完成日志的统计查询。
本发明实施例，优点在于针对日志采集模块采用低侵入式低逻辑的采集策略，对异构系统的资源占用小，并且有效利用原始的日志，降低分布式存储带来的存储成本，并且独有的数据索引方式，比同类日志系统的查询统计效率更高。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一个实施例提供的一种分布式的日志处理系统的物理结构图；
图2是本发明第一个实施例提供的一种分布式的日志处理系统的CRM系统集群与日志中心物理结构；
图3是本发明第二个实施例提供的一种分布式的日志处理系统的物理结构图；
图4是本发明第三个实施例提供的一种分布式的日志处理系统的物理结构图；
图5是本发明第四个实施例提供的一种分布式的日志处理系统的物理结构图；
图6是本发明第五个实施例提供的一种分布式的日志处理系统的物理结构图；
图7是本发明第五个实施例提供的一种分布式的日志处理系统的逻辑结构图；
图8是本发明第五个实施例提供的一种分布式的日志处理系统的整体流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，本发明实施例提供一种包括：多个异构服务器11和一个日志中心服务器12，异构服务器11与日志中心服务器12相连，异构服务器11包括日志采集分析模块111，日志中心服务器12包括异构系统元信息，异构系统元信息包括配置异构系统日志采集和分析规则，日志采集分析模块111，根据异构系统元信息配置的日志采集和分析规则，在间隔时间根据规则表达式，并根据检索维度及统计维度在所述异构系统中做锚点，并标记出有效日志和无效日志，进行日志的采集和分析。
在具体的实施例中，异构系统112要接入日志中心服务器12，需要先在日志中心的异构系统元信息数据库中，配置异构系统集群的物理部署信息，还需要配置异构系统的日志采集和分析规则。请参阅图2和表1，假设异构系统是由3个节点的分布式CRM系统组成的系统集群：
表1物理部署信息配置
异构系统名称 节点名称 节点地址 部署路径
CRM系统 节点A 192.168.0.1 /opt/crm
CRM系统 节点B 192.168.0.2 /opt/crm
CRM系统 节点C 192.168.0.3 /opt/crm
根据异构系统的日志特征以及统计需要，配置日志采集和分析规则。
假设异构系统节点A的日志片段如下：
[2020-08-1808:05:11][T-AF7D613AD0][ORDER][SUBMIT][P09871-10.00]
[2020-08-1809:11:45][T-AF7D613AD0][ORDER][SUBMIT][P09871-15.00]
[2020-08-1809:20:51][T-AF7D6FD450][USER][LOGIN][zhangzetian]
[2020-08-1810:25:08][T-AF7D6AA4D0][ORDER][SUBMIT][P09876-11.00]
[2020-08-1811:57:47][T-AF754355D0][ORDER][SUBMIT][P09877-28.00]
假设需要查询订单信息的明细，需要统计日订单总额，那么日志采集和分析规则如表2：
表2日志采集和分析规则
规则名称 规则类型 规则表达式
查订单明细 查询 [$时间$][$事务号$][ORDER][SUBMIT][$产品$-$金额$]
统计日订单总额 统计 [$#年月日#$ $时分秒$][$事务号$][ORDER][SUBMIT][$产品$-$%金额%$]
根据需要配置了联调规则，其中，在规则表达式，用$$框住的，表示一个可变量，便于分析和预统计日志，$##$框住的变量为统计维度，$%%$框住的变量为统计的值。
由于日志一般采用文本形式记录，因此标记则使用3个字节的二进制数据作为标记点，标记在每行的结尾，换行符之前。
其中：
第一个字节：0x01表示为标记行，0x02表示无用行；
第二个字节：0x01表示查询标记，0x02表示非查询标记；
第三个字节：0x01表示统计标记，0x02表示非统计标记。
根据上面的例子，日志的第3行，未能匹配任意规则，因此标记为02 02 02；日志的第3行，未能匹配任意规则，因此标记为02 02 02；其余行都匹配了查询规则和统计规则，因此都以 01 01 01作为标记。分析后，做过标记的日志文件的二进制数据如下所述：
5B 32 30 32 30 2D 30 38 2D 31 38 20 30 38 3A 30 [2020-08-18 08:0
35 3A 31 31 5D 5B 54 2D 41 46 37 44 36 31 33 41 5:11][T-AF7D613A
44 30 5D 5B 4F 52 44 45 52 5D 5B 53 55 42 4D 49 D0][ORDER][SUBMI
54 5D 5B 50 30 39 38 37 31 2D 31 30 2E 30 30 5D T][P09871-10.00]
01 01 01 0D 0A 5B 32 30 32 30 2D 30 38 2D 31 38 [2020-08-18
20 30 39 3A 31 31 3A 34 35 5D 5B 54 2D 41 46 37 09:11:45][T-AF7
44 36 31 33 41 44 30 5D 5B 4F 52 44 45 52 5D 5B D613AD0][ORDER][
53 55 42 4D 49 54 5D 5B 50 30 39 38 37 31 2D 31 SUBMIT][P09871-1
35 2E 30 30 5D 01 01 01 0D 0A 5B 32 30 32 30 2D 5.00] [2020-
30 38 2D 31 38 20 30 39 3A 32 30 3A 35 31 5D 5B 08-18 09:20:51][
54 2D 41 46 37 44 36 46 44 34 35 30 5D 5B 55 53 T-AF7D6FD450][US
45 52 5D 5B 4C 4F 47 49 4E 5D 5B 7A 68 61 6E 67 ER][LOGIN][zhang
7A 65 74 69 61 6E 5D 20 02 02 02 0D 0A 5B 32 30 zetian] [20
32 30 2D 30 38 2D 31 38 20 31 30 3A 32 35 3A 30 20-08-18 10:25:0
38 5D 5B 54 2D 41 46 37 44 36 41 41 34 44 30 5D 8][T-AF7D6AA4D0]
5B 4F 52 44 45 52 5D 5B 53 55 42 4D 49 54 5D 5B [ORDER][SUBMIT][
50 30 39 38 37 36 2D 31 31 2E 30 30 5D 01 01 01 P09876-11.00]
0D 0A 5B 32 30 32 30 2D 30 38 2D 31 38 20 31 31 [2020-08-18 11
3A 35 37 3A 34 37 5D 5B 54 2D 41 46 37 35 34 33 :57:47][T-AF7543
35 35 44 30 5D 5B 4F 52 44 45 52 5D 5B 53 55 42 55D0][ORDER][SUB
4D 49 54 5D 5B 50 30 39 38 37 37 2D 32 38 2E 30 MIT][P09877-28.0
30 5D 01 01 01 0D 0A 0]
请参阅图3，在第二个实施例中，异构系统元信息还包括异构系统物理信息，异构服务器11还包括异构系统112，异构系统112在接入日志中心服务器12前，在异构系统元信息中配置异构系统日志采集和分析规则，还需配置异构系统物理信息。
在具体的实施例中，
请参阅图4，在第三个实施例中，异构服务器11还包括日志预统计引擎模块113，若配置的日志采集和分析规则中含有规则统计类型，根据标记的日志及检索维度的锚点，日志预统计引擎模块113在间隔时间内对分析好的日志做预统计，并建立与统计临时文件进行保存，完成预统计。
在具体的实施例中，日志预统计引擎模块113，发现规则类型有统计的，则会在间隔时间内对分析好的日志做预统计。预统计引擎会先找出标记的第三个字节为01的行。再次进行分析，根据规则表达式找出统计维度和统计的值，完成预统计后，根据“规则名称+统计维度.pre”的文件名保存预统计临时文件。
继续第二个实施例中的例子，规则“统计日订单总额”的表达式为“[$#年月日#$ $时分秒$][$事务号$][ORDER][SUBMIT][$产品$-$%金额%$]”，1，2，4，5行的日志匹配了统计行，其中年月日为统计维度，金额为统计值：
[2020-08-18 08:05:11][T-AF7D613AD0][ORDER][SUBMIT][P09871-10.00]
[2020-08-18 09:11:45][T-AF7D613AD0][ORDER][SUBMIT][P09871-15.00]
[2020-08-18 10:25:08][T-AF7D6AA4D0][ORDER][SUBMIT][P09876-11.00]
[2020-08-18 11:57:47][T-AF754355D0][ORDER][SUBMIT][P09877-28.00]
a) 得出的预统计结果如下：
2020-08-18 64.00
b) 保存预统计文件为“统计日订单总额2020-08-18.pre”
请参阅图5，在第四个实施例中，日志中心服务器11还包括日志查询系统114，日志查询系统114与日志采集分析模块111通讯连接，日志采集分析模块111通过查找所述日志标记、所述锚点信息、清洗及合并日志文本返回日志查询系统，完成日志的查询。
在具体的实施例中，日志的查询在日志查询系统114中进行人机交互，由日志查询统计引擎模块115与异构系统112或异构系统集群服务器上的日志采集分析模块通讯，日志采集分析模块111则会查找日志标记，并清洗及合并日志文本返回给日志查询系统，完成日志的查询。
请参阅图6，扩展第三个实施例中的例子，假设异构系统112节点B，节点C，各有一行被标记的日志
节点B：
[2020-08-18 16:11:24][T-AF7D613AD0][ORDER][SUBMIT][P09871-90.00]
节点C：
[2020-08-18 17:01:16][T-AF7D613AD0][ORDER][SUBMIT][P09871-110.00]
日志查询统计引擎模块115会根据异构系统112的物理部署配置信息，通知在3个异构服务器的日志采集分析模块111，在已经预处理过的原始日志中，先找到前两个字节为0101的标记行，返回给中心的日志查询统计引擎模块115，并返回给日志查询系统，如下：
[2020-08-18 08:05:11][T-AF7D613AD0][ORDER][SUBMIT][P09871-10.00]
[2020-08-18 09:11:45][T-AF7D613AD0][ORDER][SUBMIT][P09871-15.00]
[2020-08-18 10:25:08][T-AF7D6AA4D0][ORDER][SUBMIT][P09876-11.00]
[2020-08-18 11:57:47][T-AF754355D0][ORDER][SUBMIT][P09877-28.00]
[2020-08-18 16:11:24][T-AF7D613AD0][ORDER][SUBMIT][P09871-90.00]
[2020-08-18 17:01:16][T-AF7D613AD0][ORDER][SUBMIT][P09871-110.00]
请参阅图6，在第五个实施例中，日志中心服务器12还包括日志查询统计引擎模块115，日志查询系统114与日志预统计引擎模块115通讯连接，根据日志标记、锚点信息和预统计信息，日志预统计引擎模块113汇集预统计结果返回给日志查询系统，完成日志的统计查询。
请参阅图7和图8，从异构系统元信息的配置，到日志采集、分析、预统计、查询和统计的全过程，本实施例的整体物理结构，或者说部署结构分为：多个异步服务器11和一个日志中心服务器12。各异构服务器11上除了“异构系统12”本身外，还需要安装“日志采集分析模块111”和“日志预统计引擎112”，可根据异构系统元信息对异构系统的日志进行分析和预统计。日志中心服务器12安装有“异构系统元信息”数据的数据库，包含“异构系统的物理信息”和“异构系统日志采集和分析规则”，并且安装了“日志查询统计引擎模块113”和“日志查询系统114”，日志查询统计引擎模块113可根据异构系统元信息和查询统计条件，访问日志预统计引擎模块113组合成最终的查询统计结果，并在日志查询系统114展示。
在具体的实施例中，日志的统计在日志查询系统114中进行人机交互，由日志查询统计引擎模块115与异构系统112或异构系统集群服务器上的日志预统计模块113通讯，日志预统计引擎模块113则会汇总集群中的预统计结果返回给日志查询系统，完成日志的统计查询。
继续第五个实施例中的例子，节点A已完成了预统计，结果为：2020-08-18 64.00。
节点B和节点C也完成了预统计，结果如下：
节点B: 2020-08-18 90.00
节点C：2020-08-18 110.00
日志查询系统发起统计时，日志查询统计引擎会根据异构系统的物理部署配置信息，通知在3个异构服务器的日志预统计模块，返回预统计结果进行汇总，并返回给日志查询系统，如下：
2020-08-18 264.00
本方案优点在于针对日志采集模块采用低侵入式低逻辑的采集策略，对异构系统的资源占用小，并且有效利用原始的日志，降低分布式存储带来的存储成本，并且独有的数据索引方式，比同类日志系统的查询统计效率更高。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (5)

1.一种分布式的日志处理系统，其特征在于，包括：多个异构服务器和一个日志中心服务器；
多个所述异构服务器与所述日志中心服务器相连，所述异构服务器包括日志采集分析模块，所述日志中心服务器包括异构系统元信息；
所述异构系统元信息包括配置异构系统日志采集和分析规则，所述日志采集分析模块，根据所述异构系统元信息配置的日志采集和分析规则，在间隔时间根据规则表达式，并根据检索维度及统计维度在所述异构系统中做锚点，并标记出有效日志和无效日志，进行日志的采集和分析。
2.根据权利要求1所述的一种分布式的日志处理系统，其特征在于，所述异构系统元信息还包括异构系统物理信息，所述异构服务器还包括异构系统；
所述异构系统在接入所述日志中心服务器前，在所述异构系统元信息中配置异构系统日志采集和分析规则，还需配置所述异构系统物理信息。
3.根据权利要求2所述的一种分布式的日志处理系统，其特征在于，所述异构服务器还包括日志预统计引擎模块；
若所述配置的日志采集和分析规则中含有规则统计类型，根据所述标记的日志及检索维度的锚点，所述日志预统计引擎模块在间隔时间内对分析好的日志做预统计，并建立与统计临时文件进行保存，完成预统计。
4.根据权利要求3所述的一种分布式的日志处理系统，其特征在于，所述日志中心服务器还包括日志查询系统；
所述日志查询系统与所述日志采集分析模块通讯连接，所述日志采集分析模块通过查找所述日志标记、所述锚点信息、清洗及合并日志文本返回日志查询系统，完成日志的查询。
5.根据权利要求4所述的一种分布式的日志处理系统，其特征在于，所述日志中心服务器还包括日志查询统计引擎模块；
所述日志查询系统与所述日志预统计引擎模块通讯连接，根据所述日志标记、所述锚点信息和所述预统计信息，所述日志预统计引擎模块汇集预统计结果返回给所述日志查询系统，完成日志的统计查询。
CN202011212870.7A 2020-11-04 2020-11-04 一种分布式的日志处理系统 Pending CN112100133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011212870.7A CN112100133A (zh) 2020-11-04 2020-11-04 一种分布式的日志处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011212870.7A CN112100133A (zh) 2020-11-04 2020-11-04 一种分布式的日志处理系统

Publications (1)

Publication Number Publication Date
CN112100133A true CN112100133A (zh) 2020-12-18

Family

ID=73784546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011212870.7A Pending CN112100133A (zh) 2020-11-04 2020-11-04 一种分布式的日志处理系统

Country Status (1)

Country Link
CN (1) CN112100133A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012142854A1 (zh) * 2011-04-18 2012-10-26 北京新媒传信科技有限公司 一种应用服务平台系统及其实现方法
CN104573024A (zh) * 2015-01-12 2015-04-29 国家电网公司 一种复杂网络体系下异构安全日志信息的自适应提取方法及系统
CN105608203A (zh) * 2015-12-24 2016-05-25 Tcl集团股份有限公司 一种基于Hadoop平台的物联网日志处理方法和装置
CN106227877A (zh) * 2016-08-02 2016-12-14 北京集奥聚合科技有限公司 一种基于hadoop 的分布式日志采集系统及方法
CN108683569A (zh) * 2018-06-06 2018-10-19 国家计算机网络与信息安全管理中心 一种面向云服务基础设施的业务监测方法及系统
CN109766206A (zh) * 2018-12-29 2019-05-17 北京中电普华信息技术有限公司 一种日志采集方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012142854A1 (zh) * 2011-04-18 2012-10-26 北京新媒传信科技有限公司 一种应用服务平台系统及其实现方法
CN104573024A (zh) * 2015-01-12 2015-04-29 国家电网公司 一种复杂网络体系下异构安全日志信息的自适应提取方法及系统
CN105608203A (zh) * 2015-12-24 2016-05-25 Tcl集团股份有限公司 一种基于Hadoop平台的物联网日志处理方法和装置
CN106227877A (zh) * 2016-08-02 2016-12-14 北京集奥聚合科技有限公司 一种基于hadoop 的分布式日志采集系统及方法
CN108683569A (zh) * 2018-06-06 2018-10-19 国家计算机网络与信息安全管理中心 一种面向云服务基础设施的业务监测方法及系统
CN109766206A (zh) * 2018-12-29 2019-05-17 北京中电普华信息技术有限公司 一种日志采集方法及系统

Similar Documents

Publication Publication Date Title
US11176114B2 (en) RAM daemons
US20190258650A1 (en) Identifying Behavioral Patterns of Events Derived from Machine Data That Reveal Historical Behavior of an Information Technology Environment
JP5970738B2 (ja) 広告情報を検索するためのシステム
US8195794B2 (en) System and method for analyzing remote traffic data in a distributed computing environment
CN104426713B (zh) 网络站点访问效果数据的监测方法和装置
CN103051637A (zh) 用户识别方法与装置
US9946752B2 (en) Low-latency query processor
KR20120059625A (ko) 시계열 검색 엔진
CN102750326A (zh) 一种基于精简策略的集群系统的日志管理优化方法
CN106126648A (zh) 一种基于重做日志的分布式商品信息爬虫方法
CN112181931A (zh) 一种大数据系统链路追踪方法及电子设备
CN113468019A (zh) 基于Hbase的指标监控方法、装置、设备及存储介质
CN107153702A (zh) 一种数据处理方法及装置
CN103345527B (zh) 数据智能统计系统
CN111125109A (zh) 一种基于时间分组累计算法的实时统计报表系统
CN114238360A (zh) 一种用户行为分析系统
WO2017000592A1 (zh) 数据处理方法、装置及系统
CN112100133A (zh) 一种分布式的日志处理系统
CN112579552A (zh) 日志存储及调用方法、装置及系统
US8572041B2 (en) Representing records
CN110609901B (zh) 一种基于向量化特征的用户网络行为预测方法
CN111581220A (zh) 用于时间序列数据的存储及检索方法、装置、设备及存储介质
CN101799803A (zh) 信息处理方法、模块及系统
CN112131215A (zh) 自底向上的数据库信息获取方法及装置
CN115865724A (zh) 一种节点式数据采集系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201218