CN111782610B - 日志处理方法、装置、服务器、系统网络和存储介质 - Google Patents

日志处理方法、装置、服务器、系统网络和存储介质 Download PDF

Info

Publication number
CN111782610B
CN111782610B CN202010493688.7A CN202010493688A CN111782610B CN 111782610 B CN111782610 B CN 111782610B CN 202010493688 A CN202010493688 A CN 202010493688A CN 111782610 B CN111782610 B CN 111782610B
Authority
CN
China
Prior art keywords
log
processed
data
log data
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010493688.7A
Other languages
English (en)
Other versions
CN111782610A (zh
Inventor
池伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010493688.7A priority Critical patent/CN111782610B/zh
Publication of CN111782610A publication Critical patent/CN111782610A/zh
Application granted granted Critical
Publication of CN111782610B publication Critical patent/CN111782610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1734Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例涉及日志处理技术,公开了一种日志处理方法、装置、服务器、系统网络和存储介质。本发明中,从第一待处理日志数据中解析出第一日志标签,第一待处理日志数据包括日志内容和日志标签;确定第一日志标签对应的第一日志处理器;将第一待处理日志数据发送到第一日志标签对应的第一日志处理器,以便第一日志处理器对第一待处理日志数据进行处理并生成已处理日志数据;接收第一日志处理器返回的已处理日志数据,不同日志标签对应不同日志处理器,分布式日志首先收集到集中节点,按照日志标签进行分类,将第一待处理日志数据根据日志标签内容分发到不同的日志处理器并发的进行处理,通过线程池的方式提高资源使用率,加快处理速度。

Description

日志处理方法、装置、服务器、系统网络和存储介质
技术领域
本发明实施例涉及日志处理技术,特别涉及日志处理方法、装置、服务器、系统网络和存储介质。
背景技术
现有日志处理技术方案首先将日志数据进行收集,收集后有日志处理器统一进行分类处理,针对同一套业务系统的不同异构数据,分类的方式是通过对日志的一些标识符来完成,之后针对不同的标识符的日志进行分类处理。
发明人发现现有技术中至少存在如下问题:这些分类方法通过对收集到日志数据做了一层简单解析后进行的分类,增加了分类处理的资源消耗。
发明内容
本发明实施方式的目的在于提供一种日志处理方法、装置、服务器、系统网络和存储介质,减小分类处理的资源消耗。
为解决上述技术问题,本发明的实施方式提供了一种日志处理方法,包括以下步骤:
从第一待处理日志数据中解析出第一日志标签,所述第一待处理日志数据包括日志内容和日志标签;
确定所述第一日志标签对应的第一日志处理器;
将所述第一待处理日志数据发送到所述第一日志标签对应的第一日志处理器,以便所述第一日志处理器对所述第一待处理日志数据进行处理并生成已处理日志数据;
接收所述第一日志处理器返回的所述已处理日志数据。
本发明的实施方式还提供了一种日志处理装置,包括:
标签解析单元,用于从所述第一待处理日志数据中解析出第一日志标签,所述第一待处理日志数据包括日志内容和日志标签;
处理器确定单元,用于确定所述第一日志标签对应的第一日志处理器;
数据发送单元,用于将所述第一待处理日志数据发送到所述第一日志标签对应的第一日志处理器,以便所述第一日志处理器对所述第一待处理日志数据进行处理并生成已处理日志数据;
数据接收单元,用于接收所述第一日志处理器返回的所述已处理日志数据。
本发明实施方式相对于现有技术而言,读取包括日志内容和日志标签的第一待处理日志数据,从第一待处理日志数据中解析出第一日志标签;将第一待处理日志数据发送到第一日志标签对应的第一日志处理器,以便第一日志处理器对第一待处理日志数据进行处理并生成已处理日志数据;接收第一日志处理器返回的已处理日志数据,不同日志标签对应不同日志处理器,分布式日志首先收集到集中节点,按照日志标签进行分类,将第一待处理日志数据根据日志标签内容分发到不同的日志处理器并发的进行处理,通过线程池的方式提高资源使用率,加快处理速度。
进一步可选的,所述已处理日志数据已被所述第一日志处理器删除所述第一日志标签,所述第一待处理日志数据包括至少2个日志标签,所述方法还包括:
在每次接收到返回的已处理日志数据后,对当前已处理日志数据进行解析;
若每次能从返回的当前已处理日志数据解析出一个第二日志标签,则将当前已处理日志数据发送到所述第二日志标签对应的第二日志处理器,以便所述第二日志处理器对当前已处理日志数据进行处理,直至接收到的已处理日志数据中没有日志标签。
一些实施例中,在集中处理节点由不同的处理器分别多次对第一待处理日志数据进行处理,以完成对待处理日志的全部处理需求。
进一步可选的,在所述读取第一待处理日志数据之前,所述方法还包括:
接收业务系统发送的第二待处理日志数据,所述业务系统属于所述分布式异构网络;
从所述第二待处理日志数据中筛选出所述第一待处理日志数据,所述第一待处理日志数据包括日志标签,所述日志标签是由所述业务系统标注的。
进一步可选的,标注的粒度是同一份所述第一待处理日志数据采用一类标注,同一份所述第一待处理日志数据内的不同第一待处理日志数据按照类型进行区分。
进一步可选的,所述第二待处理日志数据是由负载均衡设备对全部业务系统发送的全部日志数据进行轮训后发来的。
进一步可选的,还包括:
接收日志处理器修改请求,所述修改请求包括添加请求和/或删除请求;
根据所述修改请求添加和/或删除日志处理器信息。
一些实施例中,可以接受原始日志各种标签标注,集中日志收集处理节点可灵活增删各种日志处理器用来满足针对标签更新的日志处理。
另外,本发明的实施方式提供了一种服务器,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述的日志处理方法。
另外,本发明的实施方式提供了一种日志处理系统,用于分布式异构网络,包括上述服务器和至少2个日志处理器;
所述日志处理器,用于接收所述服务器发送的第一待处理日志数据或已处理日志数据,并对接收的第一待处理日志数据或已处理日志数据进行处理,向所述服务器返回处理后的第一待处理日志数据或已处理日志数据。
另外,本发明的实施方式提供了一种分布式异构网络,包括至少一个业务系统和上述日志处理系统;
所述业务系统,用于向所述日志处理系统发送第一待处理日志数据。
一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述的日志处理方法。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本发明实施例提供的一种日志处理方法的流程图;
图2是本发明实施例提供的另一种日志处理方法的流程图;
图3是图2中局部流程示意图;
图4是本发明实施例中分布式异构结构示意图;
图5是本发明实施例中日志系统功能结构图;
图6是本发明实施例中日志处理器处理日志数据流程示意图;
图7是本发明实施例提供的一种日志处理装置的功能结构示意图;
图8是本发明实施例提供的另一种日志处理装置的功能结构示意图;
图9是本发明实施例提供的一种服务器的功能结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便,不应对本发明的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种日志处理方法,用于分布式异构网络,其流程如图1所示,具体如下:
101、从第一待处理日志数据中解析出第一日志标签,第一待处理日志数据包括日志内容和日志标签;
102、确定第一日志标签对应的第一日志处理器;
103、将第一待处理日志数据发送到第一日志标签对应的第一日志处理器,以便第一日志处理器对第一待处理日志数据进行处理并生成已处理日志数据;
104、接收第一日志处理器返回的已处理日志数据。
本实施方式提供的日志处理方法,相对于现有技术而言,读取包括日志内容和日志标签的第一待处理日志数据,从第一待处理日志数据中解析出第一日志标签;将第一待处理日志数据发送到第一日志标签对应的第一日志处理器,以便第一日志处理器对第一待处理日志数据进行处理并生成已处理日志数据;接收第一日志处理器返回的已处理日志数据,不同日志标签对应不同日志处理器,分布式日志首先收集到集中节点,按照日志标签进行分类,将第一待处理日志数据根据日志标签内容分发到不同的日志处理器并发的进行处理,通过线程池的方式提高资源使用率,加快处理速度。
作为上述实施例的一种改进,本发明的第二实施方式涉及一种日志处理方法,用于分布式异构网络,如图2所示,包括:
201、接收业务系统发送的第二待处理日志数据,业务系统属于分布式异构网络。
202、从第二待处理日志数据中筛选出第一待处理日志数据。
第一待处理日志数据包括日志内容和日志标签,一些实施例中,第一待处理日志数据包括至少2个日志标签,标注的粒度可以是同一份第一待处理日志数据采用一类标注,同一份第一待处理日志数据内的不同第一待处理日志数据按照类型进行区分。
一些可选实施例中,第二待处理日志数据是由负载均衡设备对全部业务系统发送的全部日志数据进行轮训后发来的。
其中,业务系统属于分布式异构网络,日志标签是由业务系统标注的,通过标签方式从源头对日志数据进行分类。
203、从第一待处理日志数据中解析出一个日志标签;
204、将第一待处理日志数据发送到日志标签对应的日志处理器,以便相应的日志处理器对第一待处理日志数据进行处理并生成已处理日志数据;
已处理日志数据已被第一日志处理器删除第一日志标签。
205、接收日志处理器返回的已处理日志数据。
206、在接收到处理器返回的已处理日志数据后,对接收到的已处理日志数据进行解析,若从处理器返回的已处理日志数据解再次析出一个日志标签,执行步骤204,若接收到的已处理日志数据中没有日志标签,进入后续流程。
一些可选实施例中,如图3所示,本实施例还可能包括但不限于以下过程:
301、接收日志标签添加请求,日志标签添加请求包括业务系统信息和待添加标签信息;
302、判断待添加标签是否存在相应的日志处理器,若不存在,则执行步骤303,若存在,则直接执行步骤304;
303、创建相应的日志处理器。
304、向业务系统信息对应的业务系统发送确认信息;
需要说明的是,图3所示流程属于可选过程,其可在图2对应的流程中的任何节点,与图2流程中的各步骤直接没有固定顺序、因果关系。
本发明实施例整体基于分布式异构日志收集、集中分类处理的方案,从源头标注的方式给原始日志做标记分类,减少集中收集节点对日志进行分类的资源消耗,以空间换时间;在集中节点创建线程池,每个线程任务内部通过递归循环的方式处理每一条带标注的日志数据,另外,原始日志分类标注,能够以空间换时间,提高日志分类效率,并且日志处理器中根据tag递归循环处理的方法,最后输出处理过后的log。
如图4所示,多个异构系统输出的日志,在原始收集阶段,通过tag标签的方式标记每一个原始日志,而不需要通过在集中收集日志的节点通过解析日志内容的方式来标记日志类型,减少集中收集点的资源消耗。具体可以实现如下:
每个业务系统端都会安装一个日志收集器log-agent,负责收集用户指定的日志内容,在agent内部会给每一条原始日志内容打上标签tag,而且每条日志可以打多个tag,为了在集中处理节点由不同的处理器分别多次处理,agent中收集日志的数据结构为
log就是原始的日志中的每条日志内容,tag是一个KV结构键值对,标记每条日志的标签信息,也可以不予标注,标注的粒度是同一份原始日志都是一类标注,按照原始日志的类型区分。
如图5所示,分布式日志收集到集中节点后,经过日志分类器,将原始日志根据tag分发到不同的日志处理器并发的进行处理,通过线程池的方式提高资源使用率,加快处理速度;具体实现如下:
1.初始化线程池(日志处理属于CPU密集型业务,设置池子大小为CPU核数+1);
2.当tag不为空的情况,提交日志处理任务到线程池;
3.线程处理逻辑是一个递归循环处理的过程,直到标签全部处理完成,如图6所示,包括:
a.读取tag KV数据;
b.根据KV数据路由到对应的日志处理器log-handler;
c.log-handler处理完成并删除该KV标签,重新封装sourceLog返回;
d.继续解析KV,如果为空,则结束,否则解析直到KV标签空为止。
4、处理完成之后得到新的sourceLog,继续往下游系统传输。
该方法可以接受原始日志各种标签标注,集中日志收集处理节点可灵活增删各种log-handler用来满足针对标签更新的日志处理,需要针对日志进行多样化处理的情形,只需要在原始日志标注多个标签即可,日志的加工处理工作全部统一在集中节点处理,大大简化了针对异构系统日志多处收集、分类处理的过程。
在分布式大流量的情况下,会在日志分类器前端添加负载均衡设备,对于不同的日志来源方,通过轮训的方式将日志流量分发到不同的日志分类器进行处理。
集中节点收到日志,根据tag可直接路由到对应的分类处理器,而且针对多tag的日志,可递归处理,直到完成日志加工为止,而且可以通过约定的方式,灵活增删tag标签,对日志数据完成相应的处理。
本实施方式提供的日志处理方法,相对于现有技术而言,读取包括日志内容和日志标签的第一待处理日志数据,从第一待处理日志数据中解析出第一日志标签;将第一待处理日志数据发送到第一日志标签对应的第一日志处理器,以便第一日志处理器对第一待处理日志数据进行处理并生成已处理日志数据;接收第一日志处理器返回的已处理日志数据,不同日志标签对应不同日志处理器,分布式日志首先收集到集中节点,按照日志标签进行分类,将第一待处理日志数据根据日志标签内容分发到不同的日志处理器并发的进行处理,通过线程池的方式提高资源使用率,加快处理速度。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种日志处理装置,用于分布式异构网络,如图7所示,包括:
标签解析单元71,用于从第一待处理日志数据中解析出第一日志标签,第一待处理日志数据包括日志内容和日志标签;
处理器确定单元72,用于确定第一日志标签对应的第一日志处理器;
数据发送单元73,用于将第一待处理日志数据发送到第一日志标签对应的第一日志处理器,以便第一日志处理器对第一待处理日志数据进行处理并生成已处理日志数据;
数据接收单元74,用于接收第一日志处理器返回的已处理日志数据。
本实施方式提供的日志处理装置,相对于现有技术而言,标签解析单元从所述第一待处理日志数据中解析出第一日志标签,第一待处理日志数据包括日志内容和日志标签;处理器确定单元确定第一日志标签对应的第一日志处理器;数据发送单元将第一待处理日志数据发送到第一日志标签对应的第一日志处理器,以便第一日志处理器对第一待处理日志数据进行处理并生成已处理日志数据;数据接收单元接收第一日志处理器返回的已处理日志数据,不同日志标签对应不同日志处理器,分布式日志首先收集到集中节点,按照日志标签进行分类,将第一待处理日志数据根据日志标签内容分发到不同的日志处理器并发的进行处理,通过线程池的方式提高资源使用率,加快处理速度。
作为上述第三实施方式的改进,本发明的第四实施方式涉及一种日志处理装置,如图8所示,该装置沿用第三实施方式中的全部技术特征,相对第三实施方式增加或者改进以下技术特征,包括:
日志接收单元81,用于接收业务系统发送的第二待处理日志数据,业务系统属于分布式异构网络;
日志筛选单元82,用于从第二待处理日志数据中筛选出第一待处理日志数据,第一待处理日志数据包括日志标签,日志标签是由业务系统标注的。
标签解析单元83,用于从第一待处理日志数据中解析出第一日志标签,第一待处理日志数据包括日志内容和日志标签;
处理器确定单元84,用于确定第一日志标签对应的第一日志处理器;
数据发送单元85,用于将第一待处理日志数据发送到第一日志标签对应的第一日志处理器,以便第一日志处理器对第一待处理日志数据进行处理并生成已处理日志数据;
数据接收单元86,用于接收第一日志处理器返回的已处理日志数据。
一些实施例中,可选的,数据接收单元86,还用于在每次接收到返回的已处理日志数据后,对当前已处理日志数据进行解析,若每次能从返回的当前已处理日志数据解析出一个第二日志标签,则将当前已处理日志数据发送到第二日志标签对应的第二日志处理器,以便第二日志处理器对当前已处理日志数据进行处理,直至接收到的已处理日志数据中没有日志标签。
一些可选实施例中,本实施方式提供的日志处理装置还可以包括:
修改请求单元87,用于接收日志标签添加请求,日志标签添加请求包括业务系统信息和待添加标签信息;
判断单元88,用于判断待添加标签是否存在相应的日志处理器;
日志处理器管理单元89,若存在,则向业务系统信息对应的业务系统发送确认信息,若不存在,则创建相应的日志处理器,并向业务系统信息对应的业务系统发送确认信息。
本实施方式提供的日志处理装置,相对于现有技术而言,日志读取单元读取包括日志内容和日志标签的第一待处理日志数据,标签解析单元从第一待处理日志数据中解析出第一日志标签;数据发送单元将第一待处理日志数据发送到第一日志标签对应的第一日志处理器,以便第一日志处理器对第一待处理日志数据进行处理并生成已处理日志数据;数据接收单元接收第一日志处理器返回的已处理日志数据,不同日志标签对应不同日志处理器,分布式日志首先收集到集中节点,按照日志标签进行分类,将第一待处理日志数据根据日志标签内容分发到不同的日志处理器并发的进行处理,通过线程池的方式提高资源使用率,加快处理速度。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
由于第二实施方式与本实施方式相互对应,因此本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,在第二实施方式中所能达到的技术效果在本实施方式中也同样可以实现,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
本发明第五实施方式涉及一种服务器,如图9所示,包括至少一个处理器91;以及,
与所述至少一个处理器通信连接的存储器92;其中,
所述存储器92存储有可被所述至少一个处理器92执行的指令,所述指令被所述至少一个处理器92执行,以使所述至少一个处理器92能够执行如上述的日志处理方法。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第六实施方式涉及一种日志处理系统,如图5所示,用于分布式异构网络,包括上述服务器和至少2个日志处理器;
所述日志处理器,用于接收所述服务器发送的待处理日志数据或已处理日志数据,并对接收的待处理日志数据或已处理日志数据进行处理,向服务器返回处理后的待处理日志数据或已处理日志数据。
一种分布式异构网络,如图4所示,包括至少一个业务系统和上述日志处理系统;
所述业务系统,用于向所述日志处理系统发送待处理日志数据。
不难发现,本实施方式为与第一实施方式相对应的系统实施例,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明第六实施方式涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (9)

1.一种日志处理方法,用于分布式异构网络,其特征在于,包括:
从第一待处理日志数据中解析出第一日志标签,所述第一待处理日志数据包括日志内容和日志标签;
确定所述第一日志标签对应的第一日志处理器;
将所述第一待处理日志数据发送到所述第一日志处理器,以便所述第一日志处理器对所述第一待处理日志数据进行处理并生成已处理日志数据;
接收所述第一日志处理器返回的所述已处理日志数据;
其中,所述已处理日志数据已被所述第一日志处理器删除所述第一日志标签,所述第一待处理日志数据包括至少2个日志标签,所述方法还包括:
在每次接收到返回的已处理日志数据后,对当前已处理日志数据进行解析;
若每次能从返回的当前已处理日志数据解析出一个第二日志标签,则将当前已处理日志数据发送到所述第二日志标签对应的第二日志处理器,以便所述第二日志处理器对当前已处理日志数据进行处理,直至接收到的已处理日志数据中没有日志标签。
2.根据权利要求1所述的方法,其特征在于,在所述从第一待处理日志数据中解析出第一日志标签之前,所述方法还包括:
接收业务系统发送的第二待处理日志数据,所述业务系统属于所述分布式异构网络;
从所述第二待处理日志数据中筛选出所述第一待处理日志数据,所述第一待处理日志数据包括日志标签,所述日志标签是由所述业务系统标注的。
3.根据权利要求2所述的方法,其特征在于,所述第二待处理日志数据是由负载均衡设备对全部业务系统发送的全部日志数据进行轮训后发来的。
4.根据权利要求1所述的方法,其特征在于,还包括:
接收日志标签添加请求,所述日志标签添加请求包括业务系统信息和待添加标签信息;
判断所述待添加标签是否存在相应的日志处理器;
若存在,则向所述业务系统信息对应的业务系统发送确认信息;
若不存在,则创建相应的日志处理器,并向所述业务系统信息对应的业务系统发送确认信息。
5.一种日志处理装置,用于分布式异构网络,其特征在于,包括:
标签解析单元,用于从第一待处理日志数据中解析出第一日志标签,所述第一待处理日志数据包括日志内容和日志标签;
处理器确定单元,用于确定所述第一日志标签对应的第一日志处理器;
数据发送单元,用于将所述第一待处理日志数据发送到所述第一日志标签对应的第一日志处理器,以便所述第一日志处理器对所述第一待处理日志数据进行处理并生成已处理日志数据;
数据接收单元,用于接收所述第一日志处理器返回的所述已处理日志数据;
其中,所述已处理日志数据已被所述第一日志处理器删除所述第一日志标签,所述第一待处理日志数据包括至少2个日志标签;
所述数据接收单元,还用于在每次接收到返回的已处理日志数据后,对当前已处理日志数据进行解析;若每次能从返回的当前已处理日志数据解析出一个第二日志标签,则将当前已处理日志数据发送到所述第二日志标签对应的第二日志处理器,以便所述第二日志处理器对当前已处理日志数据进行处理,直至接收到的已处理日志数据中没有日志标签。
6.一种服务器,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至4中任一所述的日志处理方法。
7.一种日志处理系统,用于分布式异构网络,其特征在于,包括:权利要求6所述服务器和至少2个日志处理器;
所述日志处理器,用于接收所述服务器发送的第一待处理日志数据或已处理日志数据,并对接收的第一待处理日志数据或已处理日志数据进行处理,向所述服务器返回处理后的第一待处理日志数据或已处理日志数据。
8.一种分布式异构网络,其特征在于,包括至少一个业务系统和权利要求7所述日志处理系统;
所述业务系统,用于向所述日志处理系统发送第一待处理日志数据。
9.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的日志处理方法。
CN202010493688.7A 2020-06-03 2020-06-03 日志处理方法、装置、服务器、系统网络和存储介质 Active CN111782610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010493688.7A CN111782610B (zh) 2020-06-03 2020-06-03 日志处理方法、装置、服务器、系统网络和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010493688.7A CN111782610B (zh) 2020-06-03 2020-06-03 日志处理方法、装置、服务器、系统网络和存储介质

Publications (2)

Publication Number Publication Date
CN111782610A CN111782610A (zh) 2020-10-16
CN111782610B true CN111782610B (zh) 2024-03-22

Family

ID=72753388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010493688.7A Active CN111782610B (zh) 2020-06-03 2020-06-03 日志处理方法、装置、服务器、系统网络和存储介质

Country Status (1)

Country Link
CN (1) CN111782610B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103401937A (zh) * 2013-08-07 2013-11-20 中国科学院信息工程研究所 日志数据处理方法及系统
WO2016197689A1 (zh) * 2015-06-10 2016-12-15 华为技术有限公司 处理报文的方法、装置和系统
CN106713504A (zh) * 2017-02-17 2017-05-24 平安科技(深圳)有限公司 任务处理方法和系统
CN107315756A (zh) * 2016-04-27 2017-11-03 中国移动通信集团安徽有限公司 一种日志处理方法及装置
CN108052675A (zh) * 2017-12-28 2018-05-18 惠州Tcl家电集团有限公司 日志管理方法、系统及计算机可读存储介质
CN108345643A (zh) * 2018-01-12 2018-07-31 联动优势电子商务有限公司 一种数据处理方法及装置
CN110245110A (zh) * 2019-05-20 2019-09-17 深圳壹账通智能科技有限公司 数据处理方法、装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8489588B2 (en) * 2009-12-21 2013-07-16 International Business Machines Corporation Interactive visualization of sender and recipient information in electronic communications
JP5602592B2 (ja) * 2010-11-11 2014-10-08 キヤノン株式会社 ネットワークシステム、サーバ、ログ登録方法、及び、プログラム
US10129130B2 (en) * 2016-03-21 2018-11-13 International Business Machines Corporation Management of connections of a client application including server selection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103401937A (zh) * 2013-08-07 2013-11-20 中国科学院信息工程研究所 日志数据处理方法及系统
WO2016197689A1 (zh) * 2015-06-10 2016-12-15 华为技术有限公司 处理报文的方法、装置和系统
CN107315756A (zh) * 2016-04-27 2017-11-03 中国移动通信集团安徽有限公司 一种日志处理方法及装置
CN106713504A (zh) * 2017-02-17 2017-05-24 平安科技(深圳)有限公司 任务处理方法和系统
CN108052675A (zh) * 2017-12-28 2018-05-18 惠州Tcl家电集团有限公司 日志管理方法、系统及计算机可读存储介质
CN108345643A (zh) * 2018-01-12 2018-07-31 联动优势电子商务有限公司 一种数据处理方法及装置
CN110245110A (zh) * 2019-05-20 2019-09-17 深圳壹账通智能科技有限公司 数据处理方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
对等结构的混合集群的层次化存储策略研究;涂超凡;张启飞;陈应庄;张昱昶;刘二腾;干红华;张尉东;白凡;郑贤榕;;计算机应用与软件(第04期);全文 *

Also Published As

Publication number Publication date
CN111782610A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN109254982A (zh) 一种流数据处理方法、系统、装置及计算机可读存储介质
EP3611631A1 (en) Method, apparatus and device for generating entity relationship data, and storage medium
CN101246486A (zh) 用于改进的表达式处理的方法和装置
CN108694221B (zh) 数据实时分析方法、模块、设备和装置
CN112541074A (zh) 日志解析方法、装置、服务器和存储介质
CN111562885A (zh) 数据处理方法、装置、计算机设备及存储介质
US20200204688A1 (en) Picture book sharing method and apparatus and system using the same
CN108710644A (zh) 一种关于政务大数据处理方法
CN116016628A (zh) 一种api网关埋点分析方法及装置
JP2013045208A (ja) データ生成方法、装置及びプログラム、検索処理方法、装置及びプログラム
CN112307318A (zh) 一种内容发布方法、系统及装置
CN111782610B (zh) 日志处理方法、装置、服务器、系统网络和存储介质
CN102855297A (zh) 一种控制数据传输的方法和连接器
CN112948251B (zh) 软件自动测试方法及装置
JP6103021B2 (ja) データ生成方法、装置及びプログラム、検索処理方法、装置及びプログラム
CN111177155B (zh) 消息过滤方法、系统和计算机设备
US8788483B2 (en) Method and apparatus for searching in a memory-efficient manner for at least one query data element
CN111221787A (zh) 一种文件处理方法及装置
CN114302425B (zh) 设备配网方法、装置、存储介质及电子设备
CN114064740B (zh) 用于查询数据的方法、设备和介质
CN115580571B (zh) 一种报文发送方法、装置、计算设备及存储介质
CN111930705B (zh) 二进制消息协议数据处理方法及装置
CN117632820B (zh) 请求处理方法、装置、总线桥、电子设备及可读存储介质
CN112148782B (zh) 市场数据接入方法及装置
CN114138850A (zh) 一种名单管理方法、系统、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant