CN113886443A - 日志的处理方法、装置、计算机设备及存储介质 - Google Patents

日志的处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113886443A
CN113886443A CN202111162328.XA CN202111162328A CN113886443A CN 113886443 A CN113886443 A CN 113886443A CN 202111162328 A CN202111162328 A CN 202111162328A CN 113886443 A CN113886443 A CN 113886443A
Authority
CN
China
Prior art keywords
target
log
logs
target service
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111162328.XA
Other languages
English (en)
Inventor
李露
谢鹏
彭晶
杨杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202111162328.XA priority Critical patent/CN113886443A/zh
Publication of CN113886443A publication Critical patent/CN113886443A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及人工智能,提供一种日志的处理方法、装置、计算机设备及存储介质。所述方法包括:获取目标业务的目标业务标识;从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志;然后根据所述目标业务标识以及预设的日志处理策略与业务类型的对应关系,确定所述目标日志的目标日志处理策略;最后根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果。本实施例中,由于模块数据库中存储的业务模块日志都携带有对应的业务标识,所以本实施例可以快速地从各模块数据库中获取与目标业务标识对应的目标日志,然后对目标日志进行处理,提高了日志的处理效率。

Description

日志的处理方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种日志的处理方法、装置、计算机设备及存储介质。
背景技术
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误以及错误发生的原因,从而及时采取措施纠正错误。
互联网采用分布式应用,将应用中的系统拆分为多个不同的功能模块。因此一个完整的操作流程(调用链),会涉及到调用多个不同的功能模块,而不同功能模块输出的日志都会分散存储在不同的日志服务器(模块数据库)中。
在目前的分布式应用场景下,若要对某个业务请求的日志进行处理,则首先需要根据不同的关键词去不同的日志服务器中查找出该业务请求所涉及的所有模块日志,然后再对获取到的模块日志进行日志处理,导致日志的处理效率低。
发明内容
本发明实施例提供了一种日志的处理方法、装置、计算机设备及存储介质,可以提高日志的处理效率。
第一方面,本发明实施例提供了一种日志的处理方法,其包括:获取目标业务的目标业务标识;
从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志,所述模块数据库中存储有对应功能模块的多个业务模块日志,所述业务模块日志包括业务标识以及所述业务标识对应业务在对应功能模块上的操作日志;
根据所述目标业务标识以及预设的日志处理策略与业务类型的对应关系,确定所述目标日志的目标日志处理策略;
根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果。
第二方面,本发明实施例还提供了一种日志的处理装置,其包括:
第一获取单元,用于获取目标业务的目标业务标识;
第二获取单元,用于从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志,所述模块数据库中存储有对应功能模块的多个业务模块日志,所述业务模块日志包括业务标识以及所述业务标识对应业务在对应功能模块上的操作日志;
确定单元,用于根据所述目标业务标识以及预设的日志处理策略与业务类型的对应关系,确定所述目标日志的目标日志处理策略;
处理单元,用于根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果。
第三方面,本发明实施例还提供了一种计算机设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现上述方法。
本发明实施例提供了一种日志的处理方法、装置、计算机设备及存储介质。其中,所述方法包括:获取目标业务的目标业务标识;从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志;然后根据所述目标业务标识以及预设的日志处理策略与业务类型的对应关系,确定所述目标日志的目标日志处理策略;最后根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果。本实施例中,由于模块数据库中存储的日志都携带有对应的业务标识,所以本实施例可以快速地从各模块数据库中获取与目标业务标识对应的目标日志,然后根据与该目标业务标识对应的目标日志处理策略对目标日志进行处理,本方案在对日志进行处理之前,不需要根据不同的关键词去不同的模块数据库分别进行对应日志的查找,所以本方案可以提高日志的处理效率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的日志的处理方法的应用场景示意图;
图2为本发明实施例提供的日志的处理方法的流程示意图;
图3为本发明实施例提供的日志的处理方法的子流程示意图;
图4为本发明实施例提供的日志的处理方法的子流程示意图;
图5为本发明实施例提供的日志的处理方法的子流程示意图;
图6为本发明实施例提供的日志的处理装置的示意性框图;
图7为本发明另一实施例提供的日志的处理装置的示意性框图;
图8为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
本发明实施例提供了一种日志的处理方法、装置、计算机设备及存储介质。
该日志的处理方法的执行主体可以是本发明实施例提供的日志的处理装置,或者集成了该日志的处理装置的计算机设备,其中,该日志的处理装置可以采用硬件或者软件的方式实现,该计算机设备可以为终端或服务器,该终端可以是智能手机、平板电脑、掌上电脑、或者笔记本电脑等。
请参阅图1,图1为本发明实施例提供的日志的处理方法的应用场景示意图。该日志的处理方法应用于图1中的计算机设备10中,该计算机设备10获取目标业务的目标业务标识;然后从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志;再根据所述目标业务标识以及预设的日志处理策略与业务类型的对应关系,确定所述目标日志的目标日志处理策略;最后根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果。
请参阅图2,图2是本发明实施例提供的日志的处理方法的流程示意图。如图2所示,该方法包括以下步骤S110-140。
以下对本实施例中的日志的处理方法进行详细说明,其中,以下实施例以服务器为执行主体为例,该方法包括:
S110、获取目标业务的目标业务标识。
本实施例中,目标业务为当前需要进行日志处理的业务,目标业务标识为目标业务对应的日志在模块数据库中唯一确定的标识,当用户需要获取目标业务完整的操作流程对应的日志时,需要向服务器输入目标业务标识。
为了可以根据目标业务标识对目标日志进行查找,在生成目标业务对应的日志时,还需要生成对应的目标业务标识,此时,在一些实施例中,步骤S110之前,方法还包括:
a、获取目标业务的目标业务请求。
当用户通过系统进行操作时,服务器首先会在系统不同业务类型的入口层为该操作生成一个唯一对应的业务请求。
b、根据该目标业务请求的请求头以及请求体生成该目标业务标识。
本实施例中,使用目标业务请求中的请求头以及请求体为目标业务请求生成唯一确定的目标业务标识。
在一些实施例中,该目标业务请求中还包括时间戳,该时间戳用于记录每个日志生成的时间,
c、采集该目标业务请求对应的各目标业务模块的操作数据,并根据该目标业务标识以及各目标业务模块的操作数据生成各目标业务模块的目标业务模块日志。
本实施例中,无论一条业务请求需要访问多少个模块(即不管一条业务请求对应的调用链的长短),在目标业务请求进行多模块的交互时,每一次交互都将目标业务标识进行透传,交互模块的关键日志打印都以该目标业务标识为前缀(或者后缀等其他位置,目标业务标识在日志中的位置此处不做限定)。
d、将该目标业务模块日志存储至对应的模块数据库中。
本实施例中,得到目标业务模块日志之后,将该目标业务模块存储至对应的模块数据库中。
S120、从预设的多个模块数据库中获取与该目标业务标识对应的多个目标业务模块日志,并将多个该目标业务模块日志作为目标日志。
上述的多个模块数据库设置在日志数据库中,其中,每个模块数据库对应一个功能模块,模块数据库中存储有对应功能模块的多个业务的业务模块日志,该业务模块日志包括对应业务的业务标识以及对应业务的在对应功能模块的操作日志。
每个业务请求(业务标识)对应的日志由其访问过的功能模块的操作日志组成,其中,在生成对应模块日志时,需要在操作日志(关键日志)预设的位置上添加对应的业务标识,其中,该预设的位置可以为对应操作日志的前缀,或者对应操作日志的后缀等,具体位置此处不做限定。
具体地,每个模块数据库中都存有多个业务模块日志,每个业务模块日志对应一个业务(例如购买保险业务),本实施例需要在各模块数据库中判断是否存在与目标业务标识对应的模块日志,若存在,则提取该业务模块日志作为目标业务标识。
在一些实施例中,该业务模块日志还包括与该业务模块日志的生成时刻对应的时间戳,此时,步骤S120具体包括:
S121、从多个该模块数据库中获取与该目标业务标识对应的多个目标业务模块日志。
本实施例中,获取到目标业务标识之后,首先从多个模块数据库中提取包含该目标业务标识的目标业务模块日志,以把同一个业务下不同功能模块的日志整合起来。
S122、根据该目标业务模块日志中的该时间戳对多个该目标业务模块日志进行排序处理,得到排序后的目标业务模块日志,并将该排序后的目标业务模块日志作为该目标日志。
本实施例中,获取到目标业务标识对应的多个目标业务模块日志之后,还需要根据日志中的时间戳,按照时间的先后顺序对多个目标业务模块日志进排序,得到排序后的目标业务模块日志。
需要说明的是,当一个业务对应的某个功能模块出现错误时,不确定该错误是由于该功能模块内部出现的问题,还是调用该功能模块时出现的问题,此时,若需要定位问题,就需要查看与该业务相关的日志,需要提取该功能模块对应的日志的上下文,通过研究该功能模块的上下文对问题进行定位,则此时,就需要按照业务流程,对业务涉及到的功能模块的日志进行排序,方便后续问题的定位。
可见,本方案通过更少的关键词(只需目标业务标识)搜索,就可以准确获取一个请求处理的调用链,了解各个功能模块之间的关联关系与时序,方便确定逻辑流程是否符合预期、各模块统计数据的串联。
S130、根据该目标业务标识以及预设的日志处理策略与业务类型的对应关系,确定该目标日志的目标日志处理策略。
本实施例为不同类型的业务设置了不同的日志处理策略,例如,针对用户购买保险的业务类型以及用户浏览新闻的业务类型分别设置不同的日志处理策略。
在本实施例中,目标业务标识由请求头以及请求体生成,其中,目标业务标识中的请求体包括对应的业务类型,此时,具体地,步骤S130包括:根据该目标业务标识中的业务类型以及预设的日志处理策略与业务类型的对应关系,确定该目标日志的目标日志处理策略。
S140、根据该目标日志处理策略对该目标日志进行处理,得到日志处理结果。
在一些实施例中,该目标日志处理策略包括目标日志异常检测策略,对于每个流程(例如业务所涉及的每个模块)的结果集(例如每个模块分别对应的日志条数和/或日志内容)都是有一定规则的,此时,具体地,请参阅图3,步骤S140包括:
a141、根据该目标日志异常检测策略确定该目标日志中各目标业务模块日志分别对应的目标日志异常检测子策略。
本实施例中,在目标日志异常检测策略中为目标业务涉及的每个功能模块都设置了对应的日志异常检测策略,所以获取了对应的目标日志异常检测策略之后,将确定目标日志中各目标业务模块日志分别对应的目标日志异常检测子策略,以根据对应目标日志异常检测子策略分别对目标日志中各目标业务模块日志进行异常检测处理。
a142、根据该目标日志异常检测子策略对对应的目标业务模块日志进行异常检测处理,得到目标异常检测结果。
在一些实施例中,对每个功能模块都分别设置了其对应的异常检测逻辑,例如,针对目标日志中的每个目标业务模块日志,分别进行日志条数检测处理以及日志的固定内容检测处理,此时,具体地,步骤a142包括:
1、根据该目标日志异常检测子策略对对应的目标业务模块日志进行日志条数检测处理,得到条数异常检测结果。
例如,根据目标日志异常检测子策略确定目标业务模块日志的日志行数上限为100,此时,需要检测目标业务模块日志的日志行数是否超过目标日志异常检测子策略中的预设行数上限(例如100,具体数值可根据具体场景进行调整,具体此处不做限定),若不超过预设行数上限,则检测通过,若超过预设行数上限,则在条数异常检测结果中生成异常警报,其中,该异常警报包括发生异常的日志位置。
又如,根据目标日志异常检测子策略确定目标业务模块日志的日志行数是否为目标日志异常检测子策略中的预设行数(例如50,具体数值可根据具体场景进行调整,具体此处不做限定),若为目标日志异常检测子策略中的预设行数,则检测通过,若不为目标日志异常检测子策略中的预设行数,则在条数异常检测结果中生成异常警报,同样地,该异常警报包括发生异常的日志位置。
2、根据该目标日志异常检测子策略对对应的目标业务模块日志进行固定内容检测处理,得到内容异常检测结果。
例如,根据该目标日志异常检测子策略确定目标业务模块日志中是否存在预设的固定内容(例如目标业务模块日志中的固定内容为123,则要求目标业务模块日志中必须出现123,其中,固定内容的值可以根据具体场景进行调整,具体此处不做限定),若存在预设的固定内容,则检测通过,若不存在预设的固定内容,则在内容异常检测结果中生成异常警报,该异常警报包括发生异常的位置信息。
3、将该条数异常检测结果以及该内容异常检测结果作为该目标异常检测结果。
在另一些实施例中,该目标日志处理策略包括目标日志脱敏策略,此时,具体地,请参阅图4,步骤S140包括:
b141、根据该目标日志脱敏策略中的敏感词探测逻辑确定该目标日志中的敏感词。
本实施例中,服务器针对每种类型的业务都设置了其对应的日志脱敏策略,及对于不同的业务,其脱敏的规则也不一样,本方案可以为每种不同的业务所对应的日志分别设置不同的日志脱敏日志,可见,本方案可以针对不同业务类型的日志进行个性化的脱敏处理,例如,针对用户购买保险的业务类型设置对应的保险类脱敏策略,针对用户浏览新闻的业务类型设置对应的浏览类脱敏策略。
其中,本实施例针对不同业务类型的脱敏策略设置了不同的敏感词库,例如,本实施例针对保险类脱敏策略设置了对应的敏感词探测逻辑,该敏感词探测逻辑中的敏感词库中包含常规敏感词以及针对保险领域定制的敏感词。
b142、根据该目标日志脱敏策略中的敏感词脱敏逻辑对该敏感词进行脱敏处理,得到脱敏后的目标日志。
本实施例中,针对不同的业务类型还设置有不同的敏感词脱敏逻辑,即对于不同的业务类型对应的同一个敏感词,可以设置不同的脱敏程度,例如,对于购买类业务类型的敏感词的设置一级脱敏程度,对于浏览类的业务类型的敏感词设置二级脱敏程度,其中一级脱敏程度比二级脱敏程度脱敏得更彻底,例如电话号码,对应一级脱敏程度,需要对中间6位数字进行脱敏,对于二级脱敏,只需要对中间的3位数字进行脱敏。
又在另一些实施例中,该目标日志处理策略包括目标日志异常检测策略以及目标日志脱敏策略,此时,需要根据日志对应的业务类型对各个目标业务模块日志进行个性化脱敏,然后针对脱敏后的目标业务模块日志进行异常检测处理,具体地,请参阅图5,步骤S140包括:
c141、根据该目标日志脱敏策略中的敏感词探测逻辑确定该目标日志中的敏感词。
其中,本步骤与步骤b141类似,具体此处不做赘述。
c142、根据该目标日志脱敏策略中的敏感词脱敏逻辑对该敏感词进行脱敏处理,得到脱敏后的目标日志,该脱敏后的目标日志包括多个脱敏后的目标业务模块日志。
其中,本步骤与步骤B142类似,具体此处不做赘述。
c143、根据该目标日志异常检测策略确定该脱敏后的目标日志中各脱敏后的目标业务模块日志分别对应的目标日志异常检测子策略。
即,本实施例针对各脱敏后的目标业务模块日志分别设置了对应的目标日志异常检测子策略,具体地,本实施例与步骤a141类似,具体此处不做赘述。
c144、根据该目标日志异常检测子策略对对应的脱敏后的目标业务模块日志进行异常检测处理,得到目标异常检测结果。
其中,该目标异常检测结果为输出给用户的查看的检测结果,本实施例与步骤a142类似,具体此处不做赘述。
需要说明的是,本实施例中的目标异常脱敏结果中包括发生日志异常的业务模块所对应的异常日志,由于模块日志中可能包含有敏感信息,为了保障用户信息的安全,在对日志进行异常检测处理之前,需要对日志进行脱敏处理。
在另一些实施例中,本方案还可以在对目标业务模块日志进行异常检测处理,得到目标异常检测结果之后,再对目标异常检测结果中的日志进行脱敏处理。
综上所述,本实施例获取目标业务的目标业务标识;从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志;然后根据所述目标业务标识以及预设的日志处理策略与业务类型的对应关系,确定所述目标日志的目标日志处理策略;最后根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果。本实施例中,由于模块数据库中存储的日志都携带有对应的业务标识,所以本实施例可以快速地从模块数据库中获取与目标业务标识对应的目标日志,然后根据与该目标业务标识对应的目标日志处理策略对目标日志进行处理,本方案在对日志进行处理之前,不需要根据不同的关键词去不同的模块数据库分别进行对应日志的查找,所以本方案可以提高日志的处理效率。
需要说明的是,本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
图6是本发明实施例提供的一种日志的处理装置的示意性框图。如图6所示,对应于以上日志的处理方法,本发明还提供一种日志的处理装置。该日志的处理装置包括用于执行上述日志的处理方法的单元,该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地,请参阅图6,该日志的处理装置包括第一获取单元601、第二获取单元602、确定单元603以及处理单元604。
第一获取单元601,用于获取目标业务的目标业务标识;
第二获取单元602,用于从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志,所述模块数据库中存储有对应功能模块的多个业务模块日志,所述业务模块日志包括业务标识以及所述业务标识对应业务在对应功能模块上的操作日志;
确定单元603,用于根据所述目标业务标识以及预设的日志处理策略与业务类型的对应关系,确定所述目标日志的目标日志处理策略;
处理单元604,用于根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果。
在一些实施例中,所述目标日志处理策略包括目标日志异常检测策略,所述处理单元604具体用于:
根据所述目标日志异常检测策略确定所述目标日志中各目标业务模块日志分别对应的目标日志异常检测子策略;
根据所述目标日志异常检测子策略对对应的目标业务模块日志进行异常检测处理,得到目标异常检测结果。
在一些实施例中,所述处理单元604进一步具体用于:
根据所述目标日志异常检测子策略对对应的目标业务模块日志进行日志条数检测处理,得到条数异常检测结果;
根据所述目标日志异常检测子策略对对应的目标业务模块日志进行固定内容检测处理,得到内容异常检测结果;
将所述条数异常检测结果以及所述内容异常检测结果作为所述目标异常检测结果。
在一些实施例中,所述目标日志处理策略包括目标日志脱敏策略,所述处理单元604还具体用于:
根据所述目标日志脱敏策略中的敏感词探测逻辑确定所述目标日志中的敏感词;
根据所述目标日志脱敏策略中的敏感词脱敏逻辑对所述敏感词进行脱敏处理,得到脱敏后的目标日志。
在一些实施例中,所述目标日志处理策略包括目标日志异常检测策略以及目标日志脱敏策略,所述处理单元604还具体用于:
根据所述目标日志脱敏策略中的敏感词探测逻辑确定所述目标日志中的敏感词;
根据所述目标日志脱敏策略中的敏感词脱敏逻辑对所述敏感词进行脱敏处理,得到脱敏后的目标日志,所述脱敏后的目标日志包括多个脱敏后的目标业务模块日志;
根据所述目标日志异常检测策略确定所述脱敏后的目标日志中各脱敏后的目标业务模块日志分别对应的目标日志异常检测子策略;
根据所述目标日志异常检测子策略对对应的脱敏后的目标业务模块日志进行异常检测处理,得到目标异常检测结果。
在一些实施例中,所述业务模块日志还包括与所述业务模块日志的生成时刻对应的时间戳,所述第二获取单元602具体用于:
从多个所述模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志;
根据所述目标业务模块日志中的所述时间戳对多个所述目标业务模块日志进行排序处理,得到排序后的目标业务模块日志,并将所述排序后的目标业务模块日志作为所述目标日志。
图7是本发明另一实施例提供的一种日志的处理装置的示意性框图。如图7所示,本实施例的日志的处理装置是上述实施例的基础上增加了第三获取单元605、第一生成单元606、第二生成单元607以及存储单元608。
第三获取单元605,用于获取目标业务的目标业务请求;
第一生成单元606,用于根据所述目标业务请求的请求头以及请求体生成所述目标业务标识;
第二生成单元607,用于采集所述目标业务请求对应的各目标业务模块的操作数据,并根据所述目标业务标识以及各目标业务模块的操作数据生成各目标业务模块的目标业务模块日志;
存储单元608,用于将所述目标业务模块日志存储至对应的模块数据库中。
需要说明的是,所属领域的技术人员可以清楚地了解到,上述日志的处理装置和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
上述日志的处理装置可以实现为一种计算机程序的形式,该计算机程序可以在如图8所示的计算机设备上运行。
请参阅图8,图8是本发明实施例提供的一种计算机设备的示意性框图。该计算机设备800可以是终端,也可以是服务器,其中,终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
参阅图8,该计算机设备800包括通过系统总线801连接的处理器802、存储器和网络接口805,其中,存储器可以包括非易失性存储介质803和内存储器804。
该非易失性存储介质803可存储操作系统8031和计算机程序8032。该计算机程序8032包括程序指令,该程序指令被执行时,可使得处理器802执行一种日志的处理方法。
该处理器802用于提供计算和控制能力,以支撑整个计算机设备800的运行。
该内存储器804为非易失性存储介质803中的计算机程序8032的运行提供环境,该计算机程序8032被处理器802执行时,可使得处理器802执行一种日志的处理方法。
该网络接口805用于与其它设备进行网络通信。本领域技术人员可以理解,图8中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备800的限定,具体的计算机设备800可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器802用于运行存储在存储器中的计算机程序8032,以实现如下步骤:
获取目标业务的目标业务标识;
从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志,所述模块数据库中存储有对应功能模块的多个业务模块日志,所述业务模块日志包括业务标识以及所述业务标识对应业务在对应功能模块上的操作日志;
根据所述目标业务标识以及预设的日志处理策略与业务类型的对应关系,确定所述目标日志的目标日志处理策略;
根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果。
在一些实施例中,所述目标日志处理策略包括目标日志异常检测策略,处理器802在实现所述根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果步骤时,具体实现如下步骤:
根据所述目标日志异常检测策略确定所述目标日志中各目标业务模块日志分别对应的目标日志异常检测子策略;
根据所述目标日志异常检测子策略对对应的目标业务模块日志进行异常检测处理,得到目标异常检测结果。
在一些实施例中,处理器802在实现所述根据所述目标日志异常检测子策略对对应的目标业务模块日志进行异常检测处理,得到目标异常检测结果步骤时,具体实现如下步骤:
根据所述目标日志异常检测子策略对对应的目标业务模块日志进行日志条数检测处理,得到条数异常检测结果;
根据所述目标日志异常检测子策略对对应的目标业务模块日志进行固定内容检测处理,得到内容异常检测结果;
将所述条数异常检测结果以及所述内容异常检测结果作为所述目标异常检测结果。
在一些实施例中,所述目标日志处理策略包括目标日志脱敏策略,处理器802在实现所述根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果步骤时,具体实现如下步骤:
根据所述目标日志脱敏策略中的敏感词探测逻辑确定所述目标日志中的敏感词;
根据所述目标日志脱敏策略中的敏感词脱敏逻辑对所述敏感词进行脱敏处理,得到脱敏后的目标日志。
在一些实施例中,所述目标日志处理策略包括目标日志异常检测策略以及目标日志脱敏策略,处理器802在实现所述根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果步骤时,具体实现如下步骤:
根据所述目标日志脱敏策略中的敏感词探测逻辑确定所述目标日志中的敏感词;
根据所述目标日志脱敏策略中的敏感词脱敏逻辑对所述敏感词进行脱敏处理,得到脱敏后的目标日志,所述脱敏后的目标日志包括多个脱敏后的目标业务模块日志;
根据所述目标日志异常检测策略确定所述脱敏后的目标日志中各脱敏后的目标业务模块日志分别对应的目标日志异常检测子策略;
根据所述目标日志异常检测子策略对对应的脱敏后的目标业务模块日志进行异常检测处理,得到目标异常检测结果。
在一些实施例中,所述业务模块日志还包括与所述业务模块日志的生成时刻对应的时间戳,处理器802在实现所述从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志步骤时,具体实现如下步骤:
从多个所述模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志;
根据所述目标业务模块日志中的所述时间戳对多个所述目标业务模块日志进行排序处理,得到排序后的目标业务模块日志,并将所述排序后的目标业务模块日志作为所述目标日志。
在一些实施例中,处理器802在实现所述获取目标业务的目标业务标识步骤之前,还实现如下步骤:
获取目标业务的目标业务请求;
根据所述目标业务请求的请求头以及请求体生成所述目标业务标识;
采集所述目标业务请求对应的各目标业务模块的操作数据,并根据所述目标业务标识以及各目标业务模块的操作数据生成各目标业务模块的目标业务模块日志;
将所述目标业务模块日志存储至对应的模块数据库中。
应当理解,在本发明实施例中,处理器802可以是中央处理单元(CentralProcessing Unit,CPU),该处理器802还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行如下步骤:
获取目标业务的目标业务标识;
从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志,所述模块数据库中存储有对应功能模块的多个业务模块日志,所述业务模块日志包括业务标识以及所述业务标识对应业务在对应功能模块上的操作日志;
根据所述目标业务标识以及预设的日志处理策略与业务类型的对应关系,确定所述目标日志的目标日志处理策略;
根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果。
在一些实施例中,所述目标日志处理策略包括目标日志异常检测策略,所述处理器在执行所述程序指令而实现所述根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果步骤时,具体实现如下步骤:
根据所述目标日志异常检测策略确定所述目标日志中各目标业务模块日志分别对应的目标日志异常检测子策略;
根据所述目标日志异常检测子策略对对应的目标业务模块日志进行异常检测处理,得到目标异常检测结果。
在一些实施例中,所述处理器在执行所述程序指令而实现所述根据所述目标日志异常检测子策略对对应的目标业务模块日志进行异常检测处理,得到目标异常检测结果步骤时,具体实现如下步骤:
根据所述目标日志异常检测子策略对对应的目标业务模块日志进行日志条数检测处理,得到条数异常检测结果;
根据所述目标日志异常检测子策略对对应的目标业务模块日志进行固定内容检测处理,得到内容异常检测结果;
将所述条数异常检测结果以及所述内容异常检测结果作为所述目标异常检测结果。
在一些实施例中,所述目标日志处理策略包括目标日志脱敏策略,所述处理器在执行所述程序指令而实现所述根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果步骤时,具体实现如下步骤:
根据所述目标日志脱敏策略中的敏感词探测逻辑确定所述目标日志中的敏感词;
根据所述目标日志脱敏策略中的敏感词脱敏逻辑对所述敏感词进行脱敏处理,得到脱敏后的目标日志。
在一些实施例中,所述目标日志处理策略包括目标日志异常检测策略以及目标日志脱敏策略,所述处理器在执行所述程序指令而实现所述根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果步骤时,具体实现如下步骤:
根据所述目标日志脱敏策略中的敏感词探测逻辑确定所述目标日志中的敏感词;
根据所述目标日志脱敏策略中的敏感词脱敏逻辑对所述敏感词进行脱敏处理,得到脱敏后的目标日志,所述脱敏后的目标日志包括多个脱敏后的目标业务模块日志;
根据所述目标日志异常检测策略确定所述脱敏后的目标日志中各脱敏后的目标业务模块日志分别对应的目标日志异常检测子策略;
根据所述目标日志异常检测子策略对对应的脱敏后的目标业务模块日志进行异常检测处理,得到目标异常检测结果。
在一些实施例中,所述业务模块日志还包括与所述业务模块日志的生成时刻对应的时间戳,所述处理器在执行所述程序指令而实现所述从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志步骤时,具体实现如下步骤:
从多个所述模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志;
根据所述目标业务模块日志中的所述时间戳对多个所述目标业务模块日志进行排序处理,得到排序后的目标业务模块日志,并将所述排序后的目标业务模块日志作为所述目标日志。
在一些实施例中,所述处理器在执行所述程序指令而实现所述获取目标业务的目标业务标识步骤之前,还实现如下步骤:
获取目标业务的目标业务请求;
根据所述目标业务请求的请求头以及请求体生成所述目标业务标识;
采集所述目标业务请求对应的各目标业务模块的操作数据,并根据所述目标业务标识以及各目标业务模块的操作数据生成各目标业务模块的目标业务模块日志;
将所述目标业务模块日志存储至对应的模块数据库中。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种日志的处理方法,其特征在于,包括:
获取目标业务的目标业务标识;
从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志,所述模块数据库中存储有对应功能模块的多个业务模块日志,所述业务模块日志包括业务标识以及所述业务标识对应业务在对应功能模块上的操作日志;
根据所述目标业务标识以及预设的日志处理策略与业务类型的对应关系,确定所述目标日志的目标日志处理策略;
根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果。
2.根据权利要求1所述的方法,其特征在于,所述目标日志处理策略包括目标日志异常检测策略,所述根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果,包括:
根据所述目标日志异常检测策略确定所述目标日志中各目标业务模块日志分别对应的目标日志异常检测子策略;
根据所述目标日志异常检测子策略对对应的目标业务模块日志进行异常检测处理,得到目标异常检测结果。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标日志异常检测子策略对对应的目标业务模块日志进行异常检测处理,得到目标异常检测结果,包括:
根据所述目标日志异常检测子策略对对应的目标业务模块日志进行日志条数检测处理,得到条数异常检测结果;
根据所述目标日志异常检测子策略对对应的目标业务模块日志进行固定内容检测处理,得到内容异常检测结果;
将所述条数异常检测结果以及所述内容异常检测结果作为所述目标异常检测结果。
4.根据权利要求1所述的方法,其特征在于,所述目标日志处理策略包括目标日志脱敏策略,所述根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果,包括:
根据所述目标日志脱敏策略中的敏感词探测逻辑确定所述目标日志中的敏感词;
根据所述目标日志脱敏策略中的敏感词脱敏逻辑对所述敏感词进行脱敏处理,得到脱敏后的目标日志。
5.根据权利要求1所述的方法,其特征在于,所述目标日志处理策略包括目标日志异常检测策略以及目标日志脱敏策略,所述根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果,包括:
根据所述目标日志脱敏策略中的敏感词探测逻辑确定所述目标日志中的敏感词;
根据所述目标日志脱敏策略中的敏感词脱敏逻辑对所述敏感词进行脱敏处理,得到脱敏后的目标日志,所述脱敏后的目标日志包括多个脱敏后的目标业务模块日志;
根据所述目标日志异常检测策略确定所述脱敏后的目标日志中各脱敏后的目标业务模块日志分别对应的目标日志异常检测子策略;
根据所述目标日志异常检测子策略对对应的脱敏后的目标业务模块日志进行异常检测处理,得到目标异常检测结果。
6.根据权利要求1所述的方法,其特征在于,所述业务模块日志还包括与所述业务模块日志的生成时刻对应的时间戳,所述从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志,包括:
从多个所述模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志;
根据所述目标业务模块日志中的所述时间戳对多个所述目标业务模块日志进行排序处理,得到排序后的目标业务模块日志,并将所述排序后的目标业务模块日志作为所述目标日志。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述获取目标业务的目标业务标识之前,所述方法还包括:
获取目标业务的目标业务请求;
根据所述目标业务请求的请求头以及请求体生成所述目标业务标识;
采集所述目标业务请求对应的各目标业务模块的操作数据,并根据所述目标业务标识以及各目标业务模块的操作数据生成各目标业务模块的目标业务模块日志;
将所述目标业务模块日志存储至对应的模块数据库中。
8.一种日志的处理装置,其特征在于,包括:
第一获取单元,用于获取目标业务的目标业务标识;
第二获取单元,用于从预设的多个模块数据库中获取与所述目标业务标识对应的多个目标业务模块日志,并将多个所述目标业务模块日志作为目标日志,所述模块数据库中存储有对应功能模块的多个业务模块日志,所述业务模块日志包括业务标识以及所述业务标识对应业务在对应功能模块上的操作日志;
确定单元,用于根据所述目标业务标识以及预设的日志处理策略与业务类型的对应关系,确定所述目标日志的目标日志处理策略;
处理单元,用于根据所述目标日志处理策略对所述目标日志进行处理,得到日志处理结果。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现如权利要求1-7中任一项所述的方法。
CN202111162328.XA 2021-09-30 2021-09-30 日志的处理方法、装置、计算机设备及存储介质 Pending CN113886443A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111162328.XA CN113886443A (zh) 2021-09-30 2021-09-30 日志的处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111162328.XA CN113886443A (zh) 2021-09-30 2021-09-30 日志的处理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN113886443A true CN113886443A (zh) 2022-01-04

Family

ID=79005034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111162328.XA Pending CN113886443A (zh) 2021-09-30 2021-09-30 日志的处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113886443A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147031A (zh) * 2022-09-07 2022-10-04 深圳华锐分布式技术股份有限公司 清算工作流执行方法、装置、设备及介质
CN116149933A (zh) * 2022-12-13 2023-05-23 北京优特捷信息技术有限公司 一种异常日志数据确定方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147031A (zh) * 2022-09-07 2022-10-04 深圳华锐分布式技术股份有限公司 清算工作流执行方法、装置、设备及介质
CN116149933A (zh) * 2022-12-13 2023-05-23 北京优特捷信息技术有限公司 一种异常日志数据确定方法、装置、设备及存储介质
CN116149933B (zh) * 2022-12-13 2023-09-08 北京优特捷信息技术有限公司 一种异常日志数据确定方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US20190361686A1 (en) Methods, systems, apparatuses and devices for facilitating change impact analysis (cia) using modular program dependency graphs
CN106874253A (zh) 识别敏感信息的方法及装置
WO2021151292A1 (zh) 基于掩码语言模型的语料检测方法、装置、设备及介质
Hompes et al. Detecting change in processes using comparative trace clustering
CN113227971A (zh) 实时应用错误识别和缓解
CN113886443A (zh) 日志的处理方法、装置、计算机设备及存储介质
CN113886885A (zh) 数据脱敏方法、数据脱敏装置、设备及存储介质
CN113626241B (zh) 应用程序的异常处理方法、装置、设备及存储介质
JP2020119544A (ja) 知識グラフにおけるデータモデルを取得する方法、装置、機器及び媒体
CN109062965B (zh) 大数据分析系统、服务器、数据处理方法和存储介质
CN110912908A (zh) 网络协议异常检测方法、装置、计算机设备和存储介质
CN112559526A (zh) 数据表导出方法、装置、计算机设备及存储介质
CN113506045A (zh) 基于移动设备的风险用户识别方法、装置、设备及介质
CN114239029A (zh) 系统日志安全处理方法、装置、设备及存储介质
CN111241821B (zh) 确定用户的行为特征的方法和装置
CN111859862A (zh) 文本的数据标注方法和装置、存储介质及电子装置
CN107818501B (zh) 精算方法和装置
CN115617564A (zh) 针对内核异常的处理方法、装置、电子设备及存储介质
CN113704452A (zh) 基于Bert模型的数据推荐方法、装置、设备及介质
CN114417883A (zh) 一种数据处理方法、装置及设备
CN114239538A (zh) 断言处理方法、装置、计算机设备及存储介质
CN113626387A (zh) 一种任务数据的导出方法、装置、电子设备及存储介质
CN111858279A (zh) 浏览器用户行为追踪方法及装置
CN112189206A (zh) 使用机器学习算法处理个人数据及其应用
Shi et al. Abaci-finder: Linux kernel crash classification through stack trace similarity learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination