CN113535654B - 日志处理方法、系统、电子装置和存储介质 - Google Patents
日志处理方法、系统、电子装置和存储介质 Download PDFInfo
- Publication number
- CN113535654B CN113535654B CN202110656834.8A CN202110656834A CN113535654B CN 113535654 B CN113535654 B CN 113535654B CN 202110656834 A CN202110656834 A CN 202110656834A CN 113535654 B CN113535654 B CN 113535654B
- Authority
- CN
- China
- Prior art keywords
- log
- record
- content information
- target
- map table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 47
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 230000009467 reduction Effects 0.000 claims abstract description 59
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种日志处理方法、系统、电子装置和存储介质,其中,该日志处理方法包括:将日志内容信息分别与日志Map表中的各项日志记录进行比较,获取字符重复率;在出现字符重复率超过预设阈值的情况下,将超过预设阈值的字符重复率所对应的日志记录标记为第一目标日志记录,生成第一目标日志记录的查找标识符,并将当前日志的日志内容信息按照第一预设缩减规则进行缩减得到第一缩减字符串。通过本申请,解决了相关技术中存在采用降低日志写入标准会造成后期查看日志文件时信息丢失,严重影响日志信息的完整性和精确性的问题,实现了在有效节省日志存储空间的基础上,确保读取日志的完整性和精确性。
Description
技术领域
本申请涉及日志管理技术领域,特别是涉及一种日志处理方法、系统、电子装置和存储介质。
背景技术
随着物联网技术的飞速发展,各式各样物联网设备的运用也越来越广泛,例如:家电,智能门锁,无人机等。很多物联网设备都属于弱终端设备(弱终端设备是指硬件资源有限的物联网设备),弱终端设备本身可用的磁盘空间往往比较小,而弱终端设备上的嵌入式应用程序又涉及到频繁的通信,会产生大量的日志信息需要记录。大量的日志信息很快就会把弱终端设备的磁盘空间堆满从而导致弱终端设备运行异常,或者弱终端设备需要技术人员频繁清理数据存储空间,删除不必要的日志文件。
目前,为了保证弱终端设备不会出现因为磁盘空间被日志信息完全占用而运行异常的问题,通常采用降低日志写入标准的方式,例如:只把Error级别的日志写入到日志文件或者开发人员打日志时人为地缩短日志信息内容,上述降低日志写入标准的方式都会造成后期查看日志文件时信息丢失严重,严重影响日志信息的完整性和精确性。
针对相关技术中存在为了节省存储空间,采用降低日志写入标准而造成后期查看日志文件时信息丢失严重,严重影响日志信息的完整性和精确性的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种日志处理方法、系统、电子装置和存储介质,以解决相关技术中存在为了节省存储空间,采用降低日志写入标准而造成后期查看日志文件时信息丢失严重,严重影响日志信息的完整性和精确性的问题。
第一个方面,在本实施例中提供了一种日志处理方法,包括:
获取当前日志的日志内容信息,并将所述日志内容信息分别与日志Map表中的各项日志记录进行比较,获取所述日志内容信息与所述日志Map表中各项日志记录的字符重复率;
在出现所述字符重复率超过预设阈值的情况下,将超过所述预设阈值的字符重复率所对应的所述日志Map表中日志记录标记为第一目标日志记录,生成所述第一目标日志记录的查找标识符,并将所述当前日志的所述日志内容信息按照第一预设缩减规则进行缩减得到第一缩减字符串;
将所述第一目标日志记录的查找标识符、所述第一缩减字符串、以及所述第一预设缩减规则存储至日志存储空间。
在其中的一些实施例中,还包括:在所述日志内容信息与所述日志Map表中各项日志记录的所述字符重复率均小于所述预设阈值的情况下,将所述日志内容信息写入到所述日志Map表中,并将写入到所述日志Map表中的所述日志内容信息标记为第二目标日志记录,生成所述第二目标日志记录的查找标识符。
在其中的一些实施例中,还包括:在所述日志内容信息与所述日志Map表中各项日志记录的所述字符重复率均小于所述预设阈值的情况下,将所述当前日志的所述日志内容信息按照第二预设缩减规则进行缩减得到第二缩减字符串;将所述第二目标日志记录的查找标识符、所述第二缩减字符串、以及所述第二预设缩减规则存储至日志存储空间。
在其中的一些实施例中,所述第一预设缩减规则包括:根据所述当前日志的日志级别信息和所述日志内容信息的字符数,将所述日志内容信息特定位置上的字符进行缩减,从而获得所述第一缩减字符串,并记录所述日志内容信息特定位置的位置信息。
在其中的一些实施例中,所述日志级别信息包括:Error、Warn、Info、以及Debug。
在其中的一些实施例中,还包括:获取所述第一缩减字符串、所述第一预设缩减规则、以及所述第一目标日志记录的查找标识符;基于所述第一目标日志记录的查找标识符,在所述日志Map表中查找所述第一目标日志记录,并获取所述第一目标日志记录;基于所述日志内容信息特定位置的位置信息,将所述第一目标日志记录中相同位置上的字符添加到第一缩减字符串的对应位置上,形成可查看的详细日志。
在其中的一些实施例中,所述预设重复率为95%。
第二个方面,在本实施例中提供了一种日志处理系统,包括:日志内容比较模块、日志内容缩减模块、以及日志缩减存储模块;其中,
所述日志内容比较模块,用于获取当前日志的日志内容信息,并将所述日志内容信息分别与日志Map表中的各项日志记录进行比较,获取所述日志内容信息与所述日志Map表中各项日志记录的字符重复率;
所述日志内容缩减模块,用于在出现所述字符重复率超过预设阈值的情况下,将超过所述预设阈值的字符重复率所对应的所述日志Map表中日志记录标记为第一目标日志记录,生成所述第一目标日志记录的查找标识符,并将所述当前日志的所述日志内容信息按照第一预设缩减规则进行缩减得到第一缩减字符串;
所述日志缩减存储模块,用于将所述第一目标日志记录的查找标识符、所述第一缩减字符串、以及所述第一预设缩减规则存储至日志存储空间。
第三个方面,在本实施例中提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的日志处理方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的日志处理方法。
与相关技术相比,本实施例中提供的一种日志处理方法、系统、电子装置和存储介质中,通过将日志内容信息分别与日志Map表中的各项日志记录进行比较,获取日志内容信息与日志Map表中各项日志记录的字符重复率;在出现字符重复率超过预设阈值的情况下,将超过预设阈值的字符重复率所对应的日志记录标记为第一目标日志记录,生成第一目标日志记录的查找标识符,并将当前日志的日志内容信息按照第一预设缩减规则进行缩减得到第一缩减字符串;将第一目标日志记录的查找标识符、第一缩减字符串、以及第一预设缩减规则存储至日志存储空间。解决了相关技术中存在为了节省存储空间,采用降低日志写入标准造成后期查看日志文件时信息丢失严重,严重影响日志信息的完整性和精确性的问题,实现了在有效节省日志存储空间的基础上,确保读取日志的完整性和精确性。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本实施例的日志处理方法的终端的硬件结构框图;
图2是本实施例的一种日志处理方法的流程图;
图3是本实施例的另一种日志处理方法的流程图;
图4是本实施例的又一种日志处理方法中日志查看的流程图;
图5是本实施例的一种日志处理系统的结构框图;
图6是本实施例的另一种日志处理系统的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是本实施例的日志处理方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的日志处理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种日志处理方法,图2是本实施例的一种日志处理方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,获取当前日志的日志内容信息,并将日志内容信息分别与日志Map表中的各项日志记录进行比较,获取日志内容信息与日志Map表中各项日志记录的字符重复率。
网络设备、系统及服务程序等,在运作时都会产生一个叫log的事件记录,即为日志。每一行日志都记载着产生时间信息(日期、时间)、日志级别信息、日志内容信息(使用者、动作等)等相关操作的描述。
上述日志Map表中存在若干项日志记录,特定的日志记录包括特定日志的日志内容信息,各项日志记录的内容不同,已经存在于日志Map表中的各项日志记录之间的字符重复率小于预设阈值,避免日志Map表内的日志记录重复而占用空间。
本实施例用于在产生新的日志后,对新产生的当前日志进行存储。具体方法为:将当前日志的日志内容信息和日志Map表中已有的日志记录进行比较,确定当前日志的日志内容信息与日志Map表中各个日志记录的字符重复率,根据字符重复率判断当前日志的日志内容信息是否需要完整记录。如果字符重复率未超过预设阈值,则可以将当前日志的日志内容信息直接存储在日志Map表中。如果字符重复率高于预设阈值,则根据以下步骤进行缩减存储,以节省存储空间。
步骤S202,在出现字符重复率超过预设阈值的情况下,将超过预设阈值的字符重复率所对应的日志Map表中日志记录标记为第一目标日志记录,生成第一目标日志记录的查找标识符,并将当前日志的日志内容信息按照第一预设缩减规则进行缩减得到第一缩减字符串。
如果当前日志的日志内容信息与某项日志记录的字符重复率超过预设阈值,则可以认为当前日志的日志内容信息与某项日志记录的内容相似度很高,可以不需要把当前日志的日志内容信息完整记录到日志存储空间中,仅将缩减后的日志内容信息记录到日志存储空间中,节省日志存储空间。上述满足条件的日志记录标记为第一目标日志记录,并生成第一目标日志记录的查找标识符(该查找标识符可以在日志Map表唯一查找到第一目标日志记录),如果用户后续再次查看日志的时候,为了读出当前日志的所有内容,可以通过查找标识符在日志Map表查找到第一目标日志记录。使用上述第一缩减字符串代替当前日志的日志内容信息存储至日志储存空间可以极大地缩减空间。
步骤S203,将第一目标日志记录的查找标识符、第一缩减字符串、以及第一预设缩减规则存储至日志存储空间。
采用存储第一目标日志记录的查找标识符、第一缩减字符串以及第一预设缩减规则,代替存储完整的第一目标日志记录,不仅仅极大地缩减了存储所需要的空间,而且通过上述三个数据,在用户需要再次查看日志相对完整的内容的时候,可以相对完整地恢复出当前日志的全部日志内容信息,确保用户查看当前日志的完整性和准确性。
通过上述步骤,将当前日志的日志内容信息分别与日志Map表中的各项日志记录进行比较,在出现字符重复率超过预设阈值的情况下,将超过预设阈值的字符重复率所对应的日志记录进行标记,并将当前日志的日志内容信息按照第一预设缩减规则进行缩减得到第一缩减字符串,将被标记的日志记录、第一缩减字符串以及第一预设缩减规则存储至日志存储空间。解决了相关技术中存在采用降低日志写入标准会造成后期查看日志文件时信息丢失严重,严重影响日志信息的完整性和精确性的问题,实现了在有效节省日志存储空间的基础上,确保读取日志的完整性和精确性。
在其中的一些实施例中,本发明还提供了另一种日志处理方法,图3是本实施例的另一种日志处理方法的流程图,如图3所示,本发明除了上述图2的所有步骤之外,还包括步骤S301,在日志内容信息与日志Map表中各项日志记录的字符重复率均小于预设阈值的情况下,将日志内容信息写入到日志Map表中,并将写入到日志Map表中的日志内容信息标记为第二目标日志记录,生成第二目标日志记录的查找标识符。
如果当前日志的日志内容信息与日志Map表中各项日志记录的字符重复率均小于预设阈值,可以认为当前日志的日志内容信息与日志Map表中所有的日志记录相似度均不高,需要把当前日志的日志内容信息写入到日志Map表中,作为日志Map表中一项新的日志记录,并标记为第二目标日志记录。如果用户后续再次查看当前日志或者与第二目标日志记录的字符重复率大于预设阈值的其他日志的时候,可以通过查找标识符在日志Map表查找到第二目标日志记录。
在其中的一些实施例中,如图3所述,本发明还包括:
步骤S302,在日志内容信息与日志Map表中各项日志记录的字符重复率均小于预设阈值的情况下,将当前日志的日志内容信息按照第二预设缩减规则进行缩减得到第二缩减字符串。
步骤S303,将第二目标日志记录的查找标识符、第二缩减字符串、以及第二预设缩减规则存储至日志存储空间。
将上述第二目标日志记录的查找标识符、第二缩减字符串、以及第二预设缩减规则存储至日志存储空间,也可以极大地缩减了存储所需要的空间,在上面实施例的基础上,进一步节省空间。另外,也便于用户在需要再次查看日志相对完整的内容的时候,可以相对完整地恢复出当前日志的全部日志内容信息,便于用户查看。
在其中的一些实施例中,上述预设重复率为95%。本申请实施例并不对预设重复率的具体数值进行限制,在本申请提供的日志处理方法中所使用的预设重复率可以不同,预设重复率的取值受物联网终端的存储空间大小以及物联网终端日志数量的影响。
在其中的一些实施例中,日志级别信息可以包括:Error、Warn、Info、以及Debug。目前,日志的通用日志级别可以为Off、Fatal、Error、Warn、Info、Debug、Trace、All或者用户定义的级别,本申请实施例对此并不做限制。常用的开源软件项目Log4j建议只使用四个级别,优先级从高到低分别是Error、Warn、Info、以及Debug,在本申请实施例中,也使用该四种级别的日志级别信息。
在其中的一些实施例中,第一预设缩减规则包括:根据当前日志的日志级别信息和日志内容信息的字符数,将日志内容信息特定位置上的字符进行缩减,从而获得第一缩减字符串,并记录日志内容信息特定位置的位置信息。第一预设缩减规则与第二预设缩减规则可以相同,也可以不同,本发明实施例并不对此进行限制。
例如:
1)日志级别划分:Error、Warn、Info、以及Debug
2)日志长度划分:小于100字节、100字节-200字节、200字节-500字节、大于500字节
3)第一预设缩减规则:
表1第一预设缩减规则
在其中的一些实施例中,日志Map表是字典表,日志Map表中的各项日志记录是按照Key-Value规则建立的。例如,表2是一种实施例中的日志Map表。
查找标识符 | 日志记录 |
I001 | 只是INFO级日志1 |
I002 | 这是INFO级日志2 |
E001 | 这是ERROR日志1 |
··· | ··· |
表2日志Map表
开始时,该日志Map表为空表,程序初始化运行一段时间产生的第一个日志写入到日志Map表。日志Map表是按Key-Value的形式建立的字典表,第一项日志记录为“I001:只是INFO级日志1”,第一项日志记录的查找标识符为“I001”,第一项日志记录为“只是INFO级日志1”,该第一项日志记录为第一个日志的日志内容信息。在第二个日志产生时,将第二个日志的日志内容信息与日志Map表中已写入的日志记录进行判断,如果字符重复率高于95%,判断为同类型日志,不需重复写入日志Map表;如果字符重复率小于或等于95%,判断为不同类型日志,需将第二日志的日志内容信息写入日志Map表,形成第二项日志记:“I002:这是INFO级日志2”,依此类推。不管是第一个日志还是第二个日志,均需要进行缩减才能储存到日志存储空间。第一日志缩减后为:“只N级1”,第二日志缩减后为:“这N级2”。
在其中的一些实施例中,本发明还提供了又一种日志处理方法,用于日志的查看,图4是本实施例的又一种日志处理方法中日志查看的流程图,如图4所示,该流程包括如下步骤:
步骤S401,获取第一缩减字符串、第一预设缩减规则、以及第一目标日志记录的查找标识符。
步骤S402,基于第一目标日志记录的查找标识符,在日志Map表中查找第一目标日志记录,并获取第一目标日志记录。
步骤S403,基于日志内容信息特定位置的位置信息,将第一目标日志记录中相同位置上的字符添加到第一缩减字符串的对应位置上,形成可查看的详细日志。
例如:第一日志缩减后为:“只N级1”,第二日志缩减后为:“这N级2”。当用户需要查看第一日志和第二日志的时候,根据查找标识符“I001”找到目标日志记录“只是INFO级日志1”。根据“日志字符每3个留一个”的第一预设缩减规则、目标日志记录“只是INFO级日志1”,在“只N级1”对应位置上添加上对应的字符,可以形成可查看的详细日志。
通过上述步骤,基于日志内容信息特定位置的位置信息,将第一目标日志记录中相同位置上的字符添加到第一缩减字符串的对应位置上,形成可查看的详细日志,在上述缩减日志的基础上还可以重新查看详细的日志内容,即节省了内存空间,而且解决了日志信息在缩减后没法完整或精确查看的问题。
在本实施例中还提供了一种日志处理系统,该系统用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是本实施例的一种日志处理系统的结构框图,如图5所示,该装置包括:日志内容比较模块10、日志内容缩减模块20、以及日志缩减存储模块30;其中,
日志内容比较模块10,用于获取当前日志的日志内容信息,并将日志内容信息分别与日志Map表中的各项日志记录进行比较,获取日志内容信息与日志Map表中各项日志记录的字符重复率;
日志内容缩减模块20,用于在出现字符重复率超过预设阈值的情况下,将超过预设阈值的字符重复率所对应的日志Map表中日志记录标记为第一目标日志记录,生成第一目标日志记录的查找标识符,并将当前日志的日志内容信息按照第一预设缩减规则进行缩减得到第一缩减字符串;
日志缩减存储模块30,用于将第一目标日志记录的查找标识符、第一缩减字符串、以及第一预设缩减规则存储至日志存储空间。
在其中的一些实施例中,上述日志内容缩减模块20还用于在日志内容信息与日志Map表中各项日志记录的字符重复率均小于预设阈值的情况下,将日志内容信息写入到日志Map表中,并将写入到日志Map表中的日志内容信息标记为第二目标日志记录,生成第二目标日志记录的查找标识符。
在其中的一些实施例中,上述日志内容缩减模块20还用于在日志内容信息与日志Map表中各项日志记录的字符重复率均小于预设阈值的情况下,将当前日志的日志内容信息按照第二预设缩减规则进行缩减得到第二缩减字符串。
在其中的一些实施例中,上述日志缩减存储模块30还用于将第二目标日志记录的查找标识符、第二缩减字符串、以及第二预设缩减规则存储至日志存储空间。
在其中的一些实施例中,第一预设缩减规则包括:根据当前日志的日志级别信息和日志内容信息的字符数,将日志内容信息特定位置上的字符进行缩减,从而获得第一缩减字符串,并记录日志内容信息特定位置的位置信息。
在其中的一些实施例中,日志级别信息包括:Error、Warn、Info、以及Debug。
在其中的一些实施例中,日志Map表是字典表,所述日志Map表中的各项日志记录是按照Key-Value规则建立的。
在其中的一些实施例中,预设重复率为95%。
图6是本实施例的另一种日志处理系统的结构框图,如图6所示,该装置包括图5所示的所有模块,此外还包括:日志查看模块40,该日志查看模块40用于:获取第一缩减字符串、第一预设缩减规则、以及第一目标日志记录的查找标识符;基于第一目标日志记录的查找标识符,在日志Map表中查找第一目标日志记录,并获取第一目标日志记录;基于日志内容信息特定位置的位置信息,将第一目标日志记录中相同位置上的字符添加到第一缩减字符串的对应位置上,形成可查看的详细日志。。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取当前日志的日志内容信息,并将所述日志内容信息分别与日志Map表中的各项日志记录进行比较,获取所述日志内容信息与所述日志Map表中各项日志记录的字符重复率。
S2,在出现所述字符重复率超过预设阈值的情况下,将超过所述预设阈值的字符重复率所对应的所述日志Map表中日志记录标记为第一目标日志记录,生成所述第一目标日志记录的查找标识符,并将所述当前日志的所述日志内容信息按照第一预设缩减规则进行缩减得到第一缩减字符串。
S3,将所述第一目标日志记录的查找标识符、所述第一缩减字符串、以及所述第一预设缩减规则存储至日志存储空间。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的日志处理方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种日志处理方法。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (9)
1.一种日志处理方法,其特征在于,包括:
获取当前日志的日志内容信息,并将所述日志内容信息分别与日志Map表中的各项日志记录进行比较,获取所述日志内容信息与所述日志Map表中各项日志记录的字符重复率;
在出现所述字符重复率超过预设阈值的情况下,将超过所述预设阈值的字符重复率所对应的所述日志Map表中日志记录标记为第一目标日志记录,生成所述第一目标日志记录的查找标识符,并将所述当前日志的所述日志内容信息按照第一预设缩减规则进行缩减得到第一缩减字符串;
将所述第一目标日志记录的查找标识符、所述第一缩减字符串、以及所述第一预设缩减规则存储至日志存储空间;
所述第一预设缩减规则包括:根据所述当前日志的日志级别信息和所述日志内容信息的字符数,将所述日志内容信息特定位置上的字符进行缩减,从而获得所述第一缩减字符串,并记录所述日志内容信息特定位置的位置信息。
2.根据权利要求1所述的日志处理方法,其特征在于,还包括:
在所述日志内容信息与所述日志Map表中各项日志记录的所述字符重复率均小于所述预设阈值的情况下,将所述日志内容信息写入到所述日志Map表中,并将写入到所述日志Map表中的所述日志内容信息标记为第二目标日志记录,生成所述第二目标日志记录的查找标识符。
3.根据权利要求2所述的日志处理方法,其特征在于,还包括:
在所述日志内容信息与所述日志Map表中各项日志记录的所述字符重复率均小于所述预设阈值的情况下,将所述当前日志的所述日志内容信息按照第二预设缩减规则进行缩减得到第二缩减字符串;
将所述第二目标日志记录的查找标识符、所述第二缩减字符串、以及所述第二预设缩减规则存储至日志存储空间。
4.根据权利要求1所述的日志处理方法,其特征在于,所述日志级别信息包括:Error、Warn、Info、以及Debug。
5.根据权利要求1所述的日志处理方法,其特征在于,还包括:
获取所述第一缩减字符串、所述第一预设缩减规则、以及所述第一目标日志记录的查找标识符;
基于所述第一目标日志记录的查找标识符,在所述日志Map表中查找所述第一目标日志记录,并获取所述第一目标日志记录;
基于所述日志内容信息特定位置的位置信息,将所述第一目标日志记录中相同位置上的字符添加到第一缩减字符串的对应位置上,形成可查看的详细日志。
6.根据权利要求1至5任一项所述的日志处理方法,其特征在于,所述预设阈值为95%。
7.一种日志处理系统,其特征在于,包括:日志内容比较模块、日志内容缩减模块、以及日志缩减存储模块;其中,
所述日志内容比较模块,用于获取当前日志的日志内容信息,并将所述日志内容信息分别与日志Map表中的各项日志记录进行比较,获取所述日志内容信息与所述日志Map表中各项日志记录的字符重复率;
所述日志内容缩减模块,用于在出现所述字符重复率超过预设阈值的情况下,将超过所述预设阈值的字符重复率所对应的所述日志Map表中日志记录标记为第一目标日志记录,生成所述第一目标日志记录的查找标识符,并将所述当前日志的所述日志内容信息按照第一预设缩减规则进行缩减得到第一缩减字符串;
所述日志缩减存储模块,用于将所述第一目标日志记录的查找标识符、所述第一缩减字符串、以及所述第一预设缩减规则存储至日志存储空间;
所述第一预设缩减规则包括:根据所述当前日志的日志级别信息和所述日志内容信息的字符数,将所述日志内容信息特定位置上的字符进行缩减,从而获得所述第一缩减字符串,并记录所述日志内容信息特定位置的位置信息。
8.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至6中任一项所述的日志处理方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的日志处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110656834.8A CN113535654B (zh) | 2021-06-11 | 2021-06-11 | 日志处理方法、系统、电子装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110656834.8A CN113535654B (zh) | 2021-06-11 | 2021-06-11 | 日志处理方法、系统、电子装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113535654A CN113535654A (zh) | 2021-10-22 |
CN113535654B true CN113535654B (zh) | 2023-10-31 |
Family
ID=78095885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110656834.8A Active CN113535654B (zh) | 2021-06-11 | 2021-06-11 | 日志处理方法、系统、电子装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113535654B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115102830B (zh) * | 2022-06-24 | 2023-07-14 | 平安银行股份有限公司 | 日志缩减方法、装置、计算机设备和计算机可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106649344A (zh) * | 2015-10-31 | 2017-05-10 | 华为数字技术(苏州)有限公司 | 一种网络日志压缩方法和装置 |
CN106980627A (zh) * | 2016-01-18 | 2017-07-25 | 中兴通讯股份有限公司 | 日志内容的显示方法及装置 |
CN108304545A (zh) * | 2018-01-31 | 2018-07-20 | 杭州迪普科技股份有限公司 | 一种url日志存储方法及装置 |
CN109716660A (zh) * | 2017-01-24 | 2019-05-03 | 华为技术有限公司 | 数据压缩装置和方法 |
CN109710502A (zh) * | 2018-12-19 | 2019-05-03 | 苏州科达科技股份有限公司 | 日志传输方法、装置及存储介质 |
CN111881012A (zh) * | 2020-08-10 | 2020-11-03 | 深圳大势智能科技有限公司 | 一种日志记录方法、装置、设备及存储介质 |
CN112597138A (zh) * | 2020-12-10 | 2021-04-02 | 浙江岩华文化科技有限公司 | 数据去重方法、装置、计算机设备和计算机可读存储介质 |
CN112800006A (zh) * | 2021-01-27 | 2021-05-14 | 杭州迪普科技股份有限公司 | 用于网络设备的日志存储方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10353911B2 (en) * | 2016-06-19 | 2019-07-16 | Data.World, Inc. | Computerized tools to discover, form, and analyze dataset interrelations among a system of networked collaborative datasets |
US10949400B2 (en) * | 2018-05-09 | 2021-03-16 | Palantir Technologies Inc. | Systems and methods for tamper-resistant activity logging |
-
2021
- 2021-06-11 CN CN202110656834.8A patent/CN113535654B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106649344A (zh) * | 2015-10-31 | 2017-05-10 | 华为数字技术(苏州)有限公司 | 一种网络日志压缩方法和装置 |
CN106980627A (zh) * | 2016-01-18 | 2017-07-25 | 中兴通讯股份有限公司 | 日志内容的显示方法及装置 |
CN109716660A (zh) * | 2017-01-24 | 2019-05-03 | 华为技术有限公司 | 数据压缩装置和方法 |
CN108304545A (zh) * | 2018-01-31 | 2018-07-20 | 杭州迪普科技股份有限公司 | 一种url日志存储方法及装置 |
CN109710502A (zh) * | 2018-12-19 | 2019-05-03 | 苏州科达科技股份有限公司 | 日志传输方法、装置及存储介质 |
CN111881012A (zh) * | 2020-08-10 | 2020-11-03 | 深圳大势智能科技有限公司 | 一种日志记录方法、装置、设备及存储介质 |
CN112597138A (zh) * | 2020-12-10 | 2021-04-02 | 浙江岩华文化科技有限公司 | 数据去重方法、装置、计算机设备和计算机可读存储介质 |
CN112800006A (zh) * | 2021-01-27 | 2021-05-14 | 杭州迪普科技股份有限公司 | 用于网络设备的日志存储方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113535654A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105224343B (zh) | 一种应用程序的更新提示方法和装置 | |
CN111966287B (zh) | 数据存储方法、电子设备及存储介质 | |
CN113535654B (zh) | 日志处理方法、系统、电子装置和存储介质 | |
CN112181430B (zh) | 代码变更统计方法、装置、电子设备及存储介质 | |
CN112558868A (zh) | 一种配置数据存储的方法和装置及设备 | |
CN111857600B (zh) | 一种数据读写方法及装置 | |
CN104407808A (zh) | 写入数据的方法和装置 | |
CN111124883A (zh) | 一种基于树形表格的测试用例库引入方法、系统及设备 | |
CN110020166B (zh) | 一种数据分析方法及相关设备 | |
CN110727895A (zh) | 一种敏感词发送方法、装置、电子设备及存储介质 | |
CN115811483A (zh) | 一种网络状态监测方法、装置、电子设备和存储介质 | |
CN115185778A (zh) | 数据库的监控方法及装置 | |
CN111562938B (zh) | 核查plc的配置信息的方法、装置和计算机设备 | |
CN111263387B (zh) | 一种无线传感器网络异常处置方法及系统 | |
CN112231232A (zh) | 确定测试数据模型及生成测试数据的方法、装置及设备 | |
CN111274219A (zh) | 数据存储方法及装置、存储介质、电子装置 | |
CN107305582B (zh) | 一种元数据处理方法及装置 | |
CN103092730A (zh) | 一种信息存储与读取方法 | |
CN109446100B (zh) | 管理设备的脚本文件的方法和装置 | |
CN108415814A (zh) | 自动记录字段变化方法、应用服务器及计算机可读存储介质 | |
CN113923215B (zh) | 虚拟机调度方法、电子设备及存储介质 | |
CN110795297B (zh) | 一种电子设备的测试方法及装置 | |
CN112579003B (zh) | 键值对的调整方法、装置、存储介质以及电子装置 | |
CN116893981A (zh) | 存储器的操作方法、装置、存储介质及电子装置 | |
CN115510151A (zh) | 设备数据一致性的保障方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |