CN112559458A - 一种缩减日志大小的方法及系统 - Google Patents

一种缩减日志大小的方法及系统 Download PDF

Info

Publication number
CN112559458A
CN112559458A CN202011456537.0A CN202011456537A CN112559458A CN 112559458 A CN112559458 A CN 112559458A CN 202011456537 A CN202011456537 A CN 202011456537A CN 112559458 A CN112559458 A CN 112559458A
Authority
CN
China
Prior art keywords
log
parameter set
text
source code
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011456537.0A
Other languages
English (en)
Other versions
CN112559458B (zh
Inventor
龚业
余昕
龚凡
简春兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kingsignal Technology Co Ltd
Original Assignee
Kingsignal Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kingsignal Technology Co Ltd filed Critical Kingsignal Technology Co Ltd
Priority to CN202011456537.0A priority Critical patent/CN112559458B/zh
Publication of CN112559458A publication Critical patent/CN112559458A/zh
Application granted granted Critical
Publication of CN112559458B publication Critical patent/CN112559458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种缩减日志大小的方法及系统，该方法包括以下步骤：S1、对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志；S2、采用预设方法将被缩减日志还原成详尽日志。有益效果：既可以尽可能地减少日志输出的容量，又可以让日志查看人员看到直观详尽的信息；额外的，当无关人员获取到日志的输出，但没有本发明提供的对应工具或者对应源代码的支持，就只能看到一连串字节流而不清楚其具体含义，因此，使用本技术还有日志加密的功能。

Description

一种缩减日志大小的方法及系统
技术领域
本发明涉及编程技术领域，具体来说，涉及一种缩减日志大小的方法及系统。
背景技术
Windows网络操作系统都设计有各种各样的日志文件，如应用程序日志，安全日志、系统日志、Scheduler服务日志、FTP日志、WWW日志、DNS服务器日志等等，这些根据你的系统开启的服务的不同而有所不同。我们在系统上进行一些操作时，这些日志文件通常会记录下我们操作的一些相关内容，这些内容对系统安全工作人员相当有用。比如说有人对系统进行了IPC探测，系统就会在安全日志里迅速地记下探测者探测时所用的IP、时间、用户名等，用FTP探测后，就会在FTP日志中记下IP、时间、探测所用的用户名等。
在互联网软件领域中，通常使用“软件运行日志”来记录软件执行的操作或发生的异常。例如：log(“cell id(％d)，receive cell delete”，CellId)；高频率运行的软件往往在极短的时间内就会生成很大容量的日志，对存储空间和网络带宽带来极大冲击；例如所有日志全部记录，则1分钟会产生超过1G字节的日志。通常减少日志的解决方案为：1、使用缩写精简日志，如使用“recv”代替“receive”2、采用日志id带上固定个数和固定大小的参数。由于在复杂系统中，需要记录日志的地方往往有上万、甚至上十万处；针对每一处日志来定制不同个数、不定大小的参数并形成可复用的源代码及日志解析系统是不现实的，也是难以维护和修改的。因此业界也只是采用固定个数和固定大小的参数，以换取编码的简单化以及解析的简单化。
但是现有技术中，如采用缩写来缩减日志容量，则缩减程度有限；且太过缩减还会导致日志可阅读性下降。如采用日志id带上固定个数和固定大小的参数，第一：日志信息不够直观，日志查看人员需对照源代码来解析日志。第二：存在浪费容量的可能。由于记录日志的场景众多，每一处需要携带的参数是无法统一大小和个数的；如采用固定个数和固定大小的参数，就可能造成容量浪费。举例说明：当固定带两个大小为4字节的参数时，可能有如下记录日志的场景：a)如某次log只需带1个参数log(CELL_DELETE，CellId，NULL)；----会浪费一个4字节参数2，且如参数1CellId只需1字节，则参数1还浪费了3字节b)如某次log需带3个参数log(CELL_MESSAGE_ERROR,CellStateMessageId)；log(CELL_MESSAGE_ERROR，MessageParameter,NULL)；----需要使用两次log，会浪费logID占用的字节，且浪费第二次log的参数2。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种缩减日志大小的方法及系统，以克服现有相关技术所存在的上述技术问题。
为此，本发明采用的具体技术方案如下：
一种缩减日志大小的方法，该方法包括以下步骤：
S1、对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志；
S2、采用预设方法将被缩减日志还原成详尽日志。
进一步的，所述对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志还包括以下步骤：
S11、使用特殊关键字作为日志记录的函数名/宏定义，编写带特殊标记的日志输出源代码；
S12、使用文本处理语言/工具匹配查找所述特殊关键字，并保存映射表。
进一步的，所述使用文本处理语言/工具匹配查找所述特殊关键字，并保存映射表还包括以下步骤：
S121、自动生成日志身份标记；
S122、将日志的输出格式转变为日志身份标记参数集；
S123、将日志身份标记与预先配置的日志文本参数集之间的映射关系保存到指定服务器。
进一步的，所述日志身份标记参数集由日志身份标记与显示占用容量大小构成；
所述日志文本参数集由日志文本部分与显示占用容量大小构成。
进一步的，所述自动生成日志身份标记之前还包括以下步骤：
S120、采用预先配置的文本处理语言/工具在源代码中匹配查找特殊关键字，并分两次遍历源代码。
进一步的，所述采用预设方法将被缩减日志还原成详尽日志还包括以下步骤：
S21、采用预设规则从被缩减日志的首部及占用量大小提取出日志身份标记；
S22、根据日志身份标记与日志文本参数集之间的映射关系得到日志文本部分，并按实际占用大小从日志剩余部分中提取出参数，并得到剩余日志参数集；
S23、将日志文本部分的参数占位项替换成剩余日志参数集，还原得到单条详尽日志；
S24、将提取后的剩余日志作为整体，重复步骤S21，直到日志完结。
根据本发明的另一个方面，还提供了一种缩减日志大小的系统，该系统包括：
编写与处理模块，用于对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志；
日志还原模块，用于采用预设方法将被缩减日志还原成详尽日志。
进一步的，所述对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志还包括以下步骤：
S11、使用特殊关键字作为日志记录的函数名/宏定义，编写带特殊标记的日志输出源代码；
S12、使用文本处理语言/工具匹配查找所述特殊关键字，并保存映射表。
进一步的，所述使用文本处理语言/工具匹配查找所述特殊关键字，并保存映射表还包括以下步骤：
S121、自动生成日志身份标记；
S122、将日志的输出格式转变为日志身份标记参数集；
S123、将日志身份标记与预先配置的日志文本参数集之间的映射关系保存到指定服务器；
其中，所述日志身份标记参数集由日志身份标记与显示占用容量大小构成；
所述日志文本参数集由日志文本部分与显示占用容量大小构成。
进一步的，所述采用预设方法将被缩减日志还原成详尽日志还包括以下步骤：
S21、采用预设规则从被缩减日志的首部及占用量大小提取出日志身份标记；
S22、根据日志身份标记与日志文本参数集之间的映射关系得到日志文本部分，并按实际占用大小从日志剩余部分中提取出参数，并得到剩余日志参数集；
S23、将日志文本部分的参数占位项替换成剩余日志参数集，还原得到单条详尽日志；
S24、将提取后的剩余日志作为整体，重复步骤S21，直到日志完结。
本发明的有益效果为：既可以尽可能地减少日志输出的容量，又可以让日志查看人员看到直观详尽的信息；额外的，当无关人员获取到日志的输出，但没有本发明提供的对应工具或者对应源代码的支持，就只能看到一连串字节流而不清楚其具体含义，因此，使用本技术还有日志加密的功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种缩减日志大小的方法的流程图；
图2是根据本发明实施例的一种缩减日志大小的系统的原理框图。
附图标记：
1、编写与处理模块；2、日志还原模块。
具体实施方式
为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
根据本发明的实施例，提供了一种缩减日志大小的方法及系统。
现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的缩减日志大小的方法，该方法包括以下步骤：
S1、对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志；
具体的，步骤S1中令日志输出占用容量尽可能小。
S2、采用预设方法将被缩减日志还原成详尽日志。
具体的，步骤S2中令日志查看人员可以直观地查看日志文本；经过步骤S1加工完的源代码，在编译/部署/运行后会输出精简日志，也就是被缩减日志。
在一个实施例中，所述对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志还包括以下步骤：
S11、使用特殊关键字作为日志记录的函数名/宏定义，编写带特殊标记的日志输出源代码；
具体的，日志的文本部分可以做到尽可能的详尽，但其携带的每一个参数均需显式标识出其占用容量的大小(字节数)。
具体的实现方式如下：
可采用SPECIAL_LOG作为日志记录的函数名/宏定义，可采用U8、S8、U16、S16、U32、S32来标识参数占用的字节数(U8、S8表示1字节，U16、S16表示2字节，U32、S32表示4字节)。可替代的，也可采用B1、B2、B3、B4来分别表示1、2、3、4字节；或者采用其它自定义的标识。SPECIAL_LOG这一函数/宏定义在实际运行中不作任何动作，只是为下一步骤做准备。
此外，程序员在编写日志时应尽可能详尽，不必考虑文本长度。
以下为具体的两个实例：
SPECIAL_LOG(“CELL(％d)，state(％d)，receive unexpect message(0x％x)，docell delete”，(U16)CellId，(U8)CellState,(U32)MessageId)；
本例中，此日志带3个参数，参数容量大小依次为2字节、1字节、4字节。
SPECIAL_LOG(“user shutdown system，will reboot in 30seconds”)；
本例中，此日志带0个参数。
S12、使用文本处理语言/工具匹配查找所述特殊关键字，并保存映射表。
在一个实施例中，所述使用文本处理语言/工具匹配查找所述特殊关键字，并保存映射表还包括以下步骤：
S121、自动生成日志身份标记；
S122、将日志的输出格式转变为日志身份标记参数集；
S123、将日志身份标记与预先配置的日志文本参数集之间的映射关系保存到指定服务器。
在一个实施例中，所述日志身份标记参数集由日志身份标记与显示占用容量大小构成；
所述日志文本参数集由日志文本部分与显示占用容量大小构成。
在一个实施例中，所述自动生成日志身份标记之前还包括以下步骤：
S120、采用预先配置的文本处理语言/工具在源代码中匹配查找特殊关键字，并分两次遍历源代码。
具体的，本步骤应在源代码编译/部署之前执行，采用python(一种解释型、面向对象、动态数据类型的高级程序设计语言；可用于编写简洁的文本处理程序)作为文本处理语言，在源代码中匹配查找特殊关键字SPECIAL_LOG；需要分两次遍历源代码。
第一次遍历：
得到日志记录的总个数，该个数可确定log ID(日志身份标记)的占用容量大小，如总个数小于等于256，则log ID(日志身份标记)占用1字节，如总个数小于等于65536，则log ID(日志身份标记)占用2字节，依此类推。
第二次遍历：
1)将日志的输出转化为“log ID(日志身份标记)+不固定数目不固定容量大小的参数集”的输出，其中log ID(日志身份标记)为查找到特殊关键字SPECIAL_LOG的当前次数-1。
举例说明，假如原始的日志输出源代码只有以下两处：
SPECIAL_LOG(“CELL(％d)，state(％d)，receive unexpect message(0x％x)，docell delete”，(U16)CellId，(U8)CellState，(U32)MessageId)；
SPECIAL_LOG(“user shutdown system，will reboot in 30seconds”)；
第一处日志的log ID(日志身份标记)为0，生成的精简日志输出源代码为以下四行(假设日志输出总个数为2，小于256，因此log ID(日志身份标记)占用1字节)：
OUTPUT_1byte(0)；
OUTPUT_2byte((U16)CellId)；
OUTPUT_1byte((U8)CellState)；
OUTPUT_4byte((U32)MessageId)；
上面生成的代码中，第一行“OUTPUT_1bytes(0)”括号中的0即本条日志的log ID0。
上面生成的代码中，OUTPUT_1byte，OUTPUT_2byte，OUTPUT_4byte分别表示输出1、2、4字节的日志。
第二处日志的log ID(日志身份标记)为1，生成的精简日志输出源代码为以下一行：
OUTPUT_1byte(1)；
上面生成的代码中，第一行“OUTPUT_1bytes(1)”括号中的1即本条日志的log ID(日志身份标记)1。
2)记录下log ID(日志身份标记)的占用容量大小，及其对应的日志文本部分和各参数占用容量大小。
记录分两部分：
第一部分，记录log ID(日志身份标记)占用容量大小。本例中，log ID(日志身份标记)占1字节。
第二部分，记录log ID(日志身份标记)对应的日志文本部分，以及各参数占用容量大小。
以上例为例，映射关系将以以下表格的形式记录：
表1：对应的日志文本部分和各参数占用容量大小
Figure BDA0002829520820000081
在一个实施例中，所述采用预设方法将被缩减日志还原成详尽日志还包括以下步骤：
S21、采用预设规则从被缩减日志的首部及占用量大小提取出日志身份标记；
S22、根据日志身份标记与日志文本参数集之间的映射关系得到日志文本部分，并按实际占用大小从日志剩余部分中提取出参数，并得到剩余日志参数集；
S23、将日志文本部分的参数占位项替换成剩余日志参数集，还原得到单条详尽日志；
S24、将提取后的剩余日志作为整体，重复步骤S21，直到日志完结。
具体的，被缩减日志还原成详尽日志，以下通过具体实例来讲解：
假如实际运行中输出的日志有17字节，分别为：
“0x00 0x00 0x01 0x02 0x00 0x31 0x40 0x98 0x00 0x00 0x03 0x04 0x000x21 0x3F 0x45 0x01”；
(一)根据上一流程记录的log ID(日志身份标记)占用容量大小，提取log ID(日志身份标记)；
本例中，log ID(日志身份标记)占1字节，提取1字节数据：0x00，得出本条日志的log ID(日志身份标记)为0；
剩余日志16字节：“0x00 0x01 0x02 0x00 0x31 0x40 0x98 0x00 0x00 0x030x04 0x00 0x21 0x3F 0x45 0x01”；
(二)根据上一流程记录的映射表得到日志文本部分，并继续提取日志参数；
log ID 0对应的日志文本部分为：
CELL(％d),state(％d),receive unexpect message(0x％x),do cell delete；
对应的参数有3个，分别占用2字节、1字节、4字节，继续分别提取2、1、4个字节得到3个参数；
0x0001、0x02、0x00314098；
此时剩余日志9个字节：0x00 0x00 0x03 0x04 0x00 0x21 0x3F 0x45 0x01；
(三)日志文本部分中的占位符用上个步骤得到参数替换掉，得到详尽日志；
本例中，用3个参数0x0001、0x02、0x00314098分别替换掉占位符％d、％x得到详尽日志：
CELL(0),state(2),receive unexpect message(0x314098),do cell delete；
(四)从步骤(一)开始，继续解析剩余9字节被缩减日志；
得到log ID 0；
得到对应日志文本部分为：
CELL(％d),state(％d),receive unexpect message(0x％x),do cell delete；
按2字节、1字节、4字节提取3个参数为：
0x0003 0x04 0x00213F45；
剩余日志1字节：0x01；
替换掉占位符得到详尽日志为：
CELL(3),state(4),receive unexpect message(0x213F45),do cell delete；
(五)从步骤(一)开始，继续解析剩余1字节被缩减日志；
得到log ID 1；
得到对应日志文本部分为：
user shutdown system,will reboot in 30seconds；
无参数，无需替换占位符；
无剩余日志。
步骤S2结束。
本例中，17个字节的被缩减日志还原成的全部详尽日志为：
CELL(0),state(2),receive unexpect message(0x314098),do cell delete；
CELL(3),state(4),receive unexpect message(0x213F45),do cell delete；
user shutdown system,will reboot in 30seconds。
根据本发明的另一个实施例，如图2所示，还提供了一种缩减日志大小的系统，该系统包括：
编写与处理模块，用于对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志；
日志还原模块，用于采用预设方法将被缩减日志还原成详尽日志。
在一个实施例中，所述对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志还包括以下步骤：
S11、使用特殊关键字作为日志记录的函数名/宏定义，编写带特殊标记的日志输出源代码；
S12、使用文本处理语言/工具匹配查找所述特殊关键字，并保存映射表。
在一个实施例中，所述使用文本处理语言/工具匹配查找所述特殊关键字，并保存映射表还包括以下步骤：
S121、自动生成日志身份标记；
S122、将日志的输出格式转变为日志身份标记参数集；
S123、将日志身份标记与预先配置的日志文本参数集之间的映射关系保存到指定服务器；
其中，所述日志身份标记参数集由日志身份标记与显示占用容量大小构成；
所述日志文本参数集由日志文本部分与显示占用容量大小构成。
在一个实施例中，所述采用预设方法将被缩减日志还原成详尽日志还包括以下步骤：
S21、采用预设规则从被缩减日志的首部及占用量大小提取出日志身份标记；
S22、根据日志身份标记与日志文本参数集之间的映射关系得到日志文本部分，并按实际占用大小从日志剩余部分中提取出参数，并得到剩余日志参数集；
S23、将日志文本部分的参数占位项替换成剩余日志参数集，还原得到单条详尽日志；
S24、将提取后的剩余日志作为整体，重复步骤S21，直到日志完结。
综上所述，借助于本发明的上述技术方案，既可以尽可能地减少日志输出的容量，又可以让日志查看人员看到直观详尽的信息；额外的，当无关人员获取到日志的输出，但没有本发明提供的对应工具或者对应源代码的支持，就只能看到一连串字节流而不清楚其具体含义，因此，使用本技术还有日志加密的功能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种缩减日志大小的方法，其特征在于，该方法包括以下步骤：
S1、对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志；
S2、采用预设方法将被缩减日志还原成详尽日志。
2.根据权利要求1所述的一种缩减日志大小的方法，其特征在于，所述对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志还包括以下步骤：
S11、使用特殊关键字作为日志记录的函数名/宏定义，编写带特殊标记的日志输出源代码；
S12、使用文本处理语言/工具匹配查找所述特殊关键字，并保存映射表。
3.根据权利要求2所述的一种缩减日志大小的方法，其特征在于，所述使用文本处理语言/工具匹配查找所述特殊关键字，并保存映射表还包括以下步骤：
S121、自动生成日志身份标记；
S122、将日志的输出格式转变为日志身份标记参数集；
S123、将日志身份标记与预先配置的日志文本参数集之间的映射关系保存到指定服务器。
4.根据权利要求3所述的一种缩减日志大小的方法，其特征在于，所述日志身份标记参数集由日志身份标记与显示占用容量大小构成；
所述日志文本参数集由日志文本部分与显示占用容量大小构成。
5.根据权利要求3所述的一种缩减日志大小的方法，其特征在于，所述自动生成日志身份标记之前还包括以下步骤：
S120、采用预先配置的文本处理语言/工具在源代码中匹配查找特殊关键字，并分两次遍历源代码。
6.根据权利要求4所述的一种缩减日志大小的方法，其特征在于，所述采用预设方法将被缩减日志还原成详尽日志还包括以下步骤：
S21、采用预设规则从被缩减日志的首部及占用量大小提取出日志身份标记；
S22、根据日志身份标记与日志文本参数集之间的映射关系得到日志文本部分，并按实际占用大小从日志剩余部分中提取出参数，并得到剩余日志参数集；
S23、将日志文本部分的参数占位项替换成剩余日志参数集，还原得到单条详尽日志；
S24、将提取后的剩余日志作为整体，重复步骤S21，直到日志完结。
7.一种缩减日志大小的系统，用于实现权利要求1-6中任一项所述的缩减日志大小的方法的步骤，其特征在于，该系统包括：
编写与处理模块，用于对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志；
日志还原模块，用于采用预设方法将被缩减日志还原成详尽日志。
8.根据权利要求7所述的一种缩减日志大小的系统，其特征在于，所述对预先配置的日志进行源代码编写及源代码处理，得到被缩减日志还包括以下步骤：
S11、使用特殊关键字作为日志记录的函数名/宏定义，编写带特殊标记的日志输出源代码；
S12、使用文本处理语言/工具匹配查找所述特殊关键字，并保存映射表。
9.根据权利要求8所述的一种缩减日志大小的系统，其特征在于，所述使用文本处理语言/工具匹配查找所述特殊关键字，并保存映射表还包括以下步骤：
S121、自动生成日志身份标记；
S122、将日志的输出格式转变为日志身份标记参数集；
S123、将日志身份标记与预先配置的日志文本参数集之间的映射关系保存到指定服务器；
其中，所述日志身份标记参数集由日志身份标记与显示占用容量大小构成；
所述日志文本参数集由日志文本部分与显示占用容量大小构成。
10.根据权利要求9所述的一种缩减日志大小的系统，其特征在于，所述采用预设方法将被缩减日志还原成详尽日志还包括以下步骤：
S21、采用预设规则从被缩减日志的首部及占用量大小提取出日志身份标记；
S22、根据日志身份标记与日志文本参数集之间的映射关系得到日志文本部分，并按实际占用大小从日志剩余部分中提取出参数，并得到剩余日志参数集；
S23、将日志文本部分的参数占位项替换成剩余日志参数集，还原得到单条详尽日志；
S24、将提取后的剩余日志作为整体，重复步骤S21，直到日志完结。
CN202011456537.0A 2020-12-11 2020-12-11 一种缩减日志大小的方法及系统 Active CN112559458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011456537.0A CN112559458B (zh) 2020-12-11 2020-12-11 一种缩减日志大小的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011456537.0A CN112559458B (zh) 2020-12-11 2020-12-11 一种缩减日志大小的方法及系统

Publications (2)

Publication Number Publication Date
CN112559458A true CN112559458A (zh) 2021-03-26
CN112559458B CN112559458B (zh) 2021-11-30

Family

ID=75061787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011456537.0A Active CN112559458B (zh) 2020-12-11 2020-12-11 一种缩减日志大小的方法及系统

Country Status (1)

Country Link
CN (1) CN112559458B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101178709A (zh) * 2006-11-08 2008-05-14 中兴通讯股份有限公司 日志记录系统和方法
CN102158349A (zh) * 2011-02-09 2011-08-17 中兴通讯股份有限公司 一种日志管理装置及方法
CN104331487A (zh) * 2014-11-13 2015-02-04 携程计算机技术（上海）有限公司 日志的处理方法及装置
CN106648467A (zh) * 2016-12-28 2017-05-10 税友软件集团股份有限公司 一种日志生成方法及系统
CN107391762A (zh) * 2017-08-28 2017-11-24 京信通信系统（中国）有限公司 日志数据的处理方法及装置
WO2018233820A1 (en) * 2017-06-21 2018-12-27 Huawei Technologies Co., Ltd. SYSTEMS AND METHODS FOR MANAGING JOURNAL STRUCTURE
CN109165144A (zh) * 2018-09-06 2019-01-08 南京聚铭网络科技有限公司 一种基于变长记录的安全日志压缩存储和检索方法
CN109901978A (zh) * 2017-12-08 2019-06-18 航天信息股份有限公司 一种Hadoop日志无损压缩方法和系统
CN110096485A (zh) * 2019-03-18 2019-08-06 平安普惠企业管理有限公司 日志查询方法、装置、计算机设备及存储介质
CN111209128A (zh) * 2019-12-20 2020-05-29 翱捷科技(上海)有限公司 一种嵌入式系统及其日志管理方法
CN111913922A (zh) * 2019-05-10 2020-11-10 北京百度网讯科技有限公司 二进制结构化日志的生成方法、装置、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101178709A (zh) * 2006-11-08 2008-05-14 中兴通讯股份有限公司 日志记录系统和方法
CN102158349A (zh) * 2011-02-09 2011-08-17 中兴通讯股份有限公司 一种日志管理装置及方法
CN104331487A (zh) * 2014-11-13 2015-02-04 携程计算机技术（上海）有限公司 日志的处理方法及装置
CN106648467A (zh) * 2016-12-28 2017-05-10 税友软件集团股份有限公司 一种日志生成方法及系统
WO2018233820A1 (en) * 2017-06-21 2018-12-27 Huawei Technologies Co., Ltd. SYSTEMS AND METHODS FOR MANAGING JOURNAL STRUCTURE
CN107391762A (zh) * 2017-08-28 2017-11-24 京信通信系统（中国）有限公司 日志数据的处理方法及装置
CN109901978A (zh) * 2017-12-08 2019-06-18 航天信息股份有限公司 一种Hadoop日志无损压缩方法和系统
CN109165144A (zh) * 2018-09-06 2019-01-08 南京聚铭网络科技有限公司 一种基于变长记录的安全日志压缩存储和检索方法
CN110096485A (zh) * 2019-03-18 2019-08-06 平安普惠企业管理有限公司 日志查询方法、装置、计算机设备及存储介质
CN111913922A (zh) * 2019-05-10 2020-11-10 北京百度网讯科技有限公司 二进制结构化日志的生成方法、装置、设备及存储介质
CN111209128A (zh) * 2019-12-20 2020-05-29 翱捷科技(上海)有限公司 一种嵌入式系统及其日志管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张瑊: ""用于入侵取证的大规模取证日志自动简化技术研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Also Published As

Publication number Publication date
CN112559458B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
US9483583B2 (en) Syslog parser
US10122380B2 (en) Compression of javascript object notation data using structure information
US7570661B2 (en) Script-based parser
Walls et al. Forensic Triage for Mobile Phones with {DEC0DE}
US10963590B1 (en) Automated data anonymization
US20080208830A1 (en) Automated transformation of structured and unstructured content
US11195066B2 (en) Automatic protocol discovery using text analytics
US20080082556A1 (en) Knowledge based encoding of data with multiplexing to facilitate compression
US11989161B2 (en) Generating readable, compressed event trace logs from raw event trace logs
CN113887173A (zh) 一种基于xml的协议动态组包和解析方法
Sommer et al. Spicy: a unified deep packet inspection framework for safely dissecting all your data
CN108241658A (zh) 一种日志模式发现方法及系统
CN101189594B (zh) 用于在打包模型的组件与包的物理表示的特征之间进行映射的方法和系统
CN113507461B (zh) 基于大数据的网络监控系统及网络监控方法
CN112559458B (zh) 一种缩减日志大小的方法及系统
JP5168791B2 (ja) アクセプタンス状態の表示システム及び方法
CN111143310B (zh) 日志记录方法及装置、可读存储介质
US10742772B2 (en) Method for transforming data for low volume transmission of meta model based protocol which monitors power amount data of new renewable energy, and system for transmitting data for low volume transmission of meta model based protocol which monitors power amount data of new renewable energy
CN113821211B (zh) 命令解析方法、装置、存储介质和计算机设备
CN116055587A (zh) 一种api资产的分级分类的实现方法及装置
CN113407505A (zh) 一种安全日志要素处理方法及系统
CN109981818B (zh) 域名语义异常分析方法、装置、计算机设备及其存储介质
CN112988740A (zh) 一种基于多个数据源的配电网数据收纳方法
US9177252B2 (en) Incremental DFA compilation with single rule granularity
CN109992293B (zh) Android系统组件版本信息的组装方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 518000, 1st and 19th floors of Building 1, Jinxinnuo, No. 50 Baolong Second Road, Baolong Community, Baolong Street, Longgang District, Shenzhen City, Guangdong Province

Patentee after: KINGSIGNAL TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 518000 26 / F, block B, building 10, Shenzhen Bay science and technology ecological park, No.10, Gaoxin South 9th Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: KINGSIGNAL TECHNOLOGY Co.,Ltd.

Country or region before: China