CN113411206A - 一种日志审计方法、装置、设备和计算机存储介质 - Google Patents

一种日志审计方法、装置、设备和计算机存储介质 Download PDF

Info

Publication number
CN113411206A
CN113411206A CN202110577616.5A CN202110577616A CN113411206A CN 113411206 A CN113411206 A CN 113411206A CN 202110577616 A CN202110577616 A CN 202110577616A CN 113411206 A CN113411206 A CN 113411206A
Authority
CN
China
Prior art keywords
log
data
log data
auditing
target server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110577616.5A
Other languages
English (en)
Other versions
CN113411206B (zh
Inventor
李鑫
李远航
李滨
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202110577616.5A priority Critical patent/CN113411206B/zh
Publication of CN113411206A publication Critical patent/CN113411206A/zh
Application granted granted Critical
Publication of CN113411206B publication Critical patent/CN113411206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems

Abstract

本申请实施例提出了一种日志审计方法、装置、电子设备和计算机存储介质,该方法包括:接收用户的登录请求,根据所述登录请求,建立与目标服务器的通信连接;在分布式设备与所述目标服务器进行通信的过程中,通过监听所述用户的输入数据和所述目标服务器的输出数据,获取包括所述输入数据和所述输出数据的日志数据;针对所述日志数据,进行日志审计。

Description

一种日志审计方法、装置、设备和计算机存储介质
技术领域
本申请涉及计算机应用技术领域,尤其涉及一种日志审计方法、装置、电子设备和计算机存储介质。
背景技术
随着日常生产、生活对信息化系统依赖程度逐渐增加,近些年来运维事故层出不穷。而在运维过程中,最重要的部分就是对用户行为的审计,掌握用户实时操作和事后对案发现场的还原和追溯都是非常有必要的。另外,针对数据安全逐步出台了一系列法规,对企业提出严格的安全合规要求,例如网络安全法要求日志存留不少于6个月。可见,针对用户操作机器的记录的准确性和留存性是不可缺少的一部分。
在日常的运维工作中,大多数是通过网络设备、操作系统日志进行监控审计。主要包括两种方法:路旁数据分析和主机探针审计;其中,路旁数据分析审计需要基于协议进行分析,由于很多协议是加密的,会导致分析成本复杂;而主机探针审计的方法,需要在被托管服务器上安装探针软件,不仅会浪费系统资源,还会暴露出很多隐患,增加安全风险。
发明内容
本申请提供一种日志审计方法、装置、电子设备和计算机存储介质,可以解决相关技术中在进行日志审计时,分析成本复杂以及安全风险较高的问题。
本申请的技术方案是这样实现的:
本申请实施例提供了一种日志审计方法,所述方法包括:
接收用户的登录请求,根据所述登录请求,建立与目标服务器的通信连接;
在所述分布式设备与所述目标服务器进行通信的过程中,通过监听所述用户的输入数据和所述目标服务器的输出数据,获取包括所述输入数据和所述输出数据的日志数据;
针对所述日志数据,进行日志审计。
在一些实施例中,所述针对所述日志数据,进行日志审计,包括:
对所述日志数据进行预处理,针对所述预处理后的日志数据,进行日志审计。
在一些实施例中,所述对所述日志数据进行预处理,包括:
对所述日志数据进行格式转换;
逐行对所述格式转换后的日志数据进行清洗操作,并将清洗操作后的日志数据进行重组。
在一些实施例中,所述逐行对所述格式转换后的日志数据进行清洗操作,包括:
通过设定的正则表达式以及预先确定的所述日志数据的类型,逐行对所述格式转换后的日志数据进行清洗操作。
在一些实施例中,所述方法还包括:
在获取到所述日志数据后,对所述日志数据逐行进行压缩存储。
在一些实施例中,所述针对所述用户的日志数据,进行日志审计,包括:
将重组后的日志数据推送至Elasticsearch引擎;
通过访问所述Elasticsearch引擎,进行日志审计。
本申请实施例还提出了一种日志审计装置,所述装置包括建立模块、获取模块和审计模块,其中,
建立模块,用于接收用户的登录请求,根据所述登录请求,建立与目标服务器的通信连接;
获取模块,用于在所述分布式设备与所述目标服务器进行通信的过程中,通过监听所述用户的输入数据和所述目标服务器的输出数据,获取包括所述输入数据和所述输出数据的日志数据;
审计模块,用于针对所述日志数据,进行日志审计。
本申请实施例提供一种电子设备,所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现前述一个或多个技术方案提供的日志审计方法。
本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有计算机程序;所述计算机程序被执行后能够实现前述一个或多个技术方案提供的日志审计方法。
本申请实施例提出了一种日志审计方法、装置、电子设备和计算机存储介质,所述方法应用于分布式设备中,所述方法包括:接收用户的登录请求,根据所述登录请求,建立与目标服务器的通信连接;在所述分布式设备与所述目标服务器进行通信的过程中,通过监听所述用户的输入数据和所述目标服务器的输出数据,获取包括所述输入数据和所述输出数据的日志数据;针对所述日志数据,进行日志审计。
可以看出,本申请实施例在分布式设备与目标服务器进行通信的过程中,通过监听用户的输入数据和目标服务器的输出数据,可以获取详细并且准确的日志数据;同时,能够在保证不影响用户操作的前提下对日志数据进行记录,以满足审计管理员的日志审计需求。与相关技术相比,由于本申请实施例在进行日志数据记录时,无需依赖于加密协议的分析,也不需要对目标服务器进行改动,因而,可以有效降低日志数据的分析成本以及目标服务器的安全风险。
附图说明
图1a是本申请实施例中的一种日志审计方法的流程示意图;
图1b是本申请实施例中的一种日志审计方法的结构示意图;
图1c是本申请实施例中的另一种日志审计方法的结构示意图;
图2是本申请实施例中的对日志数据进行清洗操作的流程示意图;
图3是本申请实施例的日志审计装置的组成结构示意图;
图4是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所提供的实施例仅仅用以解释本申请,并不用于限定本申请。另外,以下所提供的实施例是用于实施本申请的部分实施例,而非提供实施本申请的全部实施例,在不冲突的情况下,本申请实施例记载的技术方案可以任意组合的方式实施。
需要说明的是,在本申请实施例中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素,而且还包括没有明确列出的其它要素,或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元,例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,I和/或J,可以表示:单独存在I,同时存在I和J,单独存在J这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括I、J、R中的至少一种,可以表示包括从I、J和R构成的集合中选择的任意一个或多个元素。
例如,本申请实施例提供的日志审计方法包含了一系列的步骤,但是本申请实施例提供的日志审计方法不限于所记载的步骤,同样地,本申请实施例提供的日志审计装置包括了一系列模块,但是本申请实施例提供的日志审计装置不限于包括所明确记载的模块,还可以包括为获取相关任务数据、或基于任务数据进行处理时所需要设置的模块。
本申请实施例可以应用于终端设备和服务器组成的计算机系统中,并可以与众多其它通用或专用计算系统环境或配置一起操作。这里,终端设备可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统,等等,服务器可以是小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、服务器等电子设备可以通过程序模块的执行实现相应的功能。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
相关技术中,对于日志审计方法,主要有路旁数据分析和主机探针审计这两种;下面,通过表1对这两种方法的部署方式、流量获取方式和解析方式进行说明。
Figure BDA0003085002800000051
表1
这里,路旁数据分析审计在获取日志数据时,需要基于协议进行分析,由于很多协议是加密的,因而,会导致分析成本复杂;对于主机探针审计的方法,需要在被托管服务器,即,目标服务器上安装探针软件,不仅会浪费系统资源,还会暴露出很多隐患,增加安全风险。
针对上述技术问题,提出以下各实施例。
在本申请的一些实施例中,日志审计方法可以利用日志审计装置中的处理器实现,上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(DigitalSignal Processing Device,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)、中央处理器(CentralProcessing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。
图1a是本申请实施例中的一种日志审计方法的流程示意图,该方法应用于分布式设备中,如图1a所示,该方法包括如下步骤:
步骤100:接收用户的登录请求,根据登录请求,建立与目标服务器的通信连接。
示例性地,登录请求可以包括用户在登录目标服务器时的用户名、密码等相关数据;这里,用户可以是处于办公网络下的开发人员、运维人员或测试人员等;本申请实施例对此不作限制。下面结合图1b进行说明。
图1b是本申请实施例中的一种日志审计方法的结构示意图,如图1b所示,目标服务器可以是处于生产网络中的一个或多个服务器;由于处于办公网络下的用户(例如,开发人员、运维人员或测试人员)直接登录生产网络中的目标服务器时,会降低网络的安全性;为避免出现上述问题,本申请实施例将分布式设备作为用户登录目标服务器过程中的中间节点;示例性地,用户先向分布式设备发送登录请求,当分布式设备在接收到用户的登录请求后,再建立分布式设备与目标服务器的通信连接;即,用户可以通过分布式设备与目标服务器进行数据传输。
示例性地,分布式设备可以是Linux系统下的分布式服务器;分布式服务器指数据和程序可以不位于同一个服务器上,而是分散到多个服务器。
示例性地,用户向分布式设备发送登录请求时,可以通过安全外壳协议(SecureShell,SSH)登录预先定义的会话处理模块;会话处理模块位于分布式设备中的其中一个服务器上;其中,SSH是一种建立在应用层基础上的安全协议;其专为远程登录会话和其它网络服务提供安全性的协议,利用SSH协议可以有效防止远程管理过程中的信息泄露问题。
下面通过图1c对上述会话处理模块的处理流程进行说明;图1c是本申请实施例中的另一种日志审计方法的结构示意图,如图1c所示,会话处理模块包括两个子模块,分别为登录子模块login-script和记录子模块Recorder;其中,登录子模块login-script用于将用户的登录请求和目标服务器进行会话连接。示例性地,登录子模块login-script可以通过Expect实现自动和交互式任务进行通信,无需人工干预。
步骤101:在分布式设备与目标服务器进行通信的过程中,通过监听用户的输入数据和目标服务器的输出数据,获取包括输入数据和输出数据的日志数据。
本申请实施例中,在通过上述登录子模块login-script将用户的登录请求和目标服务器进行会话连接成功的同时,记录子模块Recorder会创建一个子进程;在用户通过分布式设备与目标服务器进行通信的过程中,用户的输入数据会经过登录子模块login-script;在目标服务器基于用户的输入数据得到对应的输出数据时,会将输出数据发送给记录子模块Recorder,而登录子模块login-script和记录子模块Recorder位于同一服务器上,这样,可以利用记录子模块Recorder创建的子进程监听用户的输入数据和目标服务器的输出数据;进而,获取到包括输入数据和输出数据的日志数据。
示例性地,会话处理模块中还包括伪终端,其包括伪终端master和伪终端slave这一对字符设备。其中,slave对应/dev/pts/目录下的一个文件,而master则在内存中标识为一个文件描述符。伪终端由终端模拟器提供,终端模拟器是一个运行在用户态的应用程序。Master端是更接近用户显示器、键盘的一端,slave端是在虚拟终端上运行的命令行接口(Command Line Interface,CLI)程序。Linux系统的伪终端驱动程序,会把master端(如键盘)写入的数据转发给slave端供程序输入,把程序写入slave端的数据转发给master端供(显示器驱动等)读取。在用户通过伪终端的master端进行读写操作时,即,产生上述输入数据和输出数据,记录子模块Recorder创建的子进程通过监听伪终端的slave端,获取包括输入数据和输出数据的日志数据。
示例性地,通过上述子进程监听用户的输入数据和目标服务器的输出数据,可以为:首先调用FD_ZERO()将指定文件描述符清空,然后调用FD_SET()增加新的文件描述符,接着调用select()函数检查套接字是否可读可写;在确定套接字可读可写的情况下,通过select()函数确定是否有读写操作发生,如果是,则调用函数record,对包括上述输入数据和输出数据的日志数据进行分类;其中,日志数据的类型可以包括以下任意一项:起始数据、输入数据、输出数据、结束数据;如果否,则不作处理。
在一些实施例中,上述方法还可以包括:在获取到日志数据后,对日志数据逐行进行压缩存储。
示例性地,为了便于日志数据的传输,在逐行对日志数据进行压缩存储前,还可以逐行对日志数据进行编码;这里,对于日志数据的编码方式,可以根据实际情况进行设置,本申请实施例对此不作限定;例如,可以是base64的编码方式,也可以是其它编码方式。
本申请实施例中,在对日志数据逐行进行编码压缩处理后,可以将处理后的日志数据写入分布式设备的本地磁盘中。由于写入本地磁盘中的日志数据是压缩后,因而,可以降低数据存储量,提高后续数据的处理速度。
步骤102:针对日志数据,进行日志审计。
示例性地,在根据上述步骤得到日志数据后,通过对日志数据进行预处理,进而,针对预处理后的日志数据,进行日志审计。
在一些实施例中,对日志数据进行预处理,可以包括:对日志数据进行格式转换;逐行对格式转换后的日志数据进行清洗操作,并将清洗操作后的日志数据进行重组。
这里,对日志数据进行格式转换的目的是为了便于阅读,因为最终对日志数据进行审计的是审计管理员,通过对日志数据进行格式转换,可以方便审计管理员对日志数据进行查看和分析。
示例性地,对日志数据的格式转换方式,可以根据实际情况进行设置,本申请实施例对此不作限定;例如,可以通过JavaScript对象标记法(JavaScript Object Notation,JSON)的格式转换,也可以是其它方式的格式转换。
示例性地,根据上述步骤101可知,编码压缩后的日志数据是放入本地磁盘中的,这里,对日志数据进行格式转换的顺序,可以在放入本地磁盘之前,也可以在放入本地磁盘之后。
在一种实施方式中,在获取到日志数据后,对日志数据逐行进行base64编码后压缩,并对编码压缩后的日志数据进行JSON格式转换,写入分布式设备的本地磁盘中。
结合图1b和图1c可知,用户基于办公网络,通过SSH登录分布式设备中某一服务器上的会话处理模块,会话处理模块将包括上述输入数据和输出数据的日志数据转发到处于生产网络中的目标服务器上;同时,这些日志数据会被记录下来,发送给分布式设备中另一服务器上的日志记录处理模块。日志记录处理模块用于对这些日志数据进行清洗操作以及重组等预处理。
示例性地,可以预先定义一个日志处理记录模块,日志处理记录模块位于分布式设备中的其中一个服务器上;其中,日志处理记录模块所在的服务器与上述会话处理模块所在的服务器不相同;日志处理记录模块包括两个子模块,分别为日志采集子模块和日志服务子模块。
参照图1c,日志采集子模块用于通过开源的日志管理工具Fluentd从本地磁盘中采集日志数据并传送到日志服务子模块。日志服务子模块包括三个单元,分别为处理单元ssh handle、清洗单元Parse和重组单元Buffer;这里,处理单元ssh handle处理会创建一个端口用于监听日志管理工具Fluentd传送过来的日志数据,并将这些日志数据进行存储,然后逐行发送给清洗单元Parse;清洗单元Parse通过逐行对日志采集子模块传送的日志数据进行清洗操作,可以有效除去原始日志数据中的冗余数据。重组单元Buffer用于对清洗操作后的日志数据进行重组。
在一些实施例中,逐行对格式转换后的日志数据进行清洗操作,可以包括:通过设定的正则表达式以及预先确定的日志数据的类型,逐行对格式转换后的日志数据进行清洗操作。
示例性地,在进行清洗操作时,可以采用以下四种设定的正则表达式:r=[[^@-~]*[@-~#]],r1=[!-~#]*,r2=[[-~]*][$#]*,r3=\[[0-9#]*P,r4=`[-~]*:[-~]*#。也可以采用其它正则表达式,本申请实施例对此不作限定。
图2是本申请实施例中的对日志数据进行清洗操作的流程示意图,如图2所示,首先设置第一位置变量upDownCount和第二位置变量leftRightCount;其中,第一位置变量upDownCount用来记录用户操作光标的上下位置,第二位置变量leftRightCount用来记录用户操作光标的左右位置;为方便后续对日志数据进行清洗操作时,记录用户操作光标的位置,可以将第一位置变量upDownCount和第二位置变量leftRightCount的起始位置都置为0。
然后对导入的日志数据进行逐行解压处理得到数据数组,根据数据数组中日志数据的类型(起始数据、输入数据、输出数据、结束数据)进行以下处理;由于起始数据和结束数据的类型只是为了标记日志数据的起始和终止状态,因而,无需对其进行处理;即,只需处理输入数据和输出数据这两种类型。
当日志数据的类型为输入数据时,若确定输入数据的第一个字符为`\x7f`,则需要截取数据;截取数据的规则可以为:通过第二位置变量leftRightCount的光标位置截取数据数组得到新的输出数组。当日志数据的类型为输入数据时,若确定输入数据的第一个字符为`\x1b`,并且第二个字符为`\x4f`或者`\x5b`时,则输出上一行处理的日志数据,并进行以下操作:若确定第三个字符为`\x41`,且第二位置变量leftRightCount为0,则令第一位置变量upDownCount累加1;若确定第三个字符为`\x42`,且第二位置变量leftRightCount大于0,则令第二位置变量leftRightCount自减1;若确定第三个字符为`\x43`,且第二位置变量leftRightCount大于0,则令第二位置变量leftRightCount自减1;若确定第三个字符为`\x44`,则令leftRightCount自加1。若确定输入数据的第一个字符为`\x03`时,则置为打断状态,清除输入数据,并初始化光标状态。若确定输入数据的第一个字符为`\x09`,则状态为读取完成,并初始化光标状态。
示例性地,当有新的日志数据导入时,继续循环执行上述操作,并在执行上述操作后,通过设定的正则表达式进行清洗操作,再通过重组单元Buffer重组各个字符,然后推送给日志管理工具Fluentd。
在一些实施例中,针对用户的日志数据,进行日志审计,可以包括:将重组后的日志数据推送至Elasticsearch引擎;通过访问Elasticsearch引擎,进行日志审计。
示例性地,在上述重组单元Buffer对清洗操作后的日志数据进行重组后,会将重组后的日志数据通过日志管理工具Fluentd推送至Elasticsearch引擎,这样,后续审计管理员在需要审计日志数据时,直接通过访问Elasticsearch引擎便可获取记录的日志内容。
这里,为避免日志数据存储量过大影响日志审计效率,可以在Elasticsearch引擎中设置日志数据的有效期,例如,日志数据默认6个月过期。
本申请实施例可以在不影响用户的正常读写操作的情况下,通过记录子模块Recorder记录对应的日志数据;并通过日志服务子模块,可以将记录子模块Recorder传过来的日志数据进行清洗操作及重组,然后基于Elasticsearch引擎将日志数据按字段分片存储,审计管理平台可以直接通过调用Elasticsearch引擎来实现重点日志的检索;进而,为审计Linux日志数据提供可靠的整体方案。
本申请实施例提出了一种日志审计方法、装置、电子设备和计算机存储介质,该方法应用于分布式设备中,该方法包括:接收用户的登录请求,根据登录请求,建立与目标服务器的通信连接;在分布式设备与目标服务器进行通信的过程中,通过监听用户的输入数据和目标服务器的输出数据,获取包括输入数据和输出数据的日志数据;针对日志数据,进行日志审计。可以看出,本申请实施例在分布式设备与目标服务器进行通信的过程中,通过监听用户的输入数据和目标服务器的输出数据,可以获取详细并且准确的日志数据;同时,能够在保证不影响用户操作的前提下对日志数据进行记录,以满足审计管理员的日志审计需求。与相关技术相比,由于本申请实施例在进行日志数据记录时,无需依赖于加密协议的分析,也不需要对目标服务器进行改动,因而,可以有效降低日志数据的分析成本以及目标服务器的安全风险。
图3是本申请实施例的日志审计装置的组成结构示意图,如图3所示,该装置包括:建立模块300、获取模块301和审计模块302,其中:
建立模块300,用于接收用户的登录请求,根据登录请求,建立与目标服务器的通信连接;
获取模块301,用于在分布式设备与目标服务器进行通信的过程中,通过监听用户的输入数据和目标服务器的输出数据,获取包括输入数据和输出数据的日志数据;
审计模块302,用于针对日志数据,进行日志审计。
在一些实施例中,审计模块302,用于针对日志数据,进行日志审计,包括:
对日志数据进行预处理,针对预处理后的日志数据,进行日志审计。
在一些实施例中,审计模块302,用于对日志数据进行预处理,包括:
对日志数据进行格式转换;
逐行对格式转换后的日志数据进行清洗操作,并将清洗操作后的日志数据进行重组。
在一些实施例中,审计模块302,用于逐行对格式转换后的日志数据进行清洗操作,包括:
通过设定的正则表达式以及预先确定的日志数据的类型,逐行对格式转换后的日志数据进行清洗操作。
在一些实施例中,获取模块301,还用于:
在获取到日志数据后,对日志数据逐行进行压缩存储。
在一些实施例中,审计模块302,用于针对用户的日志数据,进行日志审计,包括:
将重组后的日志数据推送至Elasticsearch引擎;
通过访问Elasticsearch引擎,进行日志审计。
在实际应用中,上述建立模块300、获取模块301和审计模块302均可以由位于电子设备中的处理器实现,该处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外,在本实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲,本实施例中的一种日志审计方法对应的计算机程序指令可以被存储在光盘、硬盘、U盘等存储介质上,当存储介质中的与一种日志审计方法对应的计算机程序指令被一电子设备读取或被执行时,实现前述实施例的任意一种日志审计方法。
基于前述实施例相同的技术构思,参见图4,其示出了本申请实施例提供的电子设备400,可以包括:存储器401和处理器402;其中,
存储器401,用于存储计算机程序和数据;
处理器402,用于执行存储器中存储的计算机程序,以实现前述实施例的任意一种日志审计方法。
在实际应用中,上述存储器401可以是易失性存储器(volatile memory),例如RAM;或者非易失性存储器(non-volatile memory),例如ROM、快闪存储器(flash memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器402提供指令和数据。
上述处理器402可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的审计管理平台,用于实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。
在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
本申请所提供的各方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的各产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的各方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上,仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。

Claims (10)

1.一种日志审计方法,其特征在于,应用于分布式设备中,所述方法包括:
接收用户的登录请求,根据所述登录请求,建立与目标服务器的通信连接;
在所述分布式设备与所述目标服务器进行通信的过程中,通过监听所述用户的输入数据和所述目标服务器的输出数据,获取包括所述输入数据和所述输出数据的日志数据;
针对所述日志数据,进行日志审计。
2.根据权利要求1所述的方法,其特征在于,所述针对所述日志数据,进行日志审计,包括:
对所述日志数据进行预处理,针对所述预处理后的日志数据,进行日志审计。
3.根据权利要求2所述的方法,其特征在于,所述对所述日志数据进行预处理,包括:
对所述日志数据进行格式转换;
逐行对所述格式转换后的日志数据进行清洗操作,并将清洗操作后的日志数据进行重组。
4.根据权利要求3所述的方法,其特征在于,所述逐行对所述格式转换后的日志数据进行清洗操作,包括:
通过设定的正则表达式以及预先确定的所述日志数据的类型,逐行对所述格式转换后的日志数据进行清洗操作。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在获取到所述日志数据后,对所述日志数据逐行进行压缩存储。
6.根据权利要求1所述的方法,其特征在于,所述针对所述用户的日志数据,进行日志审计,包括:
将重组后的日志数据推送至Elasticsearch引擎;
通过访问所述Elasticsearch引擎,进行日志审计。
7.一种日志审计装置,其特征在于,应用于分布式设备中,所述装置包括:
建立模块,用于接收用户的登录请求,根据所述登录请求,建立与目标服务器的通信连接;
获取模块,用于在所述分布式设备与所述目标服务器进行通信的过程中,通过监听所述用户的输入数据和所述目标服务器的输出数据,获取包括所述输入数据和所述输出数据的日志数据;
审计模块,用于针对所述日志数据,进行日志审计。
8.根据权利要求7所述的装置,其特征在于,所述审计模块,用于针对所述日志数据,进行日志审计,包括:
对所述日志数据进行预处理,针对所述预处理后的日志数据,进行日志审计。
9.一种电子设备,其特征在于,所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至6任一项所述的方法。
10.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。
CN202110577616.5A 2021-05-26 2021-05-26 一种日志审计方法、装置、设备和计算机存储介质 Active CN113411206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110577616.5A CN113411206B (zh) 2021-05-26 2021-05-26 一种日志审计方法、装置、设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110577616.5A CN113411206B (zh) 2021-05-26 2021-05-26 一种日志审计方法、装置、设备和计算机存储介质

Publications (2)

Publication Number Publication Date
CN113411206A true CN113411206A (zh) 2021-09-17
CN113411206B CN113411206B (zh) 2022-09-06

Family

ID=77675211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110577616.5A Active CN113411206B (zh) 2021-05-26 2021-05-26 一种日志审计方法、装置、设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN113411206B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569795B1 (en) * 2016-02-25 2017-02-14 Perfect Price, Inc. Computer-implemented method of capturing transaction data associated with an online purchase
CN106484709A (zh) * 2015-08-26 2017-03-08 北京神州泰岳软件股份有限公司 一种日志数据的审计方法和审计装置
CN108491300A (zh) * 2018-01-10 2018-09-04 北京掌阔移动传媒科技有限公司 一种基于分布式的日志处理系统
CN109271331A (zh) * 2018-08-20 2019-01-25 平安普惠企业管理有限公司 日志的生成方法、装置、计算机设备及存储介质
CN110347716A (zh) * 2019-05-27 2019-10-18 中国平安人寿保险股份有限公司 日志数据处理方法、装置、终端及存储介质
US20200067888A1 (en) * 2017-10-03 2020-02-27 Cerebri AI Inc. Verifying message authenticity with decentralized tamper-evident logs
CN111092745A (zh) * 2019-10-12 2020-05-01 深圳壹账通智能科技有限公司 基于区块链的日志处理方法、装置、计算机设备及存储介质
US10951465B1 (en) * 2016-09-29 2021-03-16 Emc Ïp Holding Company Llc Distributed file system analytics

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484709A (zh) * 2015-08-26 2017-03-08 北京神州泰岳软件股份有限公司 一种日志数据的审计方法和审计装置
US9569795B1 (en) * 2016-02-25 2017-02-14 Perfect Price, Inc. Computer-implemented method of capturing transaction data associated with an online purchase
US10951465B1 (en) * 2016-09-29 2021-03-16 Emc Ïp Holding Company Llc Distributed file system analytics
US20200067888A1 (en) * 2017-10-03 2020-02-27 Cerebri AI Inc. Verifying message authenticity with decentralized tamper-evident logs
CN108491300A (zh) * 2018-01-10 2018-09-04 北京掌阔移动传媒科技有限公司 一种基于分布式的日志处理系统
CN109271331A (zh) * 2018-08-20 2019-01-25 平安普惠企业管理有限公司 日志的生成方法、装置、计算机设备及存储介质
CN110347716A (zh) * 2019-05-27 2019-10-18 中国平安人寿保险股份有限公司 日志数据处理方法、装置、终端及存储介质
CN111092745A (zh) * 2019-10-12 2020-05-01 深圳壹账通智能科技有限公司 基于区块链的日志处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN113411206B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
US8135827B2 (en) Distributed capture and aggregation of dynamic application usage information
WO2020151483A1 (zh) 物联网平台压力测试系统、方法、装置及服务器
CN104954189A (zh) 一种服务器集群的自动检测方法和系统
US20040128651A1 (en) Method and system for testing provisioning and interoperability of computer system services
US20190191012A1 (en) System and method for testing applications with a load tester and testing translator
US20080282115A1 (en) Client-server text messaging monitoring for remote computer management
US20080162690A1 (en) Application Management System
CN111866016A (zh) 日志的分析方法及系统
CN113360475B (zh) 基于内网终端的数据运维方法、装置、设备及存储介质
US20230214229A1 (en) Multi-tenant java agent instrumentation system
Sanjappa et al. Analysis of logs by using logstash
CN110941632A (zh) 一种数据库审计方法、装置及设备
CN107257290B (zh) 一种开放式soa面向服务架构的测试方法及系统
CN113411206B (zh) 一种日志审计方法、装置、设备和计算机存储介质
CN110442582B (zh) 场景检测方法、装置、设备和介质
CN111897877B (zh) 基于分布式思想的高性能高可靠数据共享系统及方法
KR102093764B1 (ko) 서버 및 스토리지 관리 서버
CN107066538B (zh) 一种数据统计的方法及装置
KR102657165B1 (ko) 데이터 관리 장치, 데이터 관리 방법 및 데이터 관리 프로그램을 저장하는 컴퓨터로 판독 가능한 저장 매체
CN114490202B (zh) 一种密码设备测试方法、装置、电子设备及存储介质
US20240070037A1 (en) Multi-Computer System for Maintaining Application Programming Interface Stability with Shared Computing Infrastructure
CN116074388B (zh) 一种基于日志队列的流量转发方法及系统
KR102657160B1 (ko) 데이터 관리 장치, 데이터 관리 방법 및 데이터 관리 프로그램을 저장하는 컴퓨터로 판독 가능한 저장 매체
US20230040512A1 (en) Systems and methods for universal auto-scaling
US20230376632A1 (en) Protecting confidential information in online applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant