CN112069254A - 一种基于Djangorestframework的日志记录方法及系统 - Google Patents

一种基于Djangorestframework的日志记录方法及系统 Download PDF

Info

Publication number
CN112069254A
CN112069254A CN202010850712.8A CN202010850712A CN112069254A CN 112069254 A CN112069254 A CN 112069254A CN 202010850712 A CN202010850712 A CN 202010850712A CN 112069254 A CN112069254 A CN 112069254A
Authority
CN
China
Prior art keywords
log
content
cache
change
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010850712.8A
Other languages
English (en)
Other versions
CN112069254B (zh
Inventor
李勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010850712.8A priority Critical patent/CN112069254B/zh
Publication of CN112069254A publication Critical patent/CN112069254A/zh
Application granted granted Critical
Publication of CN112069254B publication Critical patent/CN112069254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275Synchronous replication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于Djangorestframework的日志记录方法及系统,方法包括:生成审计日志和变更日志数据库表;记录审计日志;记录变更日志;自动将变更的内容组装起来;通过调用记录的审计日志和变更日志无需手动输入日志内容,自动输出对应增删改查的日志内容;提取日志类型、提取日志内容及记录日志缓存;提取缓存日志、批量写入数据库及同步日志序号;通过定时器按照设定的时间频率去同步日志,定时将日志内容写入数据库。实现了基于Djangorestframework的web开发的公共日志的自动化输出,通过日志模块封装,提高了编码效率。

Description

一种基于Djangorestframework的日志记录方法及系统
技术领域
本发明涉及日志记录技术领域,尤其涉及一种基于Djangorestframework的日志记录方法及系统。
背景技术
Django是非常流行的后端框架,使用Django框架可以迅速搭建web平台。Djangorestframework将web开发简化为models.py、serializers.py、urls.py、views.py等几个重要模块的开发。其中,models.py是模型内容,用来编写数据库表的结构,包括字段类型、字段名称等;serializers.py是序列化器内容,用来将数据库读写的数据序列化为前端想要的数据格式,还可以对写数据进行格式校验等;urls.py是路由内容,用来编写后端接口路由地址;views.py是视图接口,用来编写数据库的增删改查等接口。而日志记录在web平台中是非常重要的一项功能,日志记录包括审计日志和变更日志,其中审计日志记录了用户的登录、登出、添加、删除、锁定、解锁以及一些重要资源的删除等操作;变更日志则记录了资源编辑前后的内容变化,便于追踪资源的变更情况。
目前,使用Django搭建的web平台,多数采用以下两种方式进行日志的记录。其一是在视图接口中直接将日志内容存入数据库,该方法的优点是逻辑简单,但缺点非常明显,当访问量较高时,频繁存放数据库导致性能低下,严重时会导致web平台崩溃。其二是改写python的logging模块,将调用logging模块的日志通过MQ(消息队列)记录到缓存,再定时定量存储到数据库。这个方法的优点是能够缓存较大的日志量,不用担心数据库在写日志时出现性能低下的问题,但缺点是整个流程太过复杂,对公共日志难以复用,开发效率低下。
发明内容
本发明的目的就是为了解决上述问题,提供一种基于Djangorestframework的日志记录方法及系统,审计日志和变更日志的公共日志输出;缓存和数据库的日志同步机制。
为了实现上述目的,本发明采用如下技术方案:
一种基于Djangorestframework的日志记录方法,包括:
生成审计日志和变更日志数据库表;
记录审计日志;记录变更日志;自动将变更的内容组装起来;
通过调用记录审计日志和变更日志的接口,无需手动输入日志内容,自动记录对应增删改查的日志内容至缓存中;
提取日志类型、提取日志内容及记录日志缓存;
提取缓存日志、批量写入数据库及同步日志序号;
通过定时器按照设定的时间频率去同步日志,定时将日志内容写入数据库。
生成审计日志和变更日志数据库表的方法为:
在工程中添加logger的app,生成models.py、serializers.py、urls.py及views.py模块文件,使用migrate命令生成数据库表;
其中models.py记录审计日志和变更日志的数据表结构,分别生成审计日志和变更日志数据库表,主要字段包括用户id、操作/变更内容、IP地址及发生时间。
记录审计日志的方法包括:传入用户请求和日志内容;根据用户请求获取用户id和IP地址,与日志内容、当前时间组装成字典写入日志缓存;
记录变更日志的方法包括:传入用户请求、日志内容及变更模块ID;根据用户请求获获取用户id和IP地址,与日志内容、变更模块ID及当前时间组装成字典写入日志缓存;
自动将变更的内容组装起来的方法包括:传入序列化器、旧内容及新内容,通过序列化器提取到所有变更字段名称,然后比对旧内容和新内容在每个字段的变更内容,最后根据字段类型对变更内容进行格式化处理。
提取日志类型的方法包括:根据调用的日志方法来区分日志类型,当调用审计日志的方法时,提取到日志类型为审计日志,其key为operation;当调用变更日志的方法时,提取到日志类型为变更日志,其key为modification。通过日志类型来区分审计日志和变更日志,根据日志类型,设置日志缓存Key;
提取日志内容的方法包括:通过传参的方式获取要写入的日志内容,作为缓存Value存储。
记录日志缓存的方法包括:将日志类型和日志内容记录到缓存Key-Value中;记录缓存格式为:{“日志类型_日志序号”:“日志内容”},如{“operation_1”:“test1”}。
提取缓存日志的方法为:通过读取缓存Key为“SET_COUNTER”和“GET_COUNTER”的Value,拿到SET和GET的日志序号,然后再根据日志序号,读取SET和GET二者序号之间的所有日志缓存,并根据日志类型分别获取审计日志和变更日志。批量写入数据库的方法为:提取缓存日志后,通过Django的bulk_create接口将日志批量写入日志记录表,实现日志的批量写入;
同步日志序号的方法为:当提取完缓存中的日志后,需要将Key为“GET_COUNTER”的Value设置为当前的“SET_COUNTER”的Value,同步日志序号。这样的话,本次提取的SET序号就是下次提取的GET序号,即本次终点作为下次起点,以此循环下去。
采用所述一种基于Djangorestframework的日志记录方法的系统,包括日志记录表模块,用于生成审计日志和变更日志数据库表;
输出日志接口模块,封装了公共接口,包括能调用的用来记录审计日志的输出审计日志接口、能调用的用来记录变更日志的输出变更日志接口及能自动将变更的内容组装起来,无需手动输入的组装变更内容接口;
公共视图模块,用来增删改查的公共视图接口;通过调用记录的审计日志和变更日志无需手动输入日志内容,自动输出对应增删改查的日志内容;
日志缓存模块,用于提取日志类型、提取日志内容及记录日志缓存;
日志同步模块,用于提取缓存日志、批量写入数据库及同步日志序号;
日志定时模块,通过定时器按照设定的时间频率去同步日志,定时将日志内容写入数据库。
所述输出审计日志接口,传入用户请求和日志内容;根据用户请求获取用户id和IP地址,与日志内容、当前时间组装成字典写入日志缓存。
所述输出变更日志接口,传入用户请求、日志内容及变更模块ID;根据用户请求获获取用户id和IP地址,与日志内容、变更模块ID及当前时间组装成字典写入日志缓存。
所述组装变更内容接口,传入序列化器、旧内容及新内容,通过序列化器提取到变更模块的所有变更字段名称,然后比对旧内容和新内容在每个字段的变更内容,最后根据字段类型对变更内容进行格式化处理。
所述公共视图模块包括增、删、改及查接口。
本发明的有益效果:
实现了基于Djangorestframework的web开发的公共日志的自动化输出,通过日志模块封装,提高了编码效率。
附图说明
图1为本发明的模块示意图;
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
一种基于Djangorestframework的日志记录方法,包括:
生成审计日志和变更日志数据库表;
记录审计日志;记录变更日志;自动将变更的内容组装起来;
通过调用记录审计日志和变更日志的接口,无需手动输入日志内容,自动记录对应增删改查的日志内容至缓存中;
提取日志类型、提取日志内容及记录日志缓存;
提取缓存日志、批量写入数据库及同步日志序号;
通过定时器按照设定的时间频率去同步日志,定时将日志内容写入数据库。
生成审计日志和变更日志数据库表的方法为:
在工程中添加logger的app,生成models.py、serializers.py、urls.py及views.py模块文件,使用migrate命令生成数据库表;
其中models.py记录审计日志和变更日志的数据表结构,分别生成审计日志和变更日志数据库表,主要字段包括用户id、操作/变更内容、IP地址及发生时间。
记录审计日志的方法包括:传入用户请求和日志内容;根据用户请求获取用户id和IP地址,与日志内容、当前时间组装成字典写入日志缓存;
记录变更日志的方法包括:传入用户请求、日志内容及变更模块ID;根据用户请求获获取用户id和IP地址,与日志内容、变更模块ID及当前时间组装成字典写入日志缓存;
自动将变更的内容组装起来的方法包括:传入序列化器、旧内容及新内容,通过序列化器提取到所有变更字段名称,然后比对旧内容和新内容在每个字段的变更内容,最后根据字段类型对变更内容进行格式化处理。
提取日志类型的方法包括:根据调用的日志方法来区分日志类型,当调用审计日志的方法时,提取到日志类型为审计日志,其key为operation;当调用变更日志的方法时,提取到日志类型为变更日志,其key为modification。通过日志类型来区分审计日志和变更日志,根据日志类型,设置日志缓存Key;
提取日志内容的方法包括:通过传参的方式获取要写入的日志内容,作为缓存Value存储。
记录日志缓存的方法包括:将日志类型和日志内容记录到缓存Key-Value中。记录缓存格式为:{“日志类型_日志序号”:“日志内容”},如{“operation_1”:“test1”}。
提取缓存日志的方法为:通过读取缓存Key为“SET_COUNTER”和“GET_COUNTER”的Value,拿到SET和GET的日志序号,然后再根据日志序号,读取缓存Key为“日志类型_日志序号”将二者序号之间的所有日志提取出来;读取SET和GET二者序号之间的所有日志缓存,并根据日志类型分别获取审计日志和变更日志。如,SET日志序号是5,GET日志序号是1,缓存数据如下:{“operation_1”:“test1”}、{“modification_2”:“test2”}、{“operation_3”:“test3”}、{“operation_4”:“test4”}、{“modification_5”:“test5”};则根据二者序号1和5,可以提取到上面5缓存数据,其中,审计日志有3条,其日志内容分别是”test1”、”test3”、”test4”,变更日志有2条,其日志内容分别是”test2”、”test5”。批量写入数据库的方法为:提取缓存日志后,通过Django的bulk_create接口将日志批量写入日志记录表,实现日志的批量写入;
同步日志序号的方法为:当提取完缓存中的日志后,需要将Key为“GET_COUNTER”的Value设置为当前的“SET_COUNTER”的Value,同步日志序号。这样的话,本次提取的SET序号就是下次提取的GET序号,即本次终点作为下次起点,以此循环下去。
采用所述一种基于Djangorestframework的日志记录方法的系统,包括:日志记录表模块、输出日志接口模块、公共视图模块、日志缓存模块、日志同步模块及日志定时模块。
其中,日志记录表模块,即日志存放的数据库表。在工程中添加logger的app,生成models.py、serializers.py、urls.py及views.py模块文件,使用migrate命令生成数据库表。其中models.py记录了审计日志和变更日志的数据表结构,分别生成了审计日志和变更日志数据库表,主要字段包括用户id、操作/变更内容、IP地址及发生时间。
其中,输出日志接口模块,是一个class(类),封装了公共接口,包括输出审计日志接口、输出变更日志接口、组装变更内容接口等。详细如下:
(1)输出审计日志接口即开发人员可调用的用来记录审计日志的接口,该接口只需要传入request(用户请求)和content(日志内容)。接口根据request获取用户id和IP地址,将其与content、当前时间组装成字典写入日志缓存。
(2)输出变更日志接口即开发人员可调用的用来记录变更日志的接口,该接口只需要传入request(用户请求)、content(日志内容)、model_id(变更模块ID)。接口根据request获取用户id和IP地址,将其与content、model_id、当前时间等组装成字典写入日志缓存。
(3)组装变更内容接口即通过调用该接口可以自动将变更的内容组装起来,无需手动输入。该接口只需要传入serializer(序列化器)、old_content(旧内容)、new_content(新内容)。该接口包括提取字段名称、比对字段内容、格式化变更内容三个步骤。通过序列化器可提取到变更模块的所有变更字段名称,然后比对旧内容和新内容在每个字段的变更内容,最后根据字段类型对变更内容进行格式化处理。
其中,公共视图模块,即Djangorestframework提供的用来增删改查的公共视图接口,包括ListModelMixin(查)、CreateModelMixin(增)、UpdateModelMixin(改)、DestroyModelMixin(删)等,在增删改查接口中调用输出审计日志接口和输出变更日志接口,即可实现无需手动输入日志内容,便能自动输出对应增删改查的日志内容。
其中,日志缓存模块,包括提取日志类型、提取日志内容、记录日志缓存。本实施例中以Redis缓存为例说明,详细如下:
(1)提取日志类型,即通过日志类型来区分审计日志和变更日志,根据日志类型,设置日志缓存Key。比如,审计日志使用Audit作为缓存Key的前缀,变更日志使用Modification作为缓存Key的前缀。
(2)提取日志内容,即通过传参的方式获取要写入的日志内容,作为缓存Value存储。
(3)记录日志缓存,即将日志类型和日志内容记录到缓存Key-Value中。在记录日志时,需要将Key为“SET_COUNTER(设置日志记录)”的Value记录到缓存中用来做日志同步。即,每次记录日志缓存时,首先读取缓存Key为“SET_COUNTER”的Value(整形数字,表明当前的日志序号),然后再记录本条日志类型和日志内容,此时缓存Key为“日志类型_日志序号”(如记录变更日志且日志序号为5时,Key为Modification_5),对应的缓存Value为日志内容。最后将缓存Key为“SET_COUNTER”的Value加1处理,表示缓存中新增了一条数据。
其中,日志同步模块,包括提取缓存日志、批量写入数据库、同步日志序号。提取缓存日志即通过读取缓存Key为“SET_COUNTER”和“GET_COUNTER(读取日志记录)”的Value,拿到SET和GET的日志序号,然后再根据日志序号,读取缓存Key为“日志类型_日志序号”将二者序号之间的所有日志即当前所有日志提取出来。日志内容提取后,通过Django的bulk_create接口将日志批量写入日志记录表,实现日志的批量写入。最后,将Key为“GET_COUNTER”的Value设置为当前的“SET_COUNTER”的Value,同步日志序号,便于下次日志提取和写入数据库。
其中,日志定时模块,即通过定时器按照一定的时间频率去同步日志,实现定时将日志内容写入数据库的目的。
Django:是一个开放源代码的Web应用框架,由Python写成。其主要目标是使得开发复杂的、数据库驱动的网站变得简单。
Djangorestframework:是基于Django开发的一个REST风格的应用框架。
字典:字典是python中一种可变容器模型,且可存储任意类型对象。字典的每个键值对(key=>value)用冒号(:)分割,每个对之间用逗号(,)分割,整个字典包括在花括号({})中。
Redis缓存:Redis缓存是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。一般使用时,均以Key-Value的方式进行缓存数据的读写。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于Djangorestframework的日志记录方法,其特征是,包括:
生成审计日志和变更日志数据库表;
记录审计日志;记录变更日志;自动将变更的内容组装起来;
通过调用记录审计日志和变更日志的接口,无需手动输入日志内容,自动记录对应增删改查的日志内容至缓存中;
提取日志类型、提取日志内容及记录日志缓存;
提取缓存日志、批量写入数据库及同步日志序号;
通过定时器按照设定的时间频率去同步日志,定时将日志内容写入数据库。
2.如权利要求1所述一种基于Djangorestframework的日志记录方法,其特征是,生成审计日志和变更日志数据库表的方法为:
在工程中添加logger的app,生成models.py、serializers.py、urls.py及views.py模块文件,使用migrate命令生成数据库表;
其中models.py记录审计日志和变更日志的数据表结构,分别生成审计日志和变更日志数据库表,主要字段包括用户id、操作/变更内容、IP地址及发生时间。
3.如权利要求1所述一种基于Djangorestframework的日志记录方法,其特征是,记录审计日志的方法包括:传入用户请求和日志内容;根据用户请求获取用户id和IP地址,与日志内容、当前时间组装成字典写入日志缓存;
记录变更日志的方法包括:传入用户请求、日志内容及变更模块ID;根据用户请求获获取用户id和IP地址,与日志内容、变更模块ID及当前时间组装成字典写入日志缓存;
自动将变更的内容组装起来的方法包括:传入序列化器、旧内容及新内容,通过序列化器提取到所有变更字段名称,然后比对旧内容和新内容在每个字段的变更内容,最后根据字段类型对变更内容进行格式化处理。
4.如权利要求1所述一种基于Djangorestframework的日志记录方法,其特征是,提取日志类型的方法包括:根据调用的日志方法来区分日志类型,当调用审计日志的方法时,提取到日志类型为审计日志,其key为operation;当调用变更日志的方法时,提取到日志类型为变更日志,其key为modification;通过日志类型来区分审计日志和变更日志,根据日志类型,设置日志缓存Key;
提取日志内容的方法包括:通过传参的方式获取要写入的日志内容,作为缓存Value存储。
记录日志缓存的方法包括:将日志类型和日志内容记录到缓存Key-Value中;记录缓存格式为:{“日志类型_日志序号”:“日志内容”}。
5.如权利要求1所述一种基于Djangorestframework的日志记录方法,其特征是,提取缓存日志的方法为:通过读取缓存Key为“SET_COUNTER”和“GET_COUNTER”的Value,拿到SET和GET的日志序号,然后再根据日志序号,读取SET和GET二者序号之间的所有日志缓存,并根据日志类型分别获取审计日志和变更日志;
批量写入数据库的方法为:提取缓存日志后,通过Django的bulk_create接口将日志批量写入日志记录表,实现日志的批量写入;
同步日志序号的方法为:当提取完缓存中的日志后,将Key为“GET_COUNTER”的Value设置为当前的“SET_COUNTER”的Value,同步日志序号。
6.采用权利要求1所述一种基于Djangorestframework的日志记录方法的系统,其特征是,包括日志记录表模块,用于生成审计日志和变更日志数据库表;
输出日志接口模块,封装了公共接口,包括能调用的用来记录审计日志的输出审计日志接口、能调用的用来记录变更日志的输出变更日志接口及能自动将变更的内容组装起来,无需手动输入的组装变更内容接口;
公共视图模块,用来增删改查的公共视图接口;通过调用记录的审计日志和变更日志无需手动输入日志内容,自动输出对应增删改查的日志内容;
日志缓存模块,用于提取日志类型、提取日志内容及记录日志缓存;
日志同步模块,用于提取缓存日志、批量写入数据库及同步日志序号;
日志定时模块,通过定时器按照设定的时间频率去同步日志,定时将日志内容写入数据库。
7.如权利要求6所述的系统,其特征是,所述输出审计日志接口,传入用户请求和日志内容;根据用户请求获取用户id和IP地址,与日志内容、当前时间组装成字典写入日志缓存。
8.如权利要求6所述的系统,其特征是,所述输出变更日志接口,传入用户请求、日志内容及变更模块ID;根据用户请求获获取用户id和IP地址,与日志内容、变更模块ID及当前时间组装成字典写入日志缓存。
9.如权利要求6所述的系统,其特征是,所述组装变更内容接口,传入序列化器、旧内容及新内容,通过序列化器提取到变更模块的所有变更字段名称,然后比对旧内容和新内容在每个字段的变更内容,最后根据字段类型对变更内容进行格式化处理。
10.如权利要求6所述的系统,其特征是,所述公共视图模块包括增、删、改及查接口。
CN202010850712.8A 2020-08-21 2020-08-21 一种基于Djangorestframework的日志记录方法及系统 Active CN112069254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010850712.8A CN112069254B (zh) 2020-08-21 2020-08-21 一种基于Djangorestframework的日志记录方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010850712.8A CN112069254B (zh) 2020-08-21 2020-08-21 一种基于Djangorestframework的日志记录方法及系统

Publications (2)

Publication Number Publication Date
CN112069254A true CN112069254A (zh) 2020-12-11
CN112069254B CN112069254B (zh) 2022-07-08

Family

ID=73660580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010850712.8A Active CN112069254B (zh) 2020-08-21 2020-08-21 一种基于Djangorestframework的日志记录方法及系统

Country Status (1)

Country Link
CN (1) CN112069254B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032355A (zh) * 2021-04-06 2021-06-25 上海英方软件股份有限公司 一种Web应用批量收集日志的方法及装置
CN115981986A (zh) * 2023-03-21 2023-04-18 北京淘友天下技术有限公司 一种app内用户行为场景复现方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087210A (zh) * 2007-05-22 2007-12-12 网御神州科技(北京)有限公司 高性能的Syslog日志处理和存储方法
CN104239353A (zh) * 2013-06-20 2014-12-24 上海博达数据通信有限公司 一种web分类控制和日志审计的方法
CN109901978A (zh) * 2017-12-08 2019-06-18 航天信息股份有限公司 一种Hadoop日志无损压缩方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101087210A (zh) * 2007-05-22 2007-12-12 网御神州科技(北京)有限公司 高性能的Syslog日志处理和存储方法
CN104239353A (zh) * 2013-06-20 2014-12-24 上海博达数据通信有限公司 一种web分类控制和日志审计的方法
CN109901978A (zh) * 2017-12-08 2019-06-18 航天信息股份有限公司 一种Hadoop日志无损压缩方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032355A (zh) * 2021-04-06 2021-06-25 上海英方软件股份有限公司 一种Web应用批量收集日志的方法及装置
CN113032355B (zh) * 2021-04-06 2023-06-09 上海英方软件股份有限公司 一种Web应用批量收集日志的方法及装置
CN115981986A (zh) * 2023-03-21 2023-04-18 北京淘友天下技术有限公司 一种app内用户行为场景复现方法

Also Published As

Publication number Publication date
CN112069254B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN109460349B (zh) 一种基于日志的测试用例生成方法和装置
CN108920698B (zh) 一种数据同步方法、装置、系统、介质及电子设备
CN110647579A (zh) 数据同步方法及装置、计算机设备与可读介质
CN112069254B (zh) 一种基于Djangorestframework的日志记录方法及系统
CN107122355A (zh) 数据迁移系统和方法
CN112286941B (zh) 一种基于Binlog+HBase+Hive的大数据同步方法和装置
CN107122360A (zh) 数据迁移系统和方法
US10853157B2 (en) Compact binary event log generation
CN114036119A (zh) 一种基于kettle和数据库日志的数据同步方法
CN109471851B (zh) 数据处理方法、装置、服务器和存储介质
CN112231407B (zh) PostgreSQL数据库的DDL同步方法、装置、设备和介质
CN110569214A (zh) 用于日志文件的索引构建方法、装置及电子设备
CN106445815B (zh) 一种自动化测试方法及装置
CN111046100A (zh) 一种关系型数据库到非关系型数据库的同步方法和系统
CN114691704A (zh) 一种基于MySQL binlog的元数据同步方法
CN113886485A (zh) 数据处理方法、装置、电子设备、系统和存储介质
CN114281342A (zh) 一种代码自动生成方法
CN109902070B (zh) 一种面向WiFi日志数据的解析存储搜索方法
CN115840788B (zh) 一种MySql数据同步到ES的方法、装置、终端及存储介质
CN111159020B (zh) 一种应用于同步软件测试的方法和装置
CN112966025A (zh) 一种binlog日志挖掘字典实现方法
CN101853278A (zh) 数据存储系统应用方法
CN111125129A (zh) 数据处理方法和装置、存储介质及处理器
CN114816247A (zh) 一种逻辑数据获取方法及装置
CN111026764B (zh) 一种数据存储方法、装置、电子产品及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant