CN116126819A - 一种系统日志处理方法、设备及介质 - Google Patents
一种系统日志处理方法、设备及介质 Download PDFInfo
- Publication number
- CN116126819A CN116126819A CN202211489767.6A CN202211489767A CN116126819A CN 116126819 A CN116126819 A CN 116126819A CN 202211489767 A CN202211489767 A CN 202211489767A CN 116126819 A CN116126819 A CN 116126819A
- Authority
- CN
- China
- Prior art keywords
- log
- service
- storage medium
- storage
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000003860 storage Methods 0.000 claims abstract description 135
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000008859 change Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000013480 data collection Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06313—Resource planning in a project environment
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Educational Administration (AREA)
- Life Sciences & Earth Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Library & Information Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种系统日志处理方法、设备及介质,应用于预设的ERP系统,其中,方法包括:接收用户发起的业务请求,确定业务请求对应的操作类型,并执行操作类型对应的业务逻辑操作;确定业务请求对应的业务类型,通过业务类型对应的指定处理方式,获取执行业务逻辑操作时所产生的业务日志;指定处理方式包括ERP系统中封装的业务模型中的日志埋点,以及自定义获取;通过预设的日志接口,将业务日志传输至日志组件中;配置存储介质参数,并确定存储介质参数对应的存储模式,以根据存储模式,将日志组件中的业务日志存储到与存储介质参数相匹配的存储介质中。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种系统日志处理方法、设备及介质。
背景技术
随着计算机软件技术的发展,用户对于企业资源计划(Enterprise ResourcePlanning,ERP)系统也提出了更多的业务需求和安全需求,针对这些需求,业务日志的记录、处理、存储变得尤为重要。比如,在系统的运行过程中,针对生产环境遇到的问题,业务或研发人员需要通过日志快速定位问题所在,如果这些日志仅依靠软件研发人员进行处理,不仅耗费人力成本较大,也很难保证日志内容的统一性、完整性。另外,不同企业在ERP系统的成本投入、业务体量等方面通常情况下存在较大差异,单一的日志处理、存储方案难以满足企业的应用需求。
发明内容
为了解决上述问题,本申请提出了一种系统日志处理方法,应用于预设的ERP系统,包括:
接收用户发起的业务请求,确定所述业务请求对应的操作类型,并执行所述操作类型对应的业务逻辑操作;
确定所述业务请求对应的业务类型,通过所述业务类型对应的指定处理方式,获取执行所述业务逻辑操作时所产生的业务日志;所述指定处理方式包括所述ERP系统中封装的业务模型中的日志埋点,以及自定义获取;
通过预设的日志接口,将所述业务日志传输至日志组件中;
配置存储介质参数,并确定所述存储介质参数对应的存储模式,以根据所述存储模式,将所述日志组件中的业务日志存储到与所述存储介质参数相匹配的存储介质中。
在本申请的一种实现方式中,通过所述业务类型对应的指定处理方式,获取执行所述业务逻辑操作时所产生的业务日志,具体包括:
通过所述日志埋点,获取所述业务请求对应的业务日志;或者,通过预设的日志提取程序,获取所述业务请求对应的业务日志。
在本申请的一种实现方式中,所述业务日志包括校验日志、变更日志、操作日志,获取执行所述业务逻辑操作时所产生的业务日志之前,所述方法还包括:
在执行所述业务逻辑操作前,确定所述业务请求对应的业务模型中是否存在校验服务;
若有,则执行所述校验服务,得到所述校验服务的执行结果,并根据所述执行结果生成相应的校验日志;
在执行所述业务逻辑操作的过程中,确定所述业务模型中各字段的跟踪标识属性对应的属性值,在所述属性值为指定值的情况下,判断所述跟踪标识属性对应字段的字段值是否发生了变更,若变更,则生成与所述字段相对应的变更日志;
在所述业务逻辑操作完成后,确定所述业务请求对应的操作结果,以生成所述操作日志;所述操作结果包括请求成功和请求失败。
在本申请的一种实现方式中,所述方法还包括:
确定所述业务请求携带的唯一标识;
对所述校验日志、所述变更日志和所述操作日志分别赋予所述唯一标识,以便于根据所述唯一标识,实现所述业务日志之间的关联查询。
在本申请的一种实现方式中,所述存储模式包括异步存储和同步存储。
在本申请的一种实现方式中,根据所述存储模式,将所述日志组件中的业务日志存储至与所述存储介质参数相匹配的存储介质中,具体包括:
在所述存储模式为同步存储的情况下,将所述日志组件中的业务日志同步存储至业务数据库中;
在所述存储模式为异步存储的情况下,将所述业务日志异步上传至消息队列,并通过所述消息队列,将所述业务日志存储至搜索引擎。
在本申请的一种实现方式中,将所述业务日志异步上传至消息队列,并通过所述消息队列,将所述业务日志存储至搜索引擎,具体包括:
生成所述搜索引擎的索引信息,并将所述索引信息添加至所述消息队列中;
通过所述消息队列,将所述业务日志推送至数据收集引擎;
通过所述数据收集引擎,对所述业务日志进行解析,得到解析后的业务日志,并从所述消息队列传输的日志消息中提取所述索引信息,以根据所述索引信息,将所述解析后的业务日志存储至所述索引信息对应的搜索引擎中。
在本申请的一种实现方式中,将所述日志组件中的业务日志存储到与所述存储介质参数相匹配的存储介质中之后,所述方法还包括:
在所述存储模式为异步存储的情况下,接收用户发送的日志处理请求,对所述日志处理请求进行分析,以确定所述业务日志所需进行的日志处理操作;
通过所述日志组件或预设的日志分析平台,对所述存储介质中的业务日志进行所述日志处理操作;所述日志处理操作至少包括查询、分组聚合。
本申请实施例提供了一种系统日志处理设备,其特征在于,应用于预设的ERP系统,设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
接收用户发起的业务请求,确定所述业务请求对应的操作类型,并执行所述操作类型对应的业务逻辑操作;
确定所述业务请求对应的业务类型,通过所述业务类型对应的指定处理方式,获取执行所述业务逻辑操作时所产生的业务日志;所述指定处理方式包括所述ERP系统中封装的业务模型中的日志埋点,以及自定义获取;
通过预设的日志接口,将所述业务日志传输至日志组件中;
配置存储介质参数,并确定所述存储介质参数对应的存储模式,以根据所述存储模式,将所述日志组件中的业务日志存储到与所述存储介质参数相匹配的存储介质中。
本申请实施例提供了一种非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,应用于预设的ERP系统,所述计算机可执行指令设置为:
接收用户发起的业务请求,确定所述业务请求对应的操作类型,并执行所述操作类型对应的业务逻辑操作;
确定所述业务请求对应的业务类型,通过所述业务类型对应的指定处理方式,获取执行所述业务逻辑操作时所产生的业务日志;所述指定处理方式包括所述ERP系统中封装的业务模型中的日志埋点,以及自定义获取;
通过预设的日志接口,将所述业务日志传输至日志组件中;
配置存储介质参数,并确定所述存储介质参数对应的存储模式,以根据所述存储模式,将所述日志组件中的业务日志存储到与所述存储介质参数相匹配的存储介质中。
通过本申请提出的一种系统日志处理方法能够带来如下有益效果:
通过对业务模型的封装处理,实现ERP系统中业务日志的自动埋点和获取,并在一定程度上保证了日志内容的统一性、完整性,软件研发人员只需关注业务逻辑的开发,而不需要关心额外的日志记录、处理及存储的实现逻辑和方案,节省了人力成本。另外,可通过灵活配置存储介质参数的方式,选用不同的存储模式将业务日志存储于相应的存储介质中,满足企业低成本或高吞吐量的不同场景处理及存储要求。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种系统日志处理方法的流程示意图;
图2为本申请实施例提供的一种业务日志记录流程示意图;
图3为本申请实施例提供的一种业务日志的存储模式流程示意图;
图4为本申请实施例提供的另一种系统日志处理方法的流程示意图;
图5为本申请实施例提供的一种系统日志处理设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
如图1所示,本申请实施例提供的一种系统日志处理方法,应用于预设的ERP系统中,包括:
S101:接收用户发起的业务请求,确定业务请求对应的操作类型,并执行操作类型对应的业务逻辑操作。
ERP系统是在信息技术基础上,以系统化的管理思想,为企业决策层及员工提供决策运行手段的管理平台。日志在ERP系统的日常维护中起着异常重要的作用,需要对系统产生的日志进行分析、处理和存储,以保证系统的正常运行和后期优化。
在本申请实施例中,系统中预先封装了多个业务模型,当用户发起业务请求后,服务器能够接收该业务请求,并确定其对应的操作类型,进而通过调用该业务请求对应的业务模型,执行上述操作类型对应的业务逻辑操作。操作类型可包括创建、修改、删除、提交、审核等多种类型。
S102:确定业务请求对应的业务类型,通过业务类型对应的指定处理方式,获取执行业务逻辑操作时所产生的业务日志;指定处理方式包括ERP系统中封装的业务模型中的日志埋点,以及自定义获取。
根据业务请求核心业务逻辑操作处理流程及内容,系统在执行业务逻辑操作时,其能够产生的业务日志分为校验日志、变更日志和操作日志三种类型。每一类型下的业务日志都划分有若干操作类型,在面向处理不同的操作类型时,可调用不同的业务模型进行操作,并相应生成相应的日志内容。
业务请求的核心业务逻辑通常可以分为业务校验和业务处理(包括计算逻辑、数据更新、返回结果等)两部分,业务校验这一过程在执行业务逻辑操作前进行,服务器在接收到业务请求后,确定该业务请求对应的业务模型中是否存在校验服务,如果有,则执行校验服务,并得到相应的执行结果。执行结果包括抛出异常、正常执行等情况,进而,根据该执行结果生成相应的校验日志。需要说明的是,校验日志中还含有业务模型实例中的数据,只有整合了业务模型中的数据后,才能够形成包含有校验日志信息的完整日志内容,一个业务请求会按照校验顺序产生多条校验日志。
在执行业务逻辑操作的过程中,需确定业务模型中各字段的跟踪标识属性tracking对应的属性值,该属性值可以为True或者False。当字段对应的tracking属性值为指定值True时,用户发起业务请求后,在触发业务模型的实例更新的操作前,会在内存中暂存该字段对应的字段值,并在完成更新操作后,再取更新后的字段值与更新前的字段值进行比较,如果字段值发生了变更,则会自动生成该字段对应的变更日志,变更日志的数量由业务请求对多少tracking属性值为True的字段进行了变更所决定。变更日志还可以在业务模型实例(单据或基础资料)的表单展示界面直接获取或展示,展示内容包括业务逻辑操作的具体类型,以及进行变更的字段和字段变更前后的属性。
在业务逻辑操作完成后,确定业务请求对应的操作结果,并根据操作结果生成相应的操作日志。一个业务请求会相应产生一条操作日志,操作日志中记载有业务请求对应的操作结果,即请求成功和请求失败。
如图2所示的一种业务日志记录流程示意图,业务模型接收用户发送的业务请求后进行相应的业务校验,此时,可生成校验日志。在执行业务逻辑操作的过程中,可根据字段属性的变更记录相应生成变更日志。当业务逻辑操作执行完毕后,可根据操作结果生成相应的操作日志。上述过程中所产生的不同类型的业务日志,均可传输至日志组件中进行记录。
不同的业务请求所对应的业务类型存在不同,其对应的日志获取方式也相应不同。针对不同的业务类型,本申请实施例对其设置了对应的指定处理方式,用以获取执行业务逻辑操作过程中所产生的业务日志。
对于一些常用场景,比如会计核算等,可通过自动埋点的方式自动获取业务日志,即通过业务模型中设置的日志埋点,得到业务日志。对于一些特殊场景,比如,总账管理账簿关账功能对应的业务模型为账簿关账模型,但实际上是对账簿模型的一种关账操作,此时,需记录针对账簿的业务日志,而且不能通过对账簿关账模型的封装进行自动处理,此时,可通过预设的日志提取程序,自定义所需获取的日志内容,并手动提取相应的日志内容并调用日志接口实现有业务日志的记录。此外,对于用户登入、登出系统等非业务类的操作时,也可以通过调用日志接口的方式实现日志的记录。
服务器在处理各业务请求时会产生相应的唯一标识,而在执行业务逻辑操作的过程中,首先,确定当前业务请求携带的唯一标识,然后对处理该业务请求过程中所产生的校验日志、变更日志和操作日志分别赋予该唯一标识,也就是说,同一个业务请求产生的校验日志、变更日志和操作日志对应同一个唯一标识。这样,在查询某一类型的业务日志时,便能根据唯一标识,实现该类型业务日志与其他类型业务日志之间的关联查询,使得用户能够快速追溯到各业务请求的处理情况。
S103:通过预设的日志接口,将业务日志传输至日志组件中。
通过上述不同的指定处理方式获取到业务日志后,统一通过预设的日志接口,将业务日志组件上传至日志组件中,以实现业务日志的记录。
S104:配置存储介质参数,并确定存储介质参数对应的存储模式,以根据存储模式,将日志组件中的业务日志存储到与存储介质参数相匹配的存储介质中。
在将业务日志上传至日志组件后,还需进一步对业务日志进行存储,以便于后续的查询或其他处理操作。而企业由于自身体量、现状等因素会存在不同的需求,业务日志的存储模式和存储方案也会相应存在不同。
本申请实施例提供了两种存储模式,分别是同步存储和异步存储。通过配置存储介质参数可确定业务日志的存储模式,进而,便可根据选用的存储模式,将日志组件中的业务日志存储到与存储介质参数相匹配的存储介质中。
存储介质包括业务数据库和Elasticsearch搜索引擎,对于提出运维成本需求的企业来说,可选用同步存储的存储模式,在业务请求处理结束后,将日志组件中的业务日志同步存储至业务数据库。需要说明的是,直接将业务日志存储到业务数据库,能够保证数据的可靠性,但是该种方式在处理业务请求时除了需要完成正常的业务逻辑操作之外,还需要同步完成日志的记录,可能会存在一定的性能瓶颈,因此,同步存储时需启用单独的数据库事务,防止因业务操作逻辑处理过程中发生异常退出情况导致无法记录日志,比如,程序被动异常退出如程序内部错误、程序主动抛出异常如数据校验错误等。并且,需对业务日志进行暂存,在业务请求结束返回响应结果前批量执行业务日志的提交。
而对于提出提高处理效率需求的企业来说,可通过异步存储的存储模式,将业务日志异步上传至Kafka消息队列中,进而通过消息队列将业务至存储于搜索引擎中,以提高数据吞吐量。
具体地,如图3所示的一种业务日志的存储模式流程示意图所示,业务日志传输至日志组件后,消息队列通过异步调用的方式获取业务日志。服务器可根据当前ERP系统的配置信息以及数据库信息,自动生成搜索引擎的索引信息,并将索引信息添加至消息队列中。通过消息队列,将经过日志组件处理后的日志数据推送至Logstash数据收集引擎。数据收集引擎在获取到日志消息后,可对业务日志进行解析、格式化处理,得到解析后的业务日志,同时从消息队列传输的日志消息中提取索引信息,从而根据索引信息,将解析后的业务日志存储到该索引信息对应的搜索引擎中。至此,便完成了业务日志的异步存储,实现了多个数据库之间的数据隔离。需要说明的是,在公有云部署模式下,系统配置和数据库信息会统一管理,以此确保在相同的Elasticsearch节点或集群中索引名不会重复,而在私有云部署模式下,可通过物理隔离存储到单独的Elasticsearch节点或集群。需要说明的是,为提高异步消息传输的可靠性,日志组件还提供了消息补偿机制,以尽可能保证业务日志能够被正常地解析处理。
完成业务日志的存储后,用户若存在日志查询等需求时,能够向ERP系统发送日志处理请求。而在不同的存储模式下,日志的查询方式也相应存在不同,若业务日志是采用的异步存储的存储模式,那么服务器在接收到该日志处理请求后,可对其进行分析,以确定需对业务日志进行的日志处理操作。其中,日志处理操作至少包括查询、分组聚合。然后,通过日志组件或预设的日志分析平台,比如Kibana,对存储介质中的业务日志进行相应的日志处理操作。若业务日志采用的是同步存储的存储模式,用户可直接在ERP系统中的日志功能模块中查询相应的日志记录即可。
图4为本申请实施例提供的另一种系统日志处理方法的流程示意图,如图4所示,用户向ERP系统发送业务请求,系统封装的业务模型可根据该业务请求执行相应的业务逻辑操作,在业务逻辑操作执行过程中所产生的业务日志可通过日志接口传输至日志组件中。在一些特殊应用场景下,比如初始化、关账等,在处理完业务请求对应的业务后,可通过预设的日志提取程序,自定义获取业务日志,并将获取到的业务日志通过日志接口传输至日志组件,实现业务日志的记录。在对日志组件中的业务日志进行日志处理后,可通过不同的存储模式,将业务日志存储于不同的存储介质中。在用户存在日志查询等业务处理需求时,可根据业务日志的存储模式,采用相应的日志处理操作方案,对存储于存储介质中的业务日志进行业务处理操作。
需要说明的是,图4中的服务组件均支持分布式、容器化、集群化的部署模式,且对配置方面(比如安全、通信、性能等)也做了标准化的处理,方便系统的部署及后期维护扩展,极大地提高了运维人员的操作便利性。
以上为本申请提出的方法实施例。基于同样的思路,本说明书一个或多个实施例还提供了上述方法对应的设备及介质。
图5为本申请实施例提供的一种系统日志处理设备的结构示意图,设备应用于预设的ERP系统,包括:
至少一个处理器;以及,
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够:
接收用户发起的业务请求,确定业务请求对应的操作类型,并执行操作类型对应的业务逻辑操作;
确定业务请求对应的业务类型,通过业务类型对应的指定处理方式,获取执行业务逻辑操作时所产生的业务日志;指定处理方式包括ERP系统中封装的业务模型中的日志埋点,以及自定义获取;
通过预设的日志接口,将业务日志传输至日志组件中;
配置存储介质参数,并确定存储介质参数对应的存储模式,以根据存储模式,将日志组件中的业务日志存储到与存储介质参数相匹配的存储介质中。
本申请实施例提供了一种非易失性计算机存储介质,存储有计算机可执行指令,应用于预设的ERP系统,计算机可执行指令设置为:
接收用户发起的业务请求,确定业务请求对应的操作类型,并执行操作类型对应的业务逻辑操作;
确定业务请求对应的业务类型,通过业务类型对应的指定处理方式,获取执行业务逻辑操作时所产生的业务日志;指定处理方式包括ERP系统中封装的业务模型中的日志埋点,以及自定义获取;
通过预设的日志接口,将业务日志传输至日志组件中;
配置存储介质参数,并确定存储介质参数对应的存储模式,以根据存储模式,将日志组件中的业务日志存储到与存储介质参数相匹配的存储介质中。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备和介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例提供的设备和介质与方法是一一对应的,因此,设备和介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述设备和介质的有益技术效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种系统日志处理方法,其特征在于,应用于预设的ERP系统,所述方法包括:
接收用户发起的业务请求,确定所述业务请求对应的操作类型,并执行所述操作类型对应的业务逻辑操作;
确定所述业务请求对应的业务类型,通过所述业务类型对应的指定处理方式,获取执行所述业务逻辑操作时所产生的业务日志;所述指定处理方式包括所述ERP系统中封装的业务模型中的日志埋点,以及自定义获取;
通过预设的日志接口,将所述业务日志传输至日志组件中;
配置存储介质参数,并确定所述存储介质参数对应的存储模式,以根据所述存储模式,将所述日志组件中的业务日志存储到与所述存储介质参数相匹配的存储介质中。
2.根据权利要求1所述的一种系统日志处理方法,其特征在于,通过所述业务类型对应的指定处理方式,获取执行所述业务逻辑操作时所产生的业务日志,具体包括:
通过所述日志埋点,获取所述业务请求对应的业务日志;或者,通过预设的日志提取程序,获取所述业务请求对应的业务日志。
3.根据权利要求1所述的一种系统日志处理方法,其特征在于,所述业务日志包括校验日志、变更日志、操作日志,获取执行所述业务逻辑操作时所产生的业务日志之前,所述方法还包括:
在执行所述业务逻辑操作前,确定所述业务请求对应的业务模型中是否存在校验服务;
若有,则执行所述校验服务,得到所述校验服务的执行结果,并根据所述执行结果生成相应的校验日志;
在执行所述业务逻辑操作的过程中,确定所述业务模型中各字段的跟踪标识属性对应的属性值,在所述属性值为指定值的情况下,判断所述跟踪标识属性对应字段的字段值是否发生了变更,若变更,则生成与所述字段相对应的变更日志;
在所述业务逻辑操作完成后,确定所述业务请求对应的操作结果,以生成所述操作日志;所述操作结果包括请求成功和请求失败。
4.根据权利要求3所述的一种系统日志处理方法,其特征在于,所述方法还包括:
确定所述业务请求携带的唯一标识;
对所述校验日志、所述变更日志和所述操作日志分别赋予所述唯一标识,以便于根据所述唯一标识,实现所述业务日志之间的关联查询。
5.根据权利要求1所述的一种系统日志处理方法,其特征在于,所述存储模式包括异步存储和同步存储。
6.根据权利要求5所述的一种系统日志处理方法,其特征在于,根据所述存储模式,将所述日志组件中的业务日志存储至与所述存储介质参数相匹配的存储介质中,具体包括:
在所述存储模式为同步存储的情况下,将所述日志组件中的业务日志同步存储至业务数据库中;
在所述存储模式为异步存储的情况下,将所述业务日志异步上传至消息队列,并通过所述消息队列,将所述业务日志存储至搜索引擎。
7.根据权利要求6所述的一种系统日志处理方法,其特征在于,将所述业务日志异步上传至消息队列,并通过所述消息队列,将所述业务日志存储至搜索引擎,具体包括:
生成所述搜索引擎的索引信息,并将所述索引信息添加至所述消息队列中;
通过所述消息队列,将所述业务日志推送至数据收集引擎;
通过所述数据收集引擎,对所述业务日志进行解析,得到解析后的业务日志,并从所述消息队列传输的日志消息中提取所述索引信息,以根据所述索引信息,将所述解析后的业务日志存储至所述索引信息对应的搜索引擎中。
8.根据权利要求1所述的一种系统日志处理方法,其特征在于,将所述日志组件中的业务日志存储到与所述存储介质参数相匹配的存储介质中之后,所述方法还包括:
在所述存储模式为异步存储的情况下,接收用户发送的日志处理请求,对所述日志处理请求进行分析,以确定所述业务日志所需进行的日志处理操作;
通过所述日志组件或预设的日志分析平台,对所述存储介质中的业务日志进行所述日志处理操作;所述日志处理操作至少包括查询、分组聚合。
9.一种系统日志处理设备,其特征在于,应用于预设的ERP系统,设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
接收用户发起的业务请求,确定所述业务请求对应的操作类型,并执行所述操作类型对应的业务逻辑操作;
确定所述业务请求对应的业务类型,通过所述业务类型对应的指定处理方式,获取执行所述业务逻辑操作时所产生的业务日志;所述指定处理方式包括所述ERP系统中封装的业务模型中的日志埋点,以及自定义获取;
通过预设的日志接口,将所述业务日志传输至日志组件中;
配置存储介质参数,并确定所述存储介质参数对应的存储模式,以根据所述存储模式,将所述日志组件中的业务日志存储到与所述存储介质参数相匹配的存储介质中。
10.一种非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,应用于预设的ERP系统,所述计算机可执行指令设置为:
接收用户发起的业务请求,确定所述业务请求对应的操作类型,并执行所述操作类型对应的业务逻辑操作;
确定所述业务请求对应的业务类型,通过所述业务类型对应的指定处理方式,获取执行所述业务逻辑操作时所产生的业务日志;所述指定处理方式包括所述ERP系统中封装的业务模型中的日志埋点,以及自定义获取;
通过预设的日志接口,将所述业务日志传输至日志组件中;
配置存储介质参数,并确定所述存储介质参数对应的存储模式,以根据所述存储模式,将所述日志组件中的业务日志存储到与所述存储介质参数相匹配的存储介质中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211489767.6A CN116126819A (zh) | 2022-11-25 | 2022-11-25 | 一种系统日志处理方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211489767.6A CN116126819A (zh) | 2022-11-25 | 2022-11-25 | 一种系统日志处理方法、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116126819A true CN116126819A (zh) | 2023-05-16 |
Family
ID=86305369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211489767.6A Pending CN116126819A (zh) | 2022-11-25 | 2022-11-25 | 一种系统日志处理方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116126819A (zh) |
-
2022
- 2022-11-25 CN CN202211489767.6A patent/CN116126819A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109460349B (zh) | 一种基于日志的测试用例生成方法和装置 | |
CN107370786B (zh) | 一种基于微服务架构的通用信息管理系统 | |
CN110471949B (zh) | 数据血缘分析方法、装置、系统、服务器及存储介质 | |
CN113656245B (zh) | 数据的巡检方法、装置、存储介质及处理器 | |
CN113973053B (zh) | 一种网络靶场的探针管理系统与方法 | |
CN112328363B (zh) | 一种云硬盘挂载方法及其装置 | |
CN110659259A (zh) | 数据库迁移方法、服务器以及计算机存储介质 | |
US10951540B1 (en) | Capture and execution of provider network tasks | |
CN115455121A (zh) | 一种实时可靠的数据同步传输方法、设备及介质 | |
CN115994130A (zh) | 数据库的数据迁移方法、装置、计算机设备及存储介质 | |
CN116126819A (zh) | 一种系统日志处理方法、设备及介质 | |
CN112749197B (zh) | 数据分片刷新方法、装置、设备及存储介质 | |
CN115114275A (zh) | 一种数据采集方法、设备及介质 | |
CN111813880B (zh) | 一种国土空间规划项目管理方法、系统及存储介质 | |
CN114282210A (zh) | 沙箱自动构建方法、系统、计算机设备及可读存储介质 | |
CN115221125A (zh) | 文件处理方法、装置、电子设备及可读存储介质 | |
CN106202585A (zh) | 电力多场景多态数据系统及管理方法 | |
CN113329043A (zh) | 一种数据服务提供方法及装置 | |
CN113741912A (zh) | 模型管理系统、方法、装置及设备 | |
CN112395340A (zh) | 一种数据资产管理方法及装置 | |
CN111078258A (zh) | 一种版本升级方法及装置 | |
CN117009327B (zh) | 一种数据处理方法、装置及计算机设备、介质 | |
CN117873691B (zh) | 数据处理方法、装置、设备及可读存储介质 | |
CN118069457A (zh) | 基于区块链的综合运维管理平台及方法 | |
CN114996252A (zh) | 基于区块链的数据质量生命周期管理方法及处理器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |