CN110515913A - 日志处理方法及装置 - Google Patents

Abstract

本发明公开了一种日志处理方法及装置。其中，该方法包括：获取日志信息中的操作信息；通过转换工具根据操作信息生成对应格式的目标语句。本发明解决了相关技术中将日志信息手写成sql语句的方式，效率低下，错误率高的技术问题。

Description

日志处理方法及装置

技术领域

本发明涉及数据处理领域，具体而言，涉及一种日志处理方法及装置。

背景技术

在需要根据日志中的数据库操作信息来进行测试环境数据库的增删改查，以查看数据库操作是否生效或是否正确执行成功时，都需要手动写sql的方式来处理数据，特别是问号“？”处param的替换，当param非常多时，不仅手写sql的时候非常麻烦，并且容易出错，执行效率非常低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种日志处理方法及装置，以至少解决相关技术中将日志信息手写成sql语句的方式，效率低下，错误率高的技术问题。

根据本发明实施例的一个方面，提供了一种日志处理方法，包括：获取日志信息中的操作信息；通过转换工具根据所述操作信息生成对应格式的目标语句。

可选的，获取日志信息中的操作信息包括：从存储有所述日志信息的服务器中，获取所述日志信息；根据所述日志信息提取所述操作信息。

可选的，根据所述日志信息提取所述操作信息包括：将所述日志信息输出入至所述转换工具；通过所述转换工具，将所述日志信息进行数据编辑，生成所述操作信息。

可选的，通过转换工具根据所述操作信息生成对应格式的目标语句包括：通过所述转换工具选择所述目标语句的转换格式；生成并输出与所述转换格式相同格式的目标语句。

可选的，通过所述转换工具，选择所述目标语句的转换格式之前包括：通过所述转换工具判断所述操作信息是否需要批量转换；在所述操作信息需要批量转换的情况下，逐条执行根据所述操作信息生成对应格式的目标语句的步骤；在所述操作信息不需要批量转换的情况下，直接执行通过转换工具根据所述操作信息生成对应格式的目标语句的步骤。

可选的，所述操作信息用于测试数据库的修改日志，所述目标语句的格式由所述操作信息测试数据库的修改日志确定，其中所修改日志至少包括下列之一：增，删，改，查。

可选的，所述操作信息包括结构化查询语句sql操作日志信息，所述目标语句的格式至少包括下列之一：结构化查询语句sql格式，文本文档txt格式。

可选的，通过转换工具根据所述操作信息生成对应格式的目标语句之后包括：根据所述目标语句对所述操作信息对应的数据库的修改日志进行测试。

根据本发明实施例的另一方面，还提供了一种日志处理装置，包括：获取模块，用于获取日志信息中的操作信息；转换模块，用于通过转换工具根据所述操作信息生成对应格式的目标语句。

根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述中任意一项所述的方法。

根据本发明实施例的另一方面，还提供了一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的方法。

在本发明实施例中，采用获取日志信息中的操作信息；通过转换工具根据操作信息生成对应格式的目标语句的方式，通过建立转换工具，达到了通过转换工具自动将日志信息中的操作信息写成目标语句的目的，从而实现了提高日志信息写成目标语句的效率，并提高正确率的技术效果，进而解决了相关技术中将日志信息手写成sql语句的方式，效率低下，错误率高的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种日志处理方法的流程图；

图2是根据本发明实施方式的日志处理功能结构的示意图；

图3是根据本发明实施方式的日志处理方法的流程图；

图4是根据本发明实施例的一种日志处理装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种日志处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种日志处理方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取日志信息中的操作信息；

步骤S104，通过转换工具根据操作信息生成对应格式的目标语句。

通过上述步骤后，采用获取日志信息中的操作信息；通过转换工具根据操作信息生成对应格式的目标语句的方式，通过建立转换工具，达到了通过转换工具自动将日志信息中的操作信息写成目标语句的目的，从而实现了提高日志信息写成目标语句的效率，并提高正确率的技术效果，进而解决了相关技术中将日志信息手写成sql语句的方式，效率低下，错误率高的技术问题。

上述日志信息是数据库，或者服务器等软件系统在运行过程中，自动产生的用于记录设备运行记录和状态的信息，上述日志信息可以是相关系统中的项目的日志信息，例如，MyBatis开源项目。上述日志信息中的操作信息可以是上述日志信息中的数据操纵语言DML数据。在相关技术中，没有快速提取日志信息中的DML数据的方法或者转换工具，通常采用手动粘贴复制日志中的DML信息，手动在数据库中编写增删改查的sql语句，不仅工作效率较低，而且不方便数据的对比和查找。

上述转换工具用于将上述日志的操作信息生成对应格式的目标语句，本实施例通过上述转换工具根据上述操作信息自动生成对应格式的目标语句，相比于相关技术中的手写成上述目标语句的方式，更加快速，不仅可以自动生成对应格式的目标语句，还可以有效提高数据处理的效率，解决手写的方式错误率较高的问题。上述对应格式的目标语句可以是sql语句。

可选的，获取日志信息中的操作信息包括：从存储有日志信息的服务器中，获取日志信息；根据日志信息提取操作信息。

上述日志信息在产生之后，存储在上述服务器，数据库，或者其他存储位置，可以是存储在服务器或数据库内部，还可以输出至其他存储位置进行存储，例如，将日志信息传输至可信存储位置进行存储，以保证日志信息不被篡改，有效表明对应的数据库和服务器的历史工作运行状态。本实施例中，通过从村粗胡日志信息的服务器中获取日志信息，然后从日志信息提取对应的操作信息，其中上述日志信息可以包括时间信息，状态信息，命令信息，操作信息，故障信息，故障处理记录等等多种信息。

可选的，根据日志信息提取操作信息包括：将日志信息输出入至转换工具；通过转换工具，将日志信息进行数据编辑，生成操作信息。

相关技术中，采用手动的方式从日志信息中提取操作信息，本实施例中，上述根据日志信息提取对应的操作信息可以是手动，也可以是通过提取工具进行提取。上述提取工具可以是根据上述日志信息，选取上述日志信息中的操作信息。需要说明的是，上述提取工具可以是上述转换工具中的一个提取功能模块，则上述转换工具可以是直接输入日志信息，自动对日志信息进行提取，获取对应的操作信息，然后自动根据上述操作信息生成对应格式的目标语句，有效提高数据处理的速度，提高数据处理流程的自动化程度，有效增加了数据处理的效率。

可选的，通过转换工具根据操作信息生成对应格式的目标语句包括：通过转换工具选择目标语句的转换格式；生成并输出与转换格式相同格式的目标语句。

上述转换工具在根据操作信息生成对应格式的目标语句的情况下，可以先对转换工具进行控制，选择要转换的目标语句的转换格式，然后通过转换工具根据上述操作信息，生成并输出与上述转换格式相同的目标语句。

可选的，通过转换工具，选择目标语句的转换格式之前包括：通过转换工具判断操作信息是否需要批量转换；在操作信息需要批量转换的情况下，逐条执行根据操作信息生成对应格式的目标语句的步骤；在操作信息不需要批量转换的情况下，直接执行通过转换工具根据操作信息生成对应格式的目标语句的步骤。

上述转换工具在根据操作信息生成对应的目标语句的过程中，在选择目标语句的转换格式之前，可以通过转换工具判断操作信息是否需要批量转换，由于上述转换工具在一次仅可以对一组操作信息进行操作的情况下，需要批量转换时，需要将批量转换的多组数据依次分别输入转换工具进行处理；不需要批量转换时，直接将该操作信息输入转换工具，生成对应的目标语句。

可选的，操作信息用于测试数据库的修改日志，目标语句的格式由操作信息测试数据库的修改日志确定，其中所修改日志至少包括下列之一：增，删，改，查。

可选的，操作信息包括结构化查询语句sql操作日志信息，目标语句的格式至少包括下列之一：结构化查询语句sql格式，文本文档txt格式。

可选的，通过转换工具根据操作信息生成对应格式的目标语句之后包括：根据目标语句对操作信息对应的数据库的修改日志进行测试。

上述通过转换工具，根据日志信息生成对应格式的目标语句的目的是为了对上述操作信息对应的数据库的修改日志进行测试，本实施例中还提供了一种数据库的修改日志的测试方法，该方法包括上述日志处理方法，在采用上述日志处理方法生成对应的目标格式的语句之后，在上述需要测试修改日志的数据库中直接运行该目标语句，对该数据库的修改日志进行测试。

需要说明的是，本实施例还提供了一种可选的实施方式，下面对该实施方式进行详细说明。

本实施方式提供了一种基于MyBatis的日志抽取与转换工具。本实施方式中所要解决的技术问题是，对于程序运行过程中所产生日志中的数据库的DML数据库操作信息进行提取，并将其转化为自己所需要的sql语句(结构化查询语句，Structured QueryLanguage)。

在测试的工作中，日志的追踪查看是必不可少的一项测试指标.如果日志比较清楚明确,那么整个流程就会比较清晰。另外，如果可以直接把日志中数据库的操作信息提取出来，并转换成对应需求的MySQL语句，可以在数据库工具中直接运行，那么将会大大增加了测试的便利性，减少测试时间。包括增删改查日志数据的转化。

如:

insert into trade_credit_info(user_id,serv_id,prod_code,credit_id,qunar_trade_no,request_no,func_code,command,trans_code,credit_trade_type,trx_id,cur_id,accounting_no,order_no,busi_order_no,order_time,settle_no,settle_time,loan_no,loan_time,rate,amount,preauth_amount,trans_type,trans_time,status,create_time,remark,org_code,merchant_code,order_channel,fund_suppliers,repay_merchant_code,sp_code)values(？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,？,now(),？,？,？,？,？,？,？)

Parameters:1444538101(String),ZYLOAN-TJBLLOAN(String),IOUS(String),QNPAY1805141800000001(String),2018071821135042610.90.167.217841919(String),012018071821135042610.90.167.217841919(String),RED(String),ABS_REDEEM_PENALTY_RIN(String),9804(String),NORMAL(String),QNPAY1805141800000001(String),CNY(String),180718211350050a5abb7b000004(String),(String),null,2018-07-1821:13:50.443(Timestamp),(String),null,(String),null,null,0.39(BigDecimal),null,ABS_REDEEM_PENALTY_RIN(String),2018-07-18 21:13:50.54(Timestamp),0(Integer),null,QUNAR(String),null,QUNAR(String),TJBLLOAN(String),null,ht_specialplan(String)可以转换成以下几种形式:

(一)、INSERT

insert into trade_credit_info(user_id,serv_id,prod_code,credit_id,qunar_trade_no,request_no,func_code,command,trans_code,credit_trade_type,trx_id,cur_id,accounting_no,order_no,busi_order_no,order_time,settle_no,settle_time,loan_no,loan_time,rate,amount,preauth_amount,trans_type,trans_time,status,create_time,remark,org_code,merchant_code,order_channel,fund_suppliers,repay_merchant_code,sp_code)values('1444538101','ZYLOAN-TJBLLOAN','IOUS','QNPAY1805141800000001','2018071821135042610.90.167.217841919','012018071821135042610.90.167.217841919','RED','ABS_REDEEM_PENALTY_RIN','9804','NORMAL','QNPAY1805141800000001','CNY','180718211350050a5abb7b000004',”,”,'2018-07-18 21:13:50',”,”,”,”,”,'0.39',”,'ABS_REDEEM_PENALTY_RIN','2018-07-1821:13:50',0,'2018-07-18 21:58:00',”,'QUNAR',”,'QUNAR','TJBLLOAN',”,'ht_specialplan')；

(二)、INSERT

insert into trade_credit_info SETuser_id＝'1444538101',serv_id＝'ZYLOAN-TJBLLOAN',prod_code＝'IOUS',credit_id＝'QNPAY1805141800000001',qunar_trade_no＝'2018071821135042610.90.167.217841919',request_no＝'012018071821135042610.90.167.217841919',func_code＝'RED',command＝'ABS_REDEEM_PENALTY_RIN',trans_code＝'9804',credit_trade_type＝'NORMAL',trx_id＝'QNPAY1805141800000001',cur_id＝'CNY',accounting_no＝'180718211350050a5abb7b000004',order_no＝”,busi_order_no＝”,order_time＝'2018-07-18 21:13:50',settle_no＝”,settle_time＝”,loan_no＝”,loan_time＝”,rate＝”,amount＝'0.39',preauth_amount＝”,trans_type＝'ABS_REDEEM_PENALTY_RIN',trans_time＝'2018-07-18 21:13:50',status＝0,create_time＝'2018-07-18,21:58:00',remark＝”,org_code＝'QUNAR',merchant_code＝”,order_channel＝'QUNAR',fund_suppliers＝'TJBLLOAN',repay_merchant_code＝”,sp_code＝'ht_specialplan'；

(三)、SELECT

SELECT*FROM trade_credit_info WHERE user_id＝'1444538101'and serv_id＝'ZYLOAN-TJBLLOAN'and prod_code＝'IOUS'and credit_id＝'QNPAY1805141800000001'and qunar_trade_no＝'2018071821135042610.90.167.217841919'and request_no＝'012018071821135042610.90.167.217841919'and func_code＝'RED'and command＝'ABS_REDEEM_PENALTY_RIN'and trans_code＝'9804'and credit_trade_type＝'NORMAL'and trx_id＝'QNPAY1805141800000001'and cur_id＝'CNY'andaccounting_no＝'180718211350050a5abb7b000004'and order_no＝”and busi_order_no＝”and order_time＝'2018-07-18 21:13:50'and settle_no＝”and settle_time＝”andloan_no＝”and loan_time＝”and rate＝”and amount＝'0.39'and preauth_amount＝”and trans_type＝'ABS_REDEEM_PENALTY_RIN'and trans_time＝'2018-07-18 21:13:50'and status＝0and create_time＝'2018-07-18 21:58:00'and remark＝”and org_code＝'QUNAR'and merchant_code＝”and order_channel＝'QUNAR'and fund_suppliers＝'TJBLLOAN'and repay_merchant_code＝”and sp_code＝'ht_specialplan'；

目前尚未发现更便捷的提取日志DML数据(数据操纵语言，Data ManipulationLanguage)并转换的工具，只能通过复制日志中的信息，手动在数据库中编写增删改查的sql语句(结构化查询语句，Structured Query Language)，不方便数据的比对和查找新增等。手动复制粘贴日志中的DML信息尚且方便，但需要将一条select语句更改为insert语句操作起来比较麻烦，特别是字段较多的情况，日志中的字段都是以“？”的形式出现，再逐个替换的，这样手动的方式就会大大降低工作效率。

在此之前，每次有需要根据日志中的数据库操作信息来进行测试环境数据库的增删改查，以查看数据库操作是否生效或是否正确执行成功时，都需要手动写sql的方式来处理数据，特别是问号“？”处param的替换，当param非常多时，不仅手写sql的时候非常麻烦，并且容易出错，执行效率非常低。使用以上所述工具来自动生成所需要的sql的方式就非常简单不易出错，而且一劳永逸。

图3是根据本发明实施方式的日志处理方法的流程图，如图3所示，本实施方式的具体方案如下：首先，针对日志中的sql操作日志进行提取，将这些有效信息放入到工具中，选择将要转换的sql形式(增删改查)，然后一键生成对应的sql语句。

图2是根据本发明实施方式的日志处理功能结构的示意图，如图2所示，本实施方式采用B/S的结构实现操作数据库的日志向sql语句转化的工具，主要功能有新增转换、选择转换类型、开始转换以及sql语句导出功能。

本实施方式的关键点就是实现程序运行日志中DML语句的任意转换；保护点即为，为了实现快速将对应程序运行日志中DML转换的idea和技术方案。可以一键生成日志中对应的数据库操作sql语句；支持批量sql语句转换；操作简单、便捷、高效。

采用本实施方式的方案，可以更快速的将日志中提取到的DML数据信息，按照使用者自己的意愿在数据库中使用，如快速查找数据，或者在数据库中新增数据等等。

图4是根据本发明实施例的日志处理装置的示意图，如图4所示，根据本发明实施例的另一方面，还提供了一种日志处理装置，包括：获取模块42和转换模块44。

获取模块42，用于获取日志信息中的操作信息；转换模块44，与上述获取模块42相连，用于通过转换工具根据所述操作信息生成对应格式的目标语句。

通过上述装置，采用获取模块42获取日志信息中的操作信息；转换模块44通过转换工具根据操作信息生成对应格式的目标语句的方式，通过建立转换工具，达到了通过转换工具自动将日志信息中的操作信息写成目标语句的目的，从而实现了提高日志信息写成目标语句的效率，并提高正确率的技术效果，进而解决了相关技术中将日志信息手写成sql语句的方式，效率低下，错误率高的技术问题。

根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述中任意一项所述的方法。

根据本发明实施例的另一方面，还提供了一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种日志处理方法，其特征在于，包括：

获取日志信息中的操作信息；

通过转换工具根据所述操作信息生成对应格式的目标语句。

2.根据权利要求1所述的方法，其特征在于，获取日志信息中的操作信息包括：

从存储有所述日志信息的服务器中，获取所述日志信息；

根据所述日志信息提取所述操作信息。

3.根据权利要求2所述的方法，其特征在于，根据所述日志信息提取所述操作信息包括：

将所述日志信息输出入至所述转换工具；

通过所述转换工具，将所述日志信息进行数据编辑，生成所述操作信息。

4.根据权利要求3所述的方法，其特征在于，通过转换工具根据所述操作信息生成对应格式的目标语句包括：

通过所述转换工具选择所述目标语句的转换格式；

生成并输出与所述转换格式相同格式的目标语句。

5.根据权利要求4所述的方法，其特征在于，通过所述转换工具，选择所述目标语句的转换格式之前包括：

通过所述转换工具判断所述操作信息是否需要批量转换；

在所述操作信息需要批量转换的情况下，逐条执行根据所述操作信息生成对应格式的目标语句的步骤；

在所述操作信息不需要批量转换的情况下，直接执行通过转换工具根据所述操作信息生成对应格式的目标语句的步骤。

6.根据权利要求1所述的方法，其特征在于，所述操作信息用于测试数据库的修改日志，所述目标语句的格式由所述操作信息测试数据库的修改日志确定，其中所修改日志至少包括下列之一：增，删，改，查。

7.根据权利要求6所述的方法，其特征在于，所述操作信息包括结构化查询语句sql操作日志信息，所述目标语句的格式至少包括下列之一：结构化查询语句sql格式，文本文档txt格式。

8.根据权利要求7所述的方法，其特征在于，通过转换工具根据所述操作信息生成对应格式的目标语句之后包括：

根据所述目标语句对所述操作信息对应的数据库的修改日志进行测试。

9.一种日志处理装置，其特征在于，包括：

获取模块，用于获取日志信息中的操作信息；

转换模块，用于通过转换工具根据所述操作信息生成对应格式的目标语句。

10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至8中任意一项所述的方法。

11.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至8中任意一项所述的方法。