CN114817245A - 数据库日志的存储方法、数据库日志的分析方法及装置 - Google Patents
数据库日志的存储方法、数据库日志的分析方法及装置 Download PDFInfo
- Publication number
- CN114817245A CN114817245A CN202210343130.XA CN202210343130A CN114817245A CN 114817245 A CN114817245 A CN 114817245A CN 202210343130 A CN202210343130 A CN 202210343130A CN 114817245 A CN114817245 A CN 114817245A
- Authority
- CN
- China
- Prior art keywords
- log
- database
- write
- information
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000007405 data analysis Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008676 import Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- HRANPRDGABOKNQ-ORGXEYTDSA-N (1r,3r,3as,3br,7ar,8as,8bs,8cs,10as)-1-acetyl-5-chloro-3-hydroxy-8b,10a-dimethyl-7-oxo-1,2,3,3a,3b,7,7a,8,8a,8b,8c,9,10,10a-tetradecahydrocyclopenta[a]cyclopropa[g]phenanthren-1-yl acetate Chemical compound C1=C(Cl)C2=CC(=O)[C@@H]3C[C@@H]3[C@]2(C)[C@@H]2[C@@H]1[C@@H]1[C@H](O)C[C@@](C(C)=O)(OC(=O)C)[C@@]1(C)CC2 HRANPRDGABOKNQ-ORGXEYTDSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供了一种数据库日志的存储方法、数据库日志的分析方法及装置，该方法包括：获取所述数据库的即时日志信息；执行第一写入操作，用以将所述即时日志信息写入在所述数据库中预先建立的系统日志表中。
Description
技术领域
本说明书一个或多个实施例涉及数据库领域，尤其涉及数据库日志的存储方法、数据库日志的分析方法及装置。
背景技术
数据库系统是当前很多行业，例如金融、商业、交通等行业信息化的基础设施，数据库系统的性能是这些行业可以有效向用户提供正常服务的保障。数据库系统在运行中，通常会产生大量的，用于记录数据库系统运行中，发生的例如事件和操作的数据库日志。基于这些日志可以对数据库运行的状况进行分析。目前，对数据库日志进行存储和分析的方案，通常需要消耗较多的计算资源，从而可能导致数据库系统的性能的下降。
因此，为了降低对数据库日志进行存储和分析的资源开销，需要一种新的数据库日志的存储方法，以及其对应的数据库日志的分析方法。
发明内容
本说明书中的实施例旨在提供一种新的数据库日志的存储方法、数据库日志的分析方法及装置，通过该方法可以将数据库系统运行中产生的数据库日志，保存在数据库本身预建的日志数据表中。然后，可以通过直接访问日志数据表，对数据库日志进行查询和分析。从而，可以减少在进行数据库日志存储和分析过程中，由于将数据库日志保存到磁盘存储文件中，再从磁盘文件中读取、解析并装载到外部日志分析系统带来的，大量外部文件访问消耗和文件解析消耗，解决现有技术中的不足。
根据第一方面,提供了一种数据库日志的存储方法，包括：
获取所述数据库的即时日志信息；
执行第一写入操作，用以将所述即时日志信息写入在所述数据库中预先建立的系统日志表中。
在一种可能的实施方式中，所述方法还包括：
若所述第一写入操作执行失败，执行第二写入操作，用以将所述即时日志信息写入文本形式的日志文件。
在一种可能的实施方式中，所述方法还包括：
在预定的时间范围内，读取所述日志文件中保存的日志文本；
执行第三写入操作，用以将所述日志文本解析并写入所述系统日志表中。
在一种可能的实施方式中，所述方法还包括：在所述第三写入操作执行成功的情况下，删除所述日志文件。
在一种可能的实施方式中，所述预先建立的系统日志表，为所述数据库首次初始化时建立。
在一种可能的实施方式中，所述系统日志表的字段包括：日志产生时间、数据库线程号、TraceID、数据库模块名称、日志相关代码位置、日志消息、详细信息中的一种或多种。
在一种可能的实施方式中，所述系统日志表为SSTable表。
第二方面，提供一种数据库日志的分析方法，包括：
从第一方面所述的系统日志表中，读取日志信息；
根据所述日志信息，进行预定类型的日志分析。
在一种可能的实施方式中，所述根据所述日志信息，进行预定类型的日志分析，包括：
通过预先设置的SQL语句集，根据所述日志信息，进行预定类型的日志分析。
第二方面，提供一种数据库日志的存储装置，包括：
日志信息获取单元，配置为，获取所述数据库的即时日志信息；
日志保存单元，配置为，执行第一写入操作，用以将所述即时日志信息写入在所述数据库中预先建立的系统日志表中。
在一种可能的实施方式中，日志保存单元，进一步配置为：
若所述第一写入操作执行失败，执行第二写入操作，用以将所述即时日志信息写入文本形式的日志文件。
在一种可能的实施方式中，日志保存单元，进一步配置为：
在预定的时间范围内，读取所述日志文件中保存的日志文本；
执行第三写入操作，用以将所述日志文本解析并写入所述系统日志表中。
在一种可能的实施方式中，日志保存单元，进一步配置为：在所述第三写入操作执行成功的情况下，删除所述日志文件。
在一种可能的实施方式中，所述预先建立的系统日志表，为所述数据库首次初始化时建立。
在一种可能的实施方式中，所述系统日志表的字段包括：日志产生时间、数据库线程号、TraceID、数据库模块名称、日志相关代码位置、日志消息、详细信息中的一种或多种。
在一种可能的实施方式中，所述系统日志表为SSTable表。
第四方面，提供一种数据库日志的分析装置，包括：
日志提取单元，配置为，从权利要求1中所述的系统日志表中，读取日志信息；
日志分析单元，配置为，根据所述日志信息，进行预定类型的日志分析。
在一种可能的实施方式中，日志分析单元，进一步配置为，
通过预先设置的SQL语句集，根据所述日志信息，进行预定类型的日志分析。
根据第五方面,提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一、第二方面所述的方法。
根据第六方面,提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一、第二方面所述的方法。
利用以上各个方面中的方法、装置、计算设备、存储介质中的一个或多个，可以大大减少数据库日志保存或分析的过程中，产生的外部文件访问消耗和/或外部文件解析消耗。
附图说明
为了更清楚说明本发明实施例的技术方案，下面将对实施例描述中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出常规的数据库日志的存储方法的原理示意图；
图2示出根据本说明书实施例的一种数据库日志的存储方法的原理示意图；
图3示出根据本说明书实施例的一种数据库日志的存储方法的流程图；
图4示出根据本说明书实施例的一种数据库日志的分析方法的流程图；
图5示出根据本说明书实施例的一种数据库日志的存储装置的结构图；
图6示出根据本说明书实施例的一种数据库日志的分析装置的结构图。
具体实施方式
下面将结合附图，对本发明书提供的方案进行描述。
如前所述，当前数据库系统是很多行业，例如金融、商业、交通等行业信息化的基础设施，数据库系统的性能是这些行业可以有效向用户提供正常服务的保障。现在的数据库系统，在运行中通常会产生大量的、用于记录数据库系统运行中发生的例如事件和操作的数据库日志。这些数据库日志，通常会存放在存储介质（例如磁盘）中的日志文件中，以便后期根据这些数据库日志，进行各种类型的日志分析，例如查询语句执行状况分析、数据库运行错误或警告分析、系统运行状态分析等。
图1示出常规的数据库日志的存储方法的原理示意图。如图1所示，为现有的对于数据库日志进行存储和分析的技术方案。通常，是将各种数据库组件产生的各种类型的日志信息，写入文本形式的、并存放在存储介质（例如磁盘）中的日志文件。在不同的实施例中，可以采用不同的具体机制将日志写入上述日志文本文件。例如，在一个实施例中，可以将日志信息先放入内存中的缓冲区，在日志信息填满缓冲区时，再将其写入文本文件中。其后，在希望进行日志分析时，可以通过外部日志采集组件读取这些文本文件，并对文本文件进行解析，获取其中日志信息后并将其导入外部的日志分析系统，然后基于日志分析系统，进行各种类型的日志分析。
这种方案存在的问题在于：一方面，主要通过文本文件存储日志，但是文本文件通常体积较大，尤其在日志数据量较大时，存储成本较高。另一方面，主要通过外部日志分析系统分析日志，并依赖外部日志采集组件从文本文件中读取、解析日志信息，并将其导入日志分析系统，过程中存在日志导入和解析的开销，并且外部依赖（外部日志采集组件和外部日志分析系统）的存在增加了系统维护代价。此外，需要注意的，对于数据库的实际应用而言，通常难以基于文本文件本身，进行高效的日志分析。其主要原因在于，基于文本文件难以进行大规模（数据库日志通常数量很大）、或者较复杂（例如进行多维度的数据分析）的数据分析，其计算效率较差，消耗的计算资源（例如内存）也很大，因此往往是实际应用中难以承受的。
为了解决上述技术问题，本说明书实施例提供了一种数据库日志的存储方法。图2示出根据本说明书实施例的一种数据库日志的存储方法的原理示意图。如图2所示，在该实施例的存储方案中，将各种数据库组件产生的各种类型的日志信息，写入数据库中预先建立的、用于保存日志的日志表中。在不同的实施例中，日志信息的收集和写入数据表，也可以具有不同的具体机制。例如，在一个实施例中，也可以将日志信息先放入内存中的缓冲区，当日志信息填满缓冲区时，将其写入日志表中。在将当前缓冲区中的日志信息均写入日志表后，可以清空缓存区，使其可以接受后续的日志信息。此后，在希望进行不同具体类型（例如，数据库运行状态分析、运行警报或运行错误分析等）的日志分析时，可以通过数据库中本身具有的数据查询和数据分析功能（例如，可以通过数据库系统支持的单条查询语句进行数据查询，还可以通过包括SQL语句集合的SQL程序或存储过程，进行复杂数据查询和复杂数据分析），根据日志表中保存的日志信息，进行不同具体类型的日志分析。
该方法具有如下优点：一方面，将数据库系统产生的日志信息直接存放在数据库自身的数据表中，避免了对外部组件（外部文件访问组件）的依赖，降低运维复杂度和日志输出导入的开销。第二方面，还可以利用数据库自身的压缩能力，对日志数据表进行压缩，大幅降低了系统日志的存储成本。第三方面，可以方便利用数据库本身的数据查询和分析功能，对日志数据表中的日志信息进行查询和分析，而无须依赖外部日志分析系统，进一步避免了对外部组件（外部日志分析系统）的依赖，降低运维复杂度和日志输出导入的开销。
下面进一步阐述该方法的详细过程。图3示出根据本说明书实施例的一种数据库日志的存储方法的流程图。如图3所述，该方法至少包括如下步骤：
步骤31，获取数据库的即时日志信息；
步骤32，执行第一写入操作，用以将即时日志信息写入在数据库中预先建立的系统日志表中。
首先，在步骤31，获取数据库的即时日志信息。在不同的实施例中，所述数据库可以是不同具体类型的数据库，本说明书对此不做限制。在一个实施例中，所述数据库可以为关系型数据系统。在另一个实施例中，所述数据库可以为分布式关系型数据系统。
即时日志信息，是指数据库系统实时产生的日志信息，这些日志信息例如可以包括数据库系统当前时刻（或时间区间）的运行状态信息、SQL（Structured Query Language，结构化查询语言）语句执行信息，事务执行信息、系统错误（ERROR）或警告（WARN）信息等等。在不同的实施例中，可以产生不同类型的日志信息。并且，通常不同的类型的数据库中，可以具有产生数据库日志的不同内部组件。例如，例如，在一个实施例中，所述内部组件可以是存储管理组件、查询及优化组件、内存和存储同步组件、元数据管理组件、集群状态检测组件、容错和故障恢复组件、数据备份与恢复组件、资源隔离组件、权限管理组件、数据访问接口组件中的一种或多种。本说明书，对于获取的何种具体数据库的何种具体类型即时日志信息，或由何种具体数据库组件产生，均不做限制。
这些产生的日志信息，在不同的实施例中，可以用于不同的具体目的，例如数据库运行状态分析、查询语句执行状态分析、事务执行状况分析，或用于数据恢复等。本说明书对于获取的何种具体类型的即时日志信息，不做限制。
在不同的实施例中，可以通过不同的具体方式，获取即时日志信息。例如，在一个实施例中，可以从即时日志信息产生的具体的数据库组件获取。在一个实施例中，产生即时日志信息的数据库组件，将其产生的即时日志信息先放入内存中的缓冲区。因此，例如当缓冲区被填满时，可以从缓冲区中获取其中的即时日志信息。
在获取即时日志信息之后，在步骤32，执行第一写入操作，用以将所述即时日志信息写入在所述数据库中预先建立的系统日志表中。
表（TABLE，或称数据表），是数据库中用来存储数据的对象，是有结构的数据的集合。该步骤中，预先建立的系统日志表，即预先在所述数据库中建立的用于结构化保存即时日志信息的数据表。在不同的实施例中，系统日志表可以具有不同的具体表结构。例如，在一个实施例中，所述系统日志表中的字段可以包括：日志产生时间、数据库线程号、TraceID、数据库模块名称、日志相关代码位置、日志消息、详细信息中的一种或多种。
预先建立的系统日志表，可以具有不同的建立方式。在一个实施例中，所述预先建立的系统日志表，可以为所述数据库首次初始化时建立。具体的，例如可以通过数据库首次初始化时，通过执行一条建表语句或存储过程创建所述系统日志表。
如上所述，在不同的实施例中，可以采用不同具体类型的数据库，而不同类型的数据库可以支持不同具体类型的数据表。因此，在不同的实施例中，可以根据其具体采用的数据库，确定所述系统日志表为何种具体类型的数据表。在一个实施例中，系统日志表可以为SSTable表。在一个具体的例子中，还可以进一步，利用对于SSTable的压缩机制，对系统日志表进行压缩，降低系统日志表所消耗的存储空间，进一步减少数据库的存储成本。而相对于传统的将数据库日志保存在文本文件中的方案，更加可以大大减少保存数据库日志所消耗的存储空间。
在实际生产场景中，对于数据库中的数据表的写入，存在因系统运行中的异常而导致执行失败的可能性，例如因为数据表写入缓冲区当前已满、或数据表的目标分区当前不可用，而导致的数据表写入失败。为了在写入系统日志表失败时，不丢失即时日志信息，可以在这种情况下，先将即时日志信息保存到磁盘文件中，例如在磁盘文本文件中暂时保存。因此，在一个实施例中，若所述第一写入操作执行失败，可以执行第二写入操作，用以将所述即时日志信息写入文本形式的日志文件。然后，在运行异常恢复后，例如在上述写入缓冲区清空或目标分区恢复可用后，则可以将磁盘文本文件中暂时保存的日志信息，再写入系统日志表中，从而保证系统日志表中可以存储全量数据库日志。在不确定异常是否恢复的情况下，可以以定时轮询的方式，对系统日志表进行该写入操作，直至写入成功。因此，在一个实施例中，可以在预定的时间范围内，读取所述日志文件中保存的日志文本；执行第三写入操作，用以将所述日志文本解析并写入所述系统日志表中。在一个具体实施例中，可以在所述第三写入操作执行成功的情况下，删除所述日志文件。
根据另一方面的实施例，还提供一种数据库日志的分析方法。图4示出根据本说明书实施例的一种数据库日志的分析方法的流程图，如图4所示，该方法至少包括如下步骤：
在步骤41，从上述的系统日志表中，读取日志信息；
该步骤中系统日志表和日志信息，即步骤31中所述的系统日志表和保存到其中的即时日志信息，详细说明参见对于步骤41的描述，在此不再赘述。
在步骤42，根据所述日志信息，进行预定类型的日志分析。
在不同的实施例中，可以根据不同的具体日志信息，进行不同具体类型的日志分析，本说明书对此不作限定。在一个实施例中，例如可以是SQL语句执行状况分析、数据库运行错误或警告分析、系统运行状态分析、事务执行状况分析中的一种或多种。
在不同的实施例中，可以通过数据库中本身具有的不同的具体数据查询和数据分析功能进行日志分析。在一个实施例中，可以通过数据库系统支持的查询语句进行数据查询和分析。在另一个实施例中，还可以通过包括SQL语句集合的SQL程序或存储过程，进行复杂数据查询和复杂数据分析。因此，在一个具体的实施例中，可以通过预先设置的SQL语句集，根据所述日志信息，进行预定类型的日志分析。
综上所述，本说明书实施例提供的数据库日志的存储方法、以及其对应的数据库日志的分析方法，其优点的本质在于：将数据库系统产生的日志信息直接存放在数据库自身的数据表中，从而可以利用数据库系统本身支持的高效存储和数据分析能力，降低数据库日志的存储成本，以及降低数据库日志分析的外部组件依赖，进而降低运维复杂度和数据输出导入外部组件的运行开销。
根据另一方面的实施例，还提供一种数据库日志的存储装置。图5示出根据本说明书实施例的一种数据库日志的存储装置的结构图，如图5所示，该装置500包括：
日志信息获取单元51，配置为，获取所述数据库的即时日志信息；
日志保存单元52，配置为，执行第一写入操作，用以将所述即时日志信息写入在所述数据库中预先建立的系统日志表中。
在一个实施例中，日志保存单元，可以进一步配置为：
若所述第一写入操作执行失败，执行第二写入操作，用以将所述即时日志信息写入文本形式的日志文件。
在一个实施例中，日志保存单元，可以进一步配置为：
在预定的时间范围内，读取所述日志文件中保存的日志文本；
执行第三写入操作，用以将所述日志文本解析并写入所述系统日志表中。
在一个实施例中，日志保存单元，可以进一步配置为：在所述第三写入操作执行成功的情况下，删除所述日志文件。
在一个实施例中，所述预先建立的系统日志表，可以为所述数据库首次初始化时建立。
在一个实施例中，所述系统日志表的字段可以包括：日志产生时间、数据库线程号、TraceID、数据库模块名称、日志相关代码位置、日志消息、详细信息中的一种或多种。
在一个实施例中，所述系统日志表可以为SSTable表。
根据另一方面的实施例，还提供一种数据库日志的分析装置。图6示出根据本说明书实施例的一种数据库日志的分析装置的结构图，如图6所示，该装置600包括：
日志提取单元61，配置为，从权利要求1中所述的系统日志表中，读取日志信息；
日志分析单元62，配置为，根据所述日志信息，进行预定类型的日志分析。
在一个实施例中，日志分析单元，可以进一步配置为，
通过预先设置的SQL语句集，根据所述日志信息，进行预定类型的日志分析。
本说明书又一方面提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项方法。
本说明书再一方面提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项方法。
需要理解，本文中的“第一”，“第二”等描述，仅仅为了描述的简单而对相似概念进行区分，并不具有其他限定作用。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (20)
1.一种数据库日志的存储方法，包括：
获取所述数据库的即时日志信息；
执行第一写入操作，用以将所述即时日志信息写入在所述数据库中预先建立的系统日志表中。
2.根据权利要求1所述的方法，还包括：
若所述第一写入操作执行失败，执行第二写入操作，用以将所述即时日志信息写入文本形式的日志文件。
3.根据权利要求2所述的方法，还包括：
在预定的时间范围内，读取所述日志文件中保存的日志文本；
执行第三写入操作，用以将所述日志文本解析并写入所述系统日志表中。
4.根据权利要求3所述的方法，还包括：在所述第三写入操作执行成功的情况下，删除所述日志文件。
5.根据权利要求1所述的方法，其中，
所述预先建立的系统日志表，为所述数据库首次初始化时建立。
6.根据权利要求1所述的方法，其中，所述系统日志表的字段包括：日志产生时间、数据库线程号、TraceID、数据库模块名称、日志相关代码位置、日志消息、详细信息中的一种或多种。
7.根据权利要求1所述的方法，其中，所述系统日志表为SSTable表。
8.一种数据库日志的分析方法，包括：
从权利要求1中所述的系统日志表中，读取日志信息；
根据所述日志信息，进行预定类型的日志分析。
9.根据权利要求8所述的方法，其中，所述根据所述日志信息，进行预定类型的日志分析，包括：
通过预先设置的SQL语句集，根据所述日志信息，进行预定类型的日志分析。
10.一种数据库日志的存储装置，包括：
日志信息获取单元，配置为，获取所述数据库的即时日志信息；
日志保存单元，配置为，执行第一写入操作，用以将所述即时日志信息写入在所述数据库中预先建立的系统日志表中。
11.根据权利要求10所述的装置，其中，日志保存单元，进一步配置为：
若所述第一写入操作执行失败，执行第二写入操作，用以将所述即时日志信息写入文本形式的日志文件。
12.根据权利要求11所述的装置，其中，日志保存单元，进一步配置为：
在预定的时间范围内，读取所述日志文件中保存的日志文本；
执行第三写入操作，用以将所述日志文本解析并写入所述系统日志表中。
13.根据权利要求12所述的装置，其中，日志保存单元，进一步配置为：在所述第三写入操作执行成功的情况下，删除所述日志文件。
14.根据权利要求10所述的装置，其中，
所述预先建立的系统日志表，为所述数据库首次初始化时建立。
15.根据权利要求10所述的装置，其中，所述系统日志表的字段包括：日志产生时间、数据库线程号、TraceID、数据库模块名称、日志相关代码位置、日志消息、详细信息中的一种或多种。
16.根据权利要求10所述的装置，其中，所述系统日志表为SSTable表。
17.一种数据库日志的分析装置，包括：
日志提取单元，配置为，从权利要求1中所述的系统日志表中，读取日志信息；
日志分析单元，配置为，根据所述日志信息，进行预定类型的日志分析。
18.根据权利要求17所述的装置，其中，日志分析单元，进一步配置为，
通过预先设置的SQL语句集，根据所述日志信息，进行预定类型的日志分析。
19.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项的所述的方法。
20.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210343130.XA CN114817245A (zh) | 2022-04-02 | 2022-04-02 | 数据库日志的存储方法、数据库日志的分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210343130.XA CN114817245A (zh) | 2022-04-02 | 2022-04-02 | 数据库日志的存储方法、数据库日志的分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114817245A true CN114817245A (zh) | 2022-07-29 |
Family
ID=82532153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210343130.XA Pending CN114817245A (zh) | 2022-04-02 | 2022-04-02 | 数据库日志的存储方法、数据库日志的分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114817245A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106503264A (zh) * | 2016-11-29 | 2017-03-15 | 中国银行股份有限公司 | 基于oracle数据库的联机交易日志记录方法及设备 |
| CN109902094A (zh) * | 2019-01-24 | 2019-06-18 | 平安科技（深圳）有限公司 | 日志保存方法、装置及计算机可读存储介质 |
| CN110188081A (zh) * | 2019-04-22 | 2019-08-30 | 平安科技（深圳）有限公司 | 基于cassandra数据库的日志数据存储方法、装置和计算机设备 |
-
2022
- 2022-04-02 CN CN202210343130.XA patent/CN114817245A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106503264A (zh) * | 2016-11-29 | 2017-03-15 | 中国银行股份有限公司 | 基于oracle数据库的联机交易日志记录方法及设备 |
| CN109902094A (zh) * | 2019-01-24 | 2019-06-18 | 平安科技（深圳）有限公司 | 日志保存方法、装置及计算机可读存储介质 |
| CN110188081A (zh) * | 2019-04-22 | 2019-08-30 | 平安科技（深圳）有限公司 | 基于cassandra数据库的日志数据存储方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
| CN110442560B (zh) | 一种日志重演方法、装置、服务器和存储介质 | |
| CN112131237B (zh) | 数据同步方法、装置、设备及计算机可读介质 | |
| US20120246116A1 (en) | System and method for data replication between heterogeneous databases | |
| US8793288B2 (en) | Online access to database snapshots | |
| US20220245132A1 (en) | Transaction monitoring method, apparatus and system for distributed database, and storage medium | |
| CN113448938A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN110727548A (zh) | 一种基于数据库dml同步的持续数据保护方法及装置 | |
| JP2020057416A (ja) | 分散データベースにおけるデータブロックを処理する方法およびデバイス | |
| CN110737710A (zh) | 分布式数据自动结构化入库方法及系统 | |
| CN118467644B (zh) | SQL Server数据库事务日志分析DDL操作方法、装置、设备及介质 | |
| CN114490735A (zh) | 基于mpp与全文索引构建分布式olap数据分析的方法及装置 | |
| CN112765126B (zh) | 数据库事务的管理方法、装置、计算机设备和存储介质 | |
| CN116501700B (zh) | 一种app格式化文件离线存储方法、装置、设备及存储介质 | |
| CN109947828B (zh) | 一种处理报表数据的方法和装置 | |
| CN112711606A (zh) | 数据库访问方法、装置、计算机设备和存储介质 | |
| CN114817245A (zh) | 数据库日志的存储方法、数据库日志的分析方法及装置 | |
| CN112835887A (zh) | 数据库管理方法、装置、计算设备和存储介质 | |
| CN117112522A (zh) | 并发进程日志管理方法、装置、设备和存储介质 | |
| CN116414917A (zh) | 基于Myhouse数据库的数据传输方法、装置、设备及存储介质 | |
| CN114138746A (zh) | 数据库监控方法、装置、设备及存储介质 | |
| CN112612647B (zh) | 日志并行重演方法、装置、设备及存储介质 | |
| CN114896276A (zh) | 数据存储方法、装置、电子设备及分布式存储系统 | |
| CN117390040B (zh) | 基于实时宽表的业务请求处理方法、设备及存储介质 | |
| CN115544173B (zh) | 可线性扩展的分布式数据库 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |