CN111797104A - 数据变更情况的获取方法、装置及电子设备 - Google Patents
数据变更情况的获取方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111797104A CN111797104A CN202010538293.4A CN202010538293A CN111797104A CN 111797104 A CN111797104 A CN 111797104A CN 202010538293 A CN202010538293 A CN 202010538293A CN 111797104 A CN111797104 A CN 111797104A
- Authority
- CN
- China
- Prior art keywords
- database
- data
- log
- statement
- change record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011022 operating instruction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 201000006681 severe congenital neutropenia Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 125000000858 thiocyanato group Chemical group *SC#N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种数据变更情况的获取方法、装置及电子设备。该方法包括：获取数据库日志的解析结果，解析结果包括各数据库日志对应的数据库操作的数据库操作语句以及事务信息；基于事务信息，从数据库操作语句中确定目标数据操作语句；基于目标数据操作语句提取数据变更记录，以及数据变更记录对应的变更后数据。基于本方案，能够在确定出变更后数据的同时确定出数据变更记录，为基于数据变更记录进行用户行为分析提供了基础，有利于拓展数据平台的使用场景，满足了实际的使用需求。
Description
技术领域
本申请涉及数据处理技术领域，具体而言，本申请涉及一种数据变更情况的获取方法、装置及电子设备。
背景技术
随着大数据技术的快速发展，大数据在各领域也起到了越来越重要的作用。金融领域中存在着的海量的金融业务数据，金融交易系统的数据库(如Oracle数据库)中存在大量的数据变更，将金融系统内的变更数据提供给大数据平台，大数据平台可以通过变更数据分析出用户行为，金融系统就可以及时的对用户行为做出响应。
目前，多将Oracle数据库的数据库日志通过OGG(Oracle GoldenGate ForBigdata)进行解析，将解析结果同步到大数据平台。目前大数据平台仅对解析结果中的数据变更结果进行记录分析，但是在一些场景下，可能会需要基于数据变更记录进行对用户行为的分析，现有方式中由于无法确定出数据变更记录，也就无法应用数据变更记录进行分析处理，限制了大数据平台的使用，无法满足实际的使用需求。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一。本申请所采用的技术方案如下：
第一方面，本申请实施例提供了一种数据变更情况的获取方法，该方法包括：
获取数据库日志的解析结果，解析结果包括各数据库日志对应的数据库操作的数据库操作语句以及事务信息；
基于事务信息，从数据库操作语句中确定目标数据操作语句；
基于目标数据操作语句提取数据变更记录，以及数据变更记录对应的变更后数据。
可选地，获取数据库日志的解析结果，包括：
从Kafka服务器获取数据库日志的解析结果；由数据库服务器获取数据库日志并对数据库日志进行解析得到解析结果，和/或，由日志解析服务器从数据库服务器获取数据库日志并进行解析得到解析结果。
可选地，事务信息包括事务状态，基于事务信息，从数据库操作语句中确定目标数据操作语句，包括：
将事务状态为已提交的数据库操作对应的数据库操作语句中确定目标数据操作语句。
可选地，上述方法还包括：
对事务状态为未提交以及未回滚的待选数据库操作对应的数据库操作语句进行缓存，直至检测到待选数据库操作的事务状态发生改变。
可选地，上述方法还包括：
基于变更后数据确定当前数据，将变更记录与当前数据关联存储。
可选地，事务信息包括数据库操作的操作顺序，将变更记录与当前数据关联存储，包括：
若变更记录对应数据库操作的操作顺序在当前数据对应的数据库操作的操作顺序之后，则丢弃变更记录。
可选地，数据库操作的操作顺序通过数据库日志中的数据库操作顺序标识字段进行标识。
第二方面，本申请实施例提供了一种数据变更情况的获取装置，该装置包括：
解析结果获取模块，用于获取数据库日志的解析结果，解析结果包括各数据库日志对应的数据库操作的数据库操作语句以及事务信息；
目标数据操作语句确定模块，用于基于事务信息，从数据库操作语句中确定目标数据操作语句；
变更情况确定模块，用于基于目标数据操作语句提取数据变更记录，以及数据变更记录对应的变更后数据。
可选地，解析结果获取模块具体用于：
从Kafka服务器获取数据库日志的解析结果；由数据库服务器获取数据库日志并对数据库日志进行解析得到解析结果，和/或，由日志解析服务器从数据库服务器获取数据库日志并进行解析得到解析结果。
可选地，事务信息包括事务状态，目标数据操作语句确定模块具体用于：
将事务状态为已提交的数据库操作对应的数据库操作语句中确定目标数据操作语句。
可选地，上述装置还包括：
缓存模块，用于对事务状态为未提交以及未回滚的待选数据库操作对应的数据库操作语句进行缓存，直至检测到待选数据库操作的事务状态发生改变。
可选地，上述装置还包括：
变更情况存储模块，用于基于变更后数据确定当前数据，将变更记录与当前数据关联存储。
可选地，变更情况存储模块具体用于：
若变更记录对应数据库操作的操作顺序在当前数据对应的数据库操作的操作顺序之后，则丢弃变更记录。
可选地，数据库操作的操作顺序通过数据库日志中的数据库操作顺序标识字段进行标识。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器和存储器；
存储器，用于存储操作指令；
处理器，用于通过调用操作指令，执行如本申请的第一方面的任一实施方式中所示的数据变更情况的获取方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请的第一方面的任一实施方式中所示的数据变更情况的获取方法。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例提供的方案，通过获取数据库日志的解析结果，基于解析结果中的事务信息，从数据库操作语句中确定目标数据操作语句，并基于目标数据操作语句提取数据变更记录，以及数据变更记录对应的变更后数据。基于本方案，能够在确定出变更后数据的同时确定出数据变更记录，为基于数据变更记录进行用户行为分析提供了基础，有利于拓展数据平台的使用场景，满足了实际的使用需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种数据变更情况的获取方法的流程示意图；
图2为本申请实施例提供的一种数据变更情况的获取装置的结构示意图；
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1示出了本申请实施例提供的一种数据变更情况的获取方法的流程示意图，如图1所示，该方法主要可以包括：
步骤S110:获取数据库日志的解析结果，解析结果包括各数据库日志对应的数据库操作的数据库操作语句以及事务信息；
步骤S120:基于事务信息，从数据库操作语句中确定目标数据操作语句；
步骤S130:基于目标数据操作语句提取数据变更记录，以及数据变更记录对应的变更后数据。
本申请实施例中，上述方法可以应用Spark集群，Spark集群上可以部署有大数据平台。
本申请实施例中，数据库可以为oracle数据库。对oracle数据库日志的解析结果可以包括各数据库日志对应的数据库操作的数据库操作语句以及事务信息，日志的解析结果可以被写入Kafka服务器。
本申请实施例中，数据库操作语句可以包括插入(insert)语句、更新(update)语句以及删除(delete)语句等。事务信息可以包括事务状态，以及数据库操作的操作顺序信息，事务状态可以包括已提交(commit)、已回滚(rollback)等。操作顺序信息可以为系统改变号(System Change Number，SCN)等。
本申请实施例中，可以基于事务信息，确定出数据变更对应的数据库操作语句，即目标数据操作语句。可以基于目标数据操作语句提取数据变更记录，以及数据变更记录对应的变更后数据，以便将变更记录对应的变更后数据提供给大数据平台使用。
具体而言，对于insert语句，可以提取出表信息、字段信息以及具体取值，识别出新增记录的业务主键；对于delete语句可以提取出表信息，识别出要删除记录的业务主键；对于update语句可以确定是否更新了主键字段，如果没有更新主键字段则提取出被更新的字段、未更新的字段以及更新记录的业务主键，如果更新了主键字段，则需要将原语句转换为一条将原有主键记录逻辑失效的语句以及一条按照新业务主键insert的语句。通过提取上述信息，可以获知变更后数据以及数据变更记录。
本申请实施例提供的方法，通过获取数据库日志的解析结果，基于解析结果中的事务信息，从数据库操作语句中确定目标数据操作语句，并基于目标数据操作语句提取数据变更记录，以及数据变更记录对应的变更后数据。基于本方案，能够在确定出变更后数据的同时确定出数据变更记录，为基于数据变更记录进行用户行为分析提供了基础，有利于拓展数据平台的使用场景，满足了实际的使用需求。
本申请实施例的一种可选方式中，获取数据库日志的解析结果，包括：
从Kafka服务器获取数据库日志的解析结果；由数据库服务器获取数据库日志并对数据库日志进行解析得到解析结果，和/或，由日志解析服务器从数据库服务器获取数据库日志并进行解析得到解析结果。
本申请实施例，数据库日志的解析结果可以被写入Kafka服务器。
本申请实施例，数据库服务器即用于维护oracle数据库的服务器，可以从oracle数据库上对数据库日志中的重做日志(Redo Log)和归档日志(Archive Log)进行解析得到解析结构。
本申请实施例，日志解析服务器可以定期从oracle数据库获取数据库日志并进行解析，通过日志解析服务器对数据库日志进行解析，能够减少对oracle数据库的资源占用。
本申请实施例的一种可选方式中，事务信息包括事务状态，基于事务信息，从数据库操作语句中确定目标数据操作语句，包括：
将事务状态为已提交的数据库操作对应的数据库操作语句中确定目标数据操作语句。
本申请实施例中，事务状态为已提交、已回滚等，对于事务状态为已提交的数据库操作，可以认为该数据库操作已生效，可以将其对应数据库操作语句中确定目标数据操作语句，用于提取数据的变更情况。
对于事务状态为已回滚的数据库操作，可以认为该数据库操作已被回退，可以忽略该数据库操作语句。
在实际使用中，可以将各数据库操作对应的SCN存储于redis中。
本申请实施例的一种可选方式中，上述方法还包括：
对事务状态为未提交以及未回滚的待选数据库操作对应的数据库操作语句进行缓存，直至检测到待选数据库操作的事务状态发生改变。
本申请实施例中，对于事务状态为未提交以及未回滚的待选数据库操作，即未接收到其对应的commit或者rollback语句，可以认为是由于从Kafka服务器读取的消息不一定完全有序，导致待选数据库操作的commit或者rollback语句尚未到达，这时可以将待选数据库操作对应的数据库操作语句缓存至redis中，待对应的commit或者rollback语句到达后再进行处理。
本申请实施例的一种可选方式中，上述方法还包括：
基于变更后数据确定当前数据，将变更记录与当前数据关联存储。
本申请实施例中，可以将变更记录与当前数据关联存储，具体而言，可以在HBase中维护用于保存变更记录的修改明细表以及用于保存当前数据的快照表。
本申请实施例中，事务信息包括数据库操作的操作顺序，将变更记录与当前数据关联存储，包括：
若变更记录对应数据库操作的操作顺序在当前数据对应的数据库操作的操作顺序之后，则丢弃变更记录。
本申请实施例中，可以在数据库日志中新增数据库操作顺序标识字段，用于表示数据库操作的操作顺序。
在实际使用中，可能存在网络抖动导致先发生的变更记录在后发生的变更记录之后被处理，这时在快照表中更新当前数据是无意义的，因此可以变更记录对应数据库操作的操作顺序与当前数据对应的数据库操作的操作顺序进行比较，当变更记录对应数据库操作的操作顺序在当前数据对应的数据库操作的操作顺序之后时，可以丢弃变更记录。
基于与图1中所示的方法相同的原理，图2示出了本申请实施例提供的一种数据变更情况的获取装置的结构示意图，如图2所示，该数据变更情况的获取装置20可以包括：
解析结果获取模块210，用于获取数据库日志的解析结果，解析结果包括各数据库日志对应的数据库操作的数据库操作语句以及事务信息；
目标数据操作语句确定模块220，用于基于事务信息，从数据库操作语句中确定目标数据操作语句；
变更情况确定模块230，用于基于目标数据操作语句提取数据变更记录，以及数据变更记录对应的变更后数据。
本申请实施例提供的装置，通过获取数据库日志的解析结果，基于解析结果中的事务信息，从数据库操作语句中确定目标数据操作语句，并基于目标数据操作语句提取数据变更记录，以及数据变更记录对应的变更后数据。基于本方案，能够在确定出变更后数据的同时确定出数据变更记录，为基于数据变更记录进行用户行为分析提供了基础，有利于拓展数据平台的使用场景，满足了实际的使用需求。
可选地，解析结果获取模块具体用于：
从Kafka服务器获取数据库日志的解析结果；由数据库服务器获取数据库日志并对数据库日志进行解析得到解析结果，和/或，由日志解析服务器从数据库服务器获取数据库日志并进行解析得到解析结果。
可选地，事务信息包括事务状态，目标数据操作语句确定模块具体用于：
将事务状态为已提交的数据库操作对应的数据库操作语句中确定目标数据操作语句。
可选地，上述装置还包括：
缓存模块，用于对事务状态为未提交以及未回滚的待选数据库操作对应的数据库操作语句进行缓存，直至检测到待选数据库操作的事务状态发生改变。
可选地，上述装置还包括：
变更情况存储模块，用于基于变更后数据确定当前数据，将变更记录与当前数据关联存储。
可选地，变更情况存储模块具体用于：
若变更记录对应数据库操作的操作顺序在当前数据对应的数据库操作的操作顺序之后，则丢弃变更记录。
可选地，数据库操作的操作顺序通过数据库日志中的数据库操作顺序标识字段进行标识。
可以理解的是，本实施例中的数据变更情况的获取装置的上述各模块具有实现图1中所示的实施例中的数据变更情况的获取方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述数据变更情况的获取装置的各模块的功能描述具体可以参见图1中所示实施例中的数据变更情况的获取方法的对应描述，在此不再赘述。
本申请实施例提供了一种电子设备，包括处理器和存储器；
存储器，用于存储操作指令；
处理器，用于通过调用操作指令，执行本申请任一实施方式中所提供的数据变更情况的获取方法。
作为一个示例，图3示出了本申请实施例所适用的一种电子设备的结构示意图，如图3所示，该电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相连，如通过总线2002相连。可选的，电子设备2000还可以包括收发器2004。需要说明的是，实际应用中收发器2004不限于一个，该电子设备2000的结构并不构成对本申请实施例的限定。
其中，处理器2001应用于本申请实施例中，用于实现上述方法实施例所示的方法。收发器2004可以包括接收机和发射机，收发器2004应用于本申请实施例中，用于执行时实现本申请实施例的电子设备与其他设备通信的功能。
处理器2001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
可选的，存储器2003用于存储执行本申请方案的应用程序代码，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码，以实现本申请任一实施方式中所提供的数据变更情况的获取方法。
本申请实施例提供的电子设备，适用于上述方法任一实施例，在此不再赘述。
本申请实施例提供了一种电子设备，与现有技术相比，通过获取数据库日志的解析结果，基于解析结果中的事务信息，从数据库操作语句中确定目标数据操作语句，并基于目标数据操作语句提取数据变更记录，以及数据变更记录对应的变更后数据。基于本方案，能够在确定出变更后数据的同时确定出数据变更记录，为基于数据变更记录进行用户行为分析提供了基础，有利于拓展数据平台的使用场景，满足了实际的使用需求。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述方法实施例所示的数据变更情况的获取方法。
本申请实施例提供的计算机可读存储介质，适用于上述方法任一实施例，在此不再赘述。
本申请实施例提供了一种计算机可读存储介质，与现有技术相比，通过获取数据库日志的解析结果，基于解析结果中的事务信息，从数据库操作语句中确定目标数据操作语句，并基于目标数据操作语句提取数据变更记录，以及数据变更记录对应的变更后数据。基于本方案，能够在确定出变更后数据的同时确定出数据变更记录，为基于数据变更记录进行用户行为分析提供了基础，有利于拓展数据平台的使用场景，满足了实际的使用需求。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据变更情况的获取方法，其特征在于，包括：
获取数据库日志的解析结果，所述解析结果包括各数据库日志对应的数据库操作的数据库操作语句以及事务信息；
基于所述事务信息，从所述数据库操作语句中确定目标数据操作语句；
基于所述目标数据操作语句提取数据变更记录，以及所述数据变更记录对应的变更后数据。
2.根据权利要求1所述的方法，其特征在于，所述获取数据库日志的解析结果，包括：
从Kafka服务器获取数据库日志的解析结果；由数据库服务器获取数据库日志并对所述数据库日志进行解析得到所述解析结果，和/或，由日志解析服务器从所述数据库服务器获取所述数据库日志并进行解析得到所述解析结果。
3.根据权利要求1所述的方法，其特征在于，所述事务信息包括事务状态，所述基于所述事务信息，从所述数据库操作语句中确定目标数据操作语句，包括：
将事务状态为已提交的数据库操作对应的数据库操作语句中确定目标数据操作语句。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
对事务状态为未提交以及未回滚的待选数据库操作对应的数据库操作语句进行缓存，直至检测到所述待选数据库操作的事务状态发生改变。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
基于所述变更后数据确定当前数据，将所述变更记录与所述当前数据关联存储。
6.根据权利要求5所述的方法，其特征在于，所述事务信息包括所述数据库操作的操作顺序，所述将所述变更记录与所述当前数据关联存储，包括：
若所述变更记录对应数据库操作的操作顺序在所述当前数据对应的数据库操作的操作顺序之后，则丢弃所述变更记录。
7.根据权利要求6所述的方法，其特征在于，所述数据库操作的操作顺序通过所述数据库日志中的数据库操作顺序标识字段进行标识。
8.一种数据变更情况的获取装置，其特征在于，包括：
解析结果获取模块，用于获取数据库日志的解析结果，所述解析结果包括各数据库日志对应的数据库操作的数据库操作语句以及事务信息；
目标数据操作语句确定模块，用于基于所述事务信息，从所述数据库操作语句中确定目标数据操作语句；
变更情况确定模块，用于基于所述目标数据操作语句提取数据变更记录，以及所述数据变更记录对应的变更后数据。
9.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010538293.4A CN111797104A (zh) | 2020-06-12 | 2020-06-12 | 数据变更情况的获取方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010538293.4A CN111797104A (zh) | 2020-06-12 | 2020-06-12 | 数据变更情况的获取方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111797104A true CN111797104A (zh) | 2020-10-20 |
Family
ID=72804434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010538293.4A Pending CN111797104A (zh) | 2020-06-12 | 2020-06-12 | 数据变更情况的获取方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111797104A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113254461A (zh) * | 2021-02-07 | 2021-08-13 | 浪潮云信息技术股份公司 | 一种基于nifi的实现数据库同步的优化方法及系统 |
| CN113535687A (zh) * | 2021-07-29 | 2021-10-22 | 北京互金新融科技有限公司 | 数据变量管理方法、装置、计算机可读存储介质及处理器 |
| CN114816247A (zh) * | 2022-04-13 | 2022-07-29 | 阿里云计算有限公司 | 一种逻辑数据获取方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156720A (zh) * | 2011-03-28 | 2011-08-17 | 中国人民解放军国防科学技术大学 | 一种数据恢复的方法、装置和系统 |
| CN107341212A (zh) * | 2017-06-26 | 2017-11-10 | 努比亚技术有限公司 | 一种缓存更新方法及设备 |
| CN109033186A (zh) * | 2018-06-27 | 2018-12-18 | 东软集团股份有限公司 | 数据一致性检测方法、装置、存储介质及电子设备 |
| CN110321387A (zh) * | 2019-07-10 | 2019-10-11 | 中国联合网络通信集团有限公司 | 数据同步方法、设备及终端设备 |
| KR20200056357A (ko) * | 2020-03-17 | 2020-05-22 | 주식회사 실크로드소프트 | 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법 |
-
2020
- 2020-06-12 CN CN202010538293.4A patent/CN111797104A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156720A (zh) * | 2011-03-28 | 2011-08-17 | 中国人民解放军国防科学技术大学 | 一种数据恢复的方法、装置和系统 |
| CN107341212A (zh) * | 2017-06-26 | 2017-11-10 | 努比亚技术有限公司 | 一种缓存更新方法及设备 |
| CN109033186A (zh) * | 2018-06-27 | 2018-12-18 | 东软集团股份有限公司 | 数据一致性检测方法、装置、存储介质及电子设备 |
| CN110321387A (zh) * | 2019-07-10 | 2019-10-11 | 中国联合网络通信集团有限公司 | 数据同步方法、设备及终端设备 |
| KR20200056357A (ko) * | 2020-03-17 | 2020-05-22 | 주식회사 실크로드소프트 | 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113254461A (zh) * | 2021-02-07 | 2021-08-13 | 浪潮云信息技术股份公司 | 一种基于nifi的实现数据库同步的优化方法及系统 |
| CN113535687A (zh) * | 2021-07-29 | 2021-10-22 | 北京互金新融科技有限公司 | 数据变量管理方法、装置、计算机可读存储介质及处理器 |
| CN113535687B (zh) * | 2021-07-29 | 2024-01-26 | 北京互金新融科技有限公司 | 数据变量管理方法、装置、计算机可读存储介质及处理器 |
| CN114816247A (zh) * | 2022-04-13 | 2022-07-29 | 阿里云计算有限公司 | 一种逻辑数据获取方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109034993B (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
| CN111797104A (zh) | 数据变更情况的获取方法、装置及电子设备 | |
| CN110569214B (zh) | 用于日志文件的索引构建方法、装置及电子设备 | |
| CN108063759B (zh) | Web漏洞扫描方法 | |
| CN111159413A (zh) | 日志聚类方法、装置、设备及存储介质 | |
| CN111078513A (zh) | 日志处理方法、装置、设备、存储介质及日志告警系统 | |
| CN107357794B (zh) | 优化键值数据库的数据存储结构的方法和装置 | |
| CN111338692A (zh) | 基于漏洞代码的漏洞分类方法、装置及电子设备 | |
| CN111046007B (zh) | 管理存储系统的方法、装置和计算机程序产品 | |
| CN114647853A (zh) | 提高分布式应用程序漏洞检测准确性的方法及系统 | |
| CN107920067B (zh) | 一种主动对象存储系统上的入侵检测方法 | |
| CN116074183B (zh) | 一种基于规则引擎的c3超时分析方法、装置及设备 | |
| CN109992708B (zh) | 一种元数据查询的方法、装置、设备以及存储介质 | |
| CN111949725A (zh) | 数据的查询方法、装置、电子设备及计算机可读存储介质 | |
| CN111026736A (zh) | 数据血缘管理方法及装置、数据血缘解析方法及装置 | |
| CN109343985B (zh) | 一种数据处理方法、装置及存储介质 | |
| CN110727666A (zh) | 面向工业互联网平台的缓存组件、方法、设备及存储介质 | |
| CN116450176A (zh) | 版本更新方法、装置、电子设备及存储介质 | |
| CN117631955A (zh) | 数据缩减方法、装置及系统 | |
| CN114896641A (zh) | 数据校验方法、装置、电子设备及计算机可读存储介质 | |
| CN110515803B (zh) | 针对日志消息的处理方法、装置以及电子设备 | |
| CN114077532A (zh) | 一种sql语句执行效率检测方法及装置 | |
| CN112181825A (zh) | 测试案例库构建方法、装置、电子设备及介质 | |
| CN111367992B (zh) | 一种数据处理方法及装置，计算机存储介质和电子设备 | |
| CN113419792A (zh) | 一种事件处理方法、装置、终端设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220907 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Applicant after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |