CN111858516A - 数据处理方法及装置 - Google Patents
数据处理方法及装置 Download PDFInfo
- Publication number
- CN111858516A CN111858516A CN201910363333.3A CN201910363333A CN111858516A CN 111858516 A CN111858516 A CN 111858516A CN 201910363333 A CN201910363333 A CN 201910363333A CN 111858516 A CN111858516 A CN 111858516A
- Authority
- CN
- China
- Prior art keywords
- data
- target data
- replay
- target
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 165
- 239000000872 buffer Substances 0.000 claims abstract description 163
- 238000000034 method Methods 0.000 claims abstract description 119
- 230000001680 brushing effect Effects 0.000 claims description 8
- 230000008439 repair process Effects 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 36
- 230000010076 replication Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 238000007726 management method Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Abstract
本申请公开了一种数据处理方法及装置，该方法包括：获得目标事务日志；在重放区域中对目标事务日志进行重放处理，获得目标数据，重放区域用于存储对事务日志进行重放处理后得到的数据。通过使用该方法，可避免在共享缓冲区中生成大量不被查询的、且占用共享缓冲区的存储空间的数据页，提高数据库服务器的查询性能；并且，在重放区域对事务日志进行重放处理，使得共享缓冲区中的进程减少，降低对数据库服务器的性能影响。
Description
技术领域
本申请涉及计算机技术领域，具体涉及数据处理方法。本申请同时涉及数据处理装置以及电子设备。
背景技术
数据库集群服务需要考虑高可用和高性能，为了确保高可用，数据库集群大多采用一主多从架构。在一主多从的架构下，从数据库服务器要跟主数据库服务器保持数据同步。现有的数据同步方式一般通过物理复制完成，即，从数据库服务器通过共享缓冲区重放主数据库服务器的事务日志来保持数据同步。
然而，现有的主、从数据库服务器的物理复制方法存在以下不足：
在共享缓冲区中对事务日志进行重放处理，可在共享缓冲区中生成大量不被查询的数据页，占用共享缓冲区的存储空间，然而，共享缓冲区的空间是有限的，在共享缓冲区的存储空间达到下限时，需要多次执行数据页淘汰算法，并需要多次将数据页刷出到磁盘，会影响数据库服务器的查询性能；并且，由于数据库服务器运行时需要的隔离性和MVCC一致性，因此，在共享缓冲区中响应数据查询和对事务日志进行重放处理时需要加各种不同类型的锁，响应数据查询和对事务日志进行重放处理的进程越多，对数据库服务器的性能影响就会越大。
发明内容
本申请提供一种数据处理方法，以解决现有在共享缓冲区中对事务日志进行重放处理，影响数据库服务器的性能的问题。本申请另外提供一种数据处理装置以及一种电子设备。本申请还提供一种数据处理方法、一种数据处理装置以及一种电子设备。本申请还提供一种数据处理方法、一种数据处理装置以及一种电子设备。本申请另外提供一种数据处理方法、一种数据处理装置以及一种电子设备。
本申请提供一种数据处理方法，包括：
获得目标事务日志；
在重放区域中对所述目标事务日志进行重放处理，获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据。
可选的，所述目标事务日志记录有数据处理信息；
所述在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：
获得所述重放区域中的页面；
基于所述页面，按照所述数据处理信息进行数据处理，获得所述目标数据。
可选的，所述基于所述页面，按照所述数据处理信息进行数据处理，获得所述目标数据，包括：在所述页面上按照所述数据处理信息进行数据处理，生成目标数据页。
可选的，所述目标事务日志记录有数据处理信息；
所述方法还包括：判断共享缓冲区中是否存储有所述数据处理信息对应的数据；
所述在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：如果所述共享缓冲区中未存储有所述数据处理信息对应的数据，则在重放区域中对所述目标事务日志进行重放处理，获得目标数据。
可选的，所述判断共享缓冲区中是否存储有所述数据处理信息对应的数据，包括：判断所述共享缓冲区中是否存储有所述数据处理信息对应的数据页；
所述如果所述共享缓冲区中未存储有所述数据处理信息对应的数据，则在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：如果所述共享缓冲区中未存储有所述数据处理信息对应的数据页，则在重放区域中对所述目标事务日志进行重放处理，生成目标数据页。
可选的，还包括：采用脏标记将所述目标数据页标记为脏页。
可选的，针对所述重放区域设置有与共享缓冲区相同的脏页刷出条件，所述采用脏标记将所述目标数据页标记为脏页之后，还包括：
当所述目标数据页满足所述脏页刷出条件时，将所述目标数据页刷出到磁盘中。
可选的，还包括：将所述目标数据存储至重放区域中。
可选的，还包括：
从所述重放区域中获得所述目标数据；
将所述目标数据存储至共享缓冲区中。
可选的，所述目标事务日志记录有针对主数据库服务器的数据处理信息；
所述重放区域为从数据库服务器中的重放区域。
可选的，所述数据处理信息包括如下信息中的至少一种：
数据页的初始化信息；
数据页的添加信息；
数据页的删除信息；
数据页的修复信息。
可选的，所述目标事务日志为预写式日志。
本申请还提供一种数据处理方法，包括：
从重放区域中获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据；
将所述目标数据存储到共享缓冲区。
可选的，所述从重放区域中获得目标数据，包括：
获得针对目标数据的查询请求；
根据针对目标数据的查询请求，从重放区域中获得目标数据。
可选的，所述根据针对目标数据的查询请求，从重放区域中获得目标数据，包括：
根据针对目标数据的查询请求，判断所述共享缓冲区中是否缺失存储有所述目标数据的目标数据页；
如果所述共享缓冲区中缺失所述目标数据页，则从所述重放区域中获得所述目标数据。
可选的，所述如果所述共享缓冲区中缺失所述目标数据页，则从所述重放区域中获得所述目标数据，包括：
如果所述共享缓冲区中缺失所述目标数据页，则触发磁盘对所述目标数据页的读操作，获得针对所述目标数据页的查询信息；
根据所述查询信息，对所述重放区域进行查询，获得所述目标数据页。
可选的，所述重放区域包括用于进行数据页查询的哈希表，所述根据所述查询信息，对所述重放区域进行查询，获得所述目标数据页，包括：
根据所述查询信息，对所述重放区域的哈希表进行查询，获得所述目标数据页。
可选的，所述将所述目标数据存储到共享缓冲区之后，还包括：
将所述用于查找所述目标数据页的信息从所述哈希表中删除。
可选的，所述将所述目标数据存储到共享缓冲区之后，还包括：
通过所述共享缓冲区响应针对所述目标数据的查询请求。
可选的，所述重放区域中用于存储所述目标数据的目标数据页对应设置有脏标记，所述脏标记用于将所述目标数据页标记为脏页；所述将所述目标数据存储到所述共享缓冲区之后，还包括：
将所述脏标记删除。
可选的，所述将所述目标数据存储到共享缓冲区之后，还包括：
将所述共享缓冲区中用于存储所述目标数据的数据页标记为脏页。
本申请还提供一种数据处理方法，包括：
获得主数据库服务器的目标事务日志；
在从数据库服务器的重放区域中对所述目标事务日志进行重放，获得目标数据页；所述重放区域用于存储对主数据库服务器的事务日志进行重放后得到的数据。
本申请还提供一种数据处理方法，包括：
从第二数据库服务器的重放区域中获得目标数据，所述重放区域用于存储对第一数据库服务器的事务日志进行重放处理后得到的数据；
将所述目标数据存储到所述第二数据库服务器的共享缓冲区。
本申请还提供一种数据处理装置，包括：
目标事务日志获得单元，用于获得目标事务日志；
目标事务日志重放单元，用于在重放区域中对所述目标事务日志进行重放处理，获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据。
本申请还提供一种数据处理装置，包括：
目标数据获得单元，用于从重放区域中获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据；
目标数据存储单元，用于将所述目标数据存储到共享缓冲区。
本申请还提供一种数据处理装置，包括：
主数据库服务器的目标事务日志获得单元，用于获得主数据库服务器的目标事务日志；
日志重放单元，用于在从数据库服务器的重放区域中对所述目标事务日志进行重放，获得目标数据页；所述重放区域用于存储对主数据库服务器的事务日志进行重放后得到的数据。
本申请还提供一种数据处理装置，包括：
数据获得单元，用于从第二数据库服务器的重放区域中获得目标数据，所述重放区域用于存储对第一数据库服务器的事务日志进行重放处理后得到的数据；
数据存储单元，用于将所述目标数据存储到所述第二数据库服务器的共享缓冲区。
本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储数据处理程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得目标事务日志；
在重放区域中对所述目标事务日志进行重放处理，获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据。
本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储数据处理程序，所述程序在被所述处理器读取执行时，执行如下操作：
从重放区域中获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据；
将所述目标数据存储到共享缓冲区。
本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储数据处理程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得主数据库服务器的目标事务日志；
在从数据库服务器的重放区域中对所述目标事务日志进行重放，获得目标数据页；所述重放区域用于存储对主数据库服务器的事务日志进行重放后得到的数据。
本申请还提供一种电子设备，包括：
处理器；
存储器，用于存储数据处理程序，所述程序在被所述处理器读取执行时，执行如下操作：
从第二数据库服务器的重放区域中获得目标数据，所述重放区域用于存储对第一数据库服务器的事务日志进行重放处理后得到的数据；
将所述目标数据存储到所述第二数据库服务器的共享缓冲区。
与现有技术相比，本申请具有以下优点：
本申请提供的数据处理方法，在重放区域中对目标事务日志进行重放处理，获得目标数据，该重放区域用于存储对事务日志进行重放处理后得到的数据。通过使用该方法，可避免在共享缓冲区中生成大量不被查询的、且占用共享缓冲区的存储空间的数据页，提高数据库服务器的查询性能；并且，在重放区域对事务日志进行重放处理，使得共享缓冲区中的进程减少，降低对数据库服务器的性能影响。
附图说明
图1是本申请实施例提供的现有的主从数据服库务器的物理复制示意图；
图2是本申请第一实施例提供的方法流程图；
图3是本申请第二实施例提供的方法流程图；
图4是本申请第三实施例提供的方法流程图；
图5是本申请第四实施例提供的方法流程图；
图6是本申请第五实施例提供的方法流程图；
图7是本申请第六实施例提供的装置单元框图；
图8是本申请第七实施例提供的电子设备示意图；
图9是本申请第八实施例提供的装置单元框图；
图10是本申请第九实施例提供的电子设备示意图；
图11是本申请第十实施例提供的装置单元框图；
图12是本申请第十一实施例提供的电子设备示意图；
图13是本申请第十二实施例提供的装置单元框图；
图14是本申请第十三实施例提供的电子设备示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
数据库服务器主从构架是实现数据库集群的高吞吐、高可用的常用方案，大多数开源数据库服务系统(MySQL、PostgreSQL)都提供了数据库主从复制机制，通过配置两台或多台数据库服务器的主从关系，将一台数据库服务器的数据更新同步到其它数据库服务器上。
通过数据库主从复制机制，可实现如下功能：1、将数据进行热备份，将从数据库作为备用数据库，在主数据库服务器发生故障后，可切换至从数据库服务器工作，避免数据丢失；2、扩展构架，随着业务量的增大，针对数据库的读写访问频率过高，单个数据库服务器无法满足业务需求，通过多个数据库进行数据存储，可提高单个数据库服务器的读写性能，改善数据库服务器的负载压力；3、实现数据库读写分离，使数据库能够支撑并发服务，例如，在对数据库进行写数据的时候，访问主数据库服务器，主数据库服务器通过主从复制机制将数据更新同步到从数据库服务器，当针对数据库读数据的时候，通过从数据库获得数据。
现有的数据库主从复制方式主要有逻辑复制和物理复制两种，其中，物理复制因其执行效率高，能够提供更好的读扩展能力，因此大多主从数据库服务器的复制方式都为物理复制，如PostgreSQL数据库服务系统的流复制机制。在主数据库服务器中，共享缓冲区中的数据页在被刷出到磁盘之前，可能已经被修改多次，在上述物理复制场景下，用于记录这些数据页的修改信息的WAL日志会被实时传递给从数据库服务器进行重放处理，同时该共享缓冲区实时响应查询请求，在重放处理结束后，修改后的数据页在从数据库服务器实时可见。
如图1所示，现有的主从数据服库务器的物理复制过程为：主数据库服务器上，在用户对数据表进行增加、修改、删除(DML)操作而修改数据表的数据后，主数据库服务器的用户进程(backend进程)修改对应的共享缓冲区(ShareBuffer Pool)的数据页，同时生成WAL日志；主数据库服务器中负责物理复制的进程(walsender)把生成的WAL日志发送至从数据库服务器；从数据库服务器中负责同步事务日志的进程(walreceiver)接收上述WAL日志，并将接收的事务日志进行写入(write)；从数据库服务器的负责对事务日志进行重放处理的进程(startup)读取(read)上述写入的WAL日志，并在共享缓冲区(Share BufferPool)中进行重放处理，上述重放处理过程会修改(modify)共享缓冲区中的数据页，并且，当从数据库服务器接收到用户的查询请求时，用户进程(backend进程)也会访问(query)共享缓冲区(Share Buffer Pool)。
上述主从数据库服务器的物理复制过程存在以下问题：
1、按上述方式对事务日志进行重放处理，可在共享缓冲区中生成大量不被查询的数据页，占用共享缓冲区的存储空间，然而，共享缓冲区的空间是有限的，在共享缓冲区的存储空间达到下限时，需要多次执行数据页淘汰算法，并需要多次将数据页刷出到磁盘，会影响数据库服务器的查询性能；并且，由于数据库服务器运行时需要的隔离性和MVCC一致性，因此，在共享缓冲区中响应数据查询和对事务日志进行重放处理时需要加各种不同类型的锁，响应数据查询和对事务日志进行重放处理的进程越多，对数据库服务器的性能影响就会越大；
2、上述主从数据库服务器的物理复制过程，在从数据库服务器对事务日志的重放处理结束后，主数据库服务器才能进行事务提交，主数据库服务器的性能受制于从数据库服务器对事务日志的重放处理的速度，导致主数据库服务器的业务处理能力依赖从数据库服务器对事务日志的重放处理速度，使得主数据库服务器的业务处理能力受到影响。
针对上述主从数据库服务器的物理复制场景，为了在主从数据库服务器的物理复制过程中减少对数据库服务器性能的影响，以及提高数据库服务器的业务处理能力，本申请提供了一种数据处理方法。本申请同时提供一种数据处理装置以及一种电子设备。本申请还提供一种数据处理方法、一种数据处理装置以及一种电子设备。本申请还提供一种数据处理方法、一种数据处理装置以及一种电子设备。本申请另外提供一种数据处理方法、一种数据处理装置以及一种电子设备。以下提供实施例对所述方法、装置以及电子设备进行详细说明。
本申请第一实施例提供一种数据处理方法，该方法的应用主体可以为从数据库服务器中用于实现数据库主从复制的计算机程序。本实施例以PostgreSQL数据库为例进行说明，PostgreSQL数据库是面向对象的关系型数据库管理系统，其为多进程级别的数据库，在高并发量的情况下，其处理性能较好。
图2为本申请第一实施例提供的数据处理方法流程图，以下结合图2对本实施例提供的方法进行详细描述。以下描述所涉及的实施例是用来解释说明方法原理，不是实际使用的限定。
如图2所示，本实施例提供的数据处理方法包括如下步骤：
S101，获得目标事务日志。
本步骤用于获得目标事务日志。
对于数据库而言，日志文件是必不可少的核心文件之一。数据库的日志文件是事务日志，该事务日志保存针对数据库的各种操作，例如数据的修改、删除等。
本实施例中，该目标事务日志记录有针对主数据库服务器的数据处理信息，其具体可以为主数据库服务器的数据页的初始化信息、主数据库服务器的数据页的添加信息、主数据库服务器的数据页的删除信息以及主数据库服务器的数据页的修复信息等信息中的一种或多种。获得该目标事务日志的方式可以为：对写入本地的目标事务日志进行读取。
在本实施例中，上述目标事务日志为预写式日志(Write-Ahead Logging，WAL)，预写式日志是一种实现事务日志的标准方法，其表示：对数据文件的修改必须只能发生在这些修改已经记录了日志之后，即，修改数据库中的数据页之前，需首先记录针对数据库中的数据页进行修改的日志，并且，在事务提交过程中，需保证日志先落盘，事务才能提交完成。通过使用预写式日志，在保证事务特性的情况下，可以提高数据库的性能，例如，在上述主数据库服务器中，即使被修改的数据页没有及时更新到磁盘，或者数据页内容发生丢失，只要完成针对该数据页进行修改的日志，即可保证数据库的完整性和一致性。
S102，在重放区域中对目标事务日志进行重放处理，获得目标数据。
在上述步骤获得目标事务日志之后，本步骤用于在重放区域中对所述目标事务日志进行重放处理，获得目标数据。重放区域用于存储对事务日志进行重放处理后得到的数据。例如，该重放区域可以为对事务日志进行重放处理后得到的数据进行缓存的重放缓冲区。
存储系统是数据库管理系统的基础，它向下通过操作系统接口访问物理数据，向上为上层模块提供存储操作的接口和函数。例如，对于PostgreSQL数据库来说，由于数据库管理系统的记录、元组、表、索引等数据都存储在计算机存储设备上，对上述数据的访问和操作都通过其存储系统进行。任何对数据库中的记录的访问以及修改等操作都需经过PostgreSQL数据库的存储系统。而对于数据库存储系统来说，所有将要处理的数据都存储在缓冲区中，针对数据库中的数据进行相关操作时，均与缓冲区进行交互。缓冲区是内存中的一块大小适中的区域，其为数据库系统的数据活动中心，在PostgreSQL数据库中，缓冲区的基本存储单位是内存页面，针对缓冲区的所有操作均基于内存页面。
重放区域属于上述缓冲区中的一种，其专门用于提供对事务日志进行重放处理时所需的页面，并用于存储对事务日志进行重放处理后得到的数据，其独立于共享缓冲区。针对该重放区域的管理可采用静态管理方式，在针对从数据库服务器进行系统配置时，对该重放区域预先进行配置，当从数据库服务器的系统启动后，从内存中分配预定的空间作为重放区域。该重放区域可包含缓冲区管理跟踪区、缓冲区、缓冲区描述符以及缓冲区哈希表，缓冲区管理跟踪区用于记录重放区域被使用的情况；缓冲区用于实际存储数据；缓冲区描述符用于对重放区域进行描述，进程要访问重放区域必须通过访问该重放区域描述符；缓冲区哈希表用于加速对重放区域中所存储数据进行搜索，重放区域中的每个数据页均在该哈希表中有相应记录，在查询某个数据页时，只需给出数据表的文件节点，就可快速搜索到该数据表所对应的数据页在重放区域中的存放地址。
在本实施例中，该重放区域为从数据库服务器中的重放区域。上述在重放区域中对目标事务日志进行重放处理，获得目标数据，可以是指：获得重放区域中的页面，例如获得重放区域中可被使用的空闲状态的页面；基于上述获得的页面，按照上述目标事务日志中所记录的数据处理信息进行数据处理，获得目标数据，具体为：在上述获得的页面上按照数据处理信息进行数据处理，生成目标数据页。例如，上述目标事务日志中所记录的数据处理信息为主数据库服务器的数据页的添加信息，则按照该数据处理信息进行数据处理的过程为：在从数据库服务器的重放区域的页面中执行上述数据页的添加操作，生成目标数据页。
在本实施例中，上述在重放区域中对目标事务日志进行重放处理，获得目标数据之前，还需判断共享缓冲区中是否存储有所述数据处理信息对应的数据；如果共享缓冲区中未存储有所述数据处理信息对应的数据，则在重放区域中对上述目标事务日志进行重放处理，获得目标数据。具体为：判断共享缓冲区中是否存储有上述数据处理信息对应的数据页；如果共享缓冲区中未存储有上述数据处理信息对应的数据页，则在重放区域中对所述目标事务日志进行重放处理，生成目标数据页。例如，目标事务日志记录的数据处理信息为主数据库服务器的数据页的修复信息，在对目标事务日志进行重放处理前，先判断从数据库服务器的共享缓冲区中是否存储有被修复前的数据页，如果共享缓冲区中未存储被修复前的数据页，则在重放区域中对目标事务日志进行重放处理，并且在重放处理结束后，将获得的目标数据存储至重放区域中。
需要说明的是，当上述判断结果为共享缓冲区中存储有上述数据处理信息对应的数据页，则直接在共享缓冲区中对上述目标事务日志进行重放处理，由于该种方式为现有技术的重放处理方式，在此不再赘述。
当上述生成目标数据页之后，还需采用脏标记将该目标数据页标记为脏页，并在合适的时间把脏页的数据写到磁盘中去，以使重放区域中的数据与磁盘中数据的一致性。在本实施例中，重放区域设置有与共享缓冲区相同的脏页刷出条件，当所述目标数据页满足上述脏页刷出条件时，将该目标数据页刷出到磁盘中。例如，当目标数据页在重放区域中未被访问的时间超出预定的时间阈值，则将该目标数据页刷出到磁盘中。
需要说明的是，在上述重放处理结束后，还可从上述重放区域中获得上述目标数据，并将该目标数据存储至共享缓冲区中，以响应针对该目标数据的查询请求。
本申请第二实施例提供一种数据处理方法，该方法的应用主体可以为从数据库服务器中用于响应数据访问请求的计算机程序，图3为本申请第二实施例提供的数据处理方法流程图，以下结合图3对本实施例提供的方法进行详细描述。
如图3所示，本实施例提供的数据处理方法包括如下步骤：
S201，从重放区域中获得目标数据。
本步骤用于从重放区域中获得目标数据，该重放区域用于存储对事务日志进行重放处理后得到的数据。在本实施例中，该过程具体可以为：获得针对目标数据的查询请求，例如，当用户执行数据表查询操作时，从数据库服务器生成相应的数据页查询请求；根据针对目标数据的查询请求，从重放区域中获得目标数据。
上述根据针对目标数据的查询请求，从重放区域中获得目标数据的过程可以为：根据针对目标数据的查询请求，判断共享缓冲区中是否缺失存储有该目标数据的目标数据页；如果共享缓冲区中缺失该目标数据页，则从重放区域中获得上述目标数据。
例如，对共享缓冲区的哈希表进行查询，当共享缓冲区的哈希表没有命中上述目标数据页时，则触发磁盘对目标数据页的读操作，获得针对目标数据页的查询信息，该查询信息可以为目标数据页所对应的数据表的文件节点；根据上述查询信息，对重放区域进行查询，获得所述目标数据页。
在本实施例中，上述重放区域包括用于进行数据页查询的哈希表，因此，对重放区域进行查询的方式为：根据目标数据页所对应的数据表的文件节点，对重放区域的哈希表进行查询，获得上述目标数据页在重放区域中的存放地址。
S202，将上述目标数据存储到共享缓冲区。
在上述步骤从重放区域中获得目标数据之后，本步骤用于将上述获得的目标数据存储到共享缓冲区中。在本实施例中，该过程为将重放区域的上述目标数据复制到共享缓冲区中，并且通过共享缓冲区响应针对该目标数据的查询请求。
在本实施例中，重放区域中用于存储所述目标数据的目标数据页对应设置有脏标记，所述脏标记用于将所述目标数据页标记为脏页，在将重放区域的上述目标数据复制到共享缓冲区中之后，需将该脏标记删除，用于表明重放区域中的该目标数据页可以重新使用，以及将重放区域的哈希表中用于查找上述目标数据页的信息从该哈希表中删除，并且将共享缓冲区中用于存储该目标数据的数据页标记为脏页。
本申请第三实施例提供一种数据处理方法，该数据处理方法与上述第一实施例提供的数据处理方法相似，相关细节请参考上述第一实施例，在此不再赘述。
如图4所示，本实施例提供的方法包括如下步骤：
S301，获得主数据库服务器的目标事务日志；
S302，在从数据库服务器的重放区域中对所述目标事务日志进行重放，获得目标数据页；所述重放区域用于存储对主数据库服务器的事务日志进行重放后得到的数据。
本申请第四实施例提供一种数据处理方法，该数据处理方法与上述第二实施例提供的数据处理方法相似，相关细节请参考上述第二实施例，在此不再赘述。如图5所示，该方法包括如下步骤：
S401，从第二数据库服务器的重放区域中获得目标数据，该重放区域用于存储对第一数据库服务器的事务日志进行重放处理后得到的数据；
S402，将上述获得的目标数据存储到第二数据库服务器的共享缓冲区。
本申请第五实施例提供一种主从数据服库务器的物理复制方法，该实施例描述得比较简单，相关的技术特征的细节部分请参见上述方法实施例的对应说明即可，下述对该实施例的描述仅仅是示意性的。如图6所示，本实施例提供的方法包括如下步骤：
S501，日志接收进程(walreceiver进程)接收主数据库服务器的WAL日志；
S502，日志接收进程(walreceiver进程)将获取的WAL日志进行写入；
S503、日志重放进程(startup进程)读取写入的WAL日志；
S504，日志重放进程(startup进程)在重放缓冲区(Replay Buffer Pool)对WAL日志进行重放处理，获得目标数据页；
S505，用户查询操作后，用户进程(backend进程)在共享缓冲区(Share BufferPool)对目标数据页执行查询操作；
S506，当共享缓冲区(Share Buffer Pool)中缺失目标数据页时，从重放缓冲区(Replay Buffer Pool)中查找获得目标数据页；
S507，将重放缓冲区(Replay Buffer Pool)中的目标数据页存储至共享缓冲区(Share Buffer Pool)。
上述第一实施例提供了一种数据处理方法，与之相对应的，本申请第六实施例还提供了一种数据处理装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
请参考图7理解该实施例，图7为本实施例提供的装置的单元框图，如图7所示，本实施例提供的装置包括：
目标事务日志获得单元601，用于获得目标事务日志；
目标事务日志重放单元602，用于在重放区域中对所述目标事务日志进行重放处理，获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据。
可选的，所述目标事务日志记录有数据处理信息；
所述在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：获得所述重放区域中的页面；
基于所述页面，按照所述数据处理信息进行数据处理，获得所述目标数据。
可选的，所述基于所述页面，按照所述数据处理信息进行数据处理，获得所述目标数据，包括：在所述页面上按照所述数据处理信息进行数据处理，生成目标数据页。
可选的，所述目标事务日志记录有数据处理信息；
还包括：判断共享缓冲区中是否存储有所述数据处理信息对应的数据；
所述在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：如果所述共享缓冲区中未存储有所述数据处理信息对应的数据，则在重放区域中对所述目标事务日志进行重放处理，获得目标数据。
可选的，所述判断共享缓冲区中是否存储有所述数据处理信息对应的数据，包括：判断所述共享缓冲区中是否存储有所述数据处理信息对应的数据页；
所述如果所述共享缓冲区中未存储有所述数据处理信息对应的数据，则在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：如果所述共享缓冲区中未存储有所述数据处理信息对应的数据页，则在重放区域中对所述目标事务日志进行重放处理，生成目标数据页。
可选的，还包括：采用脏标记将所述目标数据页标记为脏页。
可选的，针对所述重放区域设置有与共享缓冲区相同的脏页刷出条件，所述采用脏标记将所述目标数据页标记为脏页之后，还包括：
当所述目标数据页满足所述脏页刷出条件时，将所述目标数据页刷出到磁盘中。
可选的，还包括：将所述目标数据存储至重放区域中。
可选的，还包括：从所述重放区域中获得所述目标数据；将所述目标数据存储至共享缓冲区中。
可选的，所述目标事务日志记录有针对主数据库服务器的数据处理信息；
所述重放区域为从数据库服务器中的重放区域。
可选的，所述数据处理信息包括如下信息中的至少一种：
数据页的初始化信息；
数据页的添加信息；
数据页的删除信息；
数据页的修复信息。
可选的，所述目标事务日志为预写式日志。
在上述的实施例中，提供了一种数据处理方法以及一种数据处理装置，此外，本申请第七实施例还提供一种电子设备，该电子设备实施例如下：
请参考图8理解本实施例，图8为本实施例提供的电子设备的示意图。
如图8所示，所述电子设备包括：处理器701；存储器702；
所述存储器702，用于存储数据处理的程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得目标事务日志；
在重放区域中对所述目标事务日志进行重放处理，获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据。
可选的，所述目标事务日志记录有数据处理信息；
所述在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：获得所述重放区域中的页面；
基于所述页面，按照所述数据处理信息进行数据处理，获得所述目标数据。
可选的，所述基于所述页面，按照所述数据处理信息进行数据处理，获得所述目标数据，包括：在所述页面上按照所述数据处理信息进行数据处理，生成目标数据页。
可选的，所述目标事务日志记录有数据处理信息；
还包括：判断共享缓冲区中是否存储有所述数据处理信息对应的数据；
所述在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：如果所述共享缓冲区中未存储有所述数据处理信息对应的数据，则在重放区域中对所述目标事务日志进行重放处理，获得目标数据。
可选的，所述判断共享缓冲区中是否存储有所述数据处理信息对应的数据，包括：判断所述共享缓冲区中是否存储有所述数据处理信息对应的数据页；
所述如果所述共享缓冲区中未存储有所述数据处理信息对应的数据，则在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：如果所述共享缓冲区中未存储有所述数据处理信息对应的数据页，则在重放区域中对所述目标事务日志进行重放处理，生成目标数据页。
可选的，还包括：采用脏标记将所述目标数据页标记为脏页。
可选的，针对所述重放区域设置有与共享缓冲区相同的脏页刷出条件，所述采用脏标记将所述目标数据页标记为脏页之后，还包括：
当所述目标数据页满足所述脏页刷出条件时，将所述目标数据页刷出到磁盘中。
可选的，还包括：将所述目标数据存储至重放区域中。
可选的，还包括：从所述重放区域中获得所述目标数据；将所述目标数据存储至共享缓冲区中。
可选的，所述目标事务日志记录有针对主数据库服务器的数据处理信息；
所述重放区域为从数据库服务器中的重放区域。
可选的，所述数据处理信息包括如下信息中的至少一种：
数据页的初始化信息；
数据页的添加信息；
数据页的删除信息；
数据页的修复信息。
可选的，所述目标事务日志为预写式日志。
上述第二实施例提供了一种数据处理方法，与之相对应的，本申请第八实施例还提供了一种数据处理装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
请参考图9理解该实施例，图9为本实施例提供的装置的单元框图，如图9所示，本实施例提供的装置包括：
目标数据获得单元801，用于从重放区域中获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据；
目标数据存储单元802，用于将所述目标数据存储到共享缓冲区。
可选的，还包括：获得针对目标数据的查询请求；
所述从重放区域中获得目标数据，包括：根据针对所述目标数据的查询请求，从所述重放区域中获得所述目标数据。
可选的，所述根据针对所述目标数据的查询请求，从所述重放区域中获得所述目标数据，包括：
根据针对所述目标数据的查询请求，判断所述共享缓冲区中是否缺失存储有所述目标数据的目标数据页；
如果所述共享缓冲区中缺失所述目标数据页，则从所述重放区域中获得所述目标数据。
可选的，所述如果所述共享缓冲区中缺失所述目标数据页，则从所述重放区域中获得所述目标数据，包括：
如果所述共享缓冲区中缺失所述目标数据页，则触发磁盘对所述目标数据页的读操作，获得针对所述目标数据页的查询信息；
根据所述查询信息，对所述重放区域进行查询，获得所述目标数据页。
可选的，所述重放区域包括用于进行数据页查询的哈希表，所述根据所述查询信息，对所述重放区域进行查询，获得所述目标数据页，包括：
根据所述查询信息，对所述重放区域的哈希表进行查询，获得所述目标数据页。
可选的，所述将所述目标数据存储到共享缓冲区之后，还包括：
将所述用于查找所述目标数据页的信息从所述哈希表中删除。
可选的，所述将所述目标数据存储到共享缓冲区之后，还包括：
通过所述共享缓冲区响应针对所述目标数据的查询请求。
可选的，所述重放区域中用于存储所述目标数据的目标数据页对应设置有脏标记，所述脏标记用于将所述目标数据页标记为脏页；所述将所述目标数据存储到所述共享缓冲区之后，还包括：将所述脏标记删除。
可选的，所述将所述目标数据存储到共享缓冲区之后，还包括：
将所述共享缓冲区中用于存储所述目标数据的数据页标记为脏页。
在上述的实施例中，提供了一种数据处理方法以及一种数据处理装置，此外，本申请第九实施例还提供一种电子设备，该电子设备实施例如下：
请参考图10理解本实施例，图10为本实施例提供的电子设备的示意图。
如图10所示，所述电子设备包括：处理器901；存储器902；
所述存储器902，用于存储数据处理的程序，所述程序在被所述处理器读取执行时，执行如下操作：
从重放区域中获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据；
将所述目标数据存储到共享缓冲区。
可选的，还包括：获得针对目标数据的查询请求；
所述从重放区域中获得目标数据，包括：根据针对所述目标数据的查询请求，从所述重放区域中获得所述目标数据。
可选的，所述根据针对所述目标数据的查询请求，从所述重放区域中获得所述目标数据，包括：
根据针对所述目标数据的查询请求，判断所述共享缓冲区中是否缺失存储有所述目标数据的目标数据页；
如果所述共享缓冲区中缺失所述目标数据页，则从所述重放区域中获得所述目标数据。
可选的，所述如果所述共享缓冲区中缺失所述目标数据页，则从所述重放区域中获得所述目标数据，包括：
如果所述共享缓冲区中缺失所述目标数据页，则触发磁盘对所述目标数据页的读操作，获得针对所述目标数据页的查询信息；
根据所述查询信息，对所述重放区域进行查询，获得所述目标数据页。
可选的，所述重放区域包括用于进行数据页查询的哈希表，所述根据所述查询信息，对所述重放区域进行查询，获得所述目标数据页，包括：
根据所述查询信息，对所述重放区域的哈希表进行查询，获得所述目标数据页。
可选的，所述将所述目标数据存储到共享缓冲区之后，还包括：
将所述用于查找所述目标数据页的信息从所述哈希表中删除。
可选的，所述将所述目标数据存储到共享缓冲区之后，还包括：
通过所述共享缓冲区响应针对所述目标数据的查询请求。
可选的，所述重放区域中用于存储所述目标数据的目标数据页对应设置有脏标记，所述脏标记用于将所述目标数据页标记为脏页；所述将所述目标数据存储到所述共享缓冲区之后，还包括：将所述脏标记删除。
可选的，所述将所述目标数据存储到共享缓冲区之后，还包括：
将所述共享缓冲区中用于存储所述目标数据的数据页标记为脏页。
上述第三实施例提供了一种数据处理方法，与之相对应的，本申请第十实施例还提供了一种数据处理装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
请参考图11理解该实施例，图11为本实施例提供的装置的单元框图，如图所示，本实施例提供的装置包括：
主数据库服务器的目标事务日志获得单元1001，用于获得主数据库服务器的目标事务日志；
日志重放单元1002，用于在从数据库服务器的重放区域中对所述目标事务日志进行重放，获得目标数据页；所述重放区域用于存储对主数据库服务器的事务日志进行重放后得到的数据。
在上述的实施例中，提供了一种数据方法以及一种数据处理装置，此外，本申请第十一实施例还提供一种电子设备，该电子设备实施例如下：
请参考图12理解本实施例，图12为本实施例提供的电子设备的示意图。
如图12所示，所述电子设备包括：处理器1101；存储器1102；
所述存储器1102，用于存储数据处理的程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得主数据库服务器的目标事务日志；
在从数据库服务器的重放区域中对所述目标事务日志进行重放，获得目标数据页；所述重放区域用于存储对主数据库服务器的事务日志进行重放后得到的数据。
上述第四实施例提供了一种数据处理方法，与之相对应的，本申请第十二实施例还提供了一种数据处理装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的技术特征的细节部分请参见上述提供的方法实施例的对应说明即可，下述对装置实施例的描述仅仅是示意性的。
请参考图13理解该实施例，图13为本实施例提供的装置的单元框图，如图13所示，本实施例提供的装置包括：
数据获得单元1201，用于从第二数据库服务器的重放区域中获得目标数据，所述重放区域用于存储对第一数据库服务器的事务日志进行重放处理后得到的数据；
数据存储单元1202，用于将所述目标数据存储到所述第二数据库服务器的共享缓冲区。
在上述的实施例中，提供了一种数据方法以及一种数据处理装置，此外，本申请第十三实施例还提供一种电子设备，该电子设备实施例如下：
请参考图14理解本实施例，图14为本实施例提供的电子设备的示意图。
如图14所示，所述电子设备包括：处理器1301；存储器1302；
所述存储器1302，用于存储数据处理的程序，所述程序在被所述处理器读取执行时，执行如下操作：
从第二数据库服务器的重放区域中获得目标数据，所述重放区域用于存储对第一数据库服务器的事务日志进行重放处理后得到的数据；
将所述目标数据存储到所述第二数据库服务器的共享缓冲区。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (31)
1.一种数据处理方法，其特征在于，包括：
获得目标事务日志；
在重放区域中对所述目标事务日志进行重放处理，获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据。
2.根据权利要求1所述的方法，其特征在于，所述目标事务日志记录有数据处理信息；
所述在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：
获得所述重放区域中的页面；
基于所述页面，按照所述数据处理信息进行数据处理，获得所述目标数据。
3.根据权利要求2所述的方法，其特征在于，所述基于所述页面，按照所述数据处理信息进行数据处理，获得所述目标数据，包括：在所述页面上按照所述数据处理信息进行数据处理，生成目标数据页。
4.根据权利要求1所述的方法，其特征在于，所述目标事务日志记录有数据处理信息；
所述方法还包括：判断共享缓冲区中是否存储有所述数据处理信息对应的数据；
所述在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：如果所述共享缓冲区中未存储有所述数据处理信息对应的数据，则在重放区域中对所述目标事务日志进行重放处理，获得目标数据。
5.根据权利要求4所述的方法，其特征在于，所述判断共享缓冲区中是否存储有所述数据处理信息对应的数据，包括：判断所述共享缓冲区中是否存储有所述数据处理信息对应的数据页；
所述如果所述共享缓冲区中未存储有所述数据处理信息对应的数据，则在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：如果所述共享缓冲区中未存储有所述数据处理信息对应的数据页，则在重放区域中对所述目标事务日志进行重放处理，生成目标数据页。
6.根据权利要求3或5所述的方法，其特征在于，还包括：采用脏标记将所述目标数据页标记为脏页。
7.根据权利要求6所述的方法，其特征在于，针对所述重放区域设置有与共享缓冲区相同的脏页刷出条件，所述采用脏标记将所述目标数据页标记为脏页之后，还包括：
当所述目标数据页满足所述脏页刷出条件时，将所述目标数据页刷出到磁盘中。
8.根据权利要求1所述的方法，其特征在于，还包括：将所述目标数据存储至重放区域中。
9.根据权利要求1所述的方法，其特征在于，还包括：
从所述重放区域中获得所述目标数据；
将所述目标数据存储至共享缓冲区中。
10.根据权利要求1所述的方法，其特征在于，所述目标事务日志记录有针对主数据库服务器的数据处理信息；
所述重放区域为从数据库服务器中的重放区域。
11.根据权利要求2-5、10中任意一项所述的方法，其特征在于，所述数据处理信息包括如下信息中的至少一种：
数据页的初始化信息；
数据页的添加信息；
数据页的删除信息；
数据页的修复信息。
12.根据权利要求1-5、10中任意一项所述的方法，其特征在于，所述目标事务日志为预写式日志。
13.一种数据处理方法，其特征在于，包括：
从重放区域中获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据；
将所述目标数据存储到共享缓冲区。
14.根据权利要求13所述的方法，其特征在于，所述从重放区域中获得目标数据，包括：
获得针对目标数据的查询请求；
根据针对目标数据的查询请求，从重放区域中获得目标数据。
15.根据权利要求14所述的方法，其特征在于，所述根据针对目标数据的查询请求，从重放区域中获得目标数据，包括：
根据针对目标数据的查询请求，判断所述共享缓冲区中是否缺失存储有所述目标数据的目标数据页；
如果所述共享缓冲区中缺失所述目标数据页，则从所述重放区域中获得所述目标数据。
16.根据权利要求15所述的方法，其特征在于，所述如果所述共享缓冲区中缺失所述目标数据页，则从所述重放区域中获得所述目标数据，包括：
如果所述共享缓冲区中缺失所述目标数据页，则触发磁盘对所述目标数据页的读操作，获得针对所述目标数据页的查询信息；
根据所述查询信息，对所述重放区域进行查询，获得所述目标数据页。
17.根据权利要求16所述的方法，其特征在于，所述重放区域包括用于进行数据页查询的哈希表，所述根据所述查询信息，对所述重放区域进行查询，获得所述目标数据页，包括：
根据所述查询信息，对所述重放区域的哈希表进行查询，获得所述目标数据页。
18.根据权利要求17所述的方法，其特征在于，所述将所述目标数据存储到共享缓冲区之后，还包括：
将所述用于查找所述目标数据页的信息从所述哈希表中删除。
19.根据权利要求14所述的方法，其特征在于，所述将所述目标数据存储到共享缓冲区之后，还包括：
通过所述共享缓冲区响应针对所述目标数据的查询请求。
20.根据权利要求13所述的方法，其特征在于，所述重放区域中用于存储所述目标数据的目标数据页对应设置有脏标记，所述脏标记用于将所述目标数据页标记为脏页；所述将所述目标数据存储到所述共享缓冲区之后，还包括：
将所述脏标记删除。
21.根据权利要求13所述的方法，其特征在于，所述将所述目标数据存储到共享缓冲区之后，还包括：
将所述共享缓冲区中用于存储所述目标数据的数据页标记为脏页。
22.一种数据处理方法，其特征在于，包括：
获得主数据库服务器的目标事务日志；
在从数据库服务器的重放区域中对所述目标事务日志进行重放，获得目标数据页；所述重放区域用于存储对主数据库服务器的事务日志进行重放后得到的数据。
23.一种数据处理方法，其特征在于，包括：
从第二数据库服务器的重放区域中获得目标数据，所述重放区域用于存储对第一数据库服务器的事务日志进行重放处理后得到的数据；
将所述目标数据存储到所述第二数据库服务器的共享缓冲区。
24.一种数据处理装置，其特征在于，包括：
目标事务日志获得单元，用于获得目标事务日志；
目标事务日志重放单元，用于在重放区域中对所述目标事务日志进行重放处理，获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据。
25.一种数据处理装置，其特征在于，包括：
目标数据获得单元，用于从重放区域中获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据；
目标数据存储单元，用于将所述目标数据存储到共享缓冲区。
26.一种数据处理装置，其特征在于，包括：
主数据库服务器的目标事务日志获得单元，用于获得主数据库服务器的目标事务日志；
日志重放单元，用于在从数据库服务器的重放区域中对所述目标事务日志进行重放，获得目标数据页；所述重放区域用于存储对主数据库服务器的事务日志进行重放后得到的数据。
27.一种数据处理装置，其特征在于，包括：
数据获得单元，用于从第二数据库服务器的重放区域中获得目标数据，所述重放区域用于存储对第一数据库服务器的事务日志进行重放处理后得到的数据；
数据存储单元，用于将所述目标数据存储到所述第二数据库服务器的共享缓冲区。
28.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储数据处理程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得目标事务日志；
在重放区域中对所述目标事务日志进行重放处理，获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据。
29.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储数据处理程序，所述程序在被所述处理器读取执行时，执行如下操作：
从重放区域中获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据；
将所述目标数据存储到共享缓冲区。
30.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储数据处理程序，所述程序在被所述处理器读取执行时，执行如下操作：
获得主数据库服务器的目标事务日志；
在从数据库服务器的重放区域中对所述目标事务日志进行重放，获得目标数据页；所述重放区域用于存储对主数据库服务器的事务日志进行重放后得到的数据。
31.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储数据处理程序，所述程序在被所述处理器读取执行时，执行如下操作：
从第二数据库服务器的重放区域中获得目标数据，所述重放区域用于存储对第一数据库服务器的事务日志进行重放处理后得到的数据；
将所述目标数据存储到所述第二数据库服务器的共享缓冲区。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910363333.3A CN111858516A (zh) | 2019-04-30 | 2019-04-30 | 数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910363333.3A CN111858516A (zh) | 2019-04-30 | 2019-04-30 | 数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111858516A true CN111858516A (zh) | 2020-10-30 |
Family
ID=72966727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910363333.3A Pending CN111858516A (zh) | 2019-04-30 | 2019-04-30 | 数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111858516A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514258A (zh) * | 2013-08-09 | 2014-01-15 | 北京龙存科技有限责任公司 | 一种基于离线缓存文件操作集中记录预处理并重放的方法 |
| CN107408070A (zh) * | 2014-12-12 | 2017-11-28 | 微软技术许可有限责任公司 | 分布式存储系统中的多事务日志 |
| CN107918620A (zh) * | 2016-10-10 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 一种数据库的写入方法及装置、电子设备 |
-
2019
- 2019-04-30 CN CN201910363333.3A patent/CN111858516A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514258A (zh) * | 2013-08-09 | 2014-01-15 | 北京龙存科技有限责任公司 | 一种基于离线缓存文件操作集中记录预处理并重放的方法 |
| CN107408070A (zh) * | 2014-12-12 | 2017-11-28 | 微软技术许可有限责任公司 | 分布式存储系统中的多事务日志 |
| CN107918620A (zh) * | 2016-10-10 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 一种数据库的写入方法及装置、电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 罗文华;王志铭;: "基于存储形态及特征的HBase数据库灾难恢复机制研究", 信息网络安全, no. 09, 10 September 2018 (2018-09-10) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10430286B2 (en) | Storage control device and storage system | |
| CN106815275B (zh) | 一种通过备用数据库实现主备数据库同步的方法与设备 | |
| US9996421B2 (en) | Data storage method, data storage apparatus, and storage device | |
| US20160364407A1 (en) | Method and Device for Responding to Request, and Distributed File System | |
| JP2006268829A (ja) | ストレージシステム間でオブジェクトをミラー化する方法と装置 | |
| CN107391544B (zh) | 列式存储数据的处理方法、装置、设备及计算机储存介质 | |
| US20070233753A1 (en) | Database system management method, database system, database device, and backup program | |
| US10346368B2 (en) | Method and apparatus of per-block-group journaling for ordered mode journaling file system | |
| CN111324665B (zh) | 一种日志回放方法及装置 | |
| GB2520361A (en) | Method and system for a safe archiving of data | |
| US20210223959A1 (en) | Transitioning from an original device to a new device within a data storage array | |
| CN110597663A (zh) | 一种事务处理方法及装置 | |
| JP2015528957A (ja) | 分散ファイルシステム、ファイルアクセス方法及びクライアントデバイス | |
| US11321002B2 (en) | Converting a virtual volume between volume types | |
| US8612717B2 (en) | Storage system | |
| CN109254958B (zh) | 分布式数据读写方法、设备及系统 | |
| US10592530B2 (en) | System and method for managing transactions for multiple data store nodes without a central log | |
| CN110134551B (zh) | 一种持续数据保护方法及装置 | |
| US7949632B2 (en) | Database-rearranging program, database-rearranging method, and database-rearranging apparatus | |
| US10073874B1 (en) | Updating inverted indices | |
| CN115658391A (zh) | 基于QianBase MPP数据库的WAL机制的备份恢复方法 | |
| US9032169B2 (en) | Method for high performance dump data set creation | |
| CN111858516A (zh) | 数据处理方法及装置 | |
| CN113204520A (zh) | 一种基于分布式文件系统的遥感数据快速并发读写方法 | |
| CN113448722A (zh) | 进程内存的映射方法和基于无服务器架构的实例处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |