CN116775664B - 一种提高时间自由度的数据库回放方法、装置、系统及介质 - Google Patents
一种提高时间自由度的数据库回放方法、装置、系统及介质 Download PDFInfo
- Publication number
- CN116775664B CN116775664B CN202311039350.4A CN202311039350A CN116775664B CN 116775664 B CN116775664 B CN 116775664B CN 202311039350 A CN202311039350 A CN 202311039350A CN 116775664 B CN116775664 B CN 116775664B
- Authority
- CN
- China
- Prior art keywords
- playback
- information
- time
- database
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000002688 persistence Effects 0.000 claims abstract description 15
- 230000015654 memory Effects 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000002441 reversible effect Effects 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Abstract
本发明公开了一种提高时间自由度的数据库回放方法、装置、系统及介质，包括：对源端数据库的数据操作日志进行录制，生成录制信息；根据录制信息的时间信息对录制信息进行数据结构处理，生成具有预设时间索引结构的回放信息；对回放信息进行持久化处理，将回放信息以固定格式存储于指定位置；从指定位置读取回放信息并对回放信息进行数据结构解析，根据解析结果与接收到的时间操作，按预设时间索引结构读取回放信息中指定时间的目标回放信息；根据目标回放信息生成相应的回放任务，并对目标端数据库执行回放任务。通过具有预设时间索引结构的回放信息，在回放时可基于时间操作灵活读取指定时间的目标回放信息执行回放，提高回放时间自由度和效率。
Description
技术领域
本发明涉及数据库技术领域，尤其涉及一种提高时间自由度的数据库回放方法、装置、系统及介质。
背景技术
数据库的负载回放是数据库领域兼容性、测试、提高时间自由度的数据库回放、实时同步的一种有效实现方式。虽然目前各大数据库基本都会设计和研发适合自身数据库回放的框架和工具，以实现数据库回放功能。
但是目前大多主流数据库回放手段主要基于语句先后或者顺序本身，这种方式仅简单地在数据中加入时间信息或是按照时间顺序排布，想要兼顾时间顺序和事务完整性就需要先将所有时间信息统一读取再进行处理。当数据量大的时候处理的时间和空间成本会迅速提升，导致数据库回放效率降低。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供可应用于金融科技或其它相关领域的一种提高时间自由度的数据库回放方法、装置、系统及介质，旨在实现时间自由度高的数据库回放，提高数据库回放效率。
本发明的技术方案如下：
一种提高时间自由度的数据库回放方法，包括：
对源端数据库的数据操作日志进行录制，生成录制信息；
根据所述录制信息中的时间信息对所述录制信息进行数据结构处理，生成具有预设时间索引结构的回放信息；
对所述回放信息进行持久化处理，将所述回放信息以固定格式存储于指定位置；
从所述指定位置读取所述回放信息并对所述回放信息进行数据结构解析，根据解析结果与接收到的时间操作，按所述预设时间索引结构读取所述回放信息中指定时间的目标回放信息；
根据所述目标回放信息生成相应的回放任务，并对目标端数据库执行所述回放任务，以使得所述指定时间下对所述源端数据库中的数据做出的变更被回放到所述目标端数据库。
在一个实施例中，所述根据所述录制信息中的时间信息对所述录制信息进行数据结构处理，生成具有预设时间索引结构的回放信息，包括：
获取所述录制信息中的时间信息、事务信息和操作语句信息；
以所述时间信息为索引，按时间层级关系生成相应的预设时间索引结构；
将所述预设时间索引结构中每个层级的时间子索引与对应的事务信息和操作语句信息进行索引关联，生成所述回放信息。
在一个实施例中，所述从所述指定位置读取所述回放信息并对所述回放信息进行数据结构解析，根据解析结果与接收到的时间操作，按所述预设时间索引结构读取所述回放信息中指定时间的目标回放信息，包括：
从所述指定位置读取所述回放信息并按所述预设时间索引结构对所述回放信息进行解析，读取回放必要元素；
根据接收到的时间操作，确定回放起始时间、时间区间以及回放方式；
控制时间索引指针从所述回放起始时间开始在所述时间区间内以所述回放方式进行移动；
根据每次移动后所述时间索引指针位置处的指定时间，实时读取所述回放信息中与所述指定时间具有索引关联的事务信息和操作语句信息，结合所述回放必要元素生成所述目标回放信息。
在一个实施例中，所述必要元素包括时间索引起始信息、时间索引结束信息、环境信息和统计信息。
在一个实施例中，所述时间区间为网格状时间或筛状时间；
所述回放方式包括顺序回放、逆序回放、开始回放、暂停回放以及回放速度中的至少一项。
在一个实施例中，所述根据接收到的时间操作，确定回放起始时间、时间区间以及回放方式，包括：
根据所述回放信息中的时间信息生成并展示若干个可视化时间控件；
接收对所述可视化时间控件输入的控件操作，确定回放起始时间、时间区间以及回放方式。
在一个实施例中，所述可视化时间控件包括滑块控件、开始按钮、暂停按钮和/或倍速按钮。
一种提高时间自由度的数据库回放装置，包括：
录制模块，用于对源端数据库的数据操作日志进行录制，生成录制信息；
数据结构处理模块，用于根据所述录制信息中的时间信息对所述录制信息进行数据结构处理，生成具有预设时间索引结构的回放信息；
持久化模块，用于对所述回放信息进行持久化处理，将所述回放信息以固定格式存储于指定位置；
解析读取模块，用于从所述指定位置读取所述回放信息并对所述回放信息进行数据结构解析，根据解析结果与接收到的时间操作，按所述预设时间索引结构读取所述回放信息中指定时间的目标回放信息；
回放执行模块，用于根据所述目标回放信息生成相应的回放任务，并对目标端数据库执行所述回放任务，以使得所述指定时间下对所述源端数据库中的数据做出的变更被回放到所述目标端数据库。
一种提高时间自由度的数据库回放系统，所述系统包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述提高时间自由度的数据库回放方法。
一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的提高时间自由度的数据库回放方法。
有益效果：本发明公开了一种提高时间自由度的数据库回放方法、装置、系统及介质，相比于现有技术，本发明实施例通过将从源端数据库获得的录制信息处理为具有预设时间索引结构的回放信息，使得在回放时可基于接收到的时间操作灵活读取指定时间的目标回放信息对目标端数据库执行回放，提高回放时间自由度和效率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明实施例提供的提高时间自由度的数据库回放方法的一个应用环境图；
图2为本发明实施例提供的提高时间自由度的数据库回放方法的一个流程图；
图3为本发明实施例提供的提高时间自由度的数据库回放方法中步骤S200的流程图；
图4为本发明实施例提供的提高时间自由度的数据库回放方法中基于预设时间索引结构的数据分布示意图；
图5为本发明实施例提供的提高时间自由度的数据库回放方法中步骤S400的一个流程图；
图6为本发明实施例提供的提高时间自由度的数据库回放方法中步骤S402的一个流程图；
图7为本发明实施例提供的提高时间自由度的数据库回放装置的功能模块示意图；
图8为本发明实施例提供的提高时间自由度的数据库回放系统的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下结合附图对本发明实施例进行介绍。
图1为本发明提供的提高时间自由度的数据库回放方法的一个应用环境图。本实施例提供的提高时间自由度的数据库回放方法应用于包括源端数据库、目标端数据库、服务端和网络构成的系统。其中网络为用于在源端数据库、目标端数据库以及服务端之间提供通信链路的介质，其可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。源端数据库和目标端数据为不同的数据库，例如源端数据库为主数据库集，目标端数据库为备数据库。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现，其中包括若干个功能组件以实现本实施例提供的提高时间自由度的数据库回放方法。
请参阅图2，图2为本发明提供的提高时间自由度的数据库回放方法一个实施例的流程图，本实施例中以该方法应用于上述图1中的服务端来举例说明。如图2所示，该方法具体包括如下步骤：
S100、对源端数据库的数据操作日志进行录制，生成录制信息。
本实施例中，基于源端数据库中接收到的数据操作会生成相应的数据操作日志，其中包括了对源端数据库中的数据做出变更的操作记录，通过对该数据操作日志进行录制以生成相应的录制信息，该录制信息中包括了时间信息、事务信息以及操作语句信息，当然还可以包含其他信息，比如环境信息、统计信息、版本信息、字符集信息等等，以作为后续具有数据库回放需求时的准确回放依据。
S200、根据所述录制信息中的时间信息对所述录制信息进行数据结构处理，生成具有预设时间索引结构的回放信息。
基于采集到的录制信息中的时间信息，对该录制信息进行数据结构处理，以时间为索引基础，将录制信息处理为具有预设时间索引结构的回放信息，由于数据库在发送数据变化时最直接的反映数据即为时间，因此以时间排布为基础生成的回放信息，可以通过其中的预设时间索引结构，灵活进行以时间为依据的操作，以提高后续回放过程中的时间自由度。
S300、对所述回放信息进行持久化处理，将所述回放信息以固定格式存储于指定位置。
生成了具有预设时间索引结构的回放信息后，进一步对该回放信息进行持久化处理，将其以固定的格式进行持久化保存在指定位置，在需要数据重新入库时，则可随时将这部分数据从本地读取后重新入库，以实现灵活的数据库回放。
S400、从所述指定位置读取所述回放信息并对所述回放信息进行数据结构解析，根据解析结果与接收到的时间操作，按所述预设时间索引结构读取所述回放信息中指定时间的目标回放信息。
在具有数据库回放需求时，例如主备库之间的互相同步、或者数据库发生故障时的数据回滚、或者需将持久化的数据重新入库等等情形时，本实施例以持久化的数据重新入库进行说明，即从持久化处理时保存数据的指定位置读取相应的回放信息并进行数据结构解析，以获取回放信息中按预设时间索引结构排布的各项信息，同时用户还可根据回放需求输入相应的时间操作，例如选择时间节点执行回放、回放持续时间、中断回放、继续回放等等，以灵活控制回放时的指定时间。基于数据结构的解析结果以及接收到的时间操作，通过预设时间索引结构读取回放信息中与指定时间相对应的目标回放信息。
即本实施例中通过以时间粒度为基础将回放信息中不同时间下的事务信息以及操作语句信息作为回放元信息，使得可以依据时间操作所得到的指定时间作为索引，找到对应的回放元信息即目标回放信息，从而实现时间自由度的提高。
S500、根据所述目标回放信息生成相应的回放任务，并对目标端数据库执行所述回放任务，以使得所述指定时间下对所述源端数据库中的数据做出的变更被回放到所述目标端数据库。
通过时间操作确定的指定时间在回放信息中找到相应的目标回放信息后，该目标回放信息中具有指定时间的事务与操作语句详情。根据目标回放信息生成相应的回放任务并进行任务分发，对目标端数据库执行回放任务，使得指定时间下对源端数据库中的数据做出的变更被回放到所述目标端数据库，实现时间自由度搞的数据库回放，无需将所有时间信息统一读取再进行回放，大大减少数据库回放处理的时间和空间成本。
进一步的，在具有多个回放任务时则可以依照多线程策略分发回放任务并执行并发回放，进一步提高回放效率 。
在一个实施例中，如图3所示，步骤S200包括：
S201、获取所述录制信息中的时间信息、事务信息和操作语句信息；
S202、以所述时间信息为索引，按时间层级关系生成相应的预设时间索引结构；
S203、将所述预设时间索引结构中每个层级的时间子索引与对应的事务信息和操作语句信息进行索引关联，生成所述回放信息。
本实施例中，在对录制信息进行数据结构处理时，获取录制得到的时间信息、事务信息和操作语句信息，对这三类信息以时间信息为索引，按时间层级关系生成相应的预设时间索引结构，基于预设时间索引结构中每个层级的时间子索引与对应的事务信息和操作语句信息进行索引关联，即以时间为基础，对事务信息和操作语句信息进行关联，使得在生成的回放信息中可以通过不同层级的时间所有找到对应的事务和操作语句信息，提高数据库回放的时间操作自由度。
具体实施时，如图4所示，图4为一种基于预设时间索引结构的数据分布示意图，即可将录制信息按如图4所示的结构，以时间为索引基础进行数据重新排布，从而生成具有预设时间索引结构的回放信息。该预设时间索引结构包括时间索引层、事务层以及sql层。
其中，时间索引层以确切的时间点或时间段为索引的数据，其形式可以是文件内部的排列，也可以是不同文件之间，或者是以其他形式，比如优化后的树结构实现。最顶部的时间索引可以对应时间滑块一类的实现，网格子索引对应的是网格状时间，筛状子索引对应筛状时间。这样设计在以时间点回放的过程中只需要关注时间这一信息就可以通过不同层级索引找到对应的事务和sql信息，从而实现时间自由度的提高，同时降低回放所需的时空复杂度
事务层是可选择的结构，即不是必须存在的。事务层存在的意义是确保事务内sql的原子性。而事务本身通常是由复数条sql组成的，且会持续一段时间。该结构所采用的策略是将持续时间段内所有的时间索引都指向该事务，倘若在执行事务的过程中切换了时间点或是发生了异常，恢复执行的时候仍然能根据时间节点找到该事务重新执行。而如果是普通暂停，也可以有记录事务中执行节点或是重新执行提交事务两种策略可选，实现灵活的数据回放。
sql层则是具体记录执行sql详细信息的层级，也可以记录其他必要的信息。
通过以时间为数据基底将录制信息的数据结构处理为预设时间索引结构，使得以时间为粒度对事务信息与操作语句信息进行划分，在保证事务原子性的同时，使得sql执行的时间点变得更加精确，使得回放过程更加仿真。
在一个实施例中，如图5所示，步骤S400包括：
S401、从所述指定位置读取所述回放信息并按所述预设时间索引结构对所述回放信息进行解析，读取回放必要元素；
S402、根据接收到的时间操作，确定回放起始时间、时间区间以及回放方式；
S403、控制时间索引指针从所述回放起始时间开始在所述时间区间内以所述回放方式进行移动；
S404、根据每次移动后所述时间索引指针位置处的指定时间，实时读取所述回放信息中与所述指定时间具有索引关联的事务信息和操作语句信息，结合所述回放必要元素生成所述目标回放信息。
本实施例中，从存储于本地的指定位置读取了回放信息后，则按预设时间索引结构对所述回放信息进行解析，读取回放必要元素，即此时读取数据结构并不需要读取完整的所有回放信息，只需要读取时间索引起始信息、时间索引结束信息、环境信息，统计信息等总体性的回放必要元素，其余详细信息则在后续确定了指定时间后在进行读取，以此来进一步缩减时空复杂度。
并且在按时间索引的起始和结束信息进行回放的基础上，用户可灵活根据需求输入时间操作，从而确定回放起始时间、时间区间以及回放方式。具体的时间区间为网格状时间或筛状时间，其中网格状时间指的是对时间进行分段后以一个网格为基本单位，即连续的时间分段作为时间区间，筛状时间指的是筛选个别时间节点，即离散的时间节点集合作为时间区间。回放方式包括顺序回放、逆序回放、开始回放、暂停回放以及回放速度中的至少一项，从而在时间上灵活控制数据库回放的执行状态。
通过灵活输入的时间操作，控制时间索引指针从回放起始时间开始在时间区间内以回放方式进行移动，随着指针移动位置的不同，则对应为不同的指定时间，根据每次移动后时间索引指针位置处的指定时间，从回放信息中实时读取与指定时间具有索引关联的事务信息和操作语句信息，进而结合回放必要元素生成目标回放信息以用于数据库回放，实现不同时间点的回放信息灵活高效获取，降低数据库回放的时间成本。
例如回放起始时间为a时刻，时间区间为网格状的连续区间[a,b]，回放方式为顺序回放，则时间索引指针的初始位置为a时刻，此时将a时刻作为指定时间，读取a时刻对应的事务信息和操作语句信息，之后随着时间索引指针按顺序移动至下一位置即a+1时刻，此时将a+1时刻作为指定时间，读取a+1时刻对应的事务信息和操作语句信息，依此类推，直到读取到b时刻对应的事务信息和操作语句信息后则结束该时间区间的回放信息读取。
在一个实施例中，如图6所示，步骤S402包括：
S4021、根据所述回放信息中的时间信息生成并展示若干个可视化时间控件；
S4022、接收对所述可视化时间控件输入的控件操作，确定回放起始时间、时间区间以及回放方式。
本实施例中，可以通过与UI设计结合，实现可视化的时间操作，令回放过程在时间维度更加仿真。具体根据回放信息中的时间信息（包括起始时间和结束时间）生成并展示若干个可视化时间控件，包括滑块控件、开始按钮、暂停按钮和/或倍速按钮等，用户可以通过在可视化时间控件上输入点击操作、选择操作、拖拽操作等等控件操作，实现例如开始回放、中断回放、继续回放、倍速回放、选择回放起始时间、选择时间区间、选择回放顺序等等时间操作的输入，进而确定回放起始时间、时间区间以及回放方式。通过简便直观的控件操作，提高了数据库回放过程中的时间操作的可视化程度，使得时间控制更加灵活便捷。
本发明另一实施例提供一种提高时间自由度的数据库回放装置，如图7所示，装置1包括：
录制模块11，用于对源端数据库的数据操作日志进行录制，生成录制信息；
数据结构处理模块12，用于根据所述录制信息中的时间信息对所述录制信息进行数据结构处理，生成具有预设时间索引结构的回放信息；
持久化模块13，用于对所述回放信息进行持久化处理，将所述回放信息以固定格式存储于指定位置；
解析读取模块14，用于从所述指定位置读取所述回放信息并对所述回放信息进行数据结构解析，根据解析结果与接收到的时间操作，按所述预设时间索引结构读取所述回放信息中指定时间的目标回放信息；
回放执行模块15，用于根据所述目标回放信息生成相应的回放任务，并对目标端数据库执行所述回放任务，以使得所述指定时间下对所述源端数据库中的数据做出的变更被回放到所述目标端数据库。
本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述提高时间自由度的数据库回放的执行过程，各模块的具体实施方式请参考上述对应的方法实施例，此处不再赘述。
在一个实施例中，所述数据结构处理模块12，包括：
获取单元，用于获取所述录制信息中的时间信息、事务信息和操作语句信息；
索引结构生成单元，用于以所述时间信息为索引，按时间层级关系生成相应的预设时间索引结构；
回放信息生成单元，用于将所述预设时间索引结构中每个层级的时间子索引与对应的事务信息和操作语句信息进行索引关联，生成所述回放信息。
在一个实施例中，所述解析读取模块14，包括：
解析单元，用于从所述指定位置读取所述回放信息并按所述预设时间索引结构对所述回放信息进行解析，读取回放必要元素；
时间操作单元，用于根据接收到的时间操作，确定回放起始时间、时间区间以及回放方式；
索引指针移动单元，用于控制时间索引指针从所述回放起始时间开始在所述时间区间内以所述回放方式进行移动；
信息读取单元，用于根据每次移动后所述时间索引指针位置处的指定时间，实时读取所述回放信息中与所述指定时间具有索引关联的事务信息和操作语句信息，结合所述回放必要元素生成所述目标回放信息。
在一个实施例中，所述必要元素包括时间索引起始信息、时间索引结束信息、环境信息和统计信息。
在一个实施例中，所述时间区间为网格状时间或筛状时间；
所述回放方式包括顺序回放、逆序回放、开始回放、暂停回放以及回放速度中的至少一项。
在一个实施例中，所述时间操作单元，包括：
可视化单元，用于根据所述回放信息中的时间信息生成并展示若干个可视化时间控件；
操作接收单元，用于接收对所述可视化时间控件输入的控件操作，确定回放起始时间、时间区间以及回放方式。
在一个实施例中，所述可视化时间控件包括滑块控件、开始按钮、暂停按钮和/或倍速按钮。
本发明另一实施例提供一种提高时间自由度的数据库回放系统，如图8所示，系统10包括：
一个或多个处理器110以及存储器120，图8中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图8中以通过总线连接为例。
处理器110用于完成系统10的各种控制逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM（Acorn RISCMachine）或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的提高时间自由度的数据库回放方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行系统10的各种功能应用以及数据处理，即实现上述方法实施例中的提高时间自由度的数据库回放方法。
存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据系统10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至系统10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，实现以下步骤：
对源端数据库的数据操作日志进行录制，生成录制信息；
根据所述录制信息中的时间信息对所述录制信息进行数据结构处理，生成具有预设时间索引结构的回放信息；
对所述回放信息进行持久化处理，将所述回放信息以固定格式存储于指定位置；
从所述指定位置读取所述回放信息并对所述回放信息进行数据结构解析，根据解析结果与接收到的时间操作，按所述预设时间索引结构读取所述回放信息中指定时间的目标回放信息；
根据所述目标回放信息生成相应的回放任务，并对目标端数据库执行所述回放任务，以使得所述指定时间下对所述源端数据库中的数据做出的变更被回放到所述目标端数据库。
在一个实施例中，所述根据所述录制信息中的时间信息对所述录制信息进行数据结构处理，生成具有预设时间索引结构的回放信息，包括：
获取所述录制信息中的时间信息、事务信息和操作语句信息；
以所述时间信息为索引，按时间层级关系生成相应的预设时间索引结构；
将所述预设时间索引结构中每个层级的时间子索引与对应的事务信息和操作语句信息进行索引关联，生成所述回放信息。
在一个实施例中，所述从所述指定位置读取所述回放信息并对所述回放信息进行数据结构解析，根据解析结果与接收到的时间操作，按所述预设时间索引结构读取所述回放信息中指定时间的目标回放信息，包括：
从所述指定位置读取所述回放信息并按所述预设时间索引结构对所述回放信息进行解析，读取回放必要元素；
根据接收到的时间操作，确定回放起始时间、时间区间以及回放方式；
控制时间索引指针从所述回放起始时间开始在所述时间区间内以所述回放方式进行移动；
根据每次移动后所述时间索引指针位置处的指定时间，实时读取所述回放信息中与所述指定时间具有索引关联的事务信息和操作语句信息，结合所述回放必要元素生成所述目标回放信息。
在一个实施例中，所述必要元素包括时间索引起始信息、时间索引结束信息、环境信息和统计信息。
在一个实施例中，所述时间区间为网格状时间或筛状时间；
所述回放方式包括顺序回放、逆序回放、开始回放、暂停回放以及回放速度中的至少一项。
在一个实施例中，所述根据接收到的时间操作，确定回放起始时间、时间区间以及回放方式，包括：
根据所述回放信息中的时间信息生成并展示若干个可视化时间控件；
接收对所述可视化时间控件输入的控件操作，确定回放起始时间、时间区间以及回放方式。
在一个实施例中，所述可视化时间控件包括滑块控件、开始按钮、暂停按钮和/或倍速按钮。
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图2中的方法步骤S100至步骤S500。
作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(RAM)。通过说明而非限制，RAM可以以诸如同步RAM(SRAM)、动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
综上，本发明公开的一种提高时间自由度的数据库回放方法、装置、系统及介质中，方法通过对源端数据库的数据操作日志进行录制，生成录制信息；根据录制信息中的时间信息对录制信息进行数据结构处理，生成具有预设时间索引结构的回放信息；对所述回放信息进行持久化处理，将所述回放信息以固定格式存储于指定位置；从所述指定位置读取所述回放信息并对回放信息进行数据结构解析，根据解析结果与接收到的时间操作，按预设时间索引结构读取回放信息中指定时间的目标回放信息；根据目标回放信息生成相应的回放任务，并对目标端数据库执行回放任务。通过将从源端数据库获得的录制信息处理为具有预设时间索引结构的回放信息，使得在回放时可基于接收到的时间操作灵活读取指定时间的目标回放信息对目标端数据库执行回放，提高回放时间自由度和效率。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的计算机程序可存储于一非易失性计算机可读取的存储介质中，该计算机程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、软盘、闪存、光存储器等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种提高时间自由度的数据库回放方法，其特征在于，包括：
对源端数据库的数据操作日志进行录制，生成录制信息；
根据所述录制信息中的时间信息对所述录制信息进行数据结构处理，生成具有预设时间索引结构的回放信息；
对所述回放信息进行持久化处理，将所述回放信息以固定格式存储于指定位置；
从所述指定位置读取所述回放信息并对所述回放信息进行数据结构解析，根据解析结果与接收到的时间操作，按所述预设时间索引结构读取所述回放信息中指定时间的目标回放信息；
根据所述目标回放信息生成相应的回放任务，并对目标端数据库执行所述回放任务，以使得所述指定时间下对所述源端数据库中的数据做出的变更被回放到所述目标端数据库；
所述从所述指定位置读取所述回放信息并对所述回放信息进行数据结构解析，根据解析结果与接收到的时间操作，按所述预设时间索引结构读取所述回放信息中指定时间的目标回放信息，包括：
从所述指定位置读取所述回放信息并按所述预设时间索引结构对所述回放信息进行解析，读取回放必要元素；
根据接收到的时间操作，确定回放起始时间、时间区间以及回放方式；
控制时间索引指针从所述回放起始时间开始在所述时间区间内以所述回放方式进行移动；
根据每次移动后所述时间索引指针位置处的指定时间，实时读取所述回放信息中与所述指定时间具有索引关联的事务信息和操作语句信息，结合所述回放必要元素生成所述目标回放信息；
所述必要元素包括时间索引起始信息、时间索引结束信息、环境信息和统计信息。
2.根据权利要求1所述的提高时间自由度的数据库回放方法，其特征在于，所述根据所述录制信息中的时间信息对所述录制信息进行数据结构处理，生成具有预设时间索引结构的回放信息，包括：
获取所述录制信息中的时间信息、事务信息和操作语句信息；
以所述时间信息为索引，按时间层级关系生成相应的预设时间索引结构；
将所述预设时间索引结构中每个层级的时间子索引与对应的事务信息和操作语句信息进行索引关联，生成所述回放信息。
3.根据权利要求2所述的提高时间自由度的数据库回放方法，其特征在于，所述回放方式包括顺序回放、逆序回放、开始回放、暂停回放以及回放速度中的至少一项。
4.根据权利要求2所述的提高时间自由度的数据库回放方法，其特征在于，所述根据接收到的时间操作，确定回放起始时间、时间区间以及回放方式，包括：
根据所述回放信息中的时间信息生成并展示若干个可视化时间控件；
接收对所述可视化时间控件输入的控件操作，确定回放起始时间、时间区间以及回放方式。
5.根据权利要求4所述的提高时间自由度的数据库回放方法，其特征在于，所述可视化时间控件包括滑块控件、开始按钮、暂停按钮和/或倍速按钮。
6.一种提高时间自由度的数据库回放装置，其特征在于，包括：
录制模块，用于对源端数据库的数据操作日志进行录制，生成录制信息；
数据结构处理模块，用于根据所述录制信息中的时间信息对所述录制信息进行数据结构处理，生成具有预设时间索引结构的回放信息；
持久化模块，用于对所述回放信息进行持久化处理，将所述回放信息以固定格式存储于指定位置；
解析读取模块，用于从所述指定位置读取所述回放信息并对所述回放信息进行数据结构解析，根据解析结果与接收到的时间操作，按所述预设时间索引结构读取所述回放信息中指定时间的目标回放信息；
回放执行模块，用于根据所述目标回放信息生成相应的回放任务，并对目标端数据库执行所述回放任务，以使得所述指定时间下对所述源端数据库中的数据做出的变更被回放到所述目标端数据库；
所述解析读取模块，包括：
解析单元，用于从所述指定位置读取所述回放信息并按所述预设时间索引结构对所述回放信息进行解析，读取回放必要元素；
时间操作单元，用于根据接收到的时间操作，确定回放起始时间、时间区间以及回放方式；
索引指针移动单元，用于控制时间索引指针从所述回放起始时间开始在所述时间区间内以所述回放方式进行移动；
信息读取单元，用于根据每次移动后所述时间索引指针位置处的指定时间，实时读取所述回放信息中与所述指定时间具有索引关联的事务信息和操作语句信息，结合所述回放必要元素生成所述目标回放信息；
所述必要元素包括时间索引起始信息、时间索引结束信息、环境信息和统计信息。
7.一种提高时间自由度的数据库回放系统，其特征在于，所述系统包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5任一项所述的提高时间自由度的数据库回放方法。
8.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-5任一项所述的提高时间自由度的数据库回放方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311039350.4A CN116775664B (zh) | 2023-08-17 | 2023-08-17 | 一种提高时间自由度的数据库回放方法、装置、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311039350.4A CN116775664B (zh) | 2023-08-17 | 2023-08-17 | 一种提高时间自由度的数据库回放方法、装置、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116775664A CN116775664A (zh) | 2023-09-19 |
| CN116775664B true CN116775664B (zh) | 2023-11-14 |
Family
ID=88011884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311039350.4A Active CN116775664B (zh) | 2023-08-17 | 2023-08-17 | 一种提高时间自由度的数据库回放方法、装置、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116775664B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107959892A (zh) * | 2017-12-11 | 2018-04-24 | 南京酷亨网络科技有限公司 | 一种用于海洋执法的雷达和视频数据快速定位方法 |
| CN109656945A (zh) * | 2018-11-14 | 2019-04-19 | 建湖云飞数据科技有限公司 | 一种信息处理方法 |
| WO2019076102A1 (zh) * | 2017-10-19 | 2019-04-25 | 中兴通讯股份有限公司 | 一种数据回滚方法、系统、设备及计算机可读存储介质 |
| CN112491652A (zh) * | 2020-11-18 | 2021-03-12 | 国家计算机网络与信息安全管理中心 | 一种用于测试的网络流量样本处理方法及装置 |
| CN113918535A (zh) * | 2020-07-08 | 2022-01-11 | 腾讯科技（深圳）有限公司 | 一种数据读取方法、装置、设备及存储介质 |
| CN115002375A (zh) * | 2022-06-01 | 2022-09-02 | 南京甄视智能科技有限公司 | 一种通过索引文件定位关键帧实现录像回放的方法和系统 |
| CN115904817A (zh) * | 2022-12-30 | 2023-04-04 | 金篆信科有限责任公司 | 分布式数据库并行回放方法、装置、电子设备和存储介质 |
| CN116501736A (zh) * | 2023-04-12 | 2023-07-28 | 北京优炫软件股份有限公司 | 一种数据库延迟回放的控制方法以及控制系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8380665B2 (en) * | 2011-02-24 | 2013-02-19 | Oracle International Corporation | Application workload capture and replay system |
-
2023
- 2023-08-17 CN CN202311039350.4A patent/CN116775664B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019076102A1 (zh) * | 2017-10-19 | 2019-04-25 | 中兴通讯股份有限公司 | 一种数据回滚方法、系统、设备及计算机可读存储介质 |
| CN107959892A (zh) * | 2017-12-11 | 2018-04-24 | 南京酷亨网络科技有限公司 | 一种用于海洋执法的雷达和视频数据快速定位方法 |
| CN109656945A (zh) * | 2018-11-14 | 2019-04-19 | 建湖云飞数据科技有限公司 | 一种信息处理方法 |
| CN113918535A (zh) * | 2020-07-08 | 2022-01-11 | 腾讯科技（深圳）有限公司 | 一种数据读取方法、装置、设备及存储介质 |
| CN112491652A (zh) * | 2020-11-18 | 2021-03-12 | 国家计算机网络与信息安全管理中心 | 一种用于测试的网络流量样本处理方法及装置 |
| CN115002375A (zh) * | 2022-06-01 | 2022-09-02 | 南京甄视智能科技有限公司 | 一种通过索引文件定位关键帧实现录像回放的方法和系统 |
| CN115904817A (zh) * | 2022-12-30 | 2023-04-04 | 金篆信科有限责任公司 | 分布式数据库并行回放方法、装置、电子设备和存储介质 |
| CN116501736A (zh) * | 2023-04-12 | 2023-07-28 | 北京优炫软件股份有限公司 | 一种数据库延迟回放的控制方法以及控制系统 |
Non-Patent Citations (1)
| Title |
|---|
| 一种可行的时态数据库索引技术;刘云生;游安;;计算机应用研究(10);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116775664A (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109155763B (zh) | 数据流上的数字信号处理 | |
| Chen et al. | The case for evaluating mapreduce performance using workload suites | |
| US7734607B2 (en) | Universal visualization platform | |
| Borkar et al. | Inside" Big Data management" ogres, onions, or parfaits? | |
| Mey et al. | Score-P: A unified performance measurement system for petascale applications | |
| US8453136B1 (en) | Change tracking and incremental synchronization of EDA design and technology data | |
| Clifford et al. | Tracking provenance in a virtual data grid | |
| Byna et al. | ExaHDF5: Delivering efficient parallel I/O on exascale computing systems | |
| CN110019133A (zh) | 数据在线迁移方法和装置 | |
| CN102236705A (zh) | 数据库重放的细粒度同步 | |
| EP3021224B1 (en) | Method and apparatus for producing a benchmark application for performance testing | |
| EP2763055B1 (en) | A telecommunication method and mobile telecommunication device for providing data to a mobile application | |
| DE102020108374A1 (de) | Verfahren und vorrichtung zur laufzeitmehrfachplanung von software, die in einem heterogenen system ausgeführt wird | |
| JP6937759B2 (ja) | データベース操作方法及び装置 | |
| DE102020110655A1 (de) | Verfahren und vorrichtung zum verbessern der verwendung eines heterogenen systems, das software ausführt | |
| US20120215804A1 (en) | Data-programming environment | |
| US20140108867A1 (en) | Dynamic Taint Analysis of Multi-Threaded Programs | |
| US20210326179A1 (en) | Progress visualization of computational job | |
| CN116775664B (zh) | 一种提高时间自由度的数据库回放方法、装置、系统及介质 | |
| US10489416B2 (en) | Optimizing and managing execution of hybrid flows | |
| CN109670011B (zh) | 一种多图源地图服务引擎 | |
| Fritchey et al. | SQL server 2012 query performance tuning | |
| CN115169578A (zh) | 一种基于元宇宙数据标记的ai模型生产方法及系统 | |
| Moise et al. | Improving the Hadoop map/reduce framework to support concurrent appends through the BlobSeer BLOB management system | |
| Ruan et al. | Hymr: a hybrid mapreduce workflow system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |