CN110059096A - 数据版本管理方法、装置、设备及存储介质 - Google Patents
数据版本管理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110059096A CN110059096A CN201910205807.1A CN201910205807A CN110059096A CN 110059096 A CN110059096 A CN 110059096A CN 201910205807 A CN201910205807 A CN 201910205807A CN 110059096 A CN110059096 A CN 110059096A
- Authority
- CN
- China
- Prior art keywords
- data
- version
- information
- real time
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
- G06F16/2315—Optimistic concurrency control
- G06F16/2329—Optimistic concurrency control using versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理领域，本发明公开了一种数据版本管理方法、装置、设备及存储介质，通过在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新，能够实时跟踪数据版本中数据变化,并根据数据版本的更新变化进行更高效的数据管理,提高了数据版本管理的速度和效率，降低了数据管理的人工消耗和数据误差，避免了数据库崩溃引起的数据丢失问题，提升了用户体验。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种数据版本管理方法、装置、设备及存储介质。
背景技术
现在大数据时代，各行各业的行业数据产生规模很大，但是有效的数据版本管理比较少见；现有的数据监控方式是通过修改数据监控脚本的执行权限，获得脚本的运行结果，根据运行结果实现对数据库的监控，但是现有的数据监控存在无法对数据版本进行实时监控，了解数据变化，且需要对数据进行修改操作，流程较为复杂，从而容易导致数据管理的效率低下，与现有系统不兼容的问题。
发明内容
本发明的主要目的在于提供一种数据版本管理方法、装置、设备及存储介质，旨在解决现有技术中数据监控无法实时获取数据变化，操作复杂，管理效率低下且与现有系统不兼容导致数据库崩溃，数据丢失的技术问题。
为实现上述目的，本发明提供一种数据版本管理方法，所述数据版本管理方法包括以下步骤：
在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；
对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；
根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新。
优选地，所述在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表的步骤，包括：
获取预设线程池中各线程的多个查询语句，根据预设关键字将多个查询语句合并为一个目标查询语句；
根据所述目标查询语句获取各线程的会话状态，将所述会话状态处于临时状态的线程删除，并将删除后的线程作为目标线程；
在预设数据库中设置目标线程，所述目标线程为在预设时间周期内从预设队列中循环获取数据的线程；
获取预设日志表格式和预设数据表格式，根据所述预设日志表格式、所述预设数据表格式和所述目标线程设置用于持久化存储运行数据的更新日志表及数据表。
优选地，所述对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息的步骤，包括：
响应于数据处理请求，对待运行数据进行实时监控，获取所述待运行数据在运行过程中产生的数据工作流；
对数据工作流进行分析，获得所述待运行数据的实时数据版本信息。
优选地，所述响应于数据处理请求，对待运行数据进行实时监控，获取所述待运行数据在运行过程中产生的数据工作流的步骤，包括：
响应于数据处理请求，对待运行数据进行实时监控；
在检测到所述待运行数据在运行过程中出现的运行关键字和停止关键字时，将所述运行关键字和所述停止关键字之间对应的数据流进行截取，并将所述数据流作为数据工作流。
优选地，所述对数据工作流进行分析，获得所述待运行数据的实时数据版本信息的步骤，包括：
对数据工作流进行分析，获得所述数据工作流中的索引信息；
从所述索引信息中获取所述待运行数据对应的简要信息、版本标识和起止时间；
根据所述简要信息、版本标识和起止时间确定所述待运行数据的实时数据版本信息。
优选地，所述根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新的步骤，包括：
获取所述实时数据版本信息中的更新记录信息以及对应的数据信息；
根据所述更新记录信息更新所述更新日志表，并根据所述数据信息更新所述数据表。
优选地，所述根据所述更新记录信息更新所述更新日志表，并根据所述数据信息更新所述数据表的步骤，包括：
获取所述待运行数据的初始数据版本信息，从所述初始数据版本信息中获取初始数据版本；
从所述实时数据版本信息中获取所述待运行数据的实时数据版本，将所述实时数据版本和初始数据版本进行比对；
在所述实时数据版本的版本号低于所述初始数据版本的版本号时，对所述预设数据库进行升级操作，并记录升级后数据库版本号，根据所述数据库版本号和所述更新记录信息更新所述更新日志表，根据所述数据库版本号和所述数据信息更新所述数据表；
在所述实时数据版本的版本号高于所述初始数据版本的版本号时，对所述预设数据库进行降级操作，并记录降级后的数据库版本号，根据所述数据库版本号和所述更新记录信息更新所述更新日志表，根据所述数据库版本号和所述数据信息更新所述数据表。
此外，为实现上述目的，本发明还提出一种数据版本管理设备，所述数据版本管理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据版本管理程序，所述数据版本管理程序配置为实现如上文所述的数据版本管理方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有数据版本管理程序，所述数据版本管理程序被处理器执行时实现如上文所述的数据版本管理方法的步骤。
此外，为实现上述目的，本发明还提供一种数据版本管理装置，所述数据版本管理装置包括：设置模块、信息获取模块和更新模块；
其中，所述设置模块，用于在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；
所述信息获取模块，用于对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；
所述更新模块，所述根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新。
本发明提出的数据版本管理方法，数据版本管理方法、装置、设备及存储介质通过在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新，能够实时跟踪数据版本中数据变化，并根据数据版本的更新变化进行更高效的数据管理，提高了数据版本管理的速度和效率，降低了数据管理的人工消耗和数据误差，避免了数据库崩溃引起的数据丢失问题，提升了用户体验。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的数据版本管理设备结构示意图；
图2为本发明数据版本管理方法第一实施例的流程示意图；
图3为本发明数据版本管理方法第二实施例的流程示意图；
图4为本发明数据版本管理方法第三实施例的流程示意图；
图5为本发明数据版本管理装置第一实施例的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的解决方案主要是：本发明通过在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新，能够实时跟踪数据版本中数据变化,并根据数据版本的更新变化进行更高效的数据管理,提高了数据版本管理的速度和效率，降低了数据管理的人工消耗和数据误差，避免了数据库崩溃引起的数据丢失问题，提升了用户体验，解决了现有技术中数据监控无法实时获取数据变化,操作复杂，管理效率低下且与现有系统不兼容导致数据库崩溃，数据丢失的技术问题。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的数据版本管理设备结构示意图。
如图1所示，该数据版本管理设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(Non-volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的数据版本管理设备结构并不构成对该数据版本管理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作装置、网络通信模块、用户端接口模块以及数据版本管理程序。
在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；
对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；
根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新。
进一步地，处理器1001可以调用存储器1005中存储的数据版本管理程序，还执行以下操作：
获取预设线程池中各线程的多个查询语句，根据预设关键字将多个查询语句合并为一个目标查询语句；
根据所述目标查询语句获取各线程的会话状态，将所述会话状态处于临时状态的线程删除，并将删除后的线程作为目标线程；
在预设数据库中设置目标线程，所述目标线程为在预设时间周期内从预设队列中循环获取数据的线程；
获取预设日志表格式和预设数据表格式，根据所述预设日志表格式、所述预设数据表格式和所述目标线程设置用于持久化存储运行数据的更新日志表及数据表。
进一步地，处理器1001可以调用存储器1005中存储的数据版本管理程序，还执行以下操作：
响应于数据处理请求，对待运行数据进行实时监控，获取所述待运行数据在运行过程中产生的数据工作流；
对数据工作流进行分析，获得所述待运行数据的实时数据版本信息。
进一步地，处理器1001可以调用存储器1005中存储的数据版本管理程序，还执行以下操作：
响应于数据处理请求，对待运行数据进行实时监控；
在检测到所述待运行数据在运行过程中出现的运行关键字和停止关键字时，将所述运行关键字和所述停止关键字之间对应的数据流进行截取，并将所述数据流作为数据工作流。
进一步地，处理器1001可以调用存储器1005中存储的数据版本管理程序，还执行以下操作：
对数据工作流进行分析，获得所述数据工作流中的索引信息；
从所述索引信息中获取所述待运行数据对应的简要信息、版本标识和起止时间；
根据所述简要信息、版本标识和起止时间确定所述待运行数据的实时数据版本信息。
进一步地，处理器1001可以调用存储器1005中存储的数据版本管理程序，还执行以下操作：
获取所述实时数据版本信息中的更新记录信息以及对应的数据信息；
根据所述更新记录信息更新所述更新日志表，并根据所述数据信息更新所述数据表。
进一步地，处理器1001可以调用存储器1005中存储的数据版本管理程序，还执行以下操作：
获取所述待运行数据的初始数据版本信息，从所述初始数据版本信息中获取初始数据版本；
从所述实时数据版本信息中获取所述待运行数据的实时数据版本，将所述实时数据版本和初始数据版本进行比对；
在所述实时数据版本的版本号低于所述初始数据版本的版本号时，对所述预设数据库进行升级操作，并记录升级后数据库版本号，根据所述数据库版本号和所述更新记录信息更新所述更新日志表，根据所述数据库版本号和所述数据信息更新所述数据表；
在所述实时数据版本的版本号高于所述初始数据版本的版本号时，对所述预设数据库进行降级操作，并记录降级后的数据库版本号，根据所述数据库版本号和所述更新记录信息更新所述更新日志表，根据所述数据库版本号和所述数据信息更新所述数据表。
本实施例通过上述方案，通过在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新，能够实时跟踪数据版本中数据变化,并根据数据版本的更新变化进行更高效的数据管理,提高了数据版本管理的速度和效率，降低了数据管理的人工消耗和数据误差，避免了数据库崩溃引起的数据丢失问题，提升了用户体验避免了数据库崩溃引起的数据丢失问题，提升了用户体验。
基于上述硬件结构，提出本发明数据版本管理方法实施例。
参照图2，图2为本发明数据版本管理方法第一实施例的流程示意图。
在第一实施例中，所述数据版本管理方法包括以下步骤：
步骤S10、在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表。
需要说明的是，所述预设数据库为预先设置的用于进行数据版本管理的数据库，所述更新日志表为用于记录瞬时数据持久化为持久数据的更新记录表，是数据表为用于存储瞬时数据持久化为持久数据后，持久化数据对应的信息的数据表。
步骤S20、对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息。
可以理解的是，所述待运行数据为需要进行运行处理的数据，通过对所述待运行数据进行监控，可以获得所述待运行数据的相应监控数据，通过对所述监控数据进行分析，可以获取所述待运行数据的实时数据版本信息，当然还可以通过其他方式获取所述待运行数据的实时数据版本信息，本实施例对此不加以限制。
步骤S30、根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新。
应当理解的是，在获取了所述实时数据版本信息后，可以根据所述更新日志表中的相应版本信息和所述数据表中的相应数据对所述预设数据库进行数据版本更新，当然还可以是根据其他方式对所述预设数据库进行更新，本实施例对此不加以限制。
进一步地，所述步骤S30还包括以下步骤：
获取所述实时数据版本信息中的更新记录信息以及对应的数据信息；
根据所述更新记录信息更新所述更新日志表，并根据所述数据信息更新所述数据表。
可以理解的是，所述实时数据版本信息中包括更新记录信息和数据信息，通过所述更新记录信息和数据信息能够更新所述更新日志表和所述数据表。
进一步地，所述根据所述更新记录信息更新所述更新日志表，并根据所述数据信息更新所述数据表的步骤，包括：
获取所述待运行数据的初始数据版本信息，从所述初始数据版本信息中获取初始数据版本；
从所述实时数据版本信息中获取所述待运行数据的实时数据版本，将所述实时数据版本和初始数据版本进行比对；
在所述实时数据版本的版本号低于所述初始数据版本的版本号时，对所述预设数据库进行升级操作，并记录升级后数据库版本号，根据所述数据库版本号和所述更新记录信息更新所述更新日志表，根据所述数据库版本号和所述数据信息更新所述数据表；
在所述实时数据版本的版本号高于所述初始数据版本的版本号时，对所述预设数据库进行降级操作，并记录降级后的数据库版本号，根据所述数据库版本号和所述更新记录信息更新所述更新日志表，根据所述数据库版本号和所述数据信息更新所述数据表。
应当理解的是，通过所述实时数据版本信息可以获取所述待运行数据的实时数据版本，根据所述初始数据版本信息获取所述待运行数据的初始数据版本，将所述实时数据版本和初始数据版本进行比对，在所述实时数据版本的版本号低于所述初始数据版本的版本号时，对所述预设数据库进行升级操作，并记录升级后数据库版本号，根据所述数据库版本号和所述实时数据版本信息中的更新记录信息和数据信息对所述更新日志表和所述数据表进行更新，在所述实时数据版本的版本号高于所述初始数据版本的版本号时，对所述预设数据库进行降级操作，并记录降级后的数据库版本号，根据所述数据库版本号和所述实时数据版本信息中的更新记录信息和数据信息对所述更新日志表和所述数据表进行更新，当然也可以通过其他方式对所述更新日志表和所述数据表进行更新，本实施例对此不加以限制。
可以理解的是，将所述实时数据版本信息与所述初始数据版本信息的比对方式可以采用偏序比较方式进行比较，即不一定是对所述版本号进行比对，还可以是对所述数据项目表示进行比对，还可以是对所属脚本对象列表进行比对，通过偏序比较的方式确定需要进行更新的信息；在获得更新后的更新日志表和数据表后，可以根据更新后的更新日志表和数据表分析出对应的数据的历史变化，从而可以根据分析结果进行后续的处理操作。
本实施例通过上述方案，通过在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新，能够实时跟踪数据版本中数据变化,并根据数据版本的更新变化进行更高效的数据管理,提高了数据版本管理的速度和效率，降低了数据管理的人工消耗和数据误差，避免了数据库崩溃引起的数据丢失问题，提升了用户体验。
进一步地，图3为本发明数据版本管理方法第二实施例的流程示意图，如图3所示，基于第一实施例提出本发明数据版本管理方法第二实施例，在本实施例中，所述步骤S10，具体包括以下步骤：
步骤S11、获取预设线程池中各线程的多个查询语句，根据预设关键字将多个查询语句合并为一个目标查询语句。
需要说明的是，所述预设线程池为预先设置的用于存储多个执行数据版本管理进程的线程池,通过获取预设线程池中各线程的多个查询语句，可以确定个线程的会话状态,具体地,通过预设关键字将多个查询语句合并为一个目标查询语句，通过所述目标查询获取各线程的会话状态，所述预设关键字为预先设置的用于将多个查询语句进行合并的关键字。
步骤S12、根据所述目标查询语句获取各线程的会话状态，将所述会话状态处于临时状态的线程删除，并将删除后的线程作为目标线程。
可以理解的是，在获取个线程的会话状态后，对所述会话状态进行分析，在所述会话状态处于临时状态时，将处于临时状态的线程进行删除，从而保证了执行数据版本管理的线程的稳定性，并将删除后的线程做完目标线程。
步骤S13、在预设数据库中设置目标线程，所述目标线程为在预设时间周期内从预设队列中循环获取数据的线程。
应当理解的是，所述预设时间周期为预先设置的时间周期，可以是技术人员通过大量实验数据确定的时间周期，也可以是根据日常操作经验自行拟定的时间周期，当然还可以是其他时间周期，本实施例对此不加以限制。
步骤S14、获取预设日志表格式和预设数据表格式，根据所述预设日志表格式、所述预设数据表格式和所述目标线程设置用于持久化存储运行数据的更新日志表及数据表。
可以理解的是，所述预设队列为预先设置的用于各线程对应的执行队列，所述目标线程为在预设时间周期内从预设队列中循环获取数据的线程；一般的，在设置所述目标线程之前，需要进行初始化操作，级对所述预设数据库进行初始化，所述预设日志表格式和预设数据表格式为预先设置的预设表格式，通过所述目标线程可以构建用于持久化存储运行数据的更新日志表及数据表，即在修改数据库时，不直接修改数据库内容，而是将修改完的数据写入日志中，并同步到磁盘上，这样对应其他进程就没有影响。
本实施例通过上述方案，通过获取预设线程池中各线程的多个查询语句，根据预设关键字将多个查询语句合并为一个目标查询语句；根据所述目标查询语句获取各线程的会话状态，将所述会话状态处于临时状态的线程删除，并将删除后的线程作为目标线程；在预设数据库中设置目标线程，所述目标线程为在预设时间周期内从预设队列中循环获取数据的线程；获取预设日志表格式和预设数据表格式，根据所述预设日志表格式、所述预设数据表格式和所述目标线程设置用于持久化存储运行数据的更新日志表及数据表，能够实时跟踪数据版本中数据变化,并根据数据版本的更新变化进行更高效的数据管理，提高了数据版本管理的速度和效率，降低了数据管理的人工消耗和数据误差，避免了数据库崩溃引起的数据丢失问题，提升了用户体验。
进一步地，图4为本发明数据版本管理方法第三实施例的流程示意图，如图4所示，基于第二实施例提出本发明数据版本管理方法第三实施例，在本实施例中，所述步骤S20具体包括以下步骤：
步骤S21、响应于数据处理请求，对待运行数据进行实时监控，获取所述待运行数据在运行过程中产生的数据工作流。
需要说明的是，所述数据处理请求为用户提交的数据处理请求，根据所述数据处理请求可以对待运行数据进行实时监控，从而可以获得所述待运行数据在运行过程中产生的数据工作流，所述数据工作流包括但不限于所述待运行数据在运行过程中产生的数据信息和版本信息，所述版本信息包括所属数据集名称、数据集ID、执行代码ID、形成时间及运行日志中的至少一种，当然还可以包括其他信息，本实施例对此不加以限制。
在具体实现中，在获取所述待运行数据的运行过程中产生的数据工作流之前，还可以根据所述数据处理请求为所述待运行数据分配对应的数据集，以及对应的数据集执行代码，根据预设执行引擎执行所述数据集执行代码，可以实时记录所述待运行数据在运行过程中产生的数据工作流，所述数据集执行代码可以是用户最新提交的执行代码，也可以是预先存储的执行代码，当然还可以是其他形式的执行代码，本实施例对此不加以限制。
进一步地，所述步骤S31包括以下步骤：
响应于数据处理请求，对待运行数据进行实时监控；
在检测到所述待运行数据在运行过程中出现的运行关键字和停止关键字时，将所述运行关键字和所述停止关键字之间对应的数据流进行截取，并将所述数据流作为数据工作流。
应当理解的是，通过对所述待运行数据在运行过程中出现的运行关键字和停止关键字进行监测，并对运行关键字和所述停止关键字之间对应的数据流进行截取，可以获得数据工作流，即对所述待运行数据在运行过程中出现的每一段事务数据流进行截取，可以获得对应的数据工作流，当然还可以通过其他方式获取所述数据工作流，本实施例对此不加以限制。
步骤S22、对数据工作流进行分析，获得所述待运行数据的实时数据版本信息。
可以理解的是，通过对所述数据工作流进行分析，可以获得所述待运行数据的实时数据版本信息，所述实时数据版本信息为所述待运行数据当前的数据版本信息，根据所述实时数据版本信息可以判断所述预设数据库是否需要进行更新。
进一步地，所述步骤S22具体包括以下步骤：
对数据工作流进行分析，获得所述数据工作流中的索引信息；
从所述索引信息中获取所述待运行数据对应的简要信息、版本标识和起止时间；
根据所述简要信息、版本标识和起止时间确定所述待运行数据的实时数据版本信息。
应当理解的是，对数据工作流进行分析，可以获得所述数据工作流中的索引信息，进而根据所述索引信息可以确定所述待运行数据的实时数据版本信息，具体的，从所述索引信息获取所述待运行数据对应的简要信息、版本标识和起止时间，根据所述简要信息、版本标识和起止时间确定所述待运行数据的实时数据版本信息，当然所述索引信息还可以包括其他信息，本实施例对此不加以限制。
本实施例通过上述方案，通过响应于数据处理请求，对待运行数据进行实时监控，获取所述待运行数据在运行过程中产生的数据工作流；对数据工作流进行分析，获得所述待运行数据的实时数据版本信息，能够准确获得实时数据版本信息，进而确定当前数据版本，提高数据版本管理的准确性，进一步确定数据版本是否需要更新，能够提高数据版本管理的速度和效率，降低了数据管理的人工消耗和数据误差，避免了数据库崩溃引起的数据丢失问题，提升了用户体验。
基于上述数据版本管理方法的实施例，本发明进一步提供一种数据版本管理装置。
参照图5，图5为本发明数据版本管理装置第一实施例的功能模块图。
本发明数据版本管理装置第一实施例中，该数据版本管理装置包括：设置模块10、信息获取模块20和更新模块30；
其中，所述设置模块10，用于在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表。
需要说明的是，所述预设数据库为预先设置的用于进行数据版本管理的数据库，所述更新日志表为用于记录瞬时数据持久化为持久数据的更新记录表，是数据表为用于存储瞬时数据持久化为持久数据后，持久化数据对应的信息的数据表。
进一步地，所述设置模块10包括：
合并模块，用于获取预设线程池中各线程的多个查询语句，根据预设关键字将多个查询语句合并为一个目标查询语句。
需要说明的是,所述预设线程池为预先设置的用于存储多个执行数据版本管理进程的线程池,通过获取预设线程池中各线程的多个查询语句,可以确定个线程的会话状态,具体地,通过预设关键字将多个查询语句合并为一个目标查询语句,通过所述目标查询获取各线程的会话状态,所述预设关键字为预先设置的用于将多个查询语句进行合并的关键字。
线程确定模块，用于根据所述目标查询语句获取各线程的会话状态，将所述会话状态处于临时状态的线程删除，并将删除后的线程作为目标线程。
可以理解的是，在获取个线程的会话状态后，对所述会话状态进行分析，在所述会话状态处于临时状态时，将处于临时状态的线程进行删除，从而保证了执行数据版本管理的线程的稳定性，并将删除后的线程做完目标线程。
线程设置模块，用于在预设数据库中设置目标线程，所述目标线程为在预设时间周期内从预设队列中循环获取数据的线程。
应当理解的是，所述预设时间周期为预先设置的时间周期，可以是技术人员通过大量实验数据确定的时间周期，也可以是根据日常操作经验自行拟定的时间周期，当然还可以是其他时间周期，本实施例对此不加以限制。
格式获取模块，用于获取预设日志表格式和预设数据表格式，根据所述预设日志表格式、所述预设数据表格式和所述目标线程设置用于持久化存储运行数据的更新日志表及数据表。
可以理解的是，所述预设队列为预先设置的用于各线程对应的执行队列，所述目标线程为在预设时间周期内从预设队列中循环获取数据的线程；一般的，在设置所述目标线程之前，需要进行初始化操作，级对所述预设数据库进行初始化，所述预设日志表格式和预设数据表格式为预先设置的预设表格式，通过所述目标线程可以构建用于持久化存储运行数据的更新日志表及数据表，即在修改数据库时，不直接修改数据库内容，而是将修改完的数据写入日志中，并同步到磁盘上，这样对应其他进程就没有影响。
所述信息获取模块20，用于对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息。
可以理解的是，所述待运行数据为需要进行运行处理的数据，通过对所述待运行数据进行监控，可以获得所述待运行数据的相应监控数据，通过对所述监控数据进行分析，可以获取所述待运行数据的实时数据版本信息，当然还可以通过其他方式获取所述待运行数据的实时数据版本信息，本实施例对此不加以限制。
进一步地，所述信息获取模块20包括：
工作流获取模块，用于响应于数据处理请求，对待运行数据进行实时监控，获取所述待运行数据在运行过程中产生的数据工作流。
需要说明的是，所述数据处理请求为用户提交的数据处理请求，根据所述数据处理请求可以对待运行数据进行实时监控，从而可以获得所述待运行数据在运行过程中产生的数据工作流，所述数据工作流包括但不限于所述待运行数据在运行过程中产生的数据信息和版本信息，所述版本信息包括所属数据集名称、数据集ID、执行代码ID、形成时间及运行日志中的至少一种，当然还可以包括其他信息，本实施例对此不加以限制。
在具体实现中，在获取所述待运行数据的运行过程中产生的数据工作流之前，还可以根据所述数据处理请求为所述待运行数据分配对应的数据集，以及对应的数据集执行代码，根据预设执行引擎执行所述数据集执行代码，可以实时记录所述待运行数据在运行过程中产生的数据工作流，所述数据集执行代码可以是用户最新提交的执行代码，也可以是预先存储的执行代码，当然还可以是其他形式的执行代码，本实施例对此不加以限制。
进一步地，所述工作流获取模块包括：
监控模块，用于响应于数据处理请求，对待运行数据进行实时监控。
关键字截取模块，用于在检测到所述待运行数据在运行过程中出现的运行关键字和停止关键字时，将所述运行关键字和所述停止关键字之间对应的数据流进行截取，并将所述数据流作为数据工作流。
应当理解的是，通过对所述待运行数据在运行过程中出现的运行关键字和停止关键字进行监测，并对运行关键字和所述停止关键字之间对应的数据流进行截取，可以获得数据工作流，即对所述待运行数据在运行过程中出现的每一段事务数据流进行截取，可以获得对应的数据工作流，当然还可以通过其他方式获取所述数据工作流，本实施例对此不加以限制。
相应地，所述信息获取模块20还包括：
分析模块，用于对数据工作流进行分析，获得所述待运行数据的实时数据版本信息。
可以理解的是，通过对所述数据工作流进行分析，可以获得所述待运行数据的实时数据版本信息，所述实时数据版本信息为所述待运行数据当前的数据版本信息，根据所述实时数据版本信息可以判断所述预设数据库是否需要进行更新。
进一步地，所述分析模块包括：
索引信息获取模块，用于对数据工作流进行分析，获得所述数据工作流中的索引信息；
信息提取模块，用于从所述索引信息中获取所述待运行数据对应的简要信息、版本标识和起止时间；
版本信息确定模块，用于根据所述简要信息、版本标识和起止时间确定所述待运行数据的实时数据版本信息。
应当理解的是，对数据工作流进行分析，可以获得所述数据工作流中的索引信息，进而根据所述索引信息可以确定所述待运行数据的实时数据版本信息，具体的，从所述索引信息获取所述待运行数据对应的简要信息、版本标识和起止时间，根据所述简要信息、版本标识和起止时间确定所述待运行数据的实时数据版本信息，当然所述索引信息还可以包括其他信息，本实施例对此不加以限制。
所述更新模块30，所述根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新。
应当理解的是，在获取了所述实时数据版本信息后，可以根据所述更新日志表中的相应版本信息和所述数据表中的相应数据对所述预设数据库进行数据版本更新，当然还可以是根据其他方式对所述预设数据库进行更新，本实施例对此不加以限制。
进一步地，所述更新模块30包括：
更新信息获取模块，用于获取所述实时数据版本信息中的更新记录信息以及对应的数据信息。
更新表模块，用于根据所述更新记录信息更新所述更新日志表，并根据所述数据信息更新所述数据表。
可以理解的是，所述实时数据版本信息中包括更新记录信息和数据信息，通过所述更新记录信息和数据信息能够更新所述更新日志表和所述数据表。
进一步地，所述更新表模块包括：
初始数据获取模块，用于获取所述待运行数据的初始数据版本信息，从所述初始数据版本信息中获取初始数据版本。
版本对比模块，用于从所述实时数据版本信息中获取所述待运行数据的实时数据版本，将所述实时数据版本和初始数据版本进行比对。
升级模块，用于在所述实时数据版本的版本号低于所述初始数据版本的版本号时，对所述预设数据库进行升级操作，并记录升级后数据库版本号，根据所述数据库版本号和所述更新记录信息更新所述更新日志表，根据所述数据库版本号和所述数据信息更新所述数据表。
降级模块，用于在所述实时数据版本的版本号高于所述初始数据版本的版本号时，对所述预设数据库进行降级操作，并记录降级后的数据库版本号，根据所述数据库版本号和所述更新记录信息更新所述更新日志表，根据所述数据库版本号和所述数据信息更新所述数据表。
应当理解的是，通过所述实时数据版本信息可以获取所述待运行数据的实时数据版本，根据所述初始数据版本信息获取所述待运行数据的初始数据版本，将所述实时数据版本和初始数据版本进行比对，在所述实时数据版本的版本号低于所述初始数据版本的版本号时，对所述预设数据库进行升级操作，并记录升级后数据库版本号，根据所述数据库版本号和所述实时数据版本信息中的更新记录信息和数据信息对所述更新日志表和所述数据表进行更新，在所述实时数据版本的版本号高于所述初始数据版本的版本号时，对所述预设数据库进行降级操作，并记录降级后的数据库版本号，根据所述数据库版本号和所述实时数据版本信息中的更新记录信息和数据信息对所述更新日志表和所述数据表进行更新，当然也可以通过其他方式对所述更新日志表和所述数据表进行更新，本实施例对此不加以限制。
可以理解的是，将所述实时数据版本信息与所述初始数据版本信息的比对方式可以采用偏序比较方式进行比较，即不一定是对所述版本号进行比对，还可以是对所述数据项目表示进行比对，还可以是对所属脚本对象列表进行比对，通过偏序比较的方式确定需要进行更新的信息；在获得更新后的更新日志表和数据表后，可以根据更新后的更新日志表和数据表分析出对应的数据的历史变化，从而可以根据分析结果进行后续的处理操作。
本实施例通过上述方案，通过在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新，能够实时跟踪数据版本中数据变化,并根据数据版本的更新变化进行更高效的数据管理,提高了数据版本管理的速度和效率，降低了数据管理的人工消耗和数据误差，避免了数据库崩溃引起的数据丢失问题，提升了用户体验。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有数据版本管理程序，所述数据版本管理程序被处理器执行时实现如下操作：
在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；
对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；
根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新。
进一步地，所述数据版本管理程序被处理器执行时还实现如下操作：
获取预设线程池中各线程的多个查询语句，根据预设关键字将多个查询语句合并为一个目标查询语句；
根据所述目标查询语句获取各线程的会话状态，将所述会话状态处于临时状态的线程删除，并将删除后的线程作为目标线程；
在预设数据库中设置目标线程，所述目标线程为在预设时间周期内从预设队列中循环获取数据的线程；
获取预设日志表格式和预设数据表格式，根据所述预设日志表格式、所述预设数据表格式和所述目标线程设置用于持久化存储运行数据的更新日志表及数据表。
进一步地，所述数据版本管理程序被处理器执行时还实现如下操作：
响应于数据处理请求，对待运行数据进行实时监控，获取所述待运行数据在运行过程中产生的数据工作流；
对数据工作流进行分析，获得所述待运行数据的实时数据版本信息。
进一步地，所述数据版本管理程序被处理器执行时还实现如下操作：
响应于数据处理请求，对待运行数据进行实时监控；
在检测到所述待运行数据在运行过程中出现的运行关键字和停止关键字时，将所述运行关键字和所述停止关键字之间对应的数据流进行截取，并将所述数据流作为数据工作流。
进一步地，所述数据版本管理程序被处理器执行时还实现如下操作：
对数据工作流进行分析，获得所述数据工作流中的索引信息；
从所述索引信息中获取所述待运行数据对应的简要信息、版本标识和起止时间；
根据所述简要信息、版本标识和起止时间确定所述待运行数据的实时数据版本信息。
进一步地，所述数据版本管理程序被处理器执行时还实现如下操作：
获取所述实时数据版本信息中的更新记录信息以及对应的数据信息；
根据所述更新记录信息更新所述更新日志表，并根据所述数据信息更新所述数据表。
进一步地，所述数据版本管理程序被处理器执行时还实现如下操作：
获取所述待运行数据的初始数据版本信息，从所述初始数据版本信息中获取初始数据版本；
从所述实时数据版本信息中获取所述待运行数据的实时数据版本，将所述实时数据版本和初始数据版本进行比对；
在所述实时数据版本的版本号低于所述初始数据版本的版本号时，对所述预设数据库进行升级操作，并记录升级后数据库版本号，根据所述数据库版本号和所述更新记录信息更新所述更新日志表，根据所述数据库版本号和所述数据信息更新所述数据表；
在所述实时数据版本的版本号高于所述初始数据版本的版本号时，对所述预设数据库进行降级操作，并记录降级后的数据库版本号，根据所述数据库版本号和所述更新记录信息更新所述更新日志表，根据所述数据库版本号和所述数据信息更新所述数据表。
本实施例通过上述方案，通过在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新，能够实时跟踪数据版本中数据变化,并根据数据版本的更新变化进行更高效的数据管理,提高了数据版本管理的速度和效率，降低了数据管理的人工消耗和数据误差，避免了数据库崩溃引起的数据丢失问题，提升了用户体验。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据版本管理方法，其特征在于，所述方法包括：
在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；
对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；
根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新。
2.如权利要求1所述的方法，其特征在于，所述在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表的步骤，包括：
获取预设线程池中各线程的多个查询语句，根据预设关键字将多个查询语句合并为一个目标查询语句；
根据所述目标查询语句获取各线程的会话状态，将所述会话状态处于临时状态的线程删除，并将删除后的线程作为目标线程；
在预设数据库中设置目标线程，所述目标线程为在预设时间周期内从预设队列中循环获取数据的线程；
获取预设日志表格式和预设数据表格式，根据所述预设日志表格式、所述预设数据表格式和所述目标线程设置用于持久化存储运行数据的更新日志表及数据表。
3.如权利要求2所述的方法，其特征在于，所述对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息的步骤，包括：
响应于数据处理请求，对待运行数据进行实时监控，获取所述待运行数据在运行过程中产生的数据工作流；
对数据工作流进行分析，获得所述待运行数据的实时数据版本信息。
4.如权利要求3所述的方法，其特征在于，所述响应于数据处理请求，对待运行数据进行实时监控，获取所述待运行数据在运行过程中产生的数据工作流的步骤，包括：
响应于数据处理请求，对待运行数据进行实时监控；
在检测到所述待运行数据在运行过程中出现的运行关键字和停止关键字时，将所述运行关键字和所述停止关键字之间对应的数据流进行截取，并将所述数据流作为数据工作流。
5.如权利要求4所述的方法，其特征在于，所述对数据工作流进行分析，获得所述待运行数据的实时数据版本信息的步骤，包括：
对数据工作流进行分析，获得所述数据工作流中的索引信息；
从所述索引信息中获取所述待运行数据对应的简要信息、版本标识和起止时间；
根据所述简要信息、版本标识和起止时间确定所述待运行数据的实时数据版本信息。
6.如权利要求5所述的方法，其特征在于，所述根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新的步骤，包括：
获取所述实时数据版本信息中的更新记录信息以及对应的数据信息；
根据所述更新记录信息更新所述更新日志表，并根据所述数据信息更新所述数据表。
7.如权利要求6所述的方法，其特征在于，所述根据所述更新记录信息更新所述更新日志表，并根据所述数据信息更新所述数据表的步骤，包括：
获取所述待运行数据的初始数据版本信息，从所述初始数据版本信息中获取初始数据版本；
从所述实时数据版本信息中获取所述待运行数据的实时数据版本，将所述实时数据版本和初始数据版本进行比对；
在所述实时数据版本的版本号低于所述初始数据版本的版本号时，对所述预设数据库进行升级操作，并记录升级后数据库版本号，根据所述数据库版本号和所述更新记录信息更新所述更新日志表，根据所述数据库版本号和所述数据信息更新所述数据表；
在所述实时数据版本的版本号高于所述初始数据版本的版本号时，对所述预设数据库进行降级操作，并记录降级后的数据库版本号，根据所述数据库版本号和所述更新记录信息更新所述更新日志表，根据所述数据库版本号和所述数据信息更新所述数据表。
8.一种数据版本管理装置，其特征在于，所述装置包括：设置模块、信息获取模块和更新模块；
其中，所述设置模块，用于在预设数据库中设置用于持久化存储运行数据的更新日志表及数据表；
所述信息获取模块，用于对待运行数据进行实时监控，获取所述待运行数据的实时数据版本信息；
所述更新模块，所述根据所述实时数据版本信息对所述更新日志表和所述数据表进行更新。
9.一种数据版本管理设备，其特征在于，所述数据版本管理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据版本管理程序，所述数据版本管理程序配置为实现如权利要求1至7中任一项所述的数据版本管理方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有数据版本管理程序，所述数据版本管理程序被处理器执行时实现如权利要求1至7中任一项所述的数据版本管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910205807.1A CN110059096A (zh) | 2019-03-16 | 2019-03-16 | 数据版本管理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910205807.1A CN110059096A (zh) | 2019-03-16 | 2019-03-16 | 数据版本管理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110059096A true CN110059096A (zh) | 2019-07-26 |
Family
ID=67317101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910205807.1A Pending CN110059096A (zh) | 2019-03-16 | 2019-03-16 | 数据版本管理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110059096A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597165A (zh) * | 2020-04-17 | 2020-08-28 | 西安震有信通科技有限公司 | 一种数据库管理方法、终端及存储介质 |
| CN112363997A (zh) * | 2020-11-10 | 2021-02-12 | 中国平安人寿保险股份有限公司 | 数据版本管理方法、装置及存储介质 |
| CN113535682A (zh) * | 2021-07-23 | 2021-10-22 | 中信银行股份有限公司 | 数据版本管理系统、方法、设备以及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040210606A1 (en) * | 2003-04-16 | 2004-10-21 | Brown Archie W. | On-demand multi-version denormalized data dictionary to support log-based applications |
| CN105956087A (zh) * | 2016-04-29 | 2016-09-21 | 清华大学 | 数据及代码版本管理系统及方法 |
| CN106462639A (zh) * | 2014-06-24 | 2017-02-22 | 谷歌公司 | 处理远程数据库的变化 |
| CN106649771A (zh) * | 2016-12-27 | 2017-05-10 | 广州杰赛科技股份有限公司 | 数据库的数据模型更新方法和系统 |
| CN106843984A (zh) * | 2017-02-13 | 2017-06-13 | 东软集团股份有限公司 | 应用数据库的更新方法及装置 |
| CN107220315A (zh) * | 2017-05-16 | 2017-09-29 | 北京酷我科技有限公司 | 一种app版本更新时数据库降级的用户数据保护方法 |
| CN109408589A (zh) * | 2018-09-14 | 2019-03-01 | 新华三大数据技术有限公司 | 数据同步方法及装置 |
| CN109471851A (zh) * | 2018-10-17 | 2019-03-15 | 上海达梦数据库有限公司 | 数据处理方法、装置、服务器和存储介质 |
-
2019
- 2019-03-16 CN CN201910205807.1A patent/CN110059096A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040210606A1 (en) * | 2003-04-16 | 2004-10-21 | Brown Archie W. | On-demand multi-version denormalized data dictionary to support log-based applications |
| CN106462639A (zh) * | 2014-06-24 | 2017-02-22 | 谷歌公司 | 处理远程数据库的变化 |
| CN105956087A (zh) * | 2016-04-29 | 2016-09-21 | 清华大学 | 数据及代码版本管理系统及方法 |
| CN106649771A (zh) * | 2016-12-27 | 2017-05-10 | 广州杰赛科技股份有限公司 | 数据库的数据模型更新方法和系统 |
| CN106843984A (zh) * | 2017-02-13 | 2017-06-13 | 东软集团股份有限公司 | 应用数据库的更新方法及装置 |
| CN107220315A (zh) * | 2017-05-16 | 2017-09-29 | 北京酷我科技有限公司 | 一种app版本更新时数据库降级的用户数据保护方法 |
| CN109408589A (zh) * | 2018-09-14 | 2019-03-01 | 新华三大数据技术有限公司 | 数据同步方法及装置 |
| CN109471851A (zh) * | 2018-10-17 | 2019-03-15 | 上海达梦数据库有限公司 | 数据处理方法、装置、服务器和存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597165A (zh) * | 2020-04-17 | 2020-08-28 | 西安震有信通科技有限公司 | 一种数据库管理方法、终端及存储介质 |
| CN111597165B (zh) * | 2020-04-17 | 2023-06-02 | 西安震有信通科技有限公司 | 一种数据库管理方法、终端及存储介质 |
| CN112363997A (zh) * | 2020-11-10 | 2021-02-12 | 中国平安人寿保险股份有限公司 | 数据版本管理方法、装置及存储介质 |
| CN112363997B (zh) * | 2020-11-10 | 2023-09-26 | 中国平安人寿保险股份有限公司 | 数据版本管理方法、装置及存储介质 |
| CN113535682A (zh) * | 2021-07-23 | 2021-10-22 | 中信银行股份有限公司 | 数据版本管理系统、方法、设备以及存储介质 |
| CN113535682B (zh) * | 2021-07-23 | 2024-05-17 | 中信银行股份有限公司 | 数据版本管理系统、方法、设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11182691B1 (en) | Category-based sampling of machine learning data | |
| US11036576B2 (en) | Automatically reconfiguring a performance test environment | |
| CN105359146B (zh) | 自动数据库迁移架构 | |
| US11100420B2 (en) | Input processing for machine learning | |
| US10275345B2 (en) | Application experiment system | |
| CN109034993A (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
| US9436734B2 (en) | Relative performance prediction of a replacement database management system (DBMS) | |
| US20150379425A1 (en) | Consistent filtering of machine learning data | |
| US8930918B2 (en) | System and method for SQL performance assurance services | |
| CN110059096A (zh) | 数据版本管理方法、装置、设备及存储介质 | |
| US20160321036A1 (en) | Dynamically monitoring code execution activity to identify and manage inactive code | |
| US8209297B2 (en) | Data processing device and method | |
| CN108197306A (zh) | Sql语句处理方法、装置、计算机设备和存储介质 | |
| CN106970920A (zh) | 一种用于数据库数据迁移的方法与设备 | |
| CN112052082B (zh) | 任务属性优化方法、装置、服务器及存储介质 | |
| US8832653B2 (en) | Centralized, object-level change tracking | |
| US9405786B2 (en) | System and method for database flow management | |
| CN112559525B (zh) | 数据检查系统、方法、装置和服务器 | |
| CN110968569B (zh) | 数据库的管理方法、数据库的管理装置及存储介质 | |
| US10003492B2 (en) | Systems and methods for managing data related to network elements from multiple sources | |
| CN109033196A (zh) | 一种分布式数据调度系统及方法 | |
| CN107908697A (zh) | 主机批处理作业结果的自动采集方法及装置 | |
| CN113762702A (zh) | 工作流部署方法、装置、计算机系统和可读存储介质 | |
| JP2009026029A (ja) | トランザクション制御装置、トランザクション制御方法、トランザクション制御プログラムおよびそのプログラムを記憶した記憶媒体 | |
| US20120192011A1 (en) | Data processing apparatus that performs test validation and computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190726 |