CN114625745A - 基于数据库操作的数据处理方法及装置 - Google Patents
基于数据库操作的数据处理方法及装置 Download PDFInfo
- Publication number
- CN114625745A CN114625745A CN202210249822.8A CN202210249822A CN114625745A CN 114625745 A CN114625745 A CN 114625745A CN 202210249822 A CN202210249822 A CN 202210249822A CN 114625745 A CN114625745 A CN 114625745A
- Authority
- CN
- China
- Prior art keywords
- database
- data
- change
- target data
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于数据库操作的数据处理方法及装置,涉及数据处理技术领域,主要目的在于解决现有基于数据库操作的数据处理效率低的问题。包括:配置第一数据库进行数据库操作的操作变更接口,并启动对所述第一数据库执行所述数据库操作的数据监控操作,所述操作变更接口用于调取所述第一数据库中发生所述数据库操作的数据并关联至第二数据库;当监控所述第一数据库中的第一目标数据发生变更时,调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容;通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作。
Description
技术领域
本发明涉及一种数据处理技术领域,特别是涉及一种基于数据库操作的数据处理方法及装置。
背景技术
随着大数据的快速发展,在不同数据库中存储的数据需要进行联动性的业务操作,如针对mysql数据库中的DDl操作,作为相关的hive数据库中的数据内容、数据属性等也会发生变化,此时,会使得数据变动较为频繁,导致数据库的工作量不断加大。
目前,现有对上游数据库中的数据进行DDI操作后,需要与下游数据库的使用人员进行人为沟通,通过提交工单至下游数据库进行人为变更,但是,基于人为沟通后进行人为变更下游数据库中的数据,大大增加了人为操作的频繁性,浪费大量资源,从而降低基于数据库操作的数据处理效率。
发明内容
有鉴于此,本发明提供一种基于数据库操作的数据处理方法及装置、存储介质、计算机设备,主要目的在于解决现有基于数据库操作的数据处理效率低的问题。
依据本发明一个方面,提供了一种基于数据库操作的数据处理方法,包括:
配置第一数据库进行数据库操作的操作变更接口,并启动对所述第一数据库执行所述数据库操作的数据监控操作,所述操作变更接口用于调取所述第一数据库中发生所述数据库操作的数据并关联至第二数据库;
当监控所述第一数据库中的第一目标数据发生变更时,调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容;
通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作。
进一步地,所述调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容之前,所述方法还包括:
获取与所述第一数据库与所述第二数据库所匹配的业务需求信息,所述业务需求信息为执行所述数据库操作的业务关联内容;
基于所述业务需求信息建立所述第一数据库与所述第二数据库中数据发生变更时所对应变更字段内容的变更映射关系,所述变更映射关系包括字段变更范围、字段变更条件、字段变更限定信息。
进一步地,所述通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作包括:
解析所述数据库操作,确定所述数据库操作的执行业务信息、关联数据库、执行环境;
基于所述执行业务信息、所述关联数据库、所述执行环境提取与所述变更字段内容所对应的第二目标数据;
通过所述操作变更接口在所述第二数据库中对所述第二目标数据执行所述数据库操作。
进一步地,所述通过所述操作变更接口在所述第二数据库中对所述第二目标数据执行所述数据库操作之前,所述方法还包括:
获取所述第二数据库的预设数据变更条件,所述预设数据变更条件用于表征对所述第二数据库中数据进行数据库操作的业务条件;
若所述第二目标数据匹配所述预设数据变更条件,则通过所述操作变更接口对所述第二目标数据执行所述数据库操作;
若所述第二目标数据不匹配所述预设数据变更条件,则基于所述预设数据变更条件对所述数据库操作进行调整,并通过所述操作变更接口对所述第二目标数据执行调整后的数据库操作。
进一步地,所述启动对所述第一数据库执行所述数据库操作的数据监控操作包括:
监控所述第一数据库中的数据库操作,确定第一目标数据;
将执行所述数据库操作的操作内容以及所述第一目标数据存储于预设监控数据库中,所述预设监控数据库配置有与不同数据库操作所匹配的监控列表,以进行不同数据库操作后从所述监控列表中调取所述第一目标数据。
进一步地,所述方法还包括:
确定所述第一数据库完成所述操作变更接口配置后,调取所述第二数据库的操作接口参数,将所述操作接口参数配置于所述操作变更接口,以得到关联至所述第二数据库的操作变更接口。
进一步地,所述通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作之后,所述方法还包括:
对所述第二目标数据库执行所述数据库操作后,确定执行所述数据库操作后所述第一目标数据与所述第二目标数据的数据差;
若所述数据差符合预设业务数据差阈值范围,则确定所述第一目标数据与所述第二数据数据完成变更操作;
若所述数据差不符合预设业务数据差阈值范围,则输出告警信息,以单独对所述第二目标数据进行变更的数据库操作。
依据本发明另一个方面,提供了一种基于数据库操作的数据处理装置,包括:
配置模块,用于配置第一数据库进行数据库操作的操作变更接口,并启动对所述第一数据库执行所述数据库操作的数据监控操作,所述操作变更接口用于调取所述第一数据库中发生所述数据库操作的数据并关联至第二数据库;
调取模块,用于当监控所述第一数据库中的第一目标数据发生变更时,调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容;
执行模块,用于通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作。
进一步地,所述装置还包括:
获取模块,用于获取与所述第一数据库与所述第二数据库所匹配的业务需求信息,所述业务需求信息为执行所述数据库操作的业务关联内容;
建立模块,用于基于所述业务需求信息建立所述第一数据库与所述第二数据库中数据发生变更时所对应变更字段内容的变更映射关系,所述变更映射关系包括字段变更范围、字段变更条件、字段变更限定信息。
进一步地,所述执行模块包括:
确定单元,用于解析所述数据库操作,确定所述数据库操作的执行业务信息、关联数据库、执行环境;
提取单元,用于基于所述执行业务信息、所述关联数据库、所述执行环境提取与所述变更字段内容所对应的第二目标数据;
第一执行单元,用于通过所述操作变更接口在所述第二数据库中对所述第二目标数据执行所述数据库操作。
进一步地,所述执行模块还包括:
获取单元,用于获取所述第二数据库的预设数据变更条件,所述预设数据变更条件用于表征对所述第二数据库中数据进行数据库操作的业务条件;
第二执行单元,用于若所述第二目标数据匹配所述预设数据变更条件,则通过所述操作变更接口对所述第二目标数据执行所述数据库操作;
第三执行单元,用于若所述第二目标数据不匹配所述预设数据变更条件,则基于所述预设数据变更条件对所述数据库操作进行调整,并通过所述操作变更接口对所述第二目标数据执行调整后的数据库操作。
进一步地,所述配置模块包括:
确定单元,用于监控所述第一数据库中的数据库操作,确定第一目标数据;
存储单元,用于将执行所述数据库操作的操作内容以及所述第一目标数据存储于预设监控数据库中,所述预设监控数据库配置有与不同数据库操作所匹配的监控列表,以进行不同数据库操作后从所述监控列表中调取所述第一目标数据。
进一步地,
所述调取模块,还用于确定所述第一数据库完成所述操作变更接口配置后,调取所述第二数据库的操作接口参数,将所述操作接口参数配置于所述操作变更接口,以得到关联至所述第二数据库的操作变更接口。
进一步地,所述装置还包括:输出模块,
所述确定模块,用于对所述第二目标数据库执行所述数据库操作后,确定执行所述数据库操作后所述第一目标数据与所述第二目标数据的数据差;
所述确定模块,还用于若所述数据差符合预设业务数据差阈值范围,则确定所述第一目标数据与所述第二数据数据完成变更操作;
所述输出模块,用于若所述数据差不符合预设业务数据差阈值范围,则输出告警信息,以单独对所述第二目标数据进行变更的数据库操作。
根据本发明的又一方面,提供了一种存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述基于数据库操作的数据处理方法对应的操作。
根据本发明的再一方面,提供了一种计算机设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述基于数据库操作的数据处理方法对应的操作。
借由上述技术方案,本发明实施例提供的技术方案至少具有下列优点:
本发明提供了一种基于数据库操作的数据处理方法及装置,与现有技术相比,本发明实施例通过配置第一数据库进行数据库操作的操作变更接口,并启动对所述第一数据库执行所述数据库操作的数据监控操作,所述操作变更接口用于调取所述第一数据库中发生所述数据库操作的数据并关联至第二数据库;当监控所述第一数据库中的第一目标数据发生变更时,调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容;通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作,实现自动通过预先配置的接口对下游数据库进行数据库操作,减少人为操作的繁琐性,节省了大量资源,同时,实现自动基于变更映射关系确定出变更字段内容,以确定下游数据库中执行数据库操作的目标数据,从而提高基于数据库操作的数据处理效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种基于数据库操作的数据处理方法流程图;
图2示出了本发明实施例提供的另一种基于数据库操作的数据处理方法流程图;
图3示出了本发明实施例提供的再一种基于数据库操作的数据处理方法流程图;
图4示出了本发明实施例提供的又一种基于数据库操作的数据处理方法流程图;
图5示出了本发明实施例提供的多一种基于数据库操作的数据处理方法流程图;
图6示出了本发明实施例提供的一种基于数据库操作的数据处理装置组成框图;
图7示出了本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
针对对上游数据库中的数据进行DDI操作后,需要与下游数据库的使用人员进行人为沟通,通过提交工单至下游数据库进行人为变更,但是,基于人为沟通后进行人为变更下游数据库中的数据,大大增加了人为操作的频繁性,浪费大量资源,从而降低基于数据库操作的数据处理效率,本发明实施例提供了一种基于数据库操作的数据处理方法,如图1所示,该方法包括:
101、配置第一数据库进行数据库操作的操作变更接口,并启动对所述第一数据库执行所述数据库操作的数据监控操作。
本发明实施例中,由于不同的数据库中存储有执行不同的业务操作所对应的数据,为了在对第一数据库进行数据库操作时,同时对第一数据库具有业务关联的第二数据库进行相同的数据库操作,配置第一数据库进行数据操作的操作变更接口,所述操作变更接口用于调取所述第一数据库中发生所述数据库操作的数据并关联至第二数据库。其中,第一数据库与第二数据库均为仓储式数据库,用于存储大量或海量的业务操作过程中的数据,业务操作过程包括但不限于保险业务、产品更新、理赔操作等进行操作的内容,数据库中的数据适用于执行数据仓库技术ETL(Extract-Transform-Load)过程中的数据,通过对数据库中数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,此时,即包括分别对第一数据库、第二数据库中数据执行数据库操作的应用场景,优选的,第一数据库为DLL、mysql库,第二数据为hive数据库,hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制,hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能。在一个应用场景中,第一数据库为DLL数据库时,数据库中存储有针对不同业务操作所对应的代码内容、数据内容,对应的数据库操作即为DLL操作,此时,DLL操作为对此数据库中的数据进行操作的内容,因此,为第一数据库配置一个DLL操作变更接口,从而基于此操作变更接口调取变更的数据,并在关联的第二数据库中执行对应的数据变更。
需要说明的是,为了准确在第一数据库中出现数据变动时,自动在第二数据库中的数据变更,同时,启动对第一数据库中执行数据库操作的监控操作,即判断数据库中任意数据是否出现数据库操作而导致变更。其中,数据库操作对第一数据库中数据变更的范围包括但不限于数据的增加、数据的减少、数据的替换,以及代码参数或逻辑的增加、减少、替换等。
102、当监控所述第一数据库中的第一目标数据发生变更时,调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容。
本发明实施例中,在对第一数据库中数据执行数据库操作进行监控的过程中,当监控到第一数据库中的第一目标数据发送变更时,即对第一目标数据执行了数据库操作,此时,调取第一数据库与第二数据之间的变更映射关系,从而基于变更映射关系确定与第一目标数据匹配的变更字段内容。其中,变更映射关系为预先配置于当前执行端中的,变更字段内容为对第二数据库中需要进行同时数据库操作的目标数据的字段内容,因此,预先基于变更映射关系可以基于第一目标数据来确定在第二数据库中进行数据库操作的数据所对应的变更字段内容,从而基于此变更字段内容的第二目标数据来在第二数据库中执行对应的数据库操作。
需要说明的是,若第一数据库为mysql数据库,第二数据库为hive数据库,当前执行端还存储mysql数据库与hive数据库中带有不同字段类型的映射关系,从而用于将mysql数据库中的sql语句装换为hive数据库中可执行的sql语句。此时,第一数据库与第二数据库分别可以为关系型数据库和非关系型数据库中的字段类型和sql语法的转换,从而基于转换后的sql语句执行hive数据中的变更字段内容所对应的数据。
103、通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作。
本发明实施例中,在确定出第二数据库中的变更字段内容后,此变更字段内容可以作为在第二数据库中执行的nsql语句的对象,从而按照此变更字段内容在第二数据库中执行第二目标数据的数据库操作。此时,由于操作变更接口为第一数据库进行配置的,为了按照第一数据库中发生变更的第一目标数据对第二数据库中的变更字段内容所对应的第二目标数据执行数据库操作,操作变更接口在配置时,关联于第二数据库,从而在第二数据库中执行变更字段内容的第二目标数据时,基于配置的操作变更接口来执行数据库操作。另外,对于执行变更字段内容的nsql语句可以使用databus数据同步工具,定时运行拼接完成的nsql语句,本发明实施例不作具体限定。
在另一个本发明实施例中,为了进一步限定及说明,如图2所示,步骤调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容之前,所述方法还包括:
201、获取与所述第一数据库与所述第二数据库所匹配的业务需求信息;
202、基于所述业务需求信息建立所述第一数据库与所述第二数据库中数据发生变更时所对应变更字段内容的变更映射关系。
本发明实施例中,为了使在第二数据库中的数据库操作与第一数据库中执行的目标数据系相一致,预先基于第一数据库与第二数据库之间的业务需求信息生成发生变更时第一数据库中数据与第二数据库中数据所对应变更字段内容的变更映射关系。其中,获取第一数据库与第二数据库的业务需求信息为执行所述数据库操作的业务关联内容,包括但不限于保险关联需求、产品更新关联需求、理赔关联需求等,从而基于业务需求信息建立第一数据库与第二数据库之间的字段映射关系。其中,所述变更映射关系包括字段变更范围、字段变更条件、字段变更限定信息,字段变更范围为限制第一数据库中目标数据相对于第二数据库中数据进行执行的字段所变更的范围,例如,目标数据为a,字段变更范围用于限定,第二数据库中的字段变更上限为a+10等,本发明实施例不做具体限定;字段变更条件为限制第一数据中目标数据相对于第二数据库中数据执行变更时的系统条件、软件条件、业务条件,本发明实施例不做具体限定;字段变更限定内容为限定第一数据库中目标数据变更是否可以对第二数据库中对应数据进行执行操作的内容,例如,第一数据库为保险产品数据库,当对保险名称、额度进行变更时,对于作为用户承保数据库中的保险名称可以进行变更执行,但是字段变更限制内容为额度不变,从而确保用户购买的保险是不变的,本发明实施例不做具体限定。
需要说明的是,由于第一数据库与第二数据库属于关联数据库,对于存储于数据库中的数据,通过字段对存储于数据库的列表形式数据进行标识,例如,用于描述某一个数据的一个特征或者属性的字段为姓名,则在进行满足业务需求的数据库操作时,可以为对姓名数据所对应的字段进行查询、获取、删除等,本发明实施例不做具体限定。因此,在第一数据库中的第一目标数据发生变更时,应当唯一匹配到第二数据库中对应的字段内容,即为基于变更映射关系中与发生变更的第一目标数据所对应的变更字段内容来匹配到第二数据库中的第二目标数据,从而对第二目标数据进行数据库操作。此时,在基于业务需求信息建立变更映射关系,即为按照执行数据库操作的保险关联需求、产品更新关联需求、理赔关联需求建立第一数据库中数据的字段在发生变更时,对应于第二数据库中字段之间的映射关系,此处第二数据库中字段即为变更字段内容,可以通过用户预先选取来确定,然后基于第二数据库中变更字段内容来查找到数据,从而进行数据库操作。例如,第一数据库中的字段“金额”、“2021年”以及分别对应的数据,第二数据库中的字段“款数”、“2022年”以及分别对应的数据,基于保险关联需求建立对“金额”、“2021年”的变更字段内容为“款数”、“2022年”之间的映射关系,从而在对“金额”、“2021年”所对应的第一目标数据进行数据库操作时,基于映射关系确定变更字段内容为“款数”、“2022年”,将“款数”、“2022年”的数据作为第二目标数据,本发明实施例不做具体限定。
在另一个本发明实施例中,为了进一步限定及说明,如图3所示,步骤通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作包括:
301、解析所述数据库操作,确定所述数据库操作的执行业务信息、关联数据库、执行环境;
302、基于所述执行业务信息、所述关联数据库、所述执行环境提取与所述变更字段内容所对应的第二目标数据;
303、通过所述操作变更接口在所述第二数据库中对所述第二目标数据执行所述数据库操作。
为了准确实现数据库的操作,在基于操作变更接口对第二目标数据进行数据库操作时,具体解析数据库操作的执行业务信息、关联数据库、执行环境,以基于执行业务信息、关联数据库、执行环境提取对应的第二目标数据,进行数据库操作。其中,执行业务信息即为在第二数据库中执行数据库操作所对应的业务内容,例如保险业务、产品更新业务等,关联数据库用于表征第二数据库是否为与第一数据库具体关联关系的数据库,执行环境用于表征第二数据库中执行数据库操作的系统环境,此时,基于已经确定的执行业务信息、关联数据库、执行环境来提取变更字段内容所对应的第二目标数据,即为执行业务信息、关联数据库、执行环境均匹配第二数据库,则说明数据库操作可以在第二数据库中进行操作,因此,提取对应的第二目标数据。
需要说明的是,本发明实施例中的数据库操作包括但不限于对数据库中的目标数据执行提取、查询、删除、更新等操作,从而满足业务处理需求。
在另一个本发明实施例中,为了进一步限定及说明,如图4所示,步骤通过所述操作变更接口在所述第二数据库中对所述第二目标数据执行所述数据库操作之前,所述方法还包括:
401、获取所述第二数据库的预设数据变更条件;
402、若所述第二目标数据匹配所述预设数据变更条件,则通过所述操作变更接口对所述第二目标数据执行所述数据库操作;
403、若所述第二目标数据不匹配所述预设数据变更条件,则基于所述预设数据变更条件对所述数据库操作进行调整,并通过所述操作变更接口对所述第二目标数据执行调整后的数据库操作。
为了实现确保对第二目标数据执行的数据库操作是有效的,从而提高数据库中数据处理的准确性,预先在第二数据库中配置预设数据变更条件,从而对第二目标数据进行判断。其中,所述预设数据变更条件用于表征对所述第二数据库中数据进行数据库操作的业务条件,例如,第二数据库中的数据进行数据库操作的预设数据变更条件为保险理赔业务操作,若第二目标数据为保险理赔业务操作所要执行数据库操作的数据,则说明第二目标数据匹配预设数据变更条件,可以通过操作变更接口对第二目标数据执行数据库操作;若第二目标数据不为保险理赔业务操作所要执行数据库操作的数据,则说明就算基于字段映射关系确定变更字段内容的第二目标数据,也不能直接通过操作变更接口对第二目标数据进行数据库操作。此时,若第二目标数据不匹配预设数据变更条件时,可以基于预设数据变更条件对数据库操作进行调整,从而对第二目标数据执行调整后的数据库操作。其中,基于预设数据变更条件对数据库操作进行调整,结合数据库操作包括但不限于提取、查询、删除、更新等,即为基于对第二数据库中数据进行数据库操作的业务条件来对提取、查询、删除、更新的操作进行调整,调整的具体内容,如按照业务条件将直接删除调整为缓存预设时间后删除,还是将删除原有数据的更新调整为保留原有数据的更新等,由用户预先进行设定,本发明实施例不做具体限定,从而确定数据库操作可以准确的在第二数据库中执行。
在另一个本发明实施例中,为了进一步限定及说明,步骤启动对所述第一数据库执行所述数据库操作的数据监控操作包括:监控所述第一数据库中的数据库操作,确定第一目标数据;将执行所述数据库操作的操作内容以及所述第一目标数据存储于预设监控数据库中,以进行不同数据库操作后从所述监控列表中调取所述第一目标数据。
为了及时准确的对第一数据库中执行数据库操作的数据联动的关联至第二数据库中执行操作,监控第一数据库中执行数据库操作的数据,具体的,将监控第一数据库中执行数据库操作的数据确定为第一目标数据,此时,将执行数据库操作的具体操作内容以及第一目标数据存储与预设监控数据库中,从而在进行不同数据库操作后,从而预设监控数据库中的监控列表中调取第一目标数据。其中,所述预设监控数据库配置有与不同数据库操作所匹配的监控列表,即执行不同数据库操作存储在匹配的监控列表中,监控列表中记载有一种数据库操作所执行的数据库以及目标数据,从而在调取数据库操作时,直接获取到全部第一数据库以及目标数据,以关联到全部的第二数据库以及变更字段内容,大大加快了数据处理效率。
在另一个本发明实施例中,为了进一步限定及说明,还包括:确定所述第一数据库完成所述操作变更接口配置后,调取所述第二数据库的操作接口参数,将所述操作接口参数配置于所述操作变更接口,以得到关联至所述第二数据库的操作变更接口。
为了准确的将数据库操作关联至第二数据库中对第二目标数据执行,从而提高数据处理的效率及准确性,在确定第一数据库完成操作变更接口的配置后,调取第二数据库的操作接口参数,并将此操作接口配置于操作变更接口中,从而得到的操作变更接口可以关联至第二数据库中,实现通过一个操作变更接口来对第一数据库关联的第二数据库进行数据库操作。其中,操作变更接口包括但不限于ODBC(Open Database Connectivity,开放数据库互连)、Java Data Base(JDBC,Java数据库连接)、PDO(PHP Data Object)等,从而结合第二数据库的操作接口参数为第一数据库配置关联于第二数据库中的操作变更接口,本发明实施例不做具体限定。
在另一个本发明实施例中,为了进一步限定及说明,如图5所示,步骤通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作之后,所述方法还包括:
501、对所述第二目标数据库执行所述数据库操作后,确定执行所述数据库操作后所述第一目标数据与所述第二目标数据的数据差;
502、若所述数据差符合预设业务数据差阈值范围,则确定所述第一目标数据与所述第二数据数据完成变更操作;
503、若所述数据差不符合预设业务数据差阈值范围,则输出告警信息,以单独对所述第二目标数据进行变更的数据库操作。
本发明实施例中,为了确保在第一数据库中执行的数据库操作与第二数据库中所执行的数据库操作具有稳定且准确的对应关系,在对第二目标数据执行数据库操作后,确定分别执行数据库操作后的第一目标数据与第二目标数据的数据差。其中,数据差为执行数据库操作后的第一目标数据与第二目标数据之间的差值,当然的,若数据库操作为查询、提取等,差值为0,若数据库操作为删除、更改等,则可计算出具体的差值。此时,若数据差符合预设业务数据差阈值范围,则将完成变更操作,若不符合,则输出告警信息,以单独对第二目标数据执行数据库操作实现变更。其中,预设业务数据差阈值范围为0至a的范围,a为用户设定一个大于0的自然数阈值,例如,保险理赔业务中,预设业务数据差阈值为0-10,保险产品交易业务中,预设业务数据差阈值为0-100,本发明实施例不做具体限定,从而确保变更后的第二目标数据、第一目标数据仍能满足业务需求。
本发明实施例提供了一种基于数据库操作的数据处理方法,与现有技术相比,本发明实施例通过配置第一数据库进行数据库操作的操作变更接口,并启动对所述第一数据库执行所述数据库操作的数据监控操作,所述操作变更接口用于调取所述第一数据库中发生所述数据库操作的数据并关联至第二数据库;当监控所述第一数据库中的第一目标数据发生变更时,调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容;通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作,实现自动通过预先配置的接口对下游数据库进行数据库操作,减少人为操作的繁琐性,节省了大量资源,同时,实现自动基于变更映射关系确定出变更字段内容,以确定下游数据库中执行数据库操作的目标数据,从而提高基于数据库操作的数据处理效率。
进一步的,作为对上述图1所示方法的实现,本发明实施例提供了一种基于数据库操作的数据处理装置,如图6所示,该装置包括:
配置模块61,用于配置第一数据库进行数据库操作的操作变更接口,并启动对所述第一数据库执行所述数据库操作的数据监控操作,所述操作变更接口用于调取所述第一数据库中发生所述数据库操作的数据并关联至第二数据库;
调取模块62,用于当监控所述第一数据库中的第一目标数据发生变更时,调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容;
执行模块63,用于通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作。
进一步地,所述装置还包括:
获取模块,用于获取与所述第一数据库与所述第二数据库所匹配的业务需求信息,所述业务需求信息为执行所述数据库操作的业务关联内容;
建立模块,用于基于所述业务需求信息建立所述第一数据库与所述第二数据库中数据发生变更时所对应变更字段内容的变更映射关系,所述变更映射关系包括字段变更范围、字段变更条件、字段变更限定信息。
进一步地,所述执行模块包括:
确定单元,用于解析所述数据库操作,确定所述数据库操作的执行业务信息、关联数据库、执行环境;
提取单元,用于基于所述执行业务信息、所述关联数据库、所述执行环境提取与所述变更字段内容所对应的第二目标数据;
第一执行单元,用于通过所述操作变更接口在所述第二数据库中对所述第二目标数据执行所述数据库操作。
进一步地,所述执行模块还包括:
获取单元,用于获取所述第二数据库的预设数据变更条件,所述预设数据变更条件用于表征对所述第二数据库中数据进行数据库操作的业务条件;
第二执行单元,用于若所述第二目标数据匹配所述预设数据变更条件,则通过所述操作变更接口对所述第二目标数据执行所述数据库操作;
第三执行单元,用于若所述第二目标数据不匹配所述预设数据变更条件,则基于所述预设数据变更条件对所述数据库操作进行调整,并通过所述操作变更接口对所述第二目标数据执行调整后的数据库操作。
进一步地,所述配置模块包括:
确定单元,用于监控所述第一数据库中的数据库操作,确定第一目标数据;
存储单元,用于将执行所述数据库操作的操作内容以及所述第一目标数据存储于预设监控数据库中,所述预设监控数据库配置有与不同数据库操作所匹配的监控列表,以进行不同数据库操作后从所述监控列表中调取所述第一目标数据。
进一步地,
所述调取模块,还用于确定所述第一数据库完成所述操作变更接口配置后,调取所述第二数据库的操作接口参数,将所述操作接口参数配置于所述操作变更接口,以得到关联至所述第二数据库的操作变更接口。
进一步地,所述装置还包括:输出模块,
所述确定模块,用于对所述第二目标数据库执行所述数据库操作后,确定执行所述数据库操作后所述第一目标数据与所述第二目标数据的数据差;
所述确定模块,还用于若所述数据差符合预设业务数据差阈值范围,则确定所述第一目标数据与所述第二数据数据完成变更操作;
所述输出模块,用于若所述数据差不符合预设业务数据差阈值范围,则输出告警信息,以单独对所述第二目标数据进行变更的数据库操作。
本发明实施例提供了一种基于数据库操作的数据处理装置,与现有技术相比,本发明实施例通过配置第一数据库进行数据库操作的操作变更接口,并启动对所述第一数据库执行所述数据库操作的数据监控操作,所述操作变更接口用于调取所述第一数据库中发生所述数据库操作的数据并关联至第二数据库;当监控所述第一数据库中的第一目标数据发生变更时,调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容;通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作,实现自动通过预先配置的接口对下游数据库进行数据库操作,减少人为操作的繁琐性,节省了大量资源,同时,实现自动基于变更映射关系确定出变更字段内容,以确定下游数据库中执行数据库操作的目标数据,从而提高基于数据库操作的数据处理效率。
根据本发明一个实施例提供了一种存储介质,所述存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的基于数据库操作的数据处理方法。
图7示出了根据本发明一个实施例提供的一种计算机设备的结构示意图,本发明具体实施例并不对计算机设备的具体实现做限定。
如图7所示,该计算机设备可以包括:处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中:处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。
通信接口704,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器702,用于执行程序710,具体可以执行上述基于数据库操作的数据处理方法实施例中的相关步骤。
具体地,程序710可以包括程序代码,该程序代码包括计算机操作指令。
处理器702可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器706,用于存放程序710。存储器706可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序710具体可以用于使得处理器702执行以下操作:
配置第一数据库进行数据库操作的操作变更接口,并启动对所述第一数据库执行所述数据库操作的数据监控操作,所述操作变更接口用于调取所述第一数据库中发生所述数据库操作的数据并关联至第二数据库;
当监控所述第一数据库中的第一目标数据发生变更时,调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容;
通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (10)
1.一种基于数据库操作的数据处理方法,其特征在于,包括:
配置第一数据库进行数据库操作的操作变更接口,并启动对所述第一数据库执行所述数据库操作的数据监控操作,所述操作变更接口用于调取所述第一数据库中发生所述数据库操作的数据并关联至第二数据库;
当监控所述第一数据库中的第一目标数据发生变更时,调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容;
通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作。
2.根据权利要求1所述的方法,其特征在于,所述调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容之前,所述方法还包括:
获取与所述第一数据库与所述第二数据库所匹配的业务需求信息,所述业务需求信息为执行所述数据库操作的业务关联内容;
基于所述业务需求信息建立所述第一数据库与所述第二数据库中数据发生变更时所对应变更字段内容的变更映射关系,所述变更映射关系包括字段变更范围、字段变更条件、字段变更限定信息。
3.根据权利要求1所述的方法,其特征在于,所述通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作包括:
解析所述数据库操作,确定所述数据库操作的执行业务信息、关联数据库、执行环境;
基于所述执行业务信息、所述关联数据库、所述执行环境提取与所述变更字段内容所对应的第二目标数据;
通过所述操作变更接口在所述第二数据库中对所述第二目标数据执行所述数据库操作。
4.根据权利要求3所述的方法,其特征在于,所述通过所述操作变更接口在所述第二数据库中对所述第二目标数据执行所述数据库操作之前,所述方法还包括:
获取所述第二数据库的预设数据变更条件,所述预设数据变更条件用于表征对所述第二数据库中数据进行数据库操作的业务条件;
若所述第二目标数据匹配所述预设数据变更条件,则通过所述操作变更接口对所述第二目标数据执行所述数据库操作;
若所述第二目标数据不匹配所述预设数据变更条件,则基于所述预设数据变更条件对所述数据库操作进行调整,并通过所述操作变更接口对所述第二目标数据执行调整后的数据库操作。
5.根据权利要求1所述的方法,其特征在于,所述启动对所述第一数据库执行所述数据库操作的数据监控操作包括:
监控所述第一数据库中的数据库操作,确定第一目标数据;
将执行所述数据库操作的操作内容以及所述第一目标数据存储于预设监控数据库中,所述预设监控数据库配置有与不同数据库操作所匹配的监控列表,以进行不同数据库操作后从所述监控列表中调取所述第一目标数据。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述第一数据库完成所述操作变更接口配置后,调取所述第二数据库的操作接口参数,将所述操作接口参数配置于所述操作变更接口,以得到关联至所述第二数据库的操作变更接口。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作之后,所述方法还包括:
对所述第二目标数据库执行所述数据库操作后,确定执行所述数据库操作后所述第一目标数据与所述第二目标数据的数据差;
若所述数据差符合预设业务数据差阈值范围,则确定所述第一目标数据与所述第二数据数据完成变更操作;
若所述数据差不符合预设业务数据差阈值范围,则输出告警信息,以单独对所述第二目标数据进行变更的数据库操作。
8.一种基于数据库操作的数据处理装置,其特征在于,包括:
配置模块,用于配置第一数据库进行数据库操作的操作变更接口,并启动对所述第一数据库执行所述数据库操作的数据监控操作,所述操作变更接口用于调取所述第一数据库中发生所述数据库操作的数据并关联至第二数据库;
调取模块,用于当监控所述第一数据库中的第一目标数据发生变更时,调取所述第一数据库与所述第二数据库之间的变更映射关系,并基于所述变更映射关系确定与所述第一目标数据匹配的变更字段内容;
执行模块,用于通过所述操作变更接口,对所述第二数据库中所述变更字段内容的第二目标数据执行所述数据库操作。
9.一种存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的基于数据库操作的数据处理方法对应的操作。
10.一种计算机设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于数据库操作的数据处理方法对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210249822.8A CN114625745A (zh) | 2022-03-14 | 2022-03-14 | 基于数据库操作的数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210249822.8A CN114625745A (zh) | 2022-03-14 | 2022-03-14 | 基于数据库操作的数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114625745A true CN114625745A (zh) | 2022-06-14 |
Family
ID=81901200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210249822.8A Pending CN114625745A (zh) | 2022-03-14 | 2022-03-14 | 基于数据库操作的数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114625745A (zh) |
-
2022
- 2022-03-14 CN CN202210249822.8A patent/CN114625745A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106649378B (zh) | 一种数据同步方法及装置 | |
CN107038222B (zh) | 数据库缓存实现方法及其系统 | |
US20210256079A1 (en) | Adapting database queries for data virtualization over combined database stores | |
CN102129478A (zh) | 数据库同步方法及系统 | |
WO2018035799A1 (zh) | 数据查询方法、应用和数据库服务器、中间件及系统 | |
CN111339171B (zh) | 数据查询的方法、装置及设备 | |
CN107506383B (zh) | 一种审计数据处理方法和计算机设备 | |
CN107870949B (zh) | 数据分析作业依赖关系生成方法和系统 | |
CN110196888A (zh) | 基于Hadoop的数据更新方法、装置、系统及介质 | |
CN111858760A (zh) | 一种异构数据库的数据处理方法及装置 | |
KR20200094074A (ko) | 인덱스 관리 방법, 장치, 기기 및 저장 매체 | |
CN113887874A (zh) | 工厂过程能力指数评价方法、装置、服务器及存储介质 | |
CN115686850A (zh) | 基于Spark的目标任务的处理方法、装置和电子设备 | |
CN105378724B (zh) | 一种数据查询方法、装置及系统 | |
CN111782671A (zh) | 一种基于分布式数据库实现cdc的优化方法 | |
CN111046106A (zh) | 缓存数据同步方法、装置、设备及介质 | |
CN106776810A (zh) | 一种大数据的数据处理系统及方法 | |
CN115114325B (zh) | 数据查询方法、装置、电子设备以及存储介质 | |
CN114625745A (zh) | 基于数据库操作的数据处理方法及装置 | |
CN113722337B (zh) | 业务数据确定方法、装置、设备及存储介质 | |
JP2018055648A (ja) | アクセラレーションシステム及びアクセラレーション方法 | |
CN116303338A (zh) | 一种数据迁移方法及装置 | |
CN116010345A (zh) | 一种实现流批一体数据湖的表服务方案的方法、装置及设备 | |
CN115375430A (zh) | 一种银行补录数据的批量解析和加载方法、装置及设备 | |
CN113821517A (zh) | 数据同步方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |