CN116244366A - 一种统一实时数据源的数据处理方法和装置 - Google Patents

Abstract

本申请公开了一种统一实时数据源的数据处理方法和装置，通过对目标数据源以及目标数据源对应的编辑信息，直接在数据源操作界面进行处理，创建与所述目标数据源对应的数据库连接；将初步获得的执行语句根据所述目标数据源对应的目标数据库规定的访问格式，对所述执行语句进行封装，得到适用于所述目标数据库的目标执行语句；基于所述目标执行语句以及所述数据库连接，对所述目标数据库进行访问，得到与所述目标执行语句对应的执行结果，所述目标数据库包括关系型数据库和非关系型数据库。达到了对数据库以及数据源统一管理，提高工作效率的目的。

Description

一种统一实时数据源的数据处理方法和装置

技术领域

本申请涉及数据库技术领域，更具体地说，涉及一种统一实时数据源的数据处理方法和装置。

背景技术

现在各个行业都在采用大数据管理，其中，数据库是大多数大数据管理中的重要部分。现有技术中，数据库系统通常不单只有一种数据库类型，所以在基于执行指令对数据库或者数据库中的数据源等信息进行编辑操作时，所述执行指令无法通用在所有类型的数据库中，还需要人为地转换所述执行指令以适用于各个数据库，并将转换结果输入到数据库系统中进一步编辑操作。并且，又因为数据库中的数据源信息都被写死，在对数据库的数据源信息进行编辑操作时，需要将数据库停运再进行编辑。基于此，在对数据库以及数据源信息进行管理时，会出现无法统一管理以及工作效率低的问题。

发明内容

有鉴于此，本申请提供了一种统一实时数据源的数据处理方法和装置，用于解决现有数据库数据源处理方式中，工作效率低的问题。

为了实现上述目的，现提出的方案如下：

一种统一实时数据源的数据处理方法，包括：

获取目标数据源和执行语句；

基于所述目标数据源对应的编辑信息，在数据源操作界面对所述目标数据源进行处理，并在内存中创建与所述目标数据源对应的目标数据库的数据库连接，其中，所述数据源操作界面提供对数据源的处理，并在内存中维护与所述数据源对应的数据库连接，所述目标数据库至少包括一个关系型数据库或非关系型数据库；

基于所述目标数据源以及与所述目标数据源对应的目标数据库的访问格式，对所述执行语句进行解析及封装，得到目标执行语句；

基于与所述目标执行语句以及所述数据库连接，对所述目标数据库进行访问，得到与所述目标执行语句对应的执行结果。

优选地，所述基于所述目标数据源对应的编辑信息，在数据源操作界面对所述目标数据源进行处理，并在内存中创建与所述目标数据对应的目标数据库的数据库连接，包括：

响应于在数据源操作界面中识别所述目标数据源的编辑信息为新增所述目标数据源，获取所述目标数据源的特征信息；

确定内存中是否存在所述目标数据源的特征信息；

响应于内存中不存在所述目标数据源的特征信息，在所述内存中创建与所述目标数据源对应的目标数据库的数据库连接；

基于所述数据库连接，在所述目标数据库中写入所述目标数据源的特征信息；

响应于所述目标数据源的特征信息成功写入所述目标数据库中，在所述内存中将所述目标数据源与数据库连接进行绑定，创建得到数据源连接。

优选地，所述在数据源操作界面对所述目标数据源进行处理，并在内存中创建与所述目标数据源对应的目标数据库的数据库连接，包括：

响应于在数据源操作界面中识别所述目标数据源的编辑信息为修改所述目标数据源，获取所述目标数据源的特征信息；

确定内存中是否存在所述目标数据源的特征信息；

响应于内存中存在所述目标数据源的特征信息，在所述内存中创建所述目标数据源对应的目标数据库的数据库连接；

基于所述目标数据源对应的编辑信息，修改所述数据库连接对应的所述目标数据源的特征信息；

响应于所述目标数据源的特征信息修改成功，修改所述内存中所述目标数据源对应的数据源连接。

优选地，所述基于所述目标数据源对应的编辑信息，在数据源操作界面对所述目标数据源进行处理，并在内存综创建与所述目标数据源对应的目标数据库的数据库连接，包括：

响应于在数据源操作界面中识别所述目标数据源的编辑信息为删除所述目标数据源，获取所述目标数据源的特征信息；

确定内存中是否存在所述目标数据源的特征信息；

响应于内存中存在所述目标数据源的特征信息，确定所述目标数据源的特征信息是否在所述目标数据源的特征信息；

确定内存中是否存在所述目标数据源的特征信息；

响应于内存中存在所述目标数据源的特征信息，确定所述目标数据源的特征信息是否在所述目标数据源对应的目标数据库中被引用；

若所述目标数据源的特征信息在所述目标数据库中被引用，则删除所述目标数据库中的所述目标数据源的特征信息；

响应于所述目标数据库中的所述目标数据源的特征信息被删除成功，删除所述内存中的所述目标数据源的数据源连接。

优选地，所述基于所述目标数据源以及与所述目标数据源对应的目标数据库的访问格式，对所述执行语句进行解析及封装，得到目标执行语句；，包括:

解析所述执行语句，得到与所述执行语句对应的执行关键词；

确定所述目标数据源信息对应的目标数据库的类型，得到所述目标数据库对应的访问格式；

基于所述访问格式对所述执行关键词进行处理，得到符合所述访问格式的目标执行关键词；

将所述目标执行关键词进行封装，得到与所述目标数据源对应的目标执行语句。

优选地，该方法还包括：

响应于接收到目标数据源的应用请求，获取所述目标数据源的数据源标识；

在内存中获取到与所述数据源标识对应的特征信息；

基于所述特征信息，获得与所述目标数据源对应的数据库连接，其中所述数据库连接来源与内存中的数据库连接；

基于所述数据库连接，获取目标数据源，所述目标数据源至少包括数据源连接以及特征信息。

一种统一实时数据源的数据处理装置，其特征在于，包括：

执行信息获取单元，用于获取目标数据源和执行语句；

数据源编辑单元，用于基于所述目标数据源对应的编辑信息，在数据源操作界面对所述目标数据源进行处理，并在内存中创建与所述目标数据源对应的目标数据库的数据库连接，其中，所述数据源操作界面提供对数据源的处理，并在内存中维护与所述数据源对应的数据库连接，所述目标数据库包括关系型数据库和非关系型数据库；

执行语句转换单元，用于基于所述目标数据源以及与所述目标数据源对应的目标数据库的访问格式，对所述执行语句进行解析、封装，得到目标执行语句；

语句执行单元，用于基于所述目标执行语句以及所述数据库连接，对所述目标数据库进行访问，得到与所述目标执行语句对应的执行结果。

优选地，所述数据源编辑单元，包括：

编辑信息第一识别子单元，用于响应于在数据源操作界面中识别所述目标数据源的编辑信息为新增所述目标数据源，获取所述目标数据源的特征信息；

内存信息第一确认子单元，用于确定内存中是否存在所述目标数据源对应的特征信息；

数据库连接第一创建子单元，用于响应于内存中不存在所述目标数据源的特征信息，在内存中创建与所述目标数据源对应的目标数据库的数据库连接；

数据源信息写入子单元，用于基于所述数据库连接在所述目标数据库中写入所述目标数据源的特征信息；

数据源连接新增子单元，用于响应于所述目标数据源的特征信息成功写入所述目标数据库中，在内存中将所述目标数据源与数据库连接进行绑定，创建得到数据源连接。

优选地，所述数据源编辑单元，包括：

编辑信息第二识别子单元，用于响应于在数据源操作界面中识别所述目标数据源的编辑信息为修改所述目标数据源，获取所述目标数据源的特征信息；

内存信息第二确认子单元，用于确定内存中是否存在所述目标数据源的特征信息；

数据库连接第二创建子单元，用于响应于内存中存在所述目标数据源的特征信息，在所述内存中创建所述目标数据源对应的目标数据库对应的数据库连接；

数据源信息修改子单元，用于基于所述目标数据源对应的编辑信息，修改所述数据库连接对应的所述目标数据源的特征信息；

内存信息修改子单元，用于响应于所述目标数据源的特征信息修改成功，修改所述内存中所述目标数据源对应的数据源连接。

优选地，所述基于所述数据源编辑单元，包括：

编辑信息第三识别子单元，用于响应于在数据源操作界面中识别所述目标数据源的编辑信息为删除所述目标数据源，获取所述目标数据源的特征信息；

内存信息第三确定子单元，用于确定内存中是否存在所述目标数据源的特征信息；

数据库连接创建第三创建子单元，用于响应于内存中存在所述目标数据源的特征信息，确定所述目标数据源的特征信息是否在所述目标数据源对应的目标数据库中被引用；

数据源信息删除子单元，用于若所述目标数据源的特征信息在所述目标数据库中被引用，则删除所述目标数据库中的所述目标数据源的特征信息；

内存信息删除子单元，用于响应于所述目标数据库中的所述目标数据源的特征信息被删除成功，删除所述内存中的所述目标数据源的数据源连接。从上述的技术方案可以看出，本申请实施例提供的统一实时数据源的数据处理方法和装置，通过对目标数据源以及目标数据源对应的编辑信息，直接在数据源操作界面进行处理，得到处理后的与所述目标数据源对应的数据库连接；将初步获得的执行语句根据所述目标数据库规定的访问格式，对所述执行语句进行封装，得到适用于所述目标数据库的目标执行语句；基于所述目标执行语句以及所述数据库连接，对所述目标数据库进行访问，得到与所述目标执行语句对应的执行结果。

本申请实施例能够直接在所述数据源操作界面上实时编辑数据源，区别于现有技术的停服处理，不影响数据库的正常使用，并且能够提高数据库中数据源的灵活性。并且，针对获得的通用执行语句，根据目标数据源对应的目标数据库，将执行语句转换成适用于所述目标数据库的目标执行语句，因此，就不需要在访问各个数据库时，人工转换或者输入不同语法的执行语句，减少了数据库管理过程中的学习成本，提高了工作效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的实现统一实时数据源的数据处理方法的流程示意图；

图2为本申请实施例提供的实现统一实时数据源的数据处理方法的实际应用系统示意图；

图3为本申请实施例提供的启动应用系统的流程示意图；

图4为本申请实施例提供的应用系统新增数据源的流程示意图；

图5为本申请实施例提供的应用系统修改数据源的流程示意图；

图6为本申请实施例提供的应用系统删除数据源的流程示意图；

图7为本申请实施例提供的应用系统转换SQL语句的流程示意图；

图8为本申请实施例提供的统一实时数据源的数据处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，示出了本申请实施例提供的实现统一实时数据源的数据处理方法的流程示意图，具体流程步骤可以包括：

步骤S110、获取目标数据源和执行语句。

本申请实施例可以通过数据库对应服务端或数据库代理端获取目标数据源和执行语句，如，服务端可以接收用户输入的目标数据源和执行语句。其中，所述执行语句为SQL语句(结构化查询语言语句)，具体地可以为遵循SQL92和SQL99标准的SQL语句，又或者可以在所有的数据库语法格式中选择一种作为通用的语法格式，输入的执行语句是按照所述通用语法格式进行编写的。其中，与所述执行语句相对应的目标数据源包括所述执行语句对应业务所需要访问的数据库中的数据源，或者是服务端向数据库中添加的数据源。

本申请实施例对应的应用场景可以包括同时操作多个数据库的情况，对应的，多个数据库中各个数据库可以存在一定的关联关系。如，多个数据库可以包括一个主库和多个从库，可以由主库响应该针对目标数据源的执行语句，进而完成执行语句对应的操作，从库可以进行读操作，完成多个数据库之间的读写分离。

步骤S120、基于所述目标数据源对应的编辑信息，在数据源操作界面对所述目标数据源进行处理，并在内存中创建与所述目标数据源对应的目标数据库的数据库连接。

所述数据源操作界面提供对数据源的处理，并在内存中维护与所述数据源对应的数据库连接。对应的，还可以获取与所述目标数据源对应的相关信息，这些信息可以包括该目标数据源的特征信息、编辑信息、数据源连接等数据信息，其中，所述编辑信息具体可以包括针对所述目标数据源的操作类型以及操作对象。

所述与目标数据源对应的目标数据库至少可以包括一个关系型数据库或非关系型数据库，目标数据源可以存在多个对应的目标数据库，多个目标数据库也可以是不同类型的数据库。其中所述关系型数据库具体可以包括如Oracle、MySQL、SQLSever等数据库，所述非关系型数据库具体可以包括如Resis(键值数据库)、MongoDB(文档数据库)、HBase(列存储数据库)和Neo4J(图形数据库)等数据库。由此，不仅可以实现“RDBMS关系型数据库”的主从、主备的操作能力，还可以增加对“NoSQL非关系型数据库”的支持，让“NoSQL非关系型数据库”也具备主从、主备操作的能力。

例如，基于ApacheShardingSphere构建的分布式的数据库生态系统，可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强，更加有效地协作服务各个数据库。但是ShardingSphere只提供了同构关系型数据库的主从、主备的操作能力。当本申请实施例应用在基于ShardingSphere构建的数据库系统时，可以扩大被服务数据库的范围，增加对非关系型数据库的支持，让非关系型数据库在ShardingSphere构建的数据库系统中也具备主从、主备的操作能力。

对数据源的操作可以在数据源操作界面中实现，不必将所有的数据库停止运行，就可以实现对数据库中数据源以及数据源对应的信息的操作。具体地，数据源操作界面可以根据目标数据源的编辑信息，确定对所述目标数据源实施的操作，所述操作可以包括新增、删除、修改等，即可以在数据源操作界面中完成新增数据源、对已有数据源的删除，或者对已有数据源对应的相关信息的修改。需要说明的是，在本申请实施例中可以通过该数据源操作界面对相关的数据源进行对应的编辑或处理，可以避免在某个业务系统的处理过程中，通过写死与数据源相关的程序代码，而无法在后续应用过程中改变该业务系统中的数据源的问题。

进一步地，可以基于所述目标数据源对应的编辑信息，确定是否需要创建数据库连接，通常只有实行新增目标数据源的操作时，才会创建新的数据库连接，并进一步对所述数据库连接实现编辑信息对应的新增目标数据源的操作_。将数据库连接与目标数据源以及特征信息绑定，并将目标数据源与内存中创建的与所述目标数据源对应的数据源连接进行绑定，完成新增所述目标数据源的操作。其中，所述数据库连接是基于所述目标数据源对应的目标数据库创建的。

另外，对于删除、修改目标数据源的操作，由于目标数据源相关数据信息原本存在于数据库以及内存中，则可以不再重新创建新的数据库连接、数据源连接等。在针对所述目标数据源进行删除、修改操作时，可以直接在所述目标数据源对应的原有数据库连接、数据源连接上进行。

步骤S130、基于所述目标数据源以及与所述目标数据源对应的目标数据库的访问格式，对所述执行语句进行解析及封装，得到目标执行语句。

本申请实施例可以基于ShardingSphere应用在操作多个数据库的场景中，获得的针对目标数据源的执行语句是一种通用SQL语句，如上述执行语句为遵循特定语法标准的SQL语句。但是，当所述执行语句对应的业务处理逻辑中需要访问操作的数据库存储在不同的关系型数据库(RDBMS)或者非关系型数据库(NoSQL)中时，即对应的数据库可以存在同构和异构两种情况。同构即所述业务逻辑上的数据库都是同类型数据库，而异构即为所述业务逻辑上的数据库存在不同类型的数据库。当基于所述执行语句进行业务处理时，会存在遵循特定语法标准的执行语句不符合其中某种类型数据库对应的访问格式，则无法顺利处理业务。

本申请实施例为避免在访问不同类型数据库时，频繁对相关执行语句进行编辑以适用于对应的数据库访问格式的问题，将上述执行语句可以基于待访问的数据库的语句格式进行格式转换，即基于对应的目标数据源对应的目标数据库类型的访问格式，将所述执行语句转换成符合所述访问格式的目标执行语句，此时就不需要输入或者获取多种语法标准的执行语句，降低数据库管理过程中的学习成本。

另外，为实现上述执行语句的语法转换，可以预先存储已知的所有类型数据库对应的语法标准或者访问格式，以使得能够在接收到针对目标数据源的执行语句后，基于目标数据源对应的目标数据库的访问格式，对所述执行语句进行解析及封装，转换成符合所述目标数据库对应的语法标准或者访问格式的目标执行语句。其中，对执行语句进行解析的过程主要是提取该执行语句中的关键信息，即不随语言格式的不同而改变的信息。然后再根据该关键信息和目标数据库的访问格式对执行语句进行封装，得到目标执行语句。

步骤S140、基于所述目标执行语句以及所述数据库连接，对所述目标数据库进行访问，得到与所述目标执行语句对应的执行结果。

基于符合目标数据库的访问格式的目标执行语句，以所述数据库连接进行数据信息定位，访问目标数据库，执行目标执行语句所示的操作，对数据库连接对应的数据源或者其他数据信息进行操作，以得到与所述目标执行语句对应的执行结果。例如，执行语句是对数据获取的语句，则对应的执行结果可以是在目标数据库中获取到与执行语句对应的相关数据。

本申请实施例通过对目标数据源以及目标数据源对应的编辑信息，直接在数据源操作界面进行处理，得到处理后的与所述目标数据源对应的数据库连接；将初步获得的执行语句根据对应的目标数据库规定的访问格式，对所述执行语句进行封装，得到适用于所述目标数据库的目标执行语句；基于所述目标执行语句以及所述数据库连接，对所述目标数据库进行访问，得到与所述目标执行语句对应的执行结果。

本申请实施例能够直接在所述数据源操作界面上实时编辑数据源，区别于现有技术的停服处理，不影响数据库的正常使用，并且能够提升数据库中数据源的灵活性。并且，针对获得的通用执行语句，根据目标数据源对应的目标数据库，将执行语句转换成适用于所述目标数据库的目标执行语句，如此，就不需要在访问各个数据库时，人工转换以及输入不同语法的执行语句，减少了数据库管理过程中的学习成本，提高了数据库以及数据源管理的工作效率。

下面对本申请实施例提供的统一实时数据源的数据处理方法做进一步介绍。

上述对数据操作界面对目标数据源进行处理的步骤进行了简单的描述，下面将对该步骤进行详细描述。其中，所述数据操作界面至少能对目标数据源进行实时新增、修改、删除处理，得到经过处理后的数据库以及与目标数据源对应的数据库连接。

首先，所述基于所述目标数据源对应的编辑信息，在数据源操作界面对所述目标数据源进行处理，并在内存中创建与所述目标数据源对应的目标数据库的数据库连接，可以包括下述流程：

响应于在数据源操作界面中识别所述目标数据源的编辑信息为新增所述目标数据源，获取所述目标数据源的特征信息；确定内存中是否存在所述目标数据源的特征信息；响应于内存中不存在所述目标数据源的特征信息，在所述内存中创建与所述目标数据源对应的目标数据库的数据库连接；基于所述数据库连接，在所述目标数据库中写入所述目标数据源的特征信息；响应于所述目标数据源的特征信息成功写入所述目标数据库中，在所述内存中将所述目标数据源与数据库连接进行绑定，创建得到数据源连接。

当数据源操作界面接收到目标数据源后，需要识别目标数据源的编辑信息，响应于所述编辑信息表征需要在目标数据源对应的目标数据库中新增所述目标数据源。则获取所述目标数据源的特征信息，便于在特征信息的基础上进行后续操作，其中，所述目标数据源的特征信息至少包括数据源标记、数据源名称、数据源备注信息、数据源对应数据库以及数据库的类型、数据源对应数据库的IP、数据源对应数据库的端口、数据源对应数据库的用户名、数据源对应数据库的密码等数据源基本信息。

在新增所述目标数据源之前，需要在内部中查询内存中是否已经存在与所述目标数据源相同的数据源，若内存中存在与所述目标数据源相同的数据源，则删除此项目标数据源以及对应的执行语句，不再执行，防止出现重复添加，导致数据库重复数据过多占用内存，浪费资源的情况出现。

若内存中不存在与所述目标数据源相同的数据源，则在内存中创建目标数据源对应的目标数据库的数据库连接。创建数据库连接成功后，将目标数据源的特征信息持久化写入到目标数据库中，实现在目标数据库中新增目标数据源。再此过程中，需要保证内存与数据库中执行的是原子性操作，不会被线程调度机制打断操作，实现不中断数据库运行，完成对目标数据源在数据库的操作。为保证在使用数据库时方便获取数据源以及数据源对应的特征信息等，会就数据源与数据库连接进行绑定，并在内存中创建与目标数据源对应的数据源连接。

上述新增所述目标数据源的步骤出现错误，则返回该步骤的前一步骤重新进行创建、写入或者判断等，直至成功将所述目标数据源新增至所述内存以及目标数据库中。

另外，所述数据源操作界面除了能够处理针对目标数据源的新增操作外，还包括有修改以及删除操作。具体地，修改所述目标数据源的处理，可以包括：响应于在数据源操作界面中识别所述目标数据源的编辑信息为修改所述目标数据源，获取所述目标数据源的特征信息；确定内存中是否存在所述目标数据源的特征信息；响应于内存中存在所述目标数据源的特征信息，在所述内存中创建所述目标数据源对应的目标数据库对应的数据库连接；基于所述目标数据源对应的编辑信息，修改所述数据库连接对应的所述目标数据源的特征信息；响应于所述目标数据源的特征信息修改成功，修改所述内存中所述目标数据源对应的数据源连接。

其中，所述编辑信息可以包括操作类型即修改操作，以及修改内容和目标修改结果。响应于识别到所述目标数据源的编辑信息中的操作类型即修改操作，确定后续对所述目标数据源的操作步骤。首先，获取所述目标数据源的特征信息，并在内存中查询是否存在所述目标数据源以及对应的特征信息，也可以同时参照编辑信息中的修改内容进行查询，保证有能够进行修改的修改对象。若内存中不存在所述特征信息或者修改内容，则可以在该数据源操作界面中结束该业务进程。

若内存中存在所述特征信息或者修改内容，则可以基于所述目标数据源对应的的特征信息以及编辑信息，便于有目标的针对所述修改内容修改所述特征信息，将所述目标数据源修改成与所述目标修改结果相同的数据源。为建立目标数据源与数据库之间的联系，则需要创建与所述目标数据源对应的目标数据库的数据库连接，基于所述数据库连接以及编辑信息、特征信息等，修改所述目标数据源对应的特征信息。修改成功后还需要修改内存中所述目标数据源对应的数据源连接，保证整个数据库系统的所有与目标数据源对应的数据信息一致。

进一步地，删除所述目标数据源的处理，可以包括：响应于在数据源操作界面中识别所述目标数据源的编辑信息为删除所述目标数据源，获取所述目标数据源的特征信息；确定内存中是否存在所述目标数据源的特征信息；响应于内存中存在所述目标数据源的特征信息，确定所述目标数据源的特征信息是否在所述目标数据源对应的目标数据库中被引用；若所述目标数据源的特征信息在所述目标数据库中被引用，则删除所述目标数据库中的所述目标数据源的特征信息；响应于所述目标数据库中的所述目标数据源的特征信息被删除成功，删除所述内存中的所述目标数据源的数据源连接。

用于识别的所述编辑信息可以包括操作类型即删除操作以及删除内容，数据源操作界面可以基于所述删除内容，选择对所述目标数据源的特征信息进行全部删除还是部分删除。首先，数据源操作界面会在识别完对所述目标数据源应进行的操作后，会获取与所述目标数据源相关的特征信息，并在内存中查询是否存在所述目标数据源的特征信息，确保删除操作有执行对象。若内存中不存在所述目标数据源的特征信息，则该删除操作没有可执行对象，就可以将目标数据源以及对应的执行语句从数据源操作界面的待办任务中删除，不再执行。

若内存中存在所述目标数据源对应的特征信息，进一步地，基于所述编辑信息中的删除内容，查询所述特征信息的部分内容或者全部内容是否在所述目标数据源对应的目标数据库中被引用。若所述目标数据源的特征信息在所述目标数据库中被引用，则删除所述目标数据库中引用的与所述删除内容对应的特征信息。另外，为保证数据库系统多所有数据源在信息上的统一，还需要删除内存中所述目标数据源的数据源连接以及对应的信息。

在处理完所述目标数据源之后，还需要基于所述目标数据源对应的目标数据库的访问格式对所述执行语句进行解析及封装，实现语句格式转换，得到目标执行语句。具体的该步骤可以包括以下详细步骤：解析所述执行语句，得到与所述执行语句对应的执行关键词；确定所述目标数据源信息对应的目标数据库的类型，得到所述目标数据库对应的访问格式；基于所述访问格式对所述执行关键词进行处理，得到符合所述访问格式的目标执行关键词；将所述目标执行关键词进行封装，得到与所述执行语句对应的目标执行语句。

本申请实施例中，只需要接收输入的一种通用语法或者访问格式的执行语句，后续根据与所述执行语法对应的目标数据源的目标数据库类型，以及所述目标数据库对应的访问格式，对所述执行语句进行转化操作，使经过转化得到的目标执行语句能够满足所述目标数据库的访问格式，能够在目标数据库中顺利执行所述执行语句的内容。

进一步地，基于所述目标执行语句以及所述数据库连接，对所述目标数据库进行访问，得到与所述目标执行语句对应的执行结果。

在本申请实施例中可以从数据库或者内存中获取所述目标数据源以及对应的各类相关信息。具体地，响应于接收到目标数据源的应用请求，获取所述目标数据源的数据标识。在内存中获取到与所述数据源标识对应的特征信息；基于所述特征信息，获得与所述目标数据源对应的数据库连接，其中，所述数据库连接来源于内存中存储的数据库连接；基于所述数据库连接，获取目标数据源，所述目标数据源至少可以对应包括数据源连接自己特征信息。在获得所述目标数据源后，可以在此基础上进行操作。

如图2所示，本申请实施例提供的实现统一实时数据源的数据处理方法的一种实际应用系统示意图，该应用系统基于ShardingSphere构建的一个数据库系统，对所述数据库系统中存在的数据库以及数据库内的数据源等信息进行管理以及提供相关服务操作等。例如基于对SQL语义理解以及对底层数据库拓扑感知能力，ShardingSphere提供灵活的读写流量拆分和读流量负载均衡，实现读分离，以便应对高压力业务访问。

其中，图2中所示的数据源操作界面包括数据源操作接口、内存、结果集以及用于转换目标执行语句的SQL编辑器、SQL解析器和SQL转换器。图中的数据源与上述统一实时数据源的数据处理方法中的目标数据源相对应，执行语句可以与SQL编辑器接收到的SQL语句相对应。执行所述目标执行语句的数据库可以具体为MySQL、ORACLE、Mongo、Redis等，可以具体分类为关系型数据库和非关系型数据库，以实现对关系型数据库和非关系型数据库的统一管理。

首先，在对目标数据源、转换SQL语句等操作之前，需要启动应用系统。如图3所示，本申请实施例提供的启动应用系统的流程示意图。在应用系统启动阶段，响应于应用系统在接收到应用启动的指令后，首先会加载数据库中的数据源信息。若不能从数据库中加载出数据源信息，则应用启动失败，无法再执行后续对数据源信息上的操作。若能够从数据库中加载出数据源信息，证明数据库的访问路径正常，应用系统运行正常，则在内存中创建与所述数据源信息对应的数据源连接，将数据源信息与数据库连接进行绑定，完成数据库的所有数据源信息的初始化，成功启动应用系统。

进一步地，响应于应用系统接收到针对数据源的SQL语句，可以分别将所述数据源分配至数据源操作端口，将所述SQL语句分配到SQL编辑器进行处理。其中，可以通过数据源操作端口与内存、内存与数据库进行数据信息完交互，完成针对数据源信息的新增、修改、删除等操作。数据源操作端口针对所述目标数据源进行新增、修改、删除特征信息，并且维护内存中的数据源连接以及数据库连接，另外通过对内存中数据库连接完成对数据库中数据源的操作，图4、图5、图6分别示出了应用系统对新增、修改、删除数据源的流程示意图，具体步骤可以参照下文的描述。

参照图4，示出了应用系统新增数据源的流程示意图，当应用系统接收到用户新增数据源的指令信息后，将指令信息中的数据源以及数据源信息提交到数据源接收端口。进一步，访问内存中是否存在于上述数据源以及数据源信息相同的数据源，以防在数据库以及内存中重复添加数据源信息。若内存中存在对应的数据源信息，则无需在内存中新增所述数据源。若内存中不存在对应的数据源信息，则可以根据数据源信息创建数据库连接，实现数据库与数据源信息的联系，创建成功后，则可以在数据库连接对应的数据库中持久化写入数据源信息，写入成功后再数据库中完成所述数据源信息的新增。为保证数据库与内存中数据的一致性，在内存中创建于所述数据源对应的数据源连接，创建成功后完成新增数据源处理的整个流程。

参照图5，应用系统修改数据源的流程示意图，其中在对数据源进行操作前，需要先将数据源以及数据源信息提交到数据源操作端口，在修改数据源信息之前，需要判定内存中是否存在所述数据源信息，保证修改操作存在操作对象。若不存在所述数据源信息，则无需执行后续步骤，修改数据源失败。若内存中存在所述数据源信息，根据数据源信息创建数据库连接，创建成功后，修改数据库中的数据源信息。修改成功后，再修改内存中与数据源对应的数据源连接。

参照图6，应用系统删除数据源的流程示意图，数据源操作端口在接收到需要删除的数据源以及数据源信息后，首先需要确定所述数据源信息是否存在于内存中，若内存中存在，则将数据源信息对应的数据库连接、数据源连接删除。如果在上述新增、修改、删除数据源的任一执行流程中某一步骤出现操作失败时，可以尝试返回错误步骤的上游步骤，重新执行，尝试完成数据源的新增。

另外，如图7所示应用系统转换SQL语句的流程示意图，应用系统中SQL编辑器用于接收最初的SQL语句。将所述SQL语句输入到SQL解析器，SQL解析器对该执行语句进行解析、拆分，提取所述执行语句中的关键词。将解析得到的关键词处输入到SQL转换器，SQL转换器通过明确该执行语句对应的目标数据库，并确定所述目标数据库的访问格式，通过SQL转换器将所述执行语句转换成符合所述目标数据库访问格式的目标执行语句，并输送到内存中与所述执行语句对应的目标数据源进行配对。内存基于目标数据源以及目标执行语句对下游的数据库执行对应的操作，得到目标执行结果。

下面对本申请实施例提供的统一实时数据源的数据处理装置进行描述，下文描述的统一实时数据源的数据处理装置与上文描述的统一实时数据源的数据处理方法可相互对应参照。

首先，结合图8，对统一实时数据源的数据处理装置进行介绍，如图8所示，该统一实时数据源的数据处理装置可以包括：

执行信息获取单元100，用于获取针对目标数据源的执行语句；

数据源编辑单元200，用于基于所述目标数据源对应的编辑信息，在数据源操作界面对所述目标数据源进行处理，并在内存中创建与所述目标数据源对应的目标数据库的数据库连接，其中，所述数据源操作界面提供对数据源的处理，并在内存中维护与所述数据源对应的数据库连接；

执行语句转换单元300，用于基于与所述目标数据源对应的目标数据库的访问格式，对所述执行语句进行封装，得到目标执行语句；

语句执行单元400，用于基于所述目标执行语句以及所述数据库连接，对所述目标数据库进行访问，得到与所述目标执行语句对应的执行结果。

本申请实施例通过对目标数据源以及目标数据源对应的编辑信息，直接在数据源操作界面进行处理，得到处理后的与所述目标数据源对应的数据库连接；将初步获得的执行语句根据对应的目标数据库规定的访问格式，对所述执行语句进行封装，得到适用于所述目标数据库的目标执行语句；基于所述目标执行语句以及所述数据库连接，对所述目标数据库进行访问，得到与所述目标执行语句对应的执行结果。

本申请实施例能够直接在所述数据源操作界面上实时编辑数据源，区别于现有技术的停服处理，能够提高数据库中数据源的灵活性，并且不影响数据库的正常使用。并且，针对获得的通用执行语句，根据执行语句对应的目标数据库，将执行语句转换成适用于所述目标数据库的目标执行语句，如此，就不需要在访问各个数据库时，人工转换以及输入不同语法的执行语句，减少了数据库管理过程中的学习成本，提高了工作效率。

优选地，所述数据源编辑单元200，包括：

编辑信息第一识别子单元，用于响应于在数据源操作界面中识别所述目标数据源的编辑信息为新增所述目标数据源，获取所述目标数据源的特征信息；

内存信息第一确认子单元，用于确定内存中是否存在所述目标数据源对应的特征信息；

数据库连接第一创建子单元，用于响应于内存中不存在所述目标数据源的特征信息，在内存中创建与所述目标数据源对应的目标数据库的数据库连接；

数据源信息写入子单元，用于基于所述数据库连接在所述目标数据库中写入所述目标数据源的特征信息；

数据源连接新增子单元，用于响应于所述目标数据源的特征信息成功写入所述目标数据库中，在内存中将所述目标数据源与数据库连接进行绑定，创建得到数据源连接。

优选地，所述数据源编辑单元200，包括：

编辑信息第二识别子单元，用于响应于在数据源操作界面中识别所述目标数据源的编辑信息为修改所述目标数据源，获取所述目标数据源的特征信息；

内存信息第二确认子单元，用于确定内存中是否存在所述目标数据源的特征信息；

数据库连接第二创建子单元，用于响应于内存中存在所述目标数据源的特征信息，在所述内存中创建所述目标数据源对应的目标数据库对应的数据库连接；

数据源信息修改子单元，用于基于所述目标数据源对应的编辑信息，修改所述数据库连接对应的所述目标数据源的特征信息；

内存信息修改子单元，用于响应于所述目标数据源的特征信息修改成功，修改所述内存中所述目标数据源对应的数据源连接。

优选地，所述数据源编辑单元200，包括：

编辑信息第三识别子单元，用于响应于在数据源操作界面中识别所述目标数据源的编辑信息为删除所述目标数据源，获取所述目标数据源的特征信息；

内存信息第三确认子单元，用于确定内存中是否存在所述目标数据源的特征信息；

信息引用确认子单元，用于响应于内存中存在所述目标数据源的特征信息，确定所述目标数据源的特征信息是否在所述目标数据源对应的目标数据库中被引用；

数据源信息删除子单元，用于若所述目标数据源的特征信息在所述目标数据库中被引用，则删除所述目标数据库中的所述目标数据源的特征信息；

数据源连接删除子单元，用于响应于所述目标数据库中的所述目标数据源的特征信息被删除成功，删除所述内存中的所述目标数据源的数据源连接。

优选地，所述执行语句转换单元300，包括：

关键词提取子单元，用于分析所述执行语句，得到与所述执行语句对应的执行关键词；

目标格式确定子单元，用于确定所述目标数据源信息对应的目标数据库的类型，得到所述目标数据库对应的访问格式；

关键词格式转换子单元，用于基于所述访问格式对所述执行关键词进行处理，得到符合所述访问格式的目标执行关键词；

关键词封装子单元，用于将所述目标执行关键词进行封装，得到与所述执行语句对应的目标执行语句。

优选地，还包括：

数据源标识获取单元，用于响应于接收到目标数据源的应用请求，获取所述目标数据源的数据源标识；

特征信息获取单元，用于在内存中获取到与所述数据源标识对应的特征信息；

数据库连接获取单元，用于基于所述特征信息，获得与所述目标数据源对应的数据库连接，其中，所述数据库连接来源于内存中的数据库连接；

目标数据源获取单元，用于基于所述数据库连接，获取目标数据源，所述目标数据源至少包括数据源连接以及特征信息。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种统一实时数据源的数据处理方法，其特征在于，包括：

获取目标数据源和执行语句，所述执行语句包括结构化查询语言语句；

基于所述目标数据源对应的编辑信息，在数据源操作界面对所述目标数据源进行处理，并在内存中创建与所述目标数据源对应的目标数据库的数据库连接，其中，所述数据源操作界面提供对数据源的处理，并在内存中维护与所述数据源对应的数据库连接，所述目标数据库至少包括一个关系型数据库或非关系型数据库；

基于所述目标数据源以及与所述目标数据源对应的目标数据库的访问格式，对所述执行语句进行解析及封装，得到目标执行语句；

基于所述目标执行语句以及所述数据库连接，对所述目标数据库进行访问，得到与所述目标执行语句对应的执行结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标数据源对应的编辑信息，在数据源操作界面对所述目标数据源进行处理，并在内存中创建与所述目标数据源对应的目标数据库的数据库连接，包括：

响应于在数据源操作界面中识别所述目标数据源的编辑信息为新增所述目标数据源，获取所述目标数据源的特征信息；

确定内存中是否存在所述目标数据源的特征信息；

响应于内存中不存在所述目标数据源的特征信息，在所述内存中创建与所述目标数据源对应的目标数据库的数据库连接；

基于所述数据库连接，在所述目标数据库中写入所述目标数据源的特征信息；

响应于所述目标数据源的特征信息成功写入所述目标数据库中，在所述内存中将所述目标数据源与数据库连接进行绑定，创建得到数据源连接。

3.根据权利要求1所述的方法，所述在数据源操作界面对所述目标数据源进行处理，并在内存中创建与所述目标数据源对应的目标数据库的数据库连接，包括：

响应于在数据源操作界面中识别所述目标数据源的编辑信息为修改所述目标数据源，获取所述目标数据源的特征信息；

确定内存中是否存在所述目标数据源的特征信息；

响应于内存中存在所述目标数据源的特征信息，在所述内存中创建所述目标数据源对应的目标数据库对应的数据库连接；

基于所述目标数据源对应的编辑信息，修改所述数据库连接对应的所述目标数据源的特征信息；

响应于所述目标数据源的特征信息修改成功，修改所述内存中所述目标数据源对应的数据源连接。

4.根据权利要求1所述的方法，所述基于所述目标数据源对应的编辑信息，在数据源操作界面对所述目标数据源进行处理，并在内存中创建与所述目标数据源对应的目标数据库的数据库连接，包括：

响应于在数据源操作界面中识别所述目标数据源的编辑信息为删除所述目标数据源，获取所述目标数据源的特征信息；

确定内存中是否存在所述目标数据源的特征信息；

响应于内存中存在所述目标数据源的特征信息，确定所述目标数据源的特征信息是否在所述目标数据源对应的目标数据库中被引用；

若所述目标数据源的特征信息在所述目标数据库中被引用，则删除所述目标数据库中的所述目标数据源的特征信息；

响应于所述目标数据库中的所述目标数据源的特征信息被删除成功，删除所述内存中的所述目标数据源的数据源连接。

5.根据权利要求1所述的方法，其特征在于，所述基于所述目标数据源以及与所述目标数据源对应的目标数据库的访问格式，对所述执行语句进行解析及封装，得到目标执行语句，包括：

解析所述执行语句，得到与所述执行语句对应的执行关键词；

确定所述目标数据源信息对应的目标数据库的类型，得到所述目标数据库对应的访问格式；

基于所述访问格式对所述执行关键词进行处理，得到符合所述访问格式的目标执行关键词；

将所述目标执行关键词进行封装，得到与所述目标数据源对应的目标执行语句。

6.根据权利要求1所述的方法，其特征在于，还包括：

响应于接收到目标数据源的应用请求，获取所述目标数据源的数据源标识；

在内存中获取到与所述数据源标识对应的特征信息；

基于所述特征信息，获得与所述目标数据源对应的数据库连接，其中，所述数据库连接来源于内存中的数据库连接；

基于所述数据库连接，获取目标数据源，所述目标数据源至少包括数据源连接以及特征信息。

7.一种统一实时数据源的数据处理装置，其特征在于，包括：

执行信息获取单元，用于获取针对目标数据源的执行语句；

数据源编辑单元，用于基于所述目标数据源对应的编辑信息，在数据源操作界面对所述目标数据源进行处理，并在内存中创建与所述目标数据源对应的目标数据库的数据库连接，其中，所述数据源操作界面提供对数据源的处理，并在内存中维护与所述数据源对应的数据库连接；

执行语句转换单元，用于基于与所述目标数据源对应的目标数据库的访问格式，对所述执行语句进行封装，得到目标执行语句；

语句执行单元，用于基于所述目标执行语句以及所述数据库连接，对所述目标数据库进行访问，得到与所述目标执行语句对应的执行结果。

8.根据权利要求7所述的装置，其特征在于，所述数据源编辑单元，包括：

编辑信息第一识别子单元，用于响应于在数据源操作界面中识别所述目标数据源的编辑信息为新增所述目标数据源，获取所述目标数据源的特征信息；

内存信息第一确认子单元，用于确定内存中是否存在所述目标数据源对应的特征信息；

数据库连接第一创建子单元，用于响应于内存中不存在所述目标数据源的特征信息，在内存中创建与所述目标数据源对应的目标数据库的数据库连接；

数据源信息写入子单元，用于基于所述数据库连接在所述目标数据库中写入所述目标数据源的特征信息；

数据源连接新增子单元，用于响应于所述目标数据源的特征信息成功写入所述目标数据库中，在内存中将所述目标数据源与数据库连接进行绑定，创建得到数据源连接。

9.根据权利要求7所述的装置，其特征在于，所述数据源编辑单元，包括：

编辑信息第二识别子单元，用于响应于在数据源操作界面中识别所述目标数据源的编辑信息为修改所述目标数据源，获取所述目标数据源的特征信息；

内存信息第二确认子单元，用于确定内存中是否存在所述目标数据源的特征信息；

数据库连接第二创建子单元，用于响应于内存中存在所述目标数据源的特征信息，在所述内存中创建所述目标数据源对应的目标数据库对应的数据库连接；

数据源信息修改子单元，用于基于所述目标数据源对应的编辑信息，修改所述数据库连接对应的所述目标数据源的特征信息；

内存信息修改子单元，用于响应于所述目标数据源的特征信息修改成功，修改所述内存中所述目标数据源对应的数据源连接。

10.根据权利要求7所述的装置，所述基于所述数据源编辑单元，包括：

编辑信息第三识别子单元，用于响应于在数据源操作界面中识别所述目标数据源的编辑信息为删除所述目标数据源，获取所述目标数据源的特征信息；

内存信息第三确定子单元，用于确定内存中是否存在所述目标数据源的特征信息；

数据库连接创建第三创建子单元，用于响应于内存中存在所述目标数据源的特征信息，确定所述目标数据源的特征信息是否在所述目标数据源对应的目标数据库中被引用；

数据源信息删除子单元，用于若所述目标数据源的特征信息在所述目标数据库中被引用，则删除所述目标数据库中的所述目标数据源的特征信息；

内存信息删除子单元，用于响应于所述目标数据库中的所述目标数据源的特征信息被删除成功，删除所述内存中的所述目标数据源的数据源连接。

Images