CN114547076A - 数据处理方法和数据处理系统 - Google Patents

Abstract

本公开提供了一种数据处理方法和数据处理系统。该方法包括：接收第一数据源标识和结构化查询语句，该结构化查询语句包括至少一个查询字段、数据筛选条件和至少一个表间关联关系，该表间关联关系用于指示源端数据源的数据表之间的关联；对结构化查询语句执行预定解析操作，获得解析结果，该解析结果包括每个查询字段对应的目标数据所在数据表的表名，以及每个查询字段对应的目标数据的数据类型；基于该解析结果、数据筛选条件及表间关联关系，从源端数据源的至少一个数据表中采集目标数据，并将目标数据写入目的数据源。本公开能够实现一次性从源端数据源的多张数据表中采集数据，有效提高数据获取效率。

Description

数据处理方法和数据处理系统

技术领域

本公开涉及计算机技术领域，具体涉及一种数据处理方法、数据处理系统、电子设备和计算机可读介质。

背景技术

智慧城市是指利用各种信息技术将城市的系统和服务打通、集成，以提升资源运用的效率、优化城市管理和服务的城市信息化的高级形态。在该智慧城市行业中，个性化定制的管理系统会阻碍信息的采集和共享，使各管理系统之间难以进行联动。当前为了便于各管理系统之间进行数据交互，可以采用Exchangis平台(一种数据交换平台)连接各管理系统以实现各系统间数据传输。该Exchangis平台是一个轻量级的、高扩展性的数据交换平台，可以支持为结构化及无结构化的异构数据源之间提供数据共享服务。

但是，当前在为各数据源提供数据共享服务的过程中，通过Exchangis平台采集源端数据源的数据时，每次只能从源端数据源中选择一张数据表来采集数据，导致数据采集效率低，进而严重影响数据源间进行数据共享的效率。

发明内容

本公开提供一种数据处理方法、数据处理系统、电子设备和计算机可读介质。

本公开第一方面提供了一种数据处理方法，该数据处理方法包括：

接收第一数据源标识和结构化查询语句，所述结构化查询语句包括至少一个查询字段、数据筛选条件和至少一个表间关联关系，所述表间关联关系用于指示源端数据源的数据表之间的关联；

对所述结构化查询语句执行预定解析操作，获得解析结果；所述解析结果包括每个所述查询字段对应的目标数据所在数据表的表名，以及每个所述查询字段对应的目标数据的数据类型；

基于所述解析结果、所述数据筛选条件及所述表间关联关系，从源端数据源的至少一个数据表中采集所述目标数据，并将所述目标数据写入目的数据源；所述源端数据源为与所述第一数据源标识对应的数据源。

在一些实施例中，所述预定解析操作包括第一解析操作和第二解析操作；所述第一解析操作用于获取所述结构化查询语句中每个查询字段的字段名称；所述第二解析操作用于获取所述结构化查询语句中每个查询字段对应的目标数据所在数据表的表名，以及每个所述查询字段对应的目标数据的数据类型，其中，所述表名包括数据表的别名。

在一些实施例中，所述接收用户输入的第一数据源标识和结构化查询语句之前，还包括：

与多个数据源建立通信连接，其中，多个数据源至少包括所述源端数据源和所述目的数据源；

获取所述查询字段与目的字段的映射关系，所述目的字段为归属于所述目的数据源的数据表所包含的字段；

其中，所述将所述目标数据写入目的数据源，包括：

基于所述查询字段与目的字段的映射关系，将所述查询字段对应的目标数据写入所述目的字段在所述目的数据源对应的数据表中。

在一些实施例中，所述对所述结构化查询语句执行预定解析操作，获得解析结果之后，还包括：

将所述结构化查询语句、所述解析结果和所述查询字段与目的字段的映射关系转换为目标任务的任务配置数据，并将所述任务配置数据存储在本地数据库中；

其中，所述基于所述解析结果、所述数据筛选条件及所述表间关联关系，从源端数据源的至少一个数据表中采集所述目标数据，并将所述目标数据写入目的数据源的步骤，包括：

响应于任务执行指令，执行所述目标任务，以基于所述解析结果、所述数据筛选条件及所述表间关联关系，从源端数据源的至少一个数据表中采集所述目标数据，并基于所述查询字段与目的字段的映射关系，将所述查询字段对应的目标数据写入所述目的字段在所述目的数据源对应的数据表中。

在一些实施例中，所述基于所述解析结果、所述数据筛选条件及所述表间关联关系，从源端数据源的至少一个数据表中采集所述目标数据之前，还包括：

响应于映射修改指令，将目标查询字段映射的目的字段修改为新的目的字段，所述目标查询字段是所述修改指令指向的查询字段。

在一些实施例中，所述对所述结构化查询语句执行预定解析操作，获得解析结果的步骤，还包括：

对所述结构化查询语句执行校验操作，以确定所述结构化查询语句是否符合预设要求；

在所述结构化查询语句符合预设要求的情况下，对所述结构化查询语句执行预定解析操作，获得解析结果。

在一些实施例中，所述对所述结构化查询语句执行校验操作，以确定所述结构化查询语句是否符合预设要求，包括：

校验所述结构化查询语句是否为预设语句，以及校验所述结构化查询语句是否符合预设语法规则；

在所述结构化查询语句为预设语句、且所述结构化查询语句符合预设语法规则的情况下，所述结构化查询语句符合预设要求。

在一些实施例中，所述目标数据包括行政区域的政务数据、场所的管理数据、道路的交通数据、气象管理数据、医疗服务数据中的至少一种。

在一些实施例中，所述数据处理方法还包括：

针对预设业务数据表配置批量删除脚本；所述批量删除脚本包括保留最新数据条数、业务表名和每次批量删除数据量；

激活所述批量删除脚本，以获得待删除业务数据标识集合并基于所述待删除业务数据标识集合删除业务数据。

本公开第二方面提供一种数据处理系统，该数据处理系统包括：

接收模块，用于接收第一数据源标识和结构化查询语句，所述结构化查询语句包括至少一个查询字段、数据筛选条件和至少一个表间关联关系，所述表间关联关系用于指示源端数据源的数据表之间的关联；

解析模块，用于对所述结构化查询语句执行预定解析操作，获得解析结果；所述解析结果包括每个所述查询字段对应的目标数据所在数据表的表名，以及每个所述查询字段对应的目标数据的数据类型；

采集模块，用于基于所述解析结果及所述表间关联关系，从源端数据源的至少一个数据表中采集所述目标数据，所述源端数据源为与所述第一数据源标识对应的数据源；

写入模块，用于将所述目标数据写入目的数据源。

本公开第三方面提供一种电子设备，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据上述任意一项数据处理方法；

一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。

本公开第四方面提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据上述任意一项数据处理方法。

附图说明

图1为本公开实施例提供的一种数据处理方法的流程图；

图2为本公开实施例提供的一种数据处理方法的流程图；

图3为本公开实施例提供的一种数据处理方法的流程图；

图4为本公开实施例提供的一种目标任务创建页面的页面示意图；

图5为本公开实施例提供的一种显示该解析结果以及查询字段与目的字段的映射关系的页面示意图；

图6为本公开实施例提供的一种显示目标任务的页面示意图；

图7为本公开实施例提供的一种数据处理系统的结构示意图；

图8为本公开实施例提供一种电子设备的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本公开实施例的技术方案，下面将结合本公开实施例的附图对本公开实施例所提供的数据处理方法和数据处理系统的技术方案进行清楚、完整地描述。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“包含”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。

将理解的是，虽然本文可以使用术语第一、第二等来描述各种元件/结构，但这些元件/结构不应当受限于这些术语。这些术语仅用于区分一个元件/结构和另一元件/结构。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

图1为本公开实施例提供的一种数据处理方法的流程图。该数据处理方法应用于数据处理系统。如图1所示，该数据处理方法包括以下步骤S101-步骤S104。

步骤S101、接收第一数据源标识和结构化查询语句。

其中，第一数据源标识用于唯一标识源端数据源，该源端数据源指的是数据来源端数据库。

本实施例中，源端数据源可以是关系型数据库(RDBMS)。数据在数据源中通过数据表的形式存储，该数据表的每一行称为一个元组，或称为一条记录；该数据表的每一列称为一个字段，每个字段描述了该字段对应的数据的意义，例如，该字段为数学成绩，则该字段对应的数据为数学成绩值；主关键字是用于唯一标识一个元组的数据，该主关键字可以为数据表中的一个或者多个字段，例如，在记录个人信息的数据表中，该主关键字可以为身份证号码字段。

结构化查询语句(Structured Query Language，SQL)是用于对数据库进行管理操作的语句。该结构化查询语句包括至少一个查询字段、数据筛选条件和至少一个表间关联关系。其中，查询字段用于标识需要采集的字段，数据筛选条件用于指示采集数据时的采集范围，例如时间范围；表间关联关系用于指示源端数据源的数据表之间的关联，例如，表1为学生成绩表，表1包括的字段有学生学号、学生姓名、学生语文成绩和学生数学成绩；表2为学生信息表，表2包括的字段有：学生学号、学生年龄和学生班级，则表1和表2的表间关联关系为该学生编号。

在一个实施方式中，上述接收第一数据源标识和结构化查询语句的步骤，包括：接收用户输入的第一数据源标识和结构化查询语句。该第一数据源标识和结构化查询语句可以是用户从数据处理系统的客户端页面输入的信息。

步骤S102、对结构化查询语句执行预定解析操作，获得解析结果。

其中，数据处理请求是用户触发的请求对结构化查询语句进行处理的请求。解析结果包括每个查询字段对应的目标数据所在数据表的表名，以及每个查询字段对应的目标数据的数据类型。该查询字段对应的目标数据指的是该查询字段在数据表对应的全部数据中满足数据筛选条件的数据。

在一个实施方式中，为了减少数据获取失败的情况，该对结构化查询语句执行预定解析操作的步骤，包括：对结构化查询语句执行校验操作，以确定所述结构化查询语句是否符合预设要求。

其中，校验操作用于校验该结构化查询语句是否符合预设要求，该预设要求可以根据实际应用场景设置。

在一些实施例中，数据处理系统对结构化查询语句执行校验操作，包括：校验结构化查询语句是否为预设语句，以及校验结构化查询语句是否符合预设语法规则。

其中，该预设语句为查询(SELECT)语句。预设语法规则为SELECT语句的语法规则。

在一些实施例中，在结构化查询语句不为预设语句，或者结构化查询语句不符合预设语法规则的情况下，结构化查询语句不符合预设要求。

需要说明的是，该结构化查询语句不符合预设要求的情况下，基于该结构化查询语句进行后续操作时将无法获得预期结果。在结构化查询语句不符合预设要求的情况下，可以忽略该结构化查询语句，也可以生成并显示SQL语句校验不通过的提醒信息，以重新获取该SQL语句，减少后续过程中出现数据获取失败的情况。

在另一些实施例中，在结构化查询语句为预设语句、且结构化查询语句符合预设语法规则的情况下，结构化查询语句符合预设要求。

在一个实施方式中，预定解析操作包括第一解析操作和第二解析操作。

其中，第一解析操作可以是基于德鲁伊结构化查询语句解析器(druid sqlparser)的解析，用于获取结构化查询语句中每个查询字段的字段名称。第二解析操作为自定义的解析操作，用于获取结构化查询语句中每个查询字段对应的目标数据所在数据表的表名，以及每个查询字段对应的目标数据的数据类型，其中，数据表的表名包括该数据表的实际表名和/或别名。

在一个实施方式中，预定解析操作如下：

步骤A：采用开源的druid sql parser，获得查询字段的字段名称集合，但是不含表名、数据类型、是否主键信息。

步骤B：自定义SQLSelectASTVisitor继承SQLASTVisitorAdapter，重写visit(SQLSelectItem x)方法：针对取得的查询字段进行循环，每一个查询字段调用自定义Visitor的visit(SQLSelectItem x)，取得SQLSelectItem中SQLExpr，调用下述步骤C。

步骤C：方法visit(SQLExpr x)负责解析查询字段别名、列名、表别名、表名、是否主键：

情况1：如果x类型属于SQLAggregateExpr，取得SQLAggregateExpr对象的第一个参数，再递归调用步骤步骤C。

情况2：如果x类型属于SQLIdentifierExpr，取得字段名、字段别名，调用下述步骤D。

步骤D：自定义方法getSelectColumn(SQLExpr expr,Column column)，负责解析字段表别名、表名、是否主键：

步骤D1，取得expr的父对象SQLObject。

步骤D2，如果SQLObject属于SQLSelectItem，则再取得SQLSelectItem的父对象。

步骤D3，如果SQLObject属于SQLAggregateExpr，则再取得SQLAggregateExpr的父对象的父对象。

步骤D4，如果SQLObject属于SQLSelectQueryBlock，则取得SQLTableSource。

步骤D5，调用步骤下述步骤E，返回字段的表别名、表名。

步骤D6，循环步骤下述步骤E，取得的表别名、表名集合，如果当前查询字段的归属表非空，且归属表的表名与当前表名或别名相同时则认为是当前字段的表名、表别名。

步骤D7，根据列名及步骤D6取得的表名从数据库取得当前字段的数据类型及是否主键。

步骤E：自定义SQLTableNameVisitor继承SQLASTVisitorAdapter，重写visit(SQLExprTableSource x)方法，返回所属的表别名、表名集合。

需要说明的是，上述步骤A为第一解析操作，步骤B-E为第二解析操作。其中，第二解析操作中涉及的SQLSelectASTVisitor、SQLASTVisitorAdapter、visit(SQLSelectItemx)、SQLTableNameVisitor、visit(SQLExprTableSource x)等均为通过Java语言定义的类或方法。

步骤S103、基于解析结果、数据筛选条件及表间关联关系，从源端数据源的至少一个数据表中采集目标数据。

其中，源端数据源为与第一数据源标识对应的数据源。该至少一个数据表包括解析结果中每个查询字段对应的目标数据所在数据表。

步骤S104、将目标数据写入目的数据源。

其中，目的数据源指的是数据要存入的数据库，也是预设的与源端数据源进行数据交互的数据源。

在一些实施例中，该目的数据源可以是关系型数据库。

本公开实施例提供一种数据处理方法，首先，接收第一数据源标识和结构化查询语句，该结构化查询语句包括至少一个查询字段、数据筛选条件和至少一个表间关联关系，该表间关联关系用于指示源端数据源的数据表之间的关联；然后，对结构化查询语句执行预定解析操作，获得解析结果，该解析结果包括每个查询字段对应的目标数据所在数据表的表名，以及每个查询字段对应的目标数据的数据类型；最后，基于该解析结果、数据筛选条件及表间关联关系，从源端数据源的至少一个数据表中采集目标数据，并将目标数据写入目的数据源，能够实现一次性从源端数据源的多张数据表中采集数据，有效提高数据获取效率，进而提高数据源间进行数据共享的效率。

图2为本公开实施例提供的一种数据处理方法的流程图。在一个实施方式中，上述接收用户输入的第一数据源标识和结构化查询语句之前，如图2所示，该数据处理方法还包括：步骤S201-步骤S202。

步骤S201、与多个数据源建立通信连接。

其中，多个数据源至少包括源端数据源和目的数据源。源端数据源指的是数据来源端数据库、目的数据源指的是数据要存入的数据库。通信连接包括有线通信连接和无线通信连接，该无线通信连接例如第五代移动通信连接。

需要说明的是，在实际应用过程中，上述多个数据源中的任意一个数据源在一些情况中可以作为源端数据源，在另一些情况中可以作为目的数据源。

在一个实施方式中，与多个数据源建立通信连接的步骤，包括：针对每一个数据源，基于该数据源的IP地址、预先获取的与该数据源对应的用户名和密码，与该数据源建立通信连接。

步骤S202、获取查询字段与目的字段的映射关系。

其中，目的字段为归属于目的数据源的数据表所包含的字段。

在一个实施方式中，为了便于管理映射关系，数据处理系统在获取查询字段与目的字段的映射关系之后，还基于该查询字段与目的字段的映射关系生成并存储元数据模型，其中，一条查询字段与目的字段的映射关系对应一个元数据模型。

本实施方式中，将查询字段与目的字段的映射关系生成并存储元数据模型能够实现映射关系的复用，提高数据处理速度。

在一个实施方式中，上述将目标数据写入目的数据源的步骤(步骤S104)，包括：基于查询字段与目的字段的映射关系，将查询字段对应的目标数据写入目的字段在目的数据源对应的数据表中。

在本实施例中，预先与多个数据源建立通信连接，并获取查询字段与目的字段的映射关系，最后基于查询字段与目的字段的映射关系，将查询字段对应的目标数据写入目的字段在目的数据源对应的数据表中，能够实现目标数据从源端数据源到目的数据源的精准映射，有助于提高数据获取效率，进而提高数据源间进行数据共享的效率。

在一个实施方式中，上述基于解析结果、数据筛选条件及表间关联关系，从源端数据源的至少一个数据表中采集目标数据之前，还包括：响应于映射修改指令，将目标查询字段映射的目的字段修改为新的目的字段。

其中，目标查询字段是修改指令指向的查询字段。

在本实施例中，为了提高数据获取的智能化，可以在采集数据之前，对查询字段与目的字段的映射关系进行修改，提高数据获取效率，进而提高数据源间进行数据共享的效率。

在一个实施方式中，对结构化查询语句执行预定解析操作，获得解析结果(步骤S102)之后，还包括：将结构化查询语句、解析结果和查询字段与目的字段的映射关系转换为目标任务的任务配置数据，并将该任务配置数据存储在本地数据库中。

其中，该目标任务为数据获取任务。任务配置数据可以是json格式的任务配置数据。本地数据库为归属于数据处理系统的数据库。

在本实施例中，上述基于解析结果、数据筛选条件及表间关联关系，从源端数据源的至少一个数据表中采集目标数据，并将目标数据写入目的数据源的步骤(步骤S103-步骤S104)，包括：

响应于任务执行指令，执行目标任务，以基于解析结果及表间关联关系，从源端数据源的至少一个数据表中采集目标数据，并基于查询字段与目的字段的映射关系，将查询字段对应的目标数据写入目的字段在所述目的数据源对应的数据表中。

其中，任务执行指令是用户通过数据处理系统的客户端页面输入的用于指示执行目标任务的指令。

在该实施方式中，获得解析结果之后可以不直接进行数据获取，而是将结构化查询语句、解析结果和查询字段与目的字段的映射关系转换为目标任务的任务配置数据，并在需要进行数据获取时执行该目标任务，实现从源端数据源自动采集数据写入目的数据源，有效提高数据获取效率，进而提高数据源间进行数据共享的效率。

在一个实施方式中，本公开实施还提供一种数据处理方法。该数据处理方法包括：

步骤一、针对预设业务数据表配置批量删除脚本。

其中，预设业务数据表是数据库中存储的业务数据表，例如道路的交通数据表(抓拍的人脸或车辆的业务表等)、医疗服务数据表(患者的就诊情况表等)等业务数据表，该预设业务数据表包括数据标识以及数据创建时间；批量删除脚本包括保留最新数据条数、业务表名和每次批量删除数据量。

在一些实施例中，批量删除脚本例如delBatch(num,tableName,limitNo)，其中，delBatch()为批量删除脚本函数。num为保留最新数据条数；tableName为业务表名；limitNo为每次批量删除数据量。

步骤二、激活批量删除脚本，以获得待删除业务数据标识集合并基于所述待删除业务数据标识集合删除业务数据。

在一些实施例中，激活批量删除脚本之后，可以使用row_number()函数及根据数据创建时间对预设业务数据表中的业务数据降序排列，并得到返回记录的行号，然后根据行号大于num且只筛选数据条数为limitNo限定的数据，得到待删除业务数据标识集合，并基于所述待删除业务数据标识集合删除业务数据。

在一些实施例中，删除业务数据之后根据返回的结果判断当前操作是否有删除数据，如果有则休眠1s后再次调用上述步骤一，删除业务数据以减轻服务器压力；如果没有删除数据，则结束本次定时任务。

本公开提供的数据处理方法设计了通用业务表大数据批量删除方法，降低了项目针对不同业务大表过期数据批量删除重复开发的工作量，并且定时任务两次调用脚本间休眠1s减轻服务器压力。另外，批量删除脚本采用得到待删除数据的数据标识再根据数据标识来删除提高了批量删除速度，实现了数据快速删除不影响数据库服务器性能，减少大事务造成其他服务无法读取到数据的情况。

图3为本公开实施例提供的一种数据处理方法的流程图。该数据处理方法应用于数据处理系统，该数据处理系统例如Exchangis平台。该数据处理系统包括客户端和后台，其中，客户端可以通过网页进行显示，以供用户通过网页访问该客户端并通过该客户端指示数据获取过程，后台用于执行由客户端接收的各指令，以进行相应操作，完成数据获取过程。如图3所示，该数据处理方法包括以下步骤S301-步骤S310。

步骤S301、响应于用户访问请求，通过客户端显示数据获取控制页面。

其中，用户访问请求是用户通过用户终端向数据处理系统发送的用于请求获得数据处理系统提供的服务的请求。

数据获取控制页面是用于向用户提供数据获取服务的主页面，该数据获取控制页面可以根据具体应用场景进行设置。例如，在一些实施场景中，该数据获取控制页面可以包括相应功能的指令触发链接，例如新建应用。

步骤S302、响应于新建应用指令，创建用户对应的虚拟管理应用。

其中，新建应用指令是用于用户终端通过数据获取控制页面触发的用于新建应用的指令。该虚拟管理应用指的是归属于该用户的用于管理数据的虚拟应用，例如，可以用于归档数据、交互数据的虚拟应用。

步骤S303、接收数据源创建指令，与多个数据源建立通信连接。

其中，数据源创建指令包括数据源的IP地址、预先获取的与该数据源对应的用户名和密码。多个数据源至少包括源端数据源和目的数据源。

在一些实施例中，用户可以通过用户终端在客户端显示的页面上输入数据源的IP地址、预先获取的与该数据源对应的用户名和密码，以供数据处理系统与相应的数据源建立通信连接。

在一个实施场景中，以智慧城市中的医疗服务方面为例，源端数据源可以是多个医院系统，目的数据源可以是包含该多个医院的行政区域的医疗数据汇总系统。

在另一个实施场景中，以智慧城市中的学校为例，源端数据源可以是多个不同学校的管理系统，目的数据源可以是管理该多个学校的教育管理机构的据汇总系统。

步骤S304、获取查询字段与目的字段的映射关系，并通过查询字段与目的字段的映射关系创建元数据模型。

其中，该查询字段用于标识源端数据源中需要采集的字段。目的字段为归属于目的数据源的数据表所包含的字段。一条查询字段与目的字段的映射关系对应一个元数据模型。

步骤S305、响应于新建任务指令，显示目标任务创建页面。

其中，新建任务指令是用户指示创建管理数据的任务的指令，例如创建数据交互任务、数据汇总任务等。目标任务创建页面是用于获取用户创建需求的页面。

图4为本公开实施例提供的一种目标任务创建页面的页面示意图。如图4所示，该目标任务创建页面包括数据源标识获取部分401和SQL语句获取部分402。

其中，数据源标识获取部分401和SQL语句获取部分402分别用于接收第一数据源标识和结构化查询语句。

在一些实施例中，该目标任务创建页面还可以包括页面切换控制部分、源端数据源类型输入部分、数据库名输入部分、选择是否开启SQL语句部分、SQL语句校验触发部分以及选择是开启时间戳部分中的一种或多种。其中，页面切换控制部分用于在用户输入第一数据源标识和结构化查询语句之后，控制进行页面切换。

步骤S306、响应于SQL语句校验命令，对结构化查询语句执行校验操作，获得校验结果。

其中，SQL语句校验命令是用户通过目标任务创建页面触发的对结构化查询语句执行校验操作的指令。需要说明的是，该SQL语句可以实现把一些复杂的统计作为临时表，然后再针对该临时表进行汇总计算。

在一些实施例中，数据处理系统对结构化查询语句执行校验操作，获得校验结果的步骤，包括：校验结构化查询语句是否为预设语句，以及校验结构化查询语句是否符合预设语法规则。

其中，该预设语句为查询(SELECT)语句。预设语法规则为SELECT语句的语法规则。

在一些实施例中，在结构化查询语句不为预设语句，或者结构化查询语句不符合预设语法规则的情况下，该校验结果为不通过。

在另一些实施例中，在结构化查询语句为预设语句、且结构化查询语句符合预设语法规则的情况下，该校验结果为通过。

在一些实施例中，SQL语句校验命令和下述SQL语句解析命令可以通过目标任务创建页面的同一个接口实现触发。

步骤S307、响应于SQL语句解析命令，对结构化查询语句执行预定解析操作，获得解析结果，并显示该解析结果以及查询字段与目的字段的映射关系。

其中，SQL语句解析命令是用户通过目标任务创建页面触发的对结构化查询语句执行校验操作的指令。解析结果包括每个查询字段对应的目标数据所在数据表的表名，以及每个查询字段对应的目标数据的数据类型。该查询字段对应的目标数据指的是该查询字段在数据表对应的全部数据中满足数据筛选条件的数据。

图5为本公开实施例提供的一种显示该解析结果以及查询字段与目的字段的映射关系的页面示意图。如图5所示，该页面中字段序号、源字段、源字段对应的类型、目标字段和目标字段对应的类型以及操作触发部分以关联关系进行显示。

其中，字段序号用于标识显示查询字段的顺序；源字段由查询字段的字段名与查询字段对应的目标数据所在数据表的表名构成，例如t.source_type、t.dataSourceld。另外，由于数据表的表名包括该数据表的实际表名和/或别名，因此，为了提高后续采集数据过程中识别数据表的识别精准性，该源字段中的表名优先选择数据表的别名进行显示，例如一个采集字段对应的源字段为t.dataSourceld和t.COUNT(j.job_name)的情况下，优先选择源字段为t.COUNT(j.job_name)。源字段对应的类型即为查询字段对应的目标数据的数据类型，类型例如：BIGINT、VARCHAR、INT、TEXT、DATETIME等。目标字段由目的字段的字段名与目的字段所在数据表的表名构成，由于数据表的表名包括该数据表的实际表名和/或别名，因此，为了提高后续向目的数据源的数据表写入数据的精准性，该源字段中的表名优先选择数据表的别名进行显示。目标字段对应的类型例如：BIGINT、VARCHAR、INT、TEXT、DATETIME等。需要说明的是，数据表的别名可以有效降低名称长度，在用户输入SQL语句时，使SQL语句简明扼要，在显示图5所示的页面时，也能够提高用户使用体验。

步骤S308、响应于目标任务保存指令，将结构化查询语句、解析结果和查询字段与目的字段的映射关系转换为目标任务的任务配置数据，并将该任务配置数据存储在本地数据库中。

其中，目标任务保存指令是指示将结构化查询语句、解析结果和查询字段与目的字段的映射关系转换为目标任务的任务配置数据并保存的指令。

步骤S309、响应于任务执行指令，执行目标任务，以基于解析结果及表间关联关系，从源端数据源的至少一个数据表中采集目标数据，并基于查询字段与目的字段的映射关系，将查询字段对应的目标数据写入目的字段在所述目的数据源对应的数据表中。

其中，任务执行指令是用户通过数据处理系统的客户端页面输入的用于指示执行目标任务的指令。

图6为本公开实施例提供的一种显示目标任务的页面示意图。如图6所示，该页面包括目标任务标识、第一数据源标识、数据源类型、任务描述、任务创建时间以及任务操作。

其中，目标任务标识用于唯一标识存储的目标任务。第一数据源标识用于标识该目标任务对应的源端数据源；数据源类型为源端数据源的类型，例如mysql类型；任务描述用于简要描述任务内容；任务操作包括编辑、删除、执行和显示任务详情等至少一种操作。

在一个实施方式中，响应于任务执行指令，执行目标任务的过程中，后台中预存的数据库读取插件基于解析结果及表间关联关系，从源端数据源的至少一个数据表中采集目标数据，并将该目标数据发送至管道，后台中预存的数据写入插件基于查询字段与目的字段的映射关系，将管道中查询字段对应的目标数据写入目的字段在所述目的数据源对应的数据表中。其中，管道可以是后台中用户缓存数据的缓存区(buffer)。

步骤S310、查看目的数据源中同步的目标数据。

本公开实施例提供的数据处理方法能够实现一次性从源端数据源的多张数据表中采集数据，有效提高数据获取效率，进而提高数据源间进行数据共享的效率。

本公开提供的数据处理方法可以应用于智慧城市的建设场景中，因此，在不同的实施场景中，目标数据可以包括行政区域的政务数据、场所的管理数据、道路的交通数据、气象管理数据、医疗服务数据中的至少一种。

在该实施场景中，该数据处理方法能够支持为结构化及无结构化的异构数据源之间提供数据共享(同步)服务，有效提高数据获取效率，进而提高数据源间进行数据共享(同步)的效率，有助于智慧城市行业的高效发展。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

图7为本公开实施例提供的一种数据处理系统的结构示意图。如图7所示，该数据处理系统包括：接收模块71、解析模块72、采集模块73和写入模块74。

接收模块71，用于接收第一数据源标识和结构化查询语句。

其中，结构化查询语句包括至少一个查询字段、数据筛选条件和至少一个表间关联关系，该表间关联关系用于指示源端数据源的数据表之间的关联。

解析模块72，用于对结构化查询语句执行预定解析操作，获得解析结果。

其中，解析结果包括每个查询字段对应的目标数据所在数据表的表名，以及每个查询字段对应的目标数据的数据类型。

采集模块73，用于基于解析结果及表间关联关系，从源端数据源的至少一个数据表中采集所述目标数据。

其中，源端数据源为与第一数据源标识对应的数据源。

写入模块74，用于将目标数据写入目的数据源。

需要明确的是，本公开并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁，这里省略了对已知方法的详细描述，并且上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本公开实施例提供一种数据处理系统，接收模块用于接收第一数据源标识和结构化查询语句，该结构化查询语句包括至少一个查询字段、数据筛选条件和至少一个表间关联关系，该表间关联关系用于指示源端数据源的数据表之间的关联；解析模块用于对结构化查询语句执行预定解析操作，获得解析结果，该解析结果包括每个查询字段对应的目标数据所在数据表的表名，以及每个查询字段对应的目标数据的数据类型；采集模块用于基于该解析结果、数据筛选条件及表间关联关系，从源端数据源的至少一个数据表中采集目标数据，写入模块用于将目标数据写入目的数据源，能够实现一次性从源端数据源的多张数据表中采集数据，有效提高数据获取效率，进而提高数据源间进行数据共享的效率。

图8为本公开实施例提供一种电子设备的结构示意图。

参照图8，本公开实施例提供的电子设备，其包括：

一个或多个处理器801；

存储器802，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任意一项的数据处理方法；

一个或多个I/O接口803，连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。

其中，处理器801为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器802为具有数据存储能力的器件，其包括但不限于随机存取存储器(RandomAccess Memory，缩写RAM，更具体如Synchronous Dynamic Random-Access Memory，缩写SDRAM、Double Data Rate SDRAM，缩写DDR等)、只读存储器(Read-Only Memory，缩写ROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable read only memory，缩写EEPROM)、闪存(FLASH)；I/O接口(读写接口)803连接在处理器801与存储器802间，能实现处理器801与存储器802的信息交互，其包括但不限于数据总线(Bus)等。

在一些实施例中，处理器801、存储器802和I/O接口803通过总线相互连接，进而与计算设备的其它组件连接。

本实施例还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本实施例提供的数据处理方法，为避免重复描述，在此不再赘述数据处理方法的具体步骤。

本领域普通技术人员可以理解，上文中所发明方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、只读光盘(Compact Disc Read-Only Memory，缩写CD-ROM)、数字多功能盘(Digital Video Disc，缩写DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本实施例的范围之内并且形成不同的实施例。

可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (12)

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

接收第一数据源标识和结构化查询语句，所述结构化查询语句包括至少一个查询字段、数据筛选条件和至少一个表间关联关系，所述表间关联关系用于指示源端数据源的数据表之间的关联；

对所述结构化查询语句执行预定解析操作，获得解析结果；所述解析结果包括每个所述查询字段对应的目标数据所在数据表的表名，以及每个所述查询字段对应的目标数据的数据类型；

基于所述解析结果、所述数据筛选条件及所述表间关联关系，从源端数据源的至少一个数据表中采集所述目标数据，并将所述目标数据写入目的数据源；所述源端数据源为与所述第一数据源标识对应的数据源。

2.根据权利要求1所述的方法，其特征在于，所述预定解析操作包括第一解析操作和第二解析操作；所述第一解析操作用于获取所述结构化查询语句中每个查询字段的字段名称；所述第二解析操作用于获取所述结构化查询语句中每个查询字段对应的目标数据所在数据表的表名，以及每个所述查询字段对应的目标数据的数据类型，其中，所述表名包括数据表的别名。

3.根据权利要求1所述的方法，其特征在于，所述接收用户输入的第一数据源标识和结构化查询语句之前，还包括：

与多个数据源建立通信连接，其中，多个数据源至少包括所述源端数据源和所述目的数据源；

获取所述查询字段与目的字段的映射关系，所述目的字段为归属于所述目的数据源的数据表所包含的字段；

其中，所述将所述目标数据写入目的数据源，包括：

基于所述查询字段与目的字段的映射关系，将所述查询字段对应的目标数据写入所述目的字段在所述目的数据源对应的数据表中。

4.根据权利要求3所述的方法，其特征在于，所述对所述结构化查询语句执行预定解析操作，获得解析结果之后，还包括：

将所述结构化查询语句、所述解析结果和所述查询字段与目的字段的映射关系转换为目标任务的任务配置数据，并将所述任务配置数据存储在本地数据库中；

其中，所述基于所述解析结果、所述数据筛选条件及所述表间关联关系，从源端数据源的至少一个数据表中采集所述目标数据，并将所述目标数据写入目的数据源的步骤，包括：

响应于任务执行指令，执行所述目标任务，以基于所述解析结果、所述数据筛选条件及所述表间关联关系，从源端数据源的至少一个数据表中采集所述目标数据，并基于所述查询字段与目的字段的映射关系，将所述查询字段对应的目标数据写入所述目的字段在所述目的数据源对应的数据表中。

5.根据权利要求3或4所述的方法，其特征在于，所述基于所述解析结果、所述数据筛选条件及所述表间关联关系，从源端数据源的至少一个数据表中采集所述目标数据之前，还包括：

响应于映射修改指令，将目标查询字段映射的目的字段修改为新的目的字段，所述目标查询字段是所述修改指令指向的查询字段。

6.根据权利要求1所述的方法，其特征在于，所述对所述结构化查询语句执行预定解析操作，获得解析结果的步骤，包括：

对所述结构化查询语句执行校验操作，以确定所述结构化查询语句是否符合预设要求；

在所述结构化查询语句符合预设要求的情况下，对所述结构化查询语句执行预定解析操作，获得解析结果。

7.根据权利要求6所述的方法，其特征在于，所述对所述结构化查询语句执行校验操作，以确定所述结构化查询语句是否符合预设要求步骤，包括：

校验所述结构化查询语句是否为预设语句，以及校验所述结构化查询语句是否符合预设语法规则；

在所述结构化查询语句为预设语句、且所述结构化查询语句符合预设语法规则的情况下，所述结构化查询语句符合预设要求。

8.根据权利要求1所述的方法，其特征在于，所述目标数据包括行政区域的政务数据、场所的管理数据、道路的交通数据、气象管理数据、医疗服务数据中的至少一种。

9.根据权利要求1所述的方法，其特征在于，所述数据处理方法还包括：

针对预设业务数据表配置批量删除脚本；所述批量删除脚本包括保留最新数据条数、业务表名和每次批量删除数据量；

激活所述批量删除脚本，以获得待删除业务数据标识集合并基于所述待删除业务数据标识集合删除业务数据。

10.一种数据处理系统，其特征在于，所述数据处理系统包括：

接收模块，用于接收第一数据源标识和结构化查询语句，所述结构化查询语句包括至少一个查询字段、数据筛选条件和至少一个表间关联关系，所述表间关联关系用于指示源端数据源的数据表之间的关联；

解析模块，用于对所述结构化查询语句执行预定解析操作，获得解析结果；所述解析结果包括每个所述查询字段对应的目标数据所在数据表的表名，以及每个所述查询字段对应的目标数据的数据类型；

采集模块，用于基于所述解析结果及所述表间关联关系，从源端数据源的至少一个数据表中采集所述目标数据，所述源端数据源为与所述第一数据源标识对应的数据源；

写入模块，用于将所述目标数据写入目的数据源。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1-9中任意一项所述的数据处理方法；

一个或多个I/O接口，连接在所述处理器与存储器之间，配置为实现所述处理器与存储器的信息交互。

12.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-9中任意一项所述的数据处理方法。

Images