CN117093324A

CN117093324A - 一种数据处理方法和装置

Info

Publication number: CN117093324A
Application number: CN202311074201.1A
Authority: CN
Inventors: 隗烨; 崔成龙
Original assignee: CCB Finetech Co Ltd
Current assignee: CCB Finetech Co Ltd
Priority date: 2023-08-24
Filing date: 2023-08-24
Publication date: 2023-11-21

Abstract

本发明公开了一种数据处理方法和装置，涉及数据处理技术领域。该方法的一具体实施方式包括：确定源数据库中的存储过程集合，从存储过程集合中，确定与目标数据库对应的存储过程，识别存储过程中的表达式信息；按照预先为运行脚本配置的格式，将表达式信息转换为运行脚本可执行的表达式信息，接收输入的测试参数，在测试环境中比对存储过程的执行结果和运行脚本的执行结果；响应于比对结果为成功，将运行脚本存储到目标数据库中，以在收到对目标数据库的数据处理请求时，调用运行脚本，执行对目标数据库的数据处理操作。该实施方式依据脚本模版，自动化将存储过程转换为脚本可执行的内容，以在不允许使用存储过程时，使用脚本也可实现同样的功能。

Description

一种数据处理方法和装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法和装置。

背景技术

Oracle的应用，主要在传统行业的数据化业务中，比如：银行、金融等对可用性、健壮性、安全性、实时性要求极高的业务；零售、物流等对海量数据存储分析要求很高的业务。而且由于Oracle对复杂计算、统计分析的强大支持，在互联网数据分析、数据挖掘方面的应用也越来越多。

在生产经营的活动中，需要进行多种数据迁移、数据加工、数据提取等工作，Oracle为用户提供了存储过程，协助用户完成对数据进行自定义的逻辑计算。但Oracle数据库属于国外数据库，使用过程中可能受到技术限制问题，因而需要脱离Oracle数据库，以使用不受技术限制的数据库。

但对Oracle存储过程的改造较为复杂，目前市面上提供的将Oracle sql(Structured Query Language，结构化查询语言)改为MySQL sql的改造工具，普遍存在精准度不足问题，导致转换效果欠佳，有些改造完后还存在语法错误问题。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，至少能够解决现有技术中，存储过程改造工具精准度不足或存在语法问题的现象。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括：

确定源数据库中的存储过程集合，从所述存储过程集合中，确定与目标数据库对应的存储过程，识别所述存储过程中的表达式信息；

按照预先为运行脚本配置的格式，将所述表达式信息转换为运行脚本可执行的表达式信息，接收输入的测试参数，在测试环境中比对所述存储过程的执行结果和所述运行脚本的执行结果；

响应于比对结果为成功，将所述运行脚本存储到目标数据库中，以在收到对目标数据库的数据处理请求时，调用所述运行脚本，执行对目标数据库的数据处理操作。

可选的，表达式信息包括结构化语言SQL语句以及SQL语句之间的逻辑关系；

所述按照预先为运行脚本配置的格式，将所述表达式信息转换为运行脚本可执行的表达式信息，包括：

接收对运行脚本模版中数据处理模块的配置操作；

根据源数据库和目标数据库的语法差异，将所述存储过程中的SQL语句，转换为目标数据库可执行的SQL语句；

将所述存储过程中SQL语句之间的逻辑关系，作为目标数据库可执行的SQL语句之间的逻辑关系；

接收配置的表数据处理代码，将上述SQL语句、SQL语句之间的逻辑关系、表数据处理代码写入数据处理模块中的相应位置，以生成运行脚本。

可选的，表数据处理代码，用于：

统计目标数据库中目标表的数据量，当所述数据量超过预设数量时，将所述目标表中预设行数量的数据，插入到目标数据库的预设表中。

可选的，所述存储过程中的SQL语句，包括删除SQL语句、更新SQL语句、增加SQL语句、合并SQL语句中的一种或多种；

所述将所述目标表中预设行数量的数据，插入到目标数据库的预设表中，包括：

识别所述存储过程中SQL语句的功能；

响应于功能为插入、删除中的一种，按照预设行数量对所述目标表中的数据进行分批处理，以分批插入到目标数据库的预设表中；

响应于功能为修改、合并中的一种，将所述目标表中的数据逐行插入到预设表中。

可选的，所述方法还包括：

接收配置的用于记录日志并打印的SQL语句，以及执行该SQL语句的执行结果。

可选的，所述接收配置的表数据处理代码，包括：

在所述运行脚本模版中开启事务，接收对事务配置的表数据处理代码；以及

当调用所述运行脚本执行任一个SQL语句出现异常时，在事务中进行回滚，以回滚到初始状态。

可选的，所述运行脚本模版还包括输入参数模块和连接数据库模块；其中，输入参数模块用于接收输入的测试参数、数据处理操作参数。

可选的，所述运行脚本模版还包括数据注释模块，数据注释模块用于接收对数据的备注信息。

可选的，所述调用所述运行脚本，执行对目标数据库的数据处理操作，包括：

从所述数据处理请求中获取操作参数；其中，操作参数包括用户名、目标条件；

将操作参数输入到所述运行脚本中的输入参数模块，以通过输入参数模块将用户名传输给连接数据库模块，将目标条件传输给数据处理模块；

通过连接数据库模块读取密码文件，以获取与所述用户名对应的加密密码，调用预设解密方式处理所述加密密码，得到解密密码，使用所述用户名和所述解密密码连接至目标数据库；

通过数据处理模块，确定目标数据库中符合所述目标条件的数据集合，执行SQL语句、SQL语句之间的逻辑关系、表数据处理代码，以对数据集合做处理操作；

通过连接数据库模块响应于操作完毕，断开与目标数据库的连接。

可选的，在所述通过连接数据库模块读取密码文件之前，所述方法还包括：

接收输入的用户名和密码，使用预设加密方式对所述密码进行加密，得到加密密码，将用户名和加密密码存储到密码文件中。

为实现上述目的，根据本发明实施例的另一方面，提供了一种数据处理装置，包括：

识别模块，用于确定源数据库中的存储过程集合，从所述存储过程集合中，确定与目标数据库对应的存储过程，识别所述存储过程中的表达式信息；

脚本模块，用于按照预先为运行脚本配置的格式，将所述表达式信息转换为运行脚本可执行的表达式信息，接收输入的测试参数，在测试环境中比对所述存储过程的执行结果和所述运行脚本的执行结果；

处理模块，用于响应于比对结果为成功，将所述运行脚本存储到目标数据库中，以在收到对目标数据库的数据处理请求时，调用所述运行脚本，执行对目标数据库的数据处理操作。

所述脚本模块，用于：

接收对运行脚本模版中数据处理模块的配置操作；

可选的，表数据处理代码，用于：

所述脚本模块，用于：

识别所述存储过程中SQL语句的功能；

可选的，所述脚本模块，还用于：

可选的，所述脚本模块，用于：

可选的，所述处理模块，用于：

可选的，所述装置还包括密码管理模块，用于：

为实现上述目的，根据本发明实施例的再一方面，提供了一种数据处理电子设备。

本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的数据处理方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的数据处理方法。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算程序产品。本发明实施例的一种计算程序产品，包括计算机程序，所述程序被处理器执行时实现本发明实施例提供的数据处理方法。

根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：自动化转换Oracle数据库存储过程，将转换内容嵌套到perl脚本模版，以从存储过程改为适用perl脚本，不存在语法问题，准确性高，perl脚本能够实现与原存储过程相同的功能，整体操作简单且高效，也方便后续核查和维护。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种数据处理方法的主要流程示意图；

图2是根据本发明实施例的一种可选的数据处理方法的流程示意图；

图3是根据本发明实施例的另一种可选的数据处理方法的流程示意图；

图4是根据本发明实施例的又一种可选的数据处理方法的流程示意图；

图5是根据本发明实施例的一种数据处理装置的主要模块示意图；

图6是本发明实施例可以应用于其中的示例性系统架构图；

图7是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以互相组合。本发明的技术方案中，所涉及的用户个人信息的采集、分析、使用、传输、存储等方面，均符合相关法律法规的规定，被用于合法且合理的用途，不在这些合法使用等方面之外共享、泄露或出售，并且接受监管部门的监督管理。应当对用户个人信息采取必要措施，以防止对此类个人信息数据的非法访问，确保有权访问个人信息数据的人员遵守相关法律法规的规定，确保用户个人信息安全。

一旦不再需要这些用户个人信息数据，应当通过限制甚至禁止数据收集和/或删除数据的方式将风险降至最低。当适用时，包括在某些相关应用程序中，通过对数据去标识来保护用户隐私，例如在适用时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在具体地址级别收集位置数据)、控制数据如何被存储、和/或其他方法去标识。

参见图1，示出的是本发明实施例提供的一种数据处理方法的主要流程图，包括如下步骤：

S101：确定源数据库中的存储过程集合，从所述存储过程集合中，确定与目标数据库对应的存储过程，识别所述存储过程中的表达式信息；

S102：按照预先为运行脚本配置的格式，将所述表达式信息转换为运行脚本可执行的表达式信息，接收输入的测试参数，在测试环境中比对所述存储过程的执行结果和所述运行脚本的执行结果；

S103：响应于比对结果为成功，将所述运行脚本存储到目标数据库中，以在收到对目标数据库的数据处理请求时，调用所述运行脚本，执行对目标数据库的数据处理操作。

上述实施方式中，对于步骤S101，Oracle数据库中设置存储过程(StoredProcedure)，存储过程是事先经过编译并存储在数据库中的一段SQL语句的集合，经过第一次编译后再次调用不需要再次编译，通过指定存储过程的名字并给出参数(如果该存储过程带有参数)来调用存储过程，调用存储过程可以简化应用开发人员的很多工作，减少数据在数据库和应用服务器之间的传输，能够提高数据处理的效率。

本方案将Oracle数据库作为源数据库，MySQL数据库作为目标数据库进行详细描述，此处MySQL数据库仅为示例，实际可以是其他数据库。本方案中，Oracle存储过程数量可能是多个，但针对每个数据库的某一数据处理功能的存储过程仅为一条，或者一个存储过程仅针对一个目标数据库中的一个或多个表。因而本方案首先需要执行从Oracle数据库存储过程集合中，确定与MySQL数据库对应的存储过程，识别该存储过程的表达式信息，具体地，SQL语句以及SQL语句之间的逻辑关系。

除了上述直接确定存储过程的方式外，本方案还可以对存储过程打标签，通过程序识别存储过程中的内容，判断其功能以及对应的数据库，以此实现存储过程分类，简化人工操作，提高工作效率。

对于步骤S102，现有生成perl脚本的步骤为：人工通读存储过程，查找其中的Execute、Insert、Delete、Update、Merge语句，并生存固定格式的xlsx格式的映射文件，之后将xlsx格式的映射文件交给转换平台，生成perl脚本。本方案摒弃现有生成映射文件操作，直接针对perl脚本预先配置格式，后续基于该格式，直接将上述存储过程中的SQL语句以及SQL语句之间的逻辑关系，转换为perl脚本可执行的SQL语句以及SQL语句之间的逻辑关系，该转换过程具体参见图2所示描述。

perl脚本中预先配置输入参数模块，因而在生成perl脚本后，可以通过输入参数模块接收输入的测试参数，比如接受两个参数作为输入，分别是日期和数量，以在测试环境中比对前述存储过程的执行结果以及该perl脚本的执行结果，若比对结果为一致，则表明perl脚本的逻辑是正确的，但若比对结果为不一致，则需要人工介入分析问题，例如人工调整perl脚本，直到结果一致。

对于步骤S103，在比对结果为一致的情况下，将perl脚本存储到MySQL数据库中，由此实现将Oracle数据库存储过程的逻辑，搬运到MySQL数据库的perl脚本中。需要说明的是，若Oracle数据库中针对MySQL数据库存在多条存储过程，则需要生成多个perl脚本，但通常仅设置一个存储过程。后续MySQL数据库在收到数据处理请求时，即可调用该perl脚本，以执行对MySQL数据库的数据处理操作。

实际操作中，也可以将该perl脚本存放到服务器上，该服务器关联一个或多个数据库，这些数据库不包括Oracle数据库。后续服务器在收到对MySQL数据库的数据处理请求时，即可调用perl脚本，以执行对MySQL数据库的数据处理操作。

上述实施例提供的方法，整体过程不需要生成映射文件，仅需要对perl脚本的生成机制进行配置，即可自动化将Oracle数据库的存储过程转换为perl脚本可执行的内容，以此在Oracle数据库或存储过程不允许使用时，使用MySQL的perl脚本也可以实现同样的功能。

参见图2，示出了根据本发明实施例的一种可选的数据处理方法流程示意图，包括如下步骤：

S201：接收对运行脚本模版中数据处理模块的配置操作；

S202：根据源数据库和目标数据库的语法差异，将所述存储过程中的SQL语句，转换为目标数据库可执行的SQL语句；

S203：将所述存储过程中SQL语句之间的逻辑关系，作为目标数据库可执行的SQL语句之间的逻辑关系；

S204：接收配置的表数据处理代码，将上述SQL语句、SQL语句之间的逻辑关系、表数据处理代码写入数据处理模块中的相应位置，以生成运行脚本。

上述实施方式中，本实施方式用于描述perl脚本的数据处理模块中内容的生成过程，实际perl脚本还可以包括其他模块，比如数据注释模块，用于接收对数据的备注信息，比如输入参数模块，用于测试运行脚本的执行结果与存储过程的执行结果是否一致，比如连接数据库模块，用于后续执行对目标数据库的数据处理操作。

对于步骤S201～S203，首先配置运行脚本模版，模版中配置数据处理模块。考虑Oracle数据库和MySQL数据库存在语法差异，因而可以直接将存储过程中的SQL语句，转换为MySQL数据库可执行的SQL语句。由此此处仅仅是做语法转换，并不会修改原先SQL语句之间的逻辑关系，因而此处可以直接将原先存储过程中SQL语句之间的逻辑关系，作为MySQL数据库可执行的SQL语句之间的逻辑关系。之后按照逻辑关系对SQL语句进行整理，即可得到MySQL数据库可执行的代码，该代码功能与原先存储过程的功能相同，效果一致。

对于步骤S204，由于Oracle数据库和国产数据库的性能差距，Oracle数据库性能强大，目前国产数据库性能较差，大批量数据提交至国产数据库，可能导致国产数据库宕机。针对国产数据这一问题，本方案还配置表数据处理功能，该功能通过表数据处理代码实现，表数据处理代码通过自定义配置得到。

本方案中表数据处理代码的功能，用于统计MySQL数据库中目标表的数据量，当数据量超过预设数量时，将所述目标表中预设行数量的数据，插入到目标数据库的预设表中。

数据库中获取到的数据集合，通常以Excel形式存储，比如一个Excel表中设置多个sheet页，sheet页1存储的是某一功能的数据，sheet页2存储的是另一个功能的数据，每个sheet页中包括多行数据，sheet页1中为N行，sheet页2中为M行，每行为存储的数据。为方便处理，可以将每行数据设置为二维数组[i][j]形式，表示第i行存储数据j。

由于国产数据库的性能问题，不能一次性提交过多数据，否则易导致数据库宕机问题，所以需要每一定量数据(即预设行数量)处理一次，此处预设行数量可以是10万，为经验值，超过10W行易导致MySQL数据库后台服务宕机，数值实际可调。当目标表中的数据量超过10万时，则将目标表中的数据每10万行插入到MySQL数据库的预设表中，预设表区别于目标表。此处目标表中插入预设表的数据，可以从目标表删除，也可以不删除，具体依据实际情况设定，优选删除。

上述实施例所提供的方法，根据源数据库和目标数据库的语法差异，对存储过程的表达式信息进行转换，以将存储过程的处理逻辑搬运到目标数据库的处理逻辑中，且考虑目标数据库的性能差异，配置表数据处理代码，以解决目标数据库处理数据量过大导致的宕机问题。

参见图3，示出了根据本发明实施例的另一种可选的数据处理方法流程示意图，包括如下步骤：

S301：接收对运行脚本模版中数据处理模块的配置操作；

S302：根据源数据库和目标数据库的语法差异，将存储过程中的SQL语句，转换为目标数据库可执行的SQL语句；其中，存储过程中的SQL语句，包括删除SQL语句、更新SQL语句、增加SQL语句、合并SQL语句中的一种或多种；

S303：将所述存储过程中SQL语句之间的逻辑关系，作为目标数据库可执行的SQL语句之间的逻辑关系；

S304：在所述运行脚本模版中开启事务，接收对事务配置的表数据处理代码；其中，当调用所述运行脚本执行任一个SQL语句出现异常时，在事务中进行回滚，以回滚到初始状态；

S305：表数据处理代码，用于：

统计目标数据库中目标表的数据量，当所述数据量超过预设数量时，识别所述存储过程中SQL语句的功能；

响应于功能为修改、合并中的一种，将所述目标表中的数据逐行插入到预设表中；

S306：接收配置的用于记录日志并打印的SQL语句，以及执行该SQL语句的执行结果；

S307：将上述SQL语句、SQL语句之间的逻辑关系、表数据处理代码、日志SQL语句写入数据处理模块中的相应位置，以生成运行脚本。

上述实施方式中，对于步骤S301～S303、S307可参见图2所示描述，在此不再赘述。

对于步骤S304，本方案还在perl脚本模版中开启事务，但若数据量较小时，可以不开启。在数据库中，事务是一组被视为单个逻辑单元的操作，事务具有以下特性：原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability)。要在数据库中开启一个事务，可以使用数据库管理系统提供的相应语句或命令。不同的数据库管理系统可能有不同的语法和方式来开启事务，比如在MySQL数据库中开启事务命令：STARTTRANSACTION。

在开始事务后，可以执行一系列的数据库操作，如插入、更新、删除等。如果所有操作都成功完成，则提交事务，但若在事务执行过程中出现错误或需要回滚操作，比如程序异常或接收到[die]关键字，可以使用return回滚，以回滚到初始未处理数据状态。

对于步骤S305，本方案仅考虑Insert、Delete、Update、Merge四种SQL语句，在执行数据插入时，需考虑其存储过程中SQL语句的功能。后续处理数据时直接使用即可，此处即可完成配置操作，目标表中存储的是MySQL数据库中依据目标条件查询得到的数据。

响应于功能为Insert、Delete中的一种，按照10万行对目标表中的数据进行分批处理，比如0～10万、10万～20万，以此类推；响应于功能为Update、Merge中的一种，对目标表中的数据进行逐行处理，以逐行将目标表中的数据插入到预设表中，比如第一行处理完后，再处理第二行，第二行处理完后再处理第三行，以此类推。

对于步骤S306，本方案还设置log方法，统一打印日志格式并记录日志到MySQL数据库。例如：

#日志部分，每一步操作之后都要有记录日志，并记录执行结果

BASE_LOG::log_print($dbh,$begin_tm,$step_no,$step_info)；

BASE_LOG::log_record($dbh,$begin_tm,$step_no,$step_info)

上述SQL语句、SQL语句之间的逻辑关系、表数据处理代码、日志SQL语句写入数据处理模块中的相应位置，比如设定顺序：

1、开启事务代码

2、SQL语句+SQL语句之间的逻辑关系

3、表数据处理代码

4、日志SQL语句

5、程序正常，提交事务

6、程序异常处理部分，错误则回滚数据

7、程序正常结束或收到return关键字结束

8、输入参数测试

其中，还可以设置utf8环境变量，配置的perl脚本模版为：

perl脚本的元数据信息

引用模块

设置utf8环境变量

引用基础方法文件

sub main{

设置变量部分

eval{

连接数据库

开启事务

sql部分

log部分

}

#对eval{}中的内容进行异常判断

if($@){

成功，提交事务，断开数据库连接

失败，回滚事务，断开数据库连接

}

接受脚本参数部分

上述实施例提供的方法，通过上述针对perl脚本设置的统一转换思路，便于Oracle数据库存储过程的自动化转换，使得转换过程合规统一、简单便捷，也便于后期维护，另外即使出现异常，也可以通过日志核查问题。

参见图4，示出了根据本发明实施例的又一种可选的数据处理方法流程示意图，包括如下步骤：

S401：从数据处理请求中获取操作参数；其中，操作参数包括用户名、目标条件；

S402：将操作参数输入到所述运行脚本中的输入参数模块，以通过输入参数模块将用户名传输给连接数据库模块，将目标条件传输给数据处理模块；

S403：通过连接数据库模块读取密码文件，以获取与所述用户名对应的加密密码，调用预设解密方式处理所述加密密码，得到解密密码，使用所述用户名和所述解密密码连接至目标数据库；

S404：通过数据处理模块，确定目标数据库中符合所述目标条件的数据集合，执行SQL语句、SQL语句之间的逻辑关系、表数据处理代码，以对数据集合做处理操作；

S405：通过连接数据库模块响应于操作完毕，断开与目标数据库的连接。

上述实施方式中，对于步骤S401～S403，本实施方式用于描述在收到对MySQL数据库的数据处理请求时，如何运行perl脚本，执行对MySQL数据库的数据处理操作。

Perl脚本中设置输入参数模块、连接数据库模块，数据注释模块和数据处理模块，数据注释模块用于接收对数据的备注信息，输入参数模块用于测试运行脚本的执行结果与存储过程的执行结果是否一致，连接数据库模块用于后续执行对目标数据库的数据处理操作。执行数据处理过程主要使用到连接数据库模块、输入参数模块、数据处理模块。

首先从数据处理请求中获取操作参数，如用户名、目标条件，输入参数模块收到这些操作参数后，将用户名传输给连接数据库模块，使得连接数据库模块通过该用户名读取passwd.sh密码文件，以从passwd.sh获取与该用户名对应的加密密码。

对于passwd.sh，敏感信息经过加密处理后存入passwd.sh，此处加密方式可以是base64，也可以是现有其他加密方式，还可以是自定义的一种加密/解密规则。passwd.sh是一个脚本文件的名称，存储用户名和加密后的密码，用户名是公开的，可以通过用户名去获取到对应的加密后的密码。

此处密码是指连接到数据库的密码，密码只应该掌握在高级别的人员(如管理员)手中，最初的密码也是由高级别的人员定义的，而普通工作人员是看不到明文秘密的。因而实际操作中，需要连接数据库模块根据用户名从passwd.sh中获取加密密码，之后使用解密方式对加密密码进行解密，得到解密密码，以使用正确的用户名和解密密码连接数据库，如MySQL数据库。需要说明的是，需获取密码以连接数据库并拥有相关的操作权限，若连接数据库出现异常，则返回报错。

对于步骤S404～S405，根据规律总结出统一操作数据库的目标条件集合，便于统一管理：

1、no select sql方法，执行非select sql语句，返回一条记录(影响的行数量)

2、select one sql方法，执行select sql语句，返回一条记录

3、select ref sql方法，执行select sql语句，返回多行数据(多行数据返回引用，提高速度)

查询MySQL数据库中符合目标条件的数据集合，将这些数据存储至目标表中，执行数据处理模块中的SQL语句、SQL语句之间的逻辑关系、表数据处理代码，以对数据集合做处理操作。

较多场景下需要将MySQL数据库中的数据提取出来，加工之后存入到新的数据库表中。将数据集合中的数据存入Excel表中，判断Excel表中的行数量是否超过预设行数量，比如10万，若超出，则开启事务，以识别SQL语句的功能，响应于功能为插入、删除中的一种，10W行循环一次，将数据集合中的数据插入到新的预设表。

一个数据库表不能过大，会影响后续使用时候的性能。比如，Execl A中有100W行数据，数据量过多，导致打开过慢或者直接卡死问题，选中10W行剪切一次，然后粘贴到新的Execl B中，所以当Execl A中数据达到一定量时需要进行分表，以将原先数据存放到一个新的Execl B中，新的数据继续存放到原先Execl A中，后续无论打开Execl A还是Execl B，相比现有仅打开Execl A，效率大幅提升。但也可以逐行进行存入，如一行一行循环处理，以将数据逐行从Execl A剪切存入Execl B。具体采用何种方式，在配置表数据处理代码即已确定，其配置依据为存储过程中SQL语句的功能。

事务是数据库管理系统中用于保证数据的一致性和完整性的一种机制。通过开启事务，可以将一系列相关的数据库操作视为一个逻辑单元，若执行成功，则提交事务，断开与MySQL数据库的连接，但若执行过程中出现异常情况，则全部回滚(Rollback)到事务开始的状态，断开与MySQL数据库的连接。

上述实施例提供的方法，在数据库操作中开启一个事务，通过开启事务，可以将一系列相关的数据库操作视为一个逻辑单元，以确保数据的持久性和一致性，能够减少每次提交的次数，提高数据库操作的效率。

本发明实施例提供的方法，通过设置统一perl脚本模版，实现自动化转换Oracle数据存储过程，以生成对应的perl脚本，整体操作简单且高效，准确性高，设置日志功能，可以方便后续核查和维护。

参见图5，示出了本发明实施例提供的一种数据处理装置500的主要模块示意图，包括：

识别模块501，用于确定源数据库中的存储过程集合，从所述存储过程集合中，确定与目标数据库对应的存储过程，识别所述存储过程中的表达式信息；

脚本模块502，用于按照预先为运行脚本配置的格式，将所述表达式信息转换为运行脚本可执行的表达式信息，接收输入的测试参数，在测试环境中比对所述存储过程的执行结果和所述运行脚本的执行结果；

处理模块503，用于响应于比对结果为成功，将所述运行脚本存储到目标数据库中，以在收到对目标数据库的数据处理请求时，调用所述运行脚本，执行对目标数据库的数据处理操作。

本发明实施装置中，表达式信息包括结构化语言SQL语句以及SQL语句之间的逻辑关系；

所述脚本模块502，用于：

接收对运行脚本模版中数据处理模块的配置操作；

本发明实施装置中，表数据处理代码，用于：

本发明实施装置中，所述存储过程中的SQL语句，包括删除SQL语句、更新SQL语句、增加SQL语句、合并SQL语句中的一种或多种；

所述脚本模块502，用于：

识别所述存储过程中SQL语句的功能；

本发明实施装置中，所述脚本模块502，还用于：

本发明实施装置中，所述脚本模块502，用于：

本发明实施装置中，所述运行脚本模版还包括输入参数模块和连接数据库模块；其中，输入参数模块用于接收输入的测试参数、数据处理操作参数。

本发明实施装置中，所述运行脚本模版还包括数据注释模块，数据注释模块用于接收对数据的备注信息。

本发明实施装置中，所述处理模块503，用于：

本发明实施装置还包括密码管理模块，用于：

另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。

图6示出了可以应用本发明实施例的示例性系统架构600，包括终端设备601、602、603，网络604和服务器605(仅仅是示例)。

终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，安装有各种通讯客户端应用，用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。

网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

服务器605可以是提供各种服务的服务器，需要说明的是，本发明实施例所提供的方法一般由服务器605执行，相应地，装置一般设置于服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括识别模块、脚本模块、处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，处理模块还可以被描述为“数据处理模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行上述任一所述的数据处理方法。

本发明的计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本发明实施例中的数据处理方法。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，表达式信息包括结构化语言SQL语句以及SQL语句之间的逻辑关系；

接收对运行脚本模版中数据处理模块的配置操作；

3.根据权利要求2所述的方法，其特征在于，表数据处理代码，用于：

4.根据权利要求3所述的方法，其特征在于，所述存储过程中的SQL语句，包括删除SQL语句、更新SQL语句、增加SQL语句、合并SQL语句中的一种或多种；

识别所述存储过程中SQL语句的功能；

5.根据权利要求2-4中任一项所述的方法，其特征在于，所述方法还包括：

6.根据权利要求2所述的方法，其特征在于，所述接收配置的表数据处理代码，包括：

7.根据权利要求2所述的方法，其特征在于，所述运行脚本模版还包括输入参数模块和连接数据库模块；其中，输入参数模块用于接收输入的测试参数、数据处理操作参数。

8.根据权利要求2或7所述的方法，其特征在于，所述运行脚本模版还包括数据注释模块，数据注释模块用于接收对数据的备注信息。

9.根据权利要求7所述的方法，其特征在于，所述调用所述运行脚本，执行对目标数据库的数据处理操作，包括：

10.根据权利要求9所述的方法，其特征在于，在所述通过连接数据库模块读取密码文件之前，所述方法还包括：

11.一种数据处理装置，其特征在于，包括：

12.根据权利要求11所述的装置，其特征在于，表达式信息包括结构化语言SQL语句以及SQL语句之间的逻辑关系；

所述脚本模块，用于：

接收对运行脚本模版中数据处理模块的配置操作；

13.根据权利要求12所述的装置，其特征在于，表数据处理代码，用于：

14.根据权利要求13所述的装置，其特征在于，所述存储过程中的SQL语句，包括删除SQL语句、更新SQL语句、增加SQL语句、合并SQL语句中的一种或多种；

所述脚本模块，用于：

识别所述存储过程中SQL语句的功能；

15.根据权利要求12-14中任一项所述的装置，其特征在于，所述脚本模块，还用于：

16.根据权利要求12所述的装置，其特征在于，所述脚本模块，用于：

17.根据权利要求12所述的装置，其特征在于，所述运行脚本模版还包括输入参数模块和连接数据库模块；其中，输入参数模块用于接收输入的测试参数、数据处理操作参数。

18.根据权利要求12或17所述的装置，其特征在于，所述运行脚本模版还包括数据注释模块，数据注释模块用于接收对数据的备注信息。

19.根据权利要求17所述的装置，其特征在于，所述处理模块，用于：

20.根据权利要求19所述的装置，其特征在于，所述装置还包括密码管理模块，用于：

21.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。

22.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。

23.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-10中任一项所述的方法。