CN113704269A - 一种数据处理方法、系统、存储介质及电子设备 - Google Patents

Abstract

本发明提供一种数据处理方法、系统、存储介质及电子设备，若获取到的模板文件对应的待处理文件数量小于预设数量，得到第一数据处理文件，若待处理文件数量大于等于预设数量，得到第二数据处理文件，解析接收到业务请求得到请求参数，若请求参数与第一数据处理文件相匹配，对第一数据处理文件进行业务处理操作，若请求参数与第二数据处理文件相匹配，对第二数据处理文件进行业务处理操作。通过上述方案，提供模板动态配置服务以动态配置的形式生成模板文件，将静态映射变为动态映射配置，替代手动反复编写代码过程，降低数据导入的数据调用的复杂度。此外，解耦数据导入和业务处理，在数据存储入库的过程中统一拓展标准，增加调用服务的可复用性。

Description

一种数据处理方法、系统、存储介质及电子设备

技术领域

本发明涉及数据处理技术领域，更具体地说，涉及一种数据处理方法、系统、存储介质及电子设备。

背景技术

数据导入是软件应用系统中常见的一种数据录入方式，通过对上传的静态数据文件进行解析，将得到的具体数据存储于对应的数据库表中。

数据库表中的数据项、代码对象属性和数据结构字段等是一一对应式的强关联映射，为了满足数据项、代码对象数据和数据结构字段等的映射，需要编写大量无业务逻辑代码，从而造成代码开发量大，使得数据调用的复杂度高，并且，数据导入后需要对接业务处理，由于对接业务处理中缺少动态配置可复用的调用服务，造成调用服务的可复用性低。

因此，现有的数据导入的过程中进行数据调用的复杂度高和调用服务的可复用性低。

发明内容

有鉴于此，本发明实施例提供了一种数据处理方法、系统、存储介质及电子设备，实现降低数据导入的数据调用的复杂度和增加调用服务的可复用性的目的。

为实现上述目的，本发明实施例提供如下技术方案：

本发明第一方面公开了一种数据处理方法，所述方法包括：

对数据库中的表进行结构解析，得到数据项字段和字段类型；

将预设的控制参数、所述数据项字段和所述字段类型进行模板配置，得到模板文件；

当接收到待处理文件时，辨识所述模板文件对应的所述待处理文件数量；

若所述模板文件对应的所述待处理文件数量小于预设数量，将所述待处理文件进行第一数据处理操作，得到第一数据处理文件并存储于所述数据库中；

若所述模板文件对应的所述待处理文件数量大于等于所述预设数量，将所述待处理文件进行第二数据处理操作，得到第二数据处理文件并存储于所述数据库中；

当接收到业务请求时，解析所述业务请求，得到请求参数；

若所述请求参数与所述第一数据处理文件相匹配，对所述数据库中的所述第一数据处理文件进行业务处理操作；

若所述请求参数与所述第二数据处理文件相匹配，对所述数据库中的所述第二数据处理文件进行所述业务处理操作。

优选的，所述预设的控制参数包括基础控制参数和数据项控制参数，所述将预设的控制参数、所述数据项字段和所述字段类型进行模板配置，得到模板文件，包括：

对所述基础控制参数、所述数据项控制参数、所述数据项字段和所述字段类型进行模板配置，得到模板配置项；

基于所述模板配置项，生成模板文件。

优选的，所述若所述模板文件对应的所述待处理文件数量小于预设数量，将所述待处理文件进行第一数据处理操作，得到第一数据处理文件并存储于所述数据库中，包括：

若所述模板文件对应的所述待处理文件数量小于预设数量，将所述待处理文件进行解析，得到第一数据处理文件；

基于预设的公共配置参数，将所述第一数据处理文件存储于数据库中。

优选的，所述若所述请求参数与所述第一数据处理文件相匹配，对所述数据库中的所述第一数据处理文件进行业务处理操作，包括：

对所述数据库中的所述第一数据处理文件进行业务解析，得到所述第一数据处理文件对应的模板文件；

对所述请求参数与所述第一数据处理文件对应的模板文件进行校验；

若所述请求参数与所述第一数据处理文件对应的模板文件的模板编码匹配，基于预设的分布式锁控制方式，对所述数据库中的所述第一数据处理文件进行业务处理操作。

优选的，所述若所述模板文件对应的所述待处理文件数量大于等于所述预设数量，将所述待处理文件进行第二数据处理操作，得到第二数据处理文件并存储于所述数据库中，包括：

若所述模板文件对应的所述待处理文件数量大于等于所述预设数量，将多个待处理文件进行解析，得到第二数据处理文件，所述第二数据处理文件由解析后的多个待处理文件构成；

获取所述第二数据处理文件对应的导入顺序编码；

基于所述导入数据编码和所述模板文件的类型，得到所述模板文件对应的业务处理执行顺序；

基于所述业务处理执行顺序和预设的公共配置参数，将所述第二数据处理文件存储于所述数据库中。

优选的，所述若所述请求参数与所述第二数据处理文件相匹配，对所述数据库中的所述第二数据处理文件进行所述业务处理操作，包括：

对所述数据库中的所述第二数据处理文件进行业务解析，得到所述第二数据处理文件对应的多个模板文件；

对所述请求参数与所述第二数据处理文件对应的多个模板文件进行校验；

若所述请求参数与所述第二数据处理文件对应的多个模板文件的模板编码匹配，基于所述业务处理执行顺序和预设的分布式锁控制方式，对所述数据库中的所述第二数据处理文件进行所述业务处理操作。

优选的，还包括：

若所述请求参数与所述第一数据处理文件对应的模板文件的模板编码不一致，停止对所述数据库中的所述第一数据处理文件进行所述业务处理操作。

本发明第二方面公开了一种数据处理系统，所述系统包括：

第一解析单元，用于对数据库中的表进行结构解析，得到数据项字段和字段类型；

配置单元，用于将预设的控制参数、所述数据项字段和所述字段类型进行模板配置，得到模板文件；

辨识单元，用于当接收到待处理文件时，辨识所述模板文件对应的所述待处理文件数量；

第一存储单元，用于若所述模板文件对应的所述待处理文件数量小于预设数量，将所述待处理文件进行第一数据处理操作，得到第一数据处理文件并存储于所述数据库中；

第二存储单元，用于若所述模板文件对应的所述待处理文件数量大于等于所述预设数量，将所述待处理文件进行第二数据处理操作，得到第二数据处理文件并存储于所述数据库中；

第二解析单元，用于当接收到业务请求时，解析所述业务请求，得到请求参数；

第一处理单元，用于若所述请求参数与所述第一数据处理文件相匹配，对所述数据库中的所述第一数据处理文件进行业务处理操作；

第二处理单元，用于若所述请求参数与所述第二数据处理文件相匹配，对所述数据库中的所述第二数据处理文件进行业务处理操作。

本发明第三方面公开了一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行第一方面任意一项所述的数据处理方法。

本发明第四方面公开了一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如第一方面任意一项所述的数据处理方法。

经由上述技术方案可知，对数据库中的表进行结构解析，得到数据项字段和字段类型，将预设的控制参数、数据项字段和字段类型进行模板配置，得到模板文件，当接收到的待处理文件时，辨识模板文件对应的所述待处理文件数量，若模板文件对应的待处理文件数量小于预设数量，将待处理文件进行第一数据处理操作，得到第一数据处理文件并存储于数据库中，若模板文件对应的待处理文件数量大于等于预设数量，将待处理文件进行第二数据处理操作，得到第二数据处理文件并存储于数据库中，当接收到业务请求时，若请求参数与第一数据处理文件相匹配，对数据库中的第一数据处理文件进行业务处理操作，若请求参数与第二数据处理文件相匹配，对数据库中的第二数据处理文件进行业务处理操作。通过上述方案，提供模板动态配置服务以动态配置的形式生成模板文件，将静态映射变为动态映射配置，替代手动反复编写代码的过程，从而降低数据导入的数据调用的复杂度。此外，解耦数据导入和业务处理，在数据存储入库的过程中统一拓展标准，增加调用服务的可复用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种数据处理系统的架构图；

图2为本发明实施例公开的一种数据处理方法的流程示意图；

图3为本发明实施例公开的数据导入的结构示意图；

图4为本发明实施例公开的锁依赖结构的示意图；

图5为本发明实施例公开的分布式锁创建扩展示意图；

图6为本发明实施例公开的文件类型拓展依赖结构示意图；

图7为本发明实施例公开的模板文件和模板结构分类的结构示意图；

图8为本发明实施例公开的根据业务处理顺序进行业务处理的服务调用的过程的示意图；

图9为本发明实施例公开的业务逻辑执行过程提供扩展和公共服务控制的依赖结构示意图；

图10为本发明实施例公开的得到模板文件的流程示意图；

图11为本发明实施例公开的得到第一数据处理文件并存储于数据库中的流程示意图；

图12为本发明实施例公开的当接收到第一业务请求时，对数据库中的第一数据处理文件进行业务处理操作的流程示意图；

图13为本发明实施例公开的得到第二数据处理文件并存储于数据库中的流程示意图；

图14为本发明实施例公开的当接收到第二业务请求时，对数据库中的第二数据处理文件进行业务处理操作的流程示意图；

图15为本发明实施例公开的一种数据处理系统的结构示意图；

图16为本发明实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由背景技术可知，现有的数据导入的过程中进行数据调用的复杂度高和调用服务的可复用性低。

为了解决该问题，本发明实施例公开了一种数据处理方法、系统、存储介质及电子设备，提供模板动态配置服务以动态配置的形式生成模板文件，将静态映射变为动态映射配置，替代手动反复编写代码的过程，从而降低数据导入的数据调用的复杂度。此外，解耦数据导入和业务处理，在数据存储入库的过程中统一拓展标准，增加调用服务的可复用性。具体实现方式通过下述实施例具体进行说明。

参考图1所示，为本发明实施例公开的一种数据处理系统的架构示意图，该数据处理系统包括应用层11、服务层12、配置库13和业务库14。

其中，应用层11的功能包括模板管理、业务处理配置、数据源导入和任务管理，应用层11具体用于对外提供具体的模板管理(模板配置、模板上传和模板下载)、业务处理配置(回调地址、处理顺序)、各种数据源导入(数据源类型包括xls、xlsx、csv、json、xml等)，具体执行过程的任务管理(任务记录、任务状态)等服务。

应用层11对数据库中的表进行结构解析，得到数据项字段和字段类型；将预设的控制参数、数据项字段和字段类型进行模板配置，得到模板文件；当接收到待处理文件时，辨识模板文件对应的待处理文件数量，若模板文件对应的待处理文件数量小于预设数量，将待处理文件进行第一数据处理操作，得到第一数据处理文件并存储于数据库中；若模板文件对应的待处理文件数量大于等于预设数量，将待处理文件进行第二数据处理操作，得到第二数据处理文件并存储于数据库中；当接收到业务请求时，解析业务请求，得到请求参数，若请求参数与第一数据处理文件相匹配，对数据库中的所述第一数据处理文件进行业务处理操作，若请求参数与第二数据处理文件相匹配，对数据库中的第二数据处理文件进行所述业务处理操作。

服务层12包括数据处理组件、业务处理组件、业务回调控制组件和过程控制组件，其中，数据处理组件包括数据类型校验组件、数据转换组件、数据批量存储组件、参数控制器、数据源类型解析器、异常处理组件、模板信息加载组件、模板项结构组件、备份处理组件、元数据解析控制、字典数据控制和模板配置；业务处理组件的功能包括服务接口注册、参数解析/校验、逻辑注册/执行和历史数据备份；业务回调控制组件的功能包括服务参数封装、执行顺序控制、回调地址配置和服务接口调用；过程控制组件的功能包括异步/同步控制、分布式锁、状态控制和日志记录。服务层12的服务包括数据源配置服务、模板配置服务、模板下载服务、数据导入服务、任务记录/状态服务和业务处理回调服务。

数据处理组件用于提供支撑动态模板配置、类型解析/校验、数据导入处理、数据校验和转换、数据批量处理等的服务组件，满足动态模板的基本使用和在不掺杂业务逻辑阶段的数据处理服务。

过程控制组件用于控制数据源接入的控制、数据处理和业务处理各阶段的锁控制、状态记录、日志记录等服务。

业务回调组件用于通过业务回调配置控制数据导入完成后是否进行业务处理，在业务服务调用前提供通用参数封装服务，并对业务处理服务接口的调用提供异步、同步(同模板并行/不同模板串行)调用控制。

业务处理组件用于为更方便的引入具体的业务处理逻辑，系统对业务处理提供公共服务组件，使业务逻辑专注于具体的逻辑实现，而由公共组件进行服务注册、参数解析/传递、逻辑注册/执行等控制。

配置库13提供所有服务应用的配置信息，该服务应用的配置信息包括模板基础信息、数据导入记录、数据处理状态记录和业务回调控制信息。

业务库14存储具体的业务数据，由接入的具体业务处理逻辑决定结构类型，具体的业务数据包括临时数据、正式数据和历史数据。

本发明实施例中，提供模板动态配置服务以动态配置的形式生成模板文件，将静态映射变为动态映射配置，替代手动反复编写代码的过程，从而降低数据导入的数据调用的复杂度。此外，解耦数据导入和业务处理，在数据存储入库的过程中统一拓展标准，增加调用服务的可复用性。

参考图2所示，为本发明实施例公开的一种数据处理方法的流程示意图，该数据处理方法应用于上述实施例图1的数据处理系统，该数据处理方法主要包括如下步骤：

步骤S201：对数据库中的表进行结构解析，得到数据项字段和字段类型。

在步骤S201中，对数据库中的资源目录指定的表(数据结构)进行结构解析，得到数据项字段，并依据字段排除列表排除数据库规范中的必要控制字段，只返回业务数据项字段及字段类型。

必要控制字段为预设标定字段，当缺少必要控制字段时，生成提示信息。

步骤S202：将预设的控制参数、数据项字段和字段类型进行模板配置，得到模板文件。

在步骤S202中，将预设的控制参数、数据项字段和字段类型进行模板配置，得到模板文件的过程如下：

首先，对基础控制参数、数据项控制参数、数据项字段和字段类型进行模板配置，得到模板配置项，然后，基于模板配置项，生成模板文件。

基础控制参数配置为对整个模板进行控制的参数，包括：数据存储映射的资源结构(数据资源目录对应数据表)、模板编码、模板名称、模板类型(非解析，只对应默认生成下载)、业务处理调用顺序、业务调用地址、唯一索引列等。

数据项字段配置为数据存储结构解析出的字段列表，主要配置包括：字段编码、名称、类型、默认排序等。

数据项控制参数配置主要包括：来源(不局限于模板数据，可配置为来源服务接口的请求参数)、校验类型(来源字段类型，校验模板数据是否满足该类型)、转换类型(来源字段类型，将解析后的数据转化为指定类型)、是否参与生成唯一索引、排序(生成顺序，解析可无序)等。

将预设的控制参数、数据项字段和字段类型进行模板配置后生成模板配置项，为后续查询、下载、导入和处理服务提供配置项控制，并默认对生成的模板进行格式锁定，防止用户任意修改既定数据项类型。

模板文件提供模板下载服务和模板查询服务。

模板下载服务：根据模板编码、模板指定类型和请求参数控制，下载以模板名称命名或以模板编码命名的模板文件。

模板查询服务：提供公开的模板列表和模板配置项列表查询服务，以及内部后续数据导入和业务处理服务所需的完整配置参数的查询服务。

步骤S203：当接收到待处理文件时，辨识模板文件对应的待处理文件数量，若模板文件对应的待处理文件数量小于预设数量，则执行步骤S204，若模板文件对应的待处理文件数量大于等于预设数量，则执行步骤S205。

在步骤S203中，当接收到待处理文件时，解析业务处理调用顺序并辨识模板对应的文件数量，后续并发进行文件解析进行准备，使用加载的文件解析器动态对文件进行类型校验，准备工作完成后，开始触发后续的文件并发解析和批量数据存储操作。

步骤S204：将待处理文件进行第一数据处理操作，得到第一数据处理文件并存储于数据库中。

在步骤S204中，若模板文件对应的待处理文件数量小于预设数量，将待处理文件进行第一数据处理操作，得到第一数据处理文件并存储于数据库中的过程如下：

首先，若模板文件对应的待处理文件数量小于预设数量，将待处理文件进行解析，得到第一数据处理文件，然后，基于预设的公共配置参数，将第一数据处理文件存储于数据库中。

其中，预设数量的取值为2。

为了方便理解将第一数据处理文件存储于数据库的过程，结合图3进行说明：

图3中，数据导入数据库的结构包括数据服务入口模块、数据导入模块、公共支撑服务模块和数据导入过程控制模块。

数据服务入口模块的功能包括数据文件加载方式(文件上传和本地扫描)、压缩文件类型解析和数据文件校验。

数据文件加载主要支持单模板单文件上传、单模板批量文件上传、压缩包多模板批量文件上传和本地目录多模板批量文件扫描。

压缩包类型文件产生会对压缩包进行解压，并通过公共参数控制压缩包内是否将多级目录合并为同级目录，并通过自动添加命名序号的方式解决文件重名的情况。

数据导入模块的功能包括服务接口处理功能、数据模板/文件预处理功能、数据处理功能和业务调用控制功能。

服务接口处理功能包括参数及数据流处理、加载模板结构和数据导入编码控制。

数据模板和文件预处理功能包括单模板批量文件加载、单模板文件加载、数据文件校验、文件导入记录及状态、匹配文件解析器和多模板业务调用顺序控制。

数据处理功能包括文件解析、数据项参数控制、数据类型校验控制、数据类型转换、数据处理加工和数据批量存储。

业务调用控制功能包括加载业务调用地址、封装业务调用参数、业务调用和根据业务调用顺序实现并行/串行的调用控制。

数据导入过程控制模块包括同步/异步执行控制、分布式锁控制和处理过程状态变化。

公共支撑服务模块包括加载类型解析器、加载公共配置参数、加载公共处理服务。

将第一数据处理文件存储于数据库，即为将第一数据处理文件导入数据库中，数据导入数据库中的执行方式包括同步执行方式和异步执行方式，通过公共配置参数触发不同导入过程的执行。

在分布式场景，为解决多个服务节点间数据服务并发问题，同时为了避免先后调用产生的数据混乱问题，使用分布式锁控制服务执行的唯一性，提供的具体锁依赖结构。提供的具体锁依赖结构如图4所示。

图4中，DataProcessLock接口标准化锁控制类，具体扩展的实现包括：InterProcessMutexLock(基于zookeeper有序临时节点的分布式锁)、NonLock(无锁)、CrossProcessMutexLock(基于zookeeper有序临时节点的分布式锁，可跨线程锁加锁释放锁)、NodeProcessLock(基于zookeeper临时节点的分布式锁)、LocalProcessLock(跨线程加锁释放锁)；

分布式锁创建工厂扩展依赖，完成各种锁的创建工作，具体分布式锁创建扩展如图5所示。

图5中，DataProcessLockMapFactory为分布式锁分组工厂；NodeProcessLockFactory为基于自定义节点分布式锁工厂；CrossProcessMutexLockFactory为跨线程分布式锁工厂；LocalProcessLockFactory为本地跨线程锁工厂；InterProcessMutexLockFactory为分布式锁工厂；NonLockFactory为无锁工厂。

公共支撑服务模块为数据导入整个过程提供基础公共支撑服务，包括类型解析器、公共参数控制具体处理逻辑、公共基础工具类等服务。

其中可扩展的类型解析器支持后续文件校验和文件解析工作，文件解析在扩展后自动进行服务加载，则后续支持的文件类型达到自动扩展的目的，依赖结构如图6所示。

图6中，ITemplateParseHandler提供解析器统一扩展标准；TemplateParse为自定义注解负责标明在服务启动时可被自动查找的解析器；create为创建；TemplateParseHandlerRegistry服务解析器的具体注册工作；TemplateParseConfiguration为服务启动配置入口负责类型解析服务加载；TemplateParseExcelPoiHandler为基于Poi框架的Excel文件处理解析器；TemplateParseCSVHandler为CSV文件处理解析器；TemplateParseExcelEasyHandler为基于EasyExcel框架的Excel文件处理解析器。

步骤S205：将待处理文件进行第二数据处理操作，得到第二数据处理文件并存储于数据库中。

在步骤S205中，若模板文件对应的待处理文件数量大于等于预设数量，将待处理文件进行第二数据处理操作，得到第二数据处理文件并存储于数据库中的过程如下：

首先，若模板文件对应的待处理文件数量大于等于预设数量，将多个待处理文件进行解析，得到第二数据处理文件，第二数据处理文件由解析后的多个待处理文件构成，其次，获取第二数据处理文件对应的导入顺序编码，然后，基于导入数据编码和模板文件的类型，得到模板文件对应的业务处理执行顺序，最后，基于业务处理执行顺序和预设的公共配置参数，将第二数据处理文件存储于数据库中。

将第二数据处理文件存储于数据库，即为将第二数据处理文件导入数据库中，数据导入数据库中的执行方式包括同步执行方式和异步执行方式，通过公共配置参数触发不同导入过程的执行。

第二数据处理文件导入数据库的具体过程主要分为服务接口处理、数据文件处理、数据处理、业务调用控制四大部分。

服务接口处理主要进行参数和数据流解析、加载待使用的模板结构，并且生成用于数据标记和边界区分的数据导入编码。

第二数据处理文件的处理过程主要进行文件加载，二次格式化模板结构分类，解析业务处理调用顺序并辨识模板文件对应的文件数量，后续并发进行文件解析进行准备，使用加载的文件解析器动态对文件进行类型校验，准备工作完成后，开始触发后续的文件并发解析和批量数据存储，具体模板文件和模板结构分类的结构如图7所示。

图7中，模板文件对应的模板编码为A、B、C、D和E。

业务处理顺序依次为0(A)、1(B，C)和2(D，E)。

待处理文件包括A-1、A-2、B-1、B-2、C-1、C-2、D-1、D-2、E-1和E-2。

业务处理顺序和模板文件分类为0(A-1，A-2)和1(C-1、C-2、B-1和B-2)，其中，业务处理顺序为先执行0(A-1，A-2)，再同时执行两个1(C-1、C-2、B-1和B-2)。

首先执行文件具体解析操作，根据数据项参数封装存储结构的动态字段列表，根据控制参数对模板数据进行类型校验(基于公共参数配置是否开启校验服务)和类型转换处理，对解析后的数据根据数据加工服务进行数据再次加工(例如加解密服务)，数据项处理完成后匹配封装对应的存储结构字段，最后对数据进行批量存储，在数据处理过程的开始、异常、成功等阶段调用数据处理状态服务进行记录状态变化。

业务数据处理完成后，根据模板控制参数判断是否需要调用后续业务处理，如果不需要则终止数据导入过程，如果需要则根据业务处理顺序进行具体的业务处理的服务调用，根据业务处理顺序进行具体的业务处理的服务调用的过程如图8所示。

图8中，根据业务处理顺序调用后续服务，0表示此模板对应的后续服务和其它服务无依赖关系，完全异步调用；1、2表示后续服务执行存在依赖，需要串行顺序调用后续服务。

完成无业务掺杂的数据导入过程，依据动态模板配置、可扩展的公共支撑服务和过程控制服务实现静态数据的动态入库过程，根据实际应用需要扩展具有统一标准的类型解析和业务数据处理服务。

步骤S206：当接收到业务请求时，解析业务请求，得到请求参数，若请求参数与第一数据处理文件相匹配，执行步骤S207，若请求参数与第二数据处理文件相匹配，执行步骤S208。

步骤S207：对数据库中的第一数据处理文件进行业务处理操作。

在步骤S207中，对数据库中的第一数据处理文件进行业务处理操作的过程如下：

首先，对数据库中的第一数据处理文件进行业务解析，得到第一数据处理文件对应的模板文件，然后对请求参数与第一数据处理文件对应的模板文件进行校验，若请求参数与第一数据处理文件对应的模板文件的模板编码匹配，基于预设的分布式锁控制方式，对数据库中的第一数据处理文件进行业务处理操作。

第一数据处理文件的业务处理操作过程主要进行文件加载，二次格式化模板结构分类，若待处理文件数量小于预设数量，辨识模板文件对应的文件数量，后续并发进行文件解析进行准备，使用加载的文件解析器动态对文件进行类型校验，准备工作完成后，开始触发后续的文件并发解析和批量数据存储。

业务处理过程控制中复用数据导入中的过程控制服务，分布式锁控制、处理过程状态变化，分布式控制业务处理的整个过程服务执行的一致性，过程状态控制则负责业务处理的开始、异常、完成等阶段的状态变化。

业务处理过程中公共部分主要包括请求参数封装，模板和业务处理服务对应校验、同步/异步控制、调用业务处理逻辑，业务处理完成存在后续服务则提供调用触发。

通过加载业务处理逻辑服务，提供统一标准的业务逻辑加载模式，帮助业务逻辑执行过程拆分和抽象，并为后续可能存在的业务逻辑执行过程提供扩展和公共服务控制，具体依赖结构如图9所示。

图9中，BaseBufferController为所有业务处理公共服务入口以及对业务逻辑控制服务的进行加载和触发，BufferHanlderService提供业务逻辑加载标准和扩展依赖，AbstractBufferHandlerService提供业务逻辑执行控制所需的部分公共服务。

步骤S208：对数据库中的第二数据处理文件进行业务处理操作。

在步骤S208中，对数据库中的第二数据处理文件进行业务处理操作的过程如下：

首先，对数据库中的第二数据处理文件进行业务解析，得到第二数据处理文件对应的多个模板文件，然后，对请求参数与第二数据处理文件对应的多个模板文件进行校验，若请求参数与第二数据处理文件对应的多个模板文件的模板编码匹配，基于业务处理执行顺序和基于预设的分布式锁控制方式，对数据库中的第二数据处理文件进行业务处理操作。

具体业务处理操作与上述步骤S205中的业务处理操作的执行原理一致，可参考，此处不再进行赘述。

本方案可减少代码开发量，基于动态配置满足日常变化需要，解耦公共服务和业务逻辑服务，抽象公共服务，统一扩展标准，增加可复用性，增强数据处理和过程配置控制服务以及降低数据调用复杂度。

本发明实施例中，提供模板动态配置服务以动态配置的形式生成模板文件，将静态映射变为动态映射配置，替代手动反复编写代码的过程，从而降低数据导入的数据调用的复杂度。此外，解耦数据导入和业务处理，在数据存储入库的过程中统一拓展标准，增加调用服务的可复用性。

参考图10所示，为上述步骤S202中涉及到将预设的控制参数、数据项字段和所述字段类型进行模板配置，得到模板文件的过程，主要包括如下步骤：

步骤S1001：对基础控制参数、数据项控制参数、数据项字段和字段类型进行模板配置，得到模板配置项。

步骤S1002：基于模板配置项，生成模板文件。

步骤S1001-步骤S1002的执行原理与上述步骤S202中的执行原理一致，可参考，此处不再进行赘述。

本发明实施例中，对基础控制参数、数据项控制参数、数据项字段和字段类型进行模板配置，得到模板配置项，基于模板配置项，实现生成模板文件的目的。

参考图11所示，为上述步骤S204中涉及到若模板文件对应的待处理文件数量小于预设数量，将待处理文件进行第一数据处理操作，得到第一数据处理文件并存储于数据库中的过程，主要包括如下步骤：

步骤S1101：若模板文件对应的待处理文件数量小于预设数量，将待处理文件进行解析，得到第一数据处理文件。

步骤S1102：基于预设的公共配置参数，将第一数据处理文件存储于数据库中。

步骤S1101-步骤S1102的执行原理与上述步骤S204的执行原理一致，可参考，此处不再进行赘述。

本发明实施例中，模板文件对应的待处理文件数量小于预设数量，将待处理文件进行解析，得到第一数据处理文件，基于预设的公共配置参数，实现将第一数据处理文件存储于数据库中的目的。

参考图12所示，为上述步骤S205中涉及到当接收到第一业务请求时，对数据库中的第一数据处理文件进行业务处理操作的过程，主要包括如下步骤：

步骤S1201：对数据库中的第一数据处理文件进行业务解析，得到第一数据处理文件对应的模板文件。

步骤S1202：对请求参数与第一数据处理文件对应的模板文件进行校验，若请求参数与第一数据处理文件对应的模板文件的模板编码匹配，执行步骤S1203，若请求参数与第一数据处理文件对应的模板文件的模板编码不匹配，执行步骤S1204。

步骤S1203：基于预设的分布式锁控制方式，对数据库中的第一数据处理文件进行业务处理操作。

步骤S1204：停止对数据库中的第一数据处理文件进行业务处理操作。

步骤S1201-步骤S1204的执行原理与上述步骤S205中的执行原理一致，可参考，此处不再进行赘述。

本发明实施例中，当接收到第一业务请求时，对所数据库中的第一数据处理文件进行业务解析，得到第一数据处理文件对应的模板文件，对第一数据处理文件对应的模板文件与第一预设模板文件进行校验，实现对数据库中的第一数据处理文件进行业务处理操作的目的。

参考图13所示，为上述步骤S206中涉及到若模板文件对应的待处理文件数量大于等于预设数量，将待处理文件进行第二数据处理操作，得到第二数据处理文件并存储于数据库中的过程，主要包括如下步骤：

步骤S1301：若模板文件对应的待处理文件数量大于等于预设数量，将多个待处理文件进行解析，得到第二数据处理文件，第二数据处理文件由解析后的多个待处理文件构成。

步骤S1302：获取第二数据处理文件对应的导入顺序编码。

步骤S1303：基于导入数据编码和模板文件的类型，得到模板文件对应的业务处理执行顺序。

步骤S1304：基于业务处理执行顺序和预设的公共配置参数，将第二数据处理文件存储于数据库中。

步骤S1301-步骤S1304的执行原理与上述步骤S206的执行原理一致，可参考，此处不再进行赘述。

本发明实施例中，若模板文件对应的待处理文件数量大于等于预设数量，将多个待处理文件进行解析，得到第二数据处理文件，基于获取到的业务处理执行顺序和预设的公共配置参数，实现将第二数据处理文件存储于数据库中的目的。

如图14所示，为上述步骤S207中涉及到当接收到第二业务请求时，对数据库中的第二数据处理文件进行业务处理操作的过程，主要包括如下步骤：

步骤S1401：对数据库中的第二数据处理文件进行业务解析，得到第二数据处理文件对应的多个模板文件。

步骤S1402：对请求参数与第二数据处理文件对应的多个模板文件进行校验，若请求参数与第二数据处理文件对应的多个模板文件的模板编码匹配，执行步骤S1403，若请求参数与第二数据处理文件对应的多个模板文件的模板编码不匹配，执行步骤S1404。

步骤S1403：基于业务处理执行顺序和基于预设的分布式锁控制方式，对数据库中的第二数据处理文件进行业务处理操作。

步骤S1404：停止对数据库中的第二数据处理文件进行业务处理操作。

步骤S1401-步骤S1404的执行原理与上述步骤S207的执行原理一致，可参考，此处不再进行赘述。

本发明实施例中，当接收到第二业务请求时，对数据库中的第二数据处理文件进行业务解析，得到第二数据处理文件对应的多个模板文件，对第二数据处理文件对应的多个模板文件与第二预设模板文件进行校验，基于业务处理执行顺序和基于预设的分布式锁控制方式，实现对数据库中的第二数据处理文件进行业务处理操作的目的。

基于上述实施例图2公开的一种数据处理方法，本发明实施例还对应公开了一种数据处理系统的结构示意图，如图15所示，该数据处理系统包括第一解析单元1501、配置单元1502、辨识单元1503、第一存储单元1504、第二存储单元1505、第二解析单元1506、第一处理单元1507和第二处理单元1508。

第一解析单元1501，用于对数据库中的表进行结构解析，得到数据项字段和字段类型。

配置单元1502，用于将预设的控制参数、数据项字段和字段类型进行模板配置，得到模板文件。

辨识单元1503，用于当接收到待处理文件时，辨识模板文件对应的待处理文件数量。

第一存储单元1504，用于若模板文件对应的待处理文件数量小于预设数量，将待处理文件进行第一数据处理操作，得到第一数据处理文件并存储于数据库中。

第二存储单元1505，用于若模板文件对应的待处理文件数量大于等于预设数量，将待处理文件进行第二数据处理操作，得到第二数据处理文件并存储于数据库中。

第二解析单元1506，用于当接收到业务请求时，解析所述业务请求，得到请求参数。

第一处理单元1507，用于若请求参数与第一数据处理文件相匹配，对数据库中的第一数据处理文件进行业务处理操作。

第二处理单元1508，用于若请求参数与第二数据处理文件相匹配，对数据库中的第二数据处理文件进行业务处理操作。

进一步的，配置单元1502包括配置模块和生成模块。

配置模块，用于对基础控制参数、数据项控制参数、数据项字段和字段类型进行模板配置，得到模板配置项。

生成模块，用于基于模板配置项，生成模板文件。

进一步的，第一存储单元1504包括：

第一解析模块，用于若模板文件对应的待处理文件数量小于预设数量，将待处理文件进行解析，得到第一数据处理文件。

第一存储模块，用于基于预设的公共配置参数，将第一数据处理文件存储于数据库中。

进一步的，第一处理单元1507包括：

第二解析模块，用于对数据库中的第一数据处理文件进行业务解析，得到第一数据处理文件对应的模板文件。

第一校验模块，用于对请求参数与第一数据处理文件对应的模板文件进行校验。

第一处理模块，用于若请求参数与第一数据处理文件对应的模板文件的模板编码匹配，基于预设的分布式锁控制方式，对数据库中的第一数据处理文件进行业务处理操作。

进一步的，第二存储单元1505包括：

第三解析模块，用于若模板文件对应的待处理文件数量大于等于预设数量，将多个待处理文件进行解析，得到第二数据处理文件，第二数据处理文件由解析后的多个待处理文件构成。

第一获取模块，用于获取第二数据处理文件对应的导入顺序编码。

第二获取模块，用于基于导入数据编码和模板文件的类型，得到模板文件对应的业务处理执行顺序。

第二存储模块，用于基于业务处理执行顺序和预设的公共配置参数，将第二数据处理文件存储于数据库中。

进一步的，第二处理单元1508包括：

第四解析模块，用于对数据库中的所述第二数据处理文件进行业务解析，得到第二数据处理文件对应的多个模板文件。

第二校验模块，用于对请求参数与第二数据处理文件对应的多个模板文件进行校验。

第二处理模块，用于若请求参数与第二数据处理文件对应的多个模板文件的模板编码匹配，基于业务处理执行顺序和预设的分布式锁控制方式，对数据库中的第二数据处理文件进行业务处理操作。

进一步的，还包括停止单元。

停止单元，用于若请求参数与第一数据处理文件对应的模板文件的模板编码不一致，停止对数据库中的第一数据处理文件进行业务处理操作。

本发明实施例中，提供模板动态配置服务以动态配置的形式生成模板文件，将静态映射变为动态映射配置，替代手动反复编写代码的过程，从而降低数据导入的数据调用的复杂度。此外，解耦数据导入和业务处理，在数据存储入库的过程中统一拓展标准，增加调用服务的可复用性。

本发明实施例还提供了一种存储介质，存储介质包括存储的指令，其中，在指令运行时控制存储介质所在的设备执行上述数据处理方法。

本发明实施例还提供了一种电子设备，其结构示意图如图16所示，具体包括存储器1601，以及一个或者一个以上的指令1602，其中一个或者一个以上指令1602存储于存储器1601中，且经配置以由一个或者一个以上处理器603执行所述一个或者一个以上指令1602执行上述数据处理方法。

上述各个实施例的具体实施过程及其衍生方式，均在本发明的保护范围之内。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

对数据库中的表进行结构解析，得到数据项字段和字段类型；

将预设的控制参数、所述数据项字段和所述字段类型进行模板配置，得到模板文件；

当接收到待处理文件时，辨识所述模板文件对应的所述待处理文件数量；

若所述模板文件对应的所述待处理文件数量小于预设数量，将所述待处理文件进行第一数据处理操作，得到第一数据处理文件并存储于所述数据库中；

若所述模板文件对应的所述待处理文件数量大于等于所述预设数量，将所述待处理文件进行第二数据处理操作，得到第二数据处理文件并存储于所述数据库中；

当接收到业务请求时，解析所述业务请求，得到请求参数；

若所述请求参数与所述第一数据处理文件相匹配，对所述数据库中的所述第一数据处理文件进行业务处理操作；

若所述请求参数与所述第二数据处理文件相匹配，对所述数据库中的所述第二数据处理文件进行所述业务处理操作。

2.根据权利要求1所述的方法，其特征在于，所述预设的控制参数包括基础控制参数和数据项控制参数，所述将预设的控制参数、所述数据项字段和所述字段类型进行模板配置，得到模板文件，包括：

对所述基础控制参数、所述数据项控制参数、所述数据项字段和所述字段类型进行模板配置，得到模板配置项；

基于所述模板配置项，生成模板文件。

3.根据权利要求2所述的方法，其特征在于，所述若所述模板文件对应的所述待处理文件数量小于预设数量，将所述待处理文件进行第一数据处理操作，得到第一数据处理文件并存储于所述数据库中，包括：

若所述模板文件对应的所述待处理文件数量小于预设数量，将所述待处理文件进行解析，得到第一数据处理文件；

基于预设的公共配置参数，将所述第一数据处理文件存储于数据库中。

4.根据权利要求1所述的方法，其特征在于，所述若所述请求参数与所述第一数据处理文件相匹配，对所述数据库中的所述第一数据处理文件进行业务处理操作，包括：

对所述数据库中的所述第一数据处理文件进行业务解析，得到所述第一数据处理文件对应的模板文件；

对所述请求参数与所述第一数据处理文件对应的模板文件进行校验；

若所述请求参数与所述第一数据处理文件对应的模板文件的模板编码匹配，基于预设的分布式锁控制方式，对所述数据库中的所述第一数据处理文件进行业务处理操作。

5.根据权利要求2所述的方法，其特征在于，所述若所述模板文件对应的所述待处理文件数量大于等于所述预设数量，将所述待处理文件进行第二数据处理操作，得到第二数据处理文件并存储于所述数据库中，包括：

若所述模板文件对应的所述待处理文件数量大于等于所述预设数量，将多个待处理文件进行解析，得到第二数据处理文件，所述第二数据处理文件由解析后的多个待处理文件构成；

获取所述第二数据处理文件对应的导入顺序编码；

基于所述导入数据编码和所述模板文件的类型，得到所述模板文件对应的业务处理执行顺序；

基于所述业务处理执行顺序和预设的公共配置参数，将所述第二数据处理文件存储于所述数据库中。

6.根据权利要求5所述的方法，其特征在于，所述若所述请求参数与所述第二数据处理文件相匹配，对所述数据库中的所述第二数据处理文件进行所述业务处理操作，包括：

对所述数据库中的所述第二数据处理文件进行业务解析，得到所述第二数据处理文件对应的多个模板文件；

对所述请求参数与所述第二数据处理文件对应的多个模板文件进行校验；

若所述请求参数与所述第二数据处理文件对应的多个模板文件的模板编码匹配，基于所述业务处理执行顺序和预设的分布式锁控制方式，对所述数据库中的所述第二数据处理文件进行所述业务处理操作。

7.根据权利要求4所述的方法，其特征在于，还包括：

若所述请求参数与所述第一数据处理文件对应的模板文件的模板编码不一致，停止对所述数据库中的所述第一数据处理文件进行所述业务处理操作。

8.一种数据处理系统，其特征在于，所述系统包括：

第一解析单元，用于对数据库中的表进行结构解析，得到数据项字段和字段类型；

配置单元，用于将预设的控制参数、所述数据项字段和所述字段类型进行模板配置，得到模板文件；

辨识单元，用于当接收到待处理文件时，辨识所述模板文件对应的所述待处理文件数量；

第一存储单元，用于若所述模板文件对应的所述待处理文件数量小于预设数量，将所述待处理文件进行第一数据处理操作，得到第一数据处理文件并存储于所述数据库中；

第二存储单元，用于若所述模板文件对应的所述待处理文件数量大于等于所述预设数量，将所述待处理文件进行第二数据处理操作，得到第二数据处理文件并存储于所述数据库中；

第二解析单元，用于当接收到业务请求时，解析所述业务请求，得到请求参数；

第一处理单元，用于若所述请求参数与所述第一数据处理文件相匹配，对所述数据库中的所述第一数据处理文件进行业务处理操作；

第二处理单元，用于若所述请求参数与所述第二数据处理文件相匹配，对所述数据库中的所述第二数据处理文件进行业务处理操作。

9.一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1至7任意一项所述的数据处理方法。

10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1至7任意一项所述的数据处理方法。

Images