CN113111072A - 业务数据文件生成方法及装置 - Google Patents

Abstract

本发明提供了一种业务数据文件生成方法及装置，涉及大数据技术领域，该方法包括：利用目标表获取业务需求数据；每个目标表包括任务名信息；任务名信息用于识别业务需求数据；根据任务名信息和目标表确定目标业务需求数据；根据目标表和目标业务需求数据生成业务数据文件。本发明对于新增业务数据文件生成需求，不需要重新开发数据计算、文件生成程序，只需要利用目标表获取业务需求数据，即可自动生成业务数据文件，提升业务需求转化效率，减轻技术人员工作压力。

Description

业务数据文件生成方法及装置

技术领域

本发明涉及大数据技术领域，尤其是涉及一种业务数据文件生成方法及装置。

背景技术

目前，每次存在业务数据文件生成需求时，均需要重头开发一些程序代码，冗余性较高，复用性差，不利于代码维护，占用技术人员大量时间。

发明内容

本发明提供了一种业务数据文件生成方法及装置，可以提升业务需求转化效率，减轻技术人员工作压力。

第一方面，本发明实施例提供了一种业务数据文件生成方法，该方法包括：利用目标表获取业务需求数据；每个所述目标表包括任务名信息；所述任务名信息用于识别业务需求数据；根据所述任务名信息和所述目标表确定目标业务需求数据；根据所述目标表和所述目标业务需求数据生成业务数据文件。

第二方面，本发明实施例还提供一种业务数据文件生成装置，该装置包括：获取模块，用于利用目标表获取业务需求数据；每个所述目标表包括任务名信息；所述任务名信息用于识别业务需求数据；确定模块，用于根据所述任务名信息和所述目标表确定目标业务需求数据；生成模块，用于根据所述目标表和所述目标业务需求数据生成业务数据文件。

第三方面，本发明实施例还提供一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述业务数据文件生成方法。

第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述业务数据文件生成方法。

本发明实施例带来了以下有益效果：本发明实施例提供了一种业务数据文件生成方案，该方案包括利用目标表获取业务需求数据；每个目标表包括任务名信息；任务名信息用于识别业务需求数据；根据任务名信息和目标表确定目标业务需求数据；根据目标表和目标业务需求数据生成业务数据文件。本发明实施例对于新增业务数据文件生成需求，不需要重新开发数据计算、文件生成程序，只需要利用目标表获取业务需求数据，即可自动生成业务数据文件，提升业务需求转化效率，减轻技术人员工作压力。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的业务数据文件生成方法流程图；

图2为本发明实施例提供的一种业务数据文件生成装置结构框图；

图3为本发明实施例提供的另一种业务数据文件生成装置结构框图；

图4为本发明实施例提供的另一种业务数据文件生成装置结构框图；

图5为本发明实施例提供的计算机设备结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的一种业务数据文件生成方法及装置，该方法通过配置的方式将业务数据文件生成需求转化成SQL(Structured Query Language，结构化查询语言)保存到关系型数据库；对于新增业务数据文件生成需求，不需要重新开发数据计算、文件生成程序，只需要配置不同的业务需求SQL插入到相关数据表，调用公共的数据文件生成引擎即可完成业务数据文件生成。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种业务数据文件生成方法进行详细介绍。

本发明实施例提供了一种业务数据文件生成方法，参见图1所示的一种业务数据文件生成方法流程图，该方法包括以下步骤：

S102，利用目标表获取业务需求数据。

在本发明实施例中，每个目标表包括任务名信息；任务名信息用于识别业务需求数据。可以利用一个或多个目标表获取业务需求数据，每个目标表利用任务名信息识别属于不同业务的业务需求数据。

S104，根据任务名信息和目标表确定目标业务需求数据。

在本发明实施例中，目标表中除任务名信息外，还包括一下其他的业务相关数据，利用任务名信息和业务相关数据筛选出将要进行处理的数据，作为目标业。务需求数据。

S106，根据目标表和目标业务需求数据生成业务数据文件。

在本发明实施例中，在确定了目标业务需求数据以后，结合目标表和目标业务需求数据生成符合要求的业务数据文件。

本发明实施例提供了一种业务数据文件生成方案，该方案包括利用目标表获取业务需求数据；每个目标表包括任务名信息；任务名信息用于识别业务需求数据；根据任务名信息和目标表确定目标业务需求数据；根据目标表和目标业务需求数据生成业务数据文件。本发明实施例对于新增业务数据文件生成需求，不需要重新开发数据计算、文件生成程序，只需要利用目标表获取业务需求数据，即可自动生成业务数据文件，提升业务需求转化效率，减轻技术人员工作压力。

在一个实施例中，目标表至少包括任务表、元数据表和计算逻辑表。

在本发明实施例中，目标表的类型可以根据实际需求进行设置。在本发明实施例中，任务表用于确定业务相关基本数据，元数据表用于与业务相关基本数据结合进行计算，计算逻辑表用于确定计算所采取的逻辑。

在一个实施例中，任务表包括任务运行周期信息、执行状态信息和上一次运行时间信息；根据任务名信息和所述目标表确定目标业务需求数据，可以按照如下步骤执行：遍历任务表，根据任务名信息、任务运行周期信息、执行状态信息上一次运行时间信息确定目标业务需求数据。

在一个实施例中，任务表包括生成文件名信息、生成文件格式信息和生成文件存放路径信息；元数据表包括参与计算表名信息和参与计算字段信息；计算逻辑表包括计算逻辑信息；根据目标表和目标业务需求数据生成业务数据文件，可以按照如下步骤执行：

利用目标业务需求数据、参与计算表名信息和参与计算字段信息，根据计算逻辑信息生成计算结果；根据计算结果，按照生成文件名信息、生成文件格式信息和生成文件存放路径信息生成业务数据文件。

在一个实施例中，该方法还可以执行如下步骤：

根据目标业务需求数据和业务数据文件，更新上一次运行时间信息和执行状态信息。

在一个实施例中，利用目标表获取业务需求数据之前，还可以执行如下步骤：

将业务需求数据转化成结构化查询语言数据。

下面以一个具体实施例对该方法的实施步骤进行说明。

首先要设计关系型数据库表及表结构，包含任务表，元数据表，计算逻辑表。其中：任务表字段包含：任务ID(唯一标注一个数据文件生成任务)、任务运行周期(日、周、月等)、执行状态、上一次运行时间、生成文件名、生成文件格式、生成文件存放路径。元数据表字段包含：任务ID、参与计算表名1、参与计算表名2、参与计算字段1、参与计算字段2、……。计算逻辑表字段包含：任务ID、计算逻辑；

其次，开发数据文件生成引擎程序，该程序中包含数据读取功能、数据计算功能、文件生成功能、数据更新功能；数据文件生成引擎，可实现一次开发多次使用；

最后，设置调度器，定时调起数据文件生成引擎。

在完成上述工作后，按照如下步骤执行：

step1：设计关系型数据库表及表结构，表及表结构信息见上述内容；

step2：开发数据文件生成引擎，包含的功能见上述内容；

step3：将业务需求转化成SQL信息，维护到step1的表中；

step4：调度系统调起数据文件生成引擎，该引擎首先读取任务表，遍历任务表，根据每条记录中的任务运行周期、上一次运行时间、执行状态判断表中对应的任务是否需要执行；

step5：当step4判断一条或者多条任务满足执行条件时，则该引擎根据对应的任务ID读取计算逻辑表，获取到对应任务ID的计算逻辑SQL语句，引擎的数据计算功能处理该SQL语句，处理期间会涉读取元数据表相关表及字段信息；

step6：当step5中的计算功能成功计算出结果后，引擎的更新程序则更新任务表中该任务ID记录对应的执行状态为成功，上一次运行时间为当前系统时间。当step5中的计算功能计算失败时，则不更新任务表中对应任务ID的相关信息；

step7：当step6计算出结果时，引擎的文件生成程序将对应的计算结果按照该任务的要求生成对应文件名、格式的文件，并存放在对应的路径下。存放目录按照任务表中对应任务ID的运行周期加上时间后缀；

Step8：重复执行step4—step7，则会持续生成满足业务需求的数据文件；

step9：当业务人员、领导等有新数据生成需求时，执行step3。

需要说明的是，step1、step2、step3过程是基础、辅助过程，做一次即可。

本发明提供了一种业务数据文件生成方法及装置，解决了每次业务数据文件生成需求，均需要重头开发一些程序代码，冗余性较高，复用性差，不利于代码维护，占用技术人员大量时间的问题。

本发明实施例还提供一种业务数据文件生成装置，参见图2所示的一种业务数据文件生成装置结构框图，该装置包括：

获取模块21，用于利用目标表获取业务需求数据；每个目标表包括任务名信息；任务名信息用于识别业务需求数据；确定模块22，用于根据任务名信息和目标表确定目标业务需求数据；生成模块23，用于根据目标表和目标业务需求数据生成业务数据文件。

在一个实施例中，目标表至少包括任务表、元数据表和计算逻辑表。

在一个实施例中，任务表包括任务运行周期信息、执行状态信息和上一次运行时间信息；确定模块，具体用于：遍历任务表，根据任务名信息、任务运行周期信息、执行状态信息上一次运行时间信息确定目标业务需求数据。

在一个实施例中，任务表包括生成文件名信息、生成文件格式信息和生成文件存放路径信息；元数据表包括参与计算表名信息和参与计算字段信息；计算逻辑表包括计算逻辑信息；生成模块，具体用于：利用目标业务需求数据、参与计算表名信息和参与计算字段信息，根据计算逻辑信息生成计算结果；根据计算结果，按照生成文件名信息、生成文件格式信息和生成文件存放路径信息生成业务数据文件。

在一个实施例中，参见图3所示的另一种业务数据文件生成装置结构框图，该装置还包括更新模块24，用于：根据所述目标业务需求数据和所述业务数据文件，更新所述上一次运行时间信息和所述执行状态信息。

在一个实施例中，参见图4所示的另一种业务数据文件生成装置结构框图，该装置还包括转化模块25，用于：将业务需求数据转化成结构化查询语言数据。

本发明实施例还提供一种计算机设备，参见图5所示的计算机设备结构示意框图，该计算机设备包括存储器51、处理器52，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一种方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的计算机设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述任一种方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种业务数据文件生成方法，其特征在于，包括：

利用目标表获取业务需求数据；每个所述目标表包括任务名信息；所述任务名信息用于识别业务需求数据；

根据所述任务名信息和所述目标表确定目标业务需求数据；

根据所述目标表和所述目标业务需求数据生成业务数据文件。

2.根据权利要求1所述的方法，其特征在于，所述目标表至少包括任务表、元数据表和计算逻辑表。

3.根据权利要求2所述的方法，其特征在于，所述任务表包括任务运行周期信息、执行状态信息和上一次运行时间信息；

根据所述任务名信息和所述目标表确定目标业务需求数据，包括：

遍历所述任务表，根据所述任务名信息、所述任务运行周期信息、所述执行状态信息所述上一次运行时间信息确定目标业务需求数据。

4.根据权利要求3所述的方法，其特征在于，所述任务表包括生成文件名信息、生成文件格式信息和生成文件存放路径信息；所述元数据表包括参与计算表名信息和参与计算字段信息；所述计算逻辑表包括计算逻辑信息；

根据所述目标表和所述目标业务需求数据生成业务数据文件，包括：

利用所述目标业务需求数据、所述参与计算表名信息和所述参与计算字段信息，根据所述计算逻辑信息生成计算结果；

根据所述计算结果，按照所述生成文件名信息、所述生成文件格式信息和所述生成文件存放路径信息生成业务数据文件。

5.根据权利要求3-4任一项所述的方法，其特征在于，还包括：

根据所述目标业务需求数据和所述业务数据文件，更新所述上一次运行时间信息和所述执行状态信息。

6.根据权利要求1所述的方法，其特征在于，利用目标表获取业务需求数据之前，还包括：

将业务需求数据转化成结构化查询语言数据。

7.一种业务数据文件生成装置，其特征在于，包括：

获取模块，用于利用目标表获取业务需求数据；每个所述目标表包括任务名信息；所述任务名信息用于识别业务需求数据；

确定模块，用于根据所述任务名信息和所述目标表确定目标业务需求数据；

生成模块，用于根据所述目标表和所述目标业务需求数据生成业务数据文件。

8.根据权利要求7所述的装置，其特征在于，所述目标表至少包括任务表、元数据表和计算逻辑表。

9.根据权利要求8所述的装置，其特征在于，所述任务表包括任务运行周期信息、执行状态信息和上一次运行时间信息；所述确定模块，具体用于：

遍历所述任务表，根据所述任务名信息、所述任务运行周期信息、所述执行状态信息所述上一次运行时间信息确定目标业务需求数据。

10.根据权利要求9所述的装置，其特征在于，所述任务表包括生成文件名信息、生成文件格式信息和生成文件存放路径信息；所述元数据表包括参与计算表名信息和参与计算字段信息；所述计算逻辑表包括计算逻辑信息；所述生成模块，具体用于：

利用所述目标业务需求数据、所述参与计算表名信息和所述参与计算字段信息，根据所述计算逻辑信息生成计算结果；

根据所述计算结果，按照所述生成文件名信息、所述生成文件格式信息和所述生成文件存放路径信息生成业务数据文件。

11.根据权利要求8-9任一项所述的装置，其特征在于，还包括更新模块，用于：

根据所述目标业务需求数据和所述业务数据文件，更新所述上一次运行时间信息和所述执行状态信息。

12.根据权利要求7所述的装置，其特征在于，还包括转化模块，用于：

将业务需求数据转化成结构化查询语言数据。

13.一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的业务数据文件生成方法的步骤。

14.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至6任一项所述的业务数据文件生成方法。

Images