CN105808772A - 一种数据定义文件生成方法及装置 - Google Patents

Abstract

本发明公开了一种数据定义文件生成方法及装置，其中，所述方法包括：通过查询数据模型获取数据表的表名和字段名对应的实体和属性名，进而获取各属性名对应的数据项编号；根据所述数据项编号查询数据字典获取各属性名对应的通用数据类型；根据各属性名及其对应的通用数据类型生成数据定义文件。采用本发明，能够保证DDL文件中的通用数据类型与数据模型中的数据类型严格一致，保证数据集成平台正确的数据加载。此外，不同应用组件使用统一的DDL生成工具和方法生成DDL文件，提高了技术资产的复用。

Description

一种数据定义文件生成方法及装置

技术领域

本发明涉及文件处理领域，更为具体而言，涉及一种数据定义文件生成方法及装置。

背景技术

在复杂的企业级应用中，不同的应用组件往往具有不同的技术架构以及不同的数据存储方式。为了给报表、数据分析等数据应用提供统一的数据源，屏蔽各应用组件的差别，需要搭建统一的数据集成平台。数据集成平台依赖于各个应用组件向数据平台传输数据，但是各个应用组件的数据存储格式有可能是千差万别的。为了规范各应用组件和数据集成平台之间的数据传输，在异构的应用组件之间进行数据传递、数据加载、数据迁移和数据流转，需要对数据传输的数据格式定义统一的规范和标准。

由于作为源头的应用组件和数据集成平台之间的数据类型存在差异，各应用组件和数据集成平台之间进行数据传递不应依赖数据的物理存储格式，这样会使得各应用组件和数据集成平台紧耦合。目前应用组件和数据集成平台之间的数据传输格式使用一种逻辑的通用数据类型来进行规范，DDL(DataDefinitionLanguage，数据库模式定义语言)文件就是用来定义应用系统与数据集成平台进行数据传输时数据格式。采用通用数据类型，可以使得数据集成平台能够自动的解析和识别源应用组件传输的数据文件，完成数据的自动加载。

DDL提供了对结构化、半结构化和非结构化三种文件的格式定义。DDL定义文件中包含了结构定义信息的版本序号，定长标识用于标识数据文件中的字段是否为定长，字段名和字段类型组合构成对数据文件字段的描述，字段类型用于表示字段的通用数据类型。当源应用组件向数据平台供数时，需要将DDL文件(即，创建数据表或文本文件所需的结构定义文件)、数据文件和控制文件一并传给数据集成平台，其DDL文件中字段的顺序与数据文件的字段顺序一致。

数据传输规范虽然定义了DDL文件的格式定义，但没有规定DDL文件的实现方式。由于源应用组件的技术架构和数据存储格式千差万别，每个源应用组件都需要自定义DDL文件的生成程序。由于各个应用组件的实现方式不统一，在数据传输过程中经常出现源应用组件产生的DDL文件中的字段类型与数据文件格式不匹配的情况，导致数据集成平台数据自动加载失败。

如图1所示是现有的生成DDL文件的方法的流程示意图，其主要依赖于源应用组件在给数据集成平台的供数程序中通过硬编码的方式将字段的物理数据类型转义为通用数据类型。以从Oracle数据库表生成DDL文件为例，现在的实现方式首先查询Oracle的数据字典，获得表结构以及字段对应的物理存储类型以及字段的长度，再根据字段的类型和数据长度转义为DDL通用数据类型。在这种实现方案下，每一个源应用组件都需要定义本组件的物理存储格式到通用数据类型的映射关系，比如基于Oracle(一种数据库)和DB2(一种数据库)的应用组件，其物理存储格式到DDL通用数据类型的转换规则就不一样。现有技术存在以下缺陷：

1：在企业级应用中应用组件有很多个，各应用组件都需实现各自的DDL文件生成程序。

2：由于各应用组件的架构和实现差异，各应用组件实现的DDL文件生成程序无法复用。

3：应用组件的DDL生成程序中，通过硬编码的方式，将物理存储的数据格式转义为DDL通用数据类型。

4：一旦应用组件的表结构中有新增的数据类型，需要对源系统的DDL程序进行修改，灵活扩展性较差。

5：由于应用组件采用硬编码的方式生成的DDL文件，常常与数据传输规范定义的DDL文件的类型有差异，导致数据集成平台数据自动加载失败。

发明内容

鉴于现有技术的上述缺陷，本发明实施方式提供了一种数据定义文件生成方法及装置，为不同应用组件提供了统一的DDL文件生成方法，提高文件处理效率和技术资产的复用，并且保证了数据集成平台成功的数据加载。

具体地，本发明实施方式提供了一种数据定义文件生成方法，其包括：

通过查询数据模型获取数据表的表名对应的实体和字段名对应的属性名，进而获取各属性名对应的数据项编号；

根据所述数据项编号查询数据字典获取各属性名对应的通用数据类型；

根据各属性名及其对应的通用数据类型生成数据定义文件。

相应地，本发明实施方式还提供了一种数据定义文件生成装置，其包括：

模型查询模块，用于通过查询数据模型获取数据表的表名对应的实体和字段名对应的属性名，进而获取各属性名对应的数据项编号；

字典查询模块，用于根据所述数据项编号查询数据字典获取各属性名对应的通用数据类型；

文件生成模块，用于根据各属性名及其对应的通用数据类型生成数据定义文件。

采用本发明实施方式，具有以下有益效果：

1：通过数据模型和数据字典来生成DDL文件，保证了DDL文件中的通用数据类型与数据模型中的数据类型严格一致，保证数据集成平台正确的数据加载。

2：生成DDL的方式不再依赖于传统的硬编码方式，各应用组件使用统一的DDL生成工具和方法，提高了技术资产的复用。

附图说明

图1是现有的一种生成DDL文件的方法的流程示意图；

图2是根据本发明实施例的一种数据定义文件生成方法的流程示意图的一例；

图3是根据本发明实施例的一种数据定义文件生成方法的流程示意图的另一例；

图4是根据本发明实施例的一种数据定义文件生成装置的框图的一例；

图5是图4所示生成装置的文件生成模块的框图的一例；

图6是根据本发明实施例的一种数据定义文件生成方法及生成装置的另一例。

具体实施方式

为了便于理解本发明技术方案的各个方面、特征以及优点，下面结合附图对本发明进行具体描述。应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。

图2是根据本发明实施例的一种数据定义文件(即DDL文件)生成方法的流程示意图的一例。参照图2，所述方法包括：

10：查询获取数据项编号查询。具体而言，通过查询数据模型获取数据表的表名对应的实体和字段名对应的属性名，进而获取各属性名(即，所述实体的各个属性名)对应的数据项编号。

12：查询获取通用数据类型。具体而言，根据所述数据项编号查询数据字典获取各属性名对应的通用数据类型。

14：生成数据定义文件。具体而言，根据各属性名及其对应的通用数据类型生成数据定义文件。

在本实施例中，以企业级应用为例，数据模型定义了数据实体的逻辑结构，数据模型中包含了实体和属性的名称和业务含义，以及落地到不同的实现平台时对应的的物理存储数据类型。数据模型是应用组件将数据实体从逻辑结构映射到物理结构的根据。在数据模型中，实体的每一个属性都可以在数据字典中找到一个唯一的数据项，每个数据项都有一个唯一的数据项编号，数据字典中记录了该数据项的业务含义以及对应的DDL通用数据类型。本发明即是利用数据模型和数据字典中关于通用数据类型的关联关系，从源头上保证了DDL文件与数据模型的一致。

示例性地，本发明提及的数据模型可以是中国建设银行在数据建模过程中创建的数据D模型。

采用本实施例提供的方法，一方面，通过数据模型和数据字典来生成DDL文件，保证了DDL文件中的通用数据类型与数据模型中的数据类型严格一致，保证数据集成平台正确的数据加载。另一方面，生成DDL的方式不再依赖于传统的硬编码方式，不同应用组件使用统一的DDL生成工具和方法生成DDL文件，提高了技术资产的复用。

可选地，在本实施例的一种实现方式中，数据模型和数据字典不是可在线运行的程序，例如，可以是XML(ExtensibleMarkupLanguage，可扩展标记语言)文件格式或Excel(微软公司的办公软件Microsoftoffice的组件之一)文件格式。

关于处理10，可选地，在本实施例的一种实现方式中，加载和解析数据模型进而查询所述数据模型。例如，通过根据数据模型的文件格式开发的解析器解析和加载数据模型。

关于处理10，可选地，在本实施例的一种实际应用中，以从Oracle数据表生成DDL文件为例。在生成DDL文件时，首先访问Oracle数据库的数据字典查询表名和字段名，然后根据表名和字段名到数据模型中查询对应的实体和属性名。在数据建模阶段，每一个数据实体及其对应的属性都有确定的业务或者技术含义，并且明确了该属性对应的数据域。针对每一个具体的属性，在数据字典中都有唯一的数据项编号与之相对应。处理10的输出即是属性对应的数据项编号。

关于处理12，可选地，在本实施例的一种实现方式中，加载和解析所述数据字典进而查询所述数据字典。例如，通过根据数据字典的文件格式开发的解析器解析和加载数据字典。

以企业级数据字典为例，其中存储了数据项编号、业务含义、数据类别、通用数据类型以及数据项落地到不同的平台时对应的物理存储格式。在处理10中已经根据实体和属性名查询到数据项编号。在本步骤中则可以到数据字典中取出该数据项编号对应的通用数据类型。

可选地，在本实施例的一种实现方式中，处理14包括：首先，将各属性名及其对应的通用数据类型按照数据文件的格式排序，然后，根据预设的文件生成规则(例如，生成DDL文件的规范)生成所述数据定义文件。

图3是根据本发明实施例的一种数据定义文件生成方法的流程示意图的另一例。参照图3，所述方法在处理10-14之前，还包括处理30：查询数据字典获取所述数据表的表名和字段名。

图4是根据本发明实施例的一种数据定义文件生成装置的框图的一例。参照图4，生成装置包括模型查询模块40、字典查询模块42和文件生成模块44，下面进行具体说明。

在本实施例中，模型查询模块40用于通过查询数据模型获取数据表的表名对应的实体和字段名对应的属性名，进而获取各属性名对应的数据项编号。字典查询模块42用于根据所述数据项编号查询数据字典获取各属性名对应的通用数据类型。文件生成模块44用于根据各属性名及其对应的通用数据类型生成数据定义文件。

采用本实施例提供的生成装置，能够保证DDL文件中的通用数据类型与数据模型中的数据类型严格一致，保证数据集成平台正确的数据加载。此外，不同应用组件使用统一的DDL生成工具和方法生成DDL文件，提高了技术资产的复用。

可选地，在本实施例的一种实现方式中，如图4中虚线框所示，模型查询模块40包括第一解析子模块，用于加载和解析所述数据模型以便所述模型查询模块40查询所述数据模型。换言之，第一解析子模块将数据模型解析为可访问的形式。类似地，字典查询模块42包括第二解析子模块，用于加载和解析所述数据字典以便所述字典查询模块42查询所述数据字典。

当然，需要说明的是，在本实施例的其它实现方式中，模型查询模块40和字典查询模块42二者均可以不包含第一解析子模块和第二解析子模块，而只是进行查询功能。此时，第一解析子模块和第二解析子模块可以是生成装置之外的独立模块，例如下文关于图6的说明。

可选地，在本实施例的一种实现方式中，如图5所示，文件生成模块44包括：预处理子模块440，用于将各属性名及其对应的通用数据类型按照数据文件的格式排序；生成子模块442，用于根据预设的文件生成规则生成所述数据定义文件。

可选地，在本实施例的一种实现方式中，如图4中虚线框所示，生成装置还包括预查询模块46，用于查询所述数据字典获取所述数据表的表名和字段名。

可选地，在本实施例的一种实现方式中，数据字典和数据模型包括XML文件格式和Excel文件格式。

本领域技术人员应当理解，本发明提供的数据定义文件生成装置可以用于实施或执行本发明提供的数据定义文件生成方法，相应地，本发明提供的数据定义文件生成方法可以理解为数据定义文件生成装置的处理逻辑。因此，在装置实施例中，关于相关名称、术语、范围的解释，关于各个模块/子模块所执行处理和可执行处理的详细说明，以及关于实施例及其实现方式的有益效果等的描述，请参见方法实施例中的相应内容，此处不再赘述。

图6是根据本发明实施例的一种数据定义文件生成方法及生成装置的另一例。参照图6，生成装置包括预查询模块66、模型查询模块60、字典查询模块62和文件生成模块64。其中，预查询模块66加载数据字典解析器对数据字典的解析结果(解析为可查询的形式)从而访问数据字典获取表名和字段名并输出给模型查询模块60。模型查询模块60加载数据模型解析器对数据模型的解析结果(解析为可查询的形式)，进而根据表名和字段名查询数据模型获取并向字典查询模块62输出实体的每个属性所对应的数据项编号。字典查询模块62根据数据项编号查询数据字典(已经由数据字典解析器完成解析)获取并向文件生成模块64输出各数据项编号对应的通用数据类型。文件生成模块64对属性名及其对应的通用数据类型按照数据文件的格式排序，并以特定的规则组织成DDL文件。

在本实施例中，关于各个模块以及相关步骤的详细说明，请参见前文相应说明。此处不再赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本领技术人员应当理解，以上所公开的仅为本发明的实施方式而已，当然不能以此来限定本发明之权利范围，依本发明实施方式所作的等同变化，仍属本发明权利要求所涵盖的范围。

Claims (12)

1.一种数据定义文件生成方法，其特征在于，所述方法包括：

通过查询数据模型获取数据表的表名对应的实体和字段名对应的属性名，进而获取各属性名对应的数据项编号；

根据所述数据项编号查询数据字典获取各属性名对应的通用数据类型；

根据各属性名及其对应的通用数据类型生成数据定义文件。

2.如权利要求1所述的方法，其特征在于，通过查询数据模型获取数据表的表名和字段名对应的实体和属性名包括：

加载和解析所述数据模型进而查询所述数据模型，其中，所述数据模型包含有所述属性的所述各属性名与数据项编号的对应关系。

3.如权利要求1所述的方法，其特征在于，根据所述数据项编号查询数据字典获取各属性名对应的通用数据类型包括：

加载和解析所述数据字典进而查询所述数据字典，其中，所述数据字典包含有所述数据项编号与通用数据类型的对应关系。

4.如权利要求1所述的方法，其特征在于，根据各属性名及其对应的通用数据类型生成数据定义文件包括：

将各属性名及其对应的通用数据类型按照数据文件的格式排序；

根据预设的文件生成规则生成所述数据定义文件。

5.如权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

查询所述数据字典获取所述数据表的表名和字段名。

6.如权利要求1-4中任一项所述的方法，其特征在于，所述数据字典和数据模型包括XML文件格式和Excel文件格式。

7.一种数据定义文件生成装置，其特征在于，所述装置还包括：

模型查询模块，用于通过查询数据模型获取数据表的表名对应的实体和字段名对应的属性名，进而获取各属性名对应的数据项编号；

字典查询模块，用于根据所述数据项编号查询数据字典获取各属性名对应的通用数据类型；

文件生成模块，用于根据各属性名及其对应的通用数据类型生成数据定义文件。

8.如权利要求7所述的装置，其特征在于，所述模型查询模块包括：

第一解析子模块，用于加载和解析所述数据模型以便所述模型查询模块查询所述数据模型，其中，所述数据模型包含有所述属性的所述各属性名与数据项编号的对应关系。

9.如权利要求7所述的装置，其特征在于，所述字典查询模块包括：：

第二解析子模块，用于加载和解析所述数据字典以便所述字典查询模块查询所述数据字典，其中，所述数据字典包含有所述数据项编号与通用数据类型的对应关系。

10.如权利要求7所述的装置，其特征在于，所述文件生成模块包括：

预处理子模块，用于将各属性名及其对应的通用数据类型按照数据文件的格式排序；

生成子模块，用于根据预设的文件生成规则生成所述数据定义文件。

11.如权利要求7-10中任一项所述的装置，其特征在于，所述装置还包括：

预查询模块，用于查询所述数据字典获取所述数据表的表名和字段名。

12.如权利要求7-10中任一项所述的装置，其特征在于，所述数据字典和数据模型包括XML文件格式和Excel文件格式。