CN109726192A - 基于大数据环境实现主数据模型版本与字段分开管理功能的系统及方法 - Google Patents

Abstract

本发明涉及一种基于大数据环境实现主数据模型版本与字段分开管理功能的系统，包括模型版本初始化模块，用于对基础表进行初始化操作，实现模型的建立、版本号的生成、模型版本下业务字段的创建、模型版本的生效、发布库中该模型版本存储数据表的生成；模型版本升级模块，用于根据之前的模型版本进行修订；业务字段分离管理模块，用于对每个模型及其绑定的业务字段进行分离管理；业务字段操作模块，用于对模型版本下的业务字段进行修改。本发明还涉及一种基于大数据环境实现主数据模型版本与字段分开管理功能的方法。采用了该系统及方法，通过模型版本与字段分开管理，达到精细、灵活管理，高效、充分使用数据的目的，满足多行业多领域的主数据管理需求。

Description

基于大数据环境实现主数据模型版本与字段分开管理功能的 系统及方法

技术领域

本发明涉及数据版本管理领域，尤其涉及主数据模板版本及字段管理领域，具体是指一种基于大数据环境实现主数据模型版本与字段分开管理功能的系统及方法。

背景技术

信息化的发展对我国的文化、技术领域的发展起着不可缺少的作用，政府部门、企业对信息化建设也在不断深入，随着社会的发展，业务系统越来越多、越来越复杂，因此所产生和需要面对的数据量都是非常之大的，使得大数据环境背景下需要解决的问题也变得很复杂。在大数据环境背景下，数据的相互交叉、融合共享，在提供相对方便的同时，同样也带来了不方便的一面，这种交叉、共享使得在数据使用的过程中关联性过大，数据使用的灵活性、充分性大打折扣，数据的价值也就不能充分发挥，进而会造成数据资产的损失，从一定程度也会影响政府部门、企业的正常业务开展和决策分析。

主数据是政府部门、企业的核心数据资产，主数据管理平台是对数据资产进行使用和管理的工具平台，简单、高效、充分的使用数据不管是对政府部门、企业还是社会的信息化建设都是很有用的。主数据通常是通过模型进行管理的，同一个模型下会存在在多个版本，版本有生效、停用、历史、编辑状态，生效状态只有一个版本，第一个版本下的业务字段是根据实际业务需求进行添加，之后每个版本下的业务字段是在之前一个版本上进行修订，维护一套符合业务场景需求的字段来管理、映射到数据，从而达到使用数据的目的。

然而，在使用模型管理数据的同时，业务需求在不断发生改变，数据本身也在发生着变化，特别是在大数据背景下，一个模型多个版本维护一套业务字段无法满足高频使用数据的需求，特别是需要修订、删除当前版本下的业务字段，使用当前的管理方法就会影响之前模型版本下的数据，无法满足需求，从而无法发挥数据应有的价值。

针对主数据的模型版本下字段管理，现有技术通常是在一个模型下通过维护一套业务字段进行管理，根据业务需求添加新的业务字段满足实际需要。

1.定义一个业务分类下的模型，根据业务场景，在第一个模型版本下添加相应的字段，并且保存；

2.对改模型版本进行生效操作，创建出一个模型下的一套业务字段；

3.对生效的模型版本进行发布操作，在发布库中创建出业务字段的表，存储数据；

4.对当前模型版本进行修订操作，产生版本号加1的模型版本；

5.在新模型版本下添加新的业务字段，并且保存；

6.重复2-5不断进行模型版本叠加，满足新的业务需求。

根据以上步骤创建出的模型版本和业务字段之间的关系不是非常清晰，会出现多个模型版本下的字段相同，也会出现新的模型版本在之前模型版本上有纯增量的情况，模型信息和字段信息效果如下

现有的管理方法是在一个模型下，维护一套业务字段，不同的版本都在使用该套业务字段，新的版本在前一版本的基础上根据自己的业务需求进行添加，该方法能满足模型版本下一套业务字段纯增量的主数据版本管理的需求，但是在一个模型下多个版本的情况下，对于新的模型版本需要修改，甚至删除业务字段的业务需求是无法满足的，针对该问题，通过将模型版本下的业务字段分开，每个模型版本有自己的业务字段，根据业务需求维护自己的一套业务字段，断开与其他模型版本的关联，即使删除某一个字段也不影响之前模型版本的主数据管理，达到灵活管理，高效、充分使用数据的目的。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种适应复杂场景、提高系统可用性、操作简便的基于大数据环境实现主数据模型版本与字段分开管理功能的系统及方法。

为了实现上述目的，本发明的基于大数据环境实现主数据模型版本与字段分开管理功能的系统及方法如下：

该基于大数据环境实现主数据模型版本与字段分开管理功能的系统，其主要特点是，所述的系统包括：

模型版本初始化模块，用于对基础表进行初始化操作，实现模型的建立、版本号的生成、模型版本下业务字段的创建、模型版本的生效、发布库中该模型版本存储数据表的生成；

模型版本升级模块，与所述的模型版本初始化模块相连接，用于根据之前的模型版本进行修订，并创建自己的版本号的业务字段和数据表；

业务字段分离管理模块，与所述的模型版本升级模块相连接，用于对每个模型及其绑定的业务字段进行分离管理；

业务字段操作模块，与所述的业务字段分离管理模块相连接，用于对模型版本下的业务字段进行修改，避免各模型版本之间的业务字段存在关联和依赖关系。

较佳地，所述的模型版本初始化模块进行初始化操作的基础表包括主数据库模型表、模型版本表、模型字段表、模型字段版本表和数据表。

较佳地，所述的主数据库模型表包括模型所系分类和模型的信息。

较佳地，所述的模型版本表包括模型版本所系模型、模型版本号和状态。

较佳地，所述的模型字段表包括模型版本与、和所关联的业务字段的信息。

较佳地，所述的数据表包括模型版本对应的具体业务数据。

较佳地，所述的业务字段分离管理模块根据实际的业务需要结合模型和版本定义多个处理策略。

该利用上述系统实现基于大数据环境的主数据模型版本与字段分开管理控制的方法，其主要特点是，所述的方法包括以下步骤：

(1)所述的模型版本初始化模块对主数据库模型表、模型版本表、模型字段表和模型字段版本表和发布库中模型版本下的数据表进行初始化操作；

(2)所述的模型版本升级模块修订模型版本；

(3)所述的业务字段分离管理模块编辑业务字段，并使模型版本生效；

(4)所述的业务字段操作模块增加。修改、删除。并同步表信息到发布库。

采用了本发明的基于大数据环境实现主数据模型版本与字段分开管理功能的系统及方法，通过模型版本与字段分开管理，解决了大数据背景下主数据在模型版本升级修订下可能出现影响之前模型版本下的数据的问题，达到精细、灵活管理，高效、充分使用数据的目的，从而提高了主数据版本管理的灵活性和适应性，满足多行业多领域的主数据管理需求，提高数据资产的价值。

附图说明

图1为本发明的基于大数据环境实现主数据模型版本与字段分开管理功能的系统的结构图。

图2为本发明的基于大数据环境实现主数据模型版本与字段分开管理功能的系统的业务字段分离管理模块构成图。

图3为本发明的基于大数据环境实现主数据模型版本与字段分开管理功能的方法的流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的该基于大数据环境实现主数据模型版本与字段分开管理功能的系统，其中，所述的系统包括：

模型版本初始化模块，用于对基础表进行初始化操作，实现模型的建立、版本号的生成、模型版本下业务字段的创建、模型版本的生效、发布库中该模型版本存储数据表的生成；

模型版本升级模块，与所述的模型版本初始化模块相连接，用于根据之前的模型版本进行修订，并创建自己的版本号的业务字段和数据表；

业务字段分离管理模块，与所述的模型版本升级模块相连接，用于对每个模型及其绑定的业务字段进行分离管理；

业务字段操作模块，与所述的业务字段分离管理模块相连接，用于对模型版本下的业务字段进行修改，避免各模型版本之间的业务字段存在关联和依赖关系。

作为本发明的优选实施方式，所述的模型版本初始化模块进行初始化操作的基础表包括主数据库模型表、模型版本表、模型字段表、模型字段版本表和数据表。

作为本发明的优选实施方式，所述的主数据库模型表包括模型所系分类和模型的信息。

作为本发明的优选实施方式，所述的模型版本表包括模型版本所系模型、模型版本号和状态。

作为本发明的优选实施方式，所述的模型字段表包括模型版本与、和所关联的业务字段的信息。

作为本发明的优选实施方式，所述的数据表包括模型版本对应的具体业务数据。

作为本发明的优选实施方式，所述的业务字段分离管理模块根据实际的业务需要结合模型和版本定义多个处理策略。

该利用上述系统实现基于大数据环境的主数据模型版本与字段分开管理控制的方法，其中包括以下步骤：

(1)所述的模型版本初始化模块对主数据库模型表、模型版本表、模型字段表和模型字段版本表和发布库中模型版本下的数据表进行初始化操作；

(2)所述的模型版本升级模块修订模型版本；

(3)所述的业务字段分离管理模块编辑业务字段，并使模型版本生效；

(4)所述的业务字段操作模块增加。修改、删除。并同步表信息到发布库。

在本发明的具体实施方式中，本发明公开了一种大数据环境下主数据系统中模型各版本业务字段的管理方法。通过对已有版本模型字段进行重新梳理和管理，建立出版本与业务字段的关联关系，创建出基于当前版本模型的关联业务字段，从而使得当前版本模型的业务关联字段与历史版本模型的关联业务字段隔离开来，各版本下的业务关联字段可以根据实际业务需求进行增加、修改、删除，而不影响其它版本模型下的业务关联字段，从而达到更细粒度、更实用的版本模型字段管理，可以在实际使用中适应更多的复杂场景，提高系统的可用性和用户体验度，创造更大的价值。

本发明通过将模型版本下的业务字段分开，每个模型版本有自己的业务字段，根据业务需求维护自己的一套业务字段，断开与其他模型版本的关联，即使删除某一个字段也不影响之前模型版本的主数据管理，解决了一个模型下多个版本公用、维护一套业务字段出现的耦合性过大、数据系统臃肿、灵活性差、不便管理的问题，进而达到精细、灵活管理，高效、充分使用数据的目的，提高数据资产的价值。

本发明分为模型版本初始化模块、模型版本升级模块、业务字段分离管理模块和同一模型下对业务字段操作模块。

模型版本初始化模块是实现模型的建立、版本号的生成、模型版本下业务字段的创建、模型版本的生效、发布库中该模型版本存储数据表的生成；

模型版本升级模块是针对同一个模型下因业务需要，在之前的模型版本的基础上进行修订，创建出属于自己版本号的业务字段和数据表；

业务字段分离管理模块是在同一模型下有不同模型版本的情况下，每个模型版本有一套与版本号绑定的业务字段，分离管理是每个模型版本的业务字段独立维护，某一版本号下业务字段的修改不影响其它模型版本号下的业务字段和数据存储；

同一模型下对业务字段操作模块是对任意模型版本下的业务字段进行增加、修改、删除等操作，实现各模型版本之间的业务字段没有关联、依赖关系，避免相互影响，实现细粒度、多维度的管理和数据充分、有效的使用。

本发明构成如图1所示。

下面将详细描述模型版本初始化模块、模型版本升级模块、业务字段分离管理模块和同一模型下对业务字段操作模块。

说明中所涉及到的SQL语法均按照oracle语法进行操作。

一、模型版本初始化模块

模型版本初始化模块针对还未实施的主数据库模型表、模型版本表、模型字段表和模型字段版本表和发布库中模型版本下的数据表进行初始化操作。

模型表中包括了该模型所系分类和该模型的信息，

模型版本表中包括了该模型版本所系模型、模型版本号、状态等信息，

模型字段表中包括了字段与模型的关系，

模型字段版本表中包括了模型版本与所关联的业务字段的信息，

数据表中包括了该模型版本对应的具体业务数据。主库是对模型的管理，发布库是对业务数据的管理，两个库协作配合完整对数据的管理和使用。

针对还未实施的主数据库、发布库中涉及到的表初始化核心SQL代码如下：

模型表：

模型版本表：

模型字段表：

CREATE TABLE META_FIELD

(ID VARCHAR2(32)NOT NULL ENABLE,

MODELID VARCHAR2(32))

模型字段版本表：

数据表：

二、模型版本版本升级模块

模型版本版本升级模块是基于前一版本的业务字段，结合当前的需求对当前模型版本进行修订，编辑(增加、修改、删除)一套仅属于当前模型版本的业务字段，并且不影响其它版本的数据操作与管理。

核心SQL如下：

版本号升级：

UPDATE META_MODELVER SET VERSION＝VERSION+1

WHERE MODELID＝'＊＊＊＊＊＊＊＊＊＊＊'AND VERSTATUS＝'＊'

增加业务字段修订：

ALTER TABLE TABLENAME ADD(业务字段名称字段类型)

删除业务字段修订：

ALTER TABLE TABLENAME DROP(业务字段名称)

业务字段名称修订：

ALTER TABLE TABLENAME RENAME COLUME旧字段名字TO新字段名字

业务字段类型修订：

ALTER TABLE TABLENAME MODIFY字段名字数据类型

三、业务字段分离管理模块

业务字段分离管理模块是从模型版本号上将所对应的业务字段分开，独立管理和维护。

业务字段分离管理模块构成如图2所示。

业务字段分离管理模块针对的是某一类模型与模型版本所对应的业务字段可能发生的主数据版本冲突定义的一种处理策略，如模型类型一致、模型版本不一致及其他可能的情况。具体的处理策略可根据实际实施要求设置，在实际场景中可根据实际的业务需要结合模型、版本定义多个处理策略。

四、同一模型下对业务字段操作模块

同一模型下对业务字段操作模块是根据业务需求对各自模型版本下的业务字段增加、修改、删除，并将模型版本下对应的业务字段保存到主数据库中，同时将改变后的业务字段在发布库中做相应的操作，保证主数据库和发布库模型版本业务字段跟实际发布库中的表结构是一致的，从而在数据入库和对数据的操作、管理上满足实际项目的业务需求。

本部分以所在地产行业通过模型版本与字段分开管理的方法来说明本发明的实现例子。

在某地产主数据实施案例中，通过业务调研，识别出客户主数据信息，如下表所示：

在得到客户主数据表后，根据本发明的方法，主要实施步骤如图3所示。

一、为客户主库、发布库初始化

本例中根据识别出的客户主数据创建模型表、模型版本表、模型字段表、模型字段版本表、客户主数据表M_CUSTOMER及主数据字段。

SQL代码如下：

模型表：

模型版本表：

模型字段表：

CREATE TABLE META_FIELD

(ID VARCHAR2(32)NOT NULL ENABLE,

MODELID VARCHAR2(32))

模型字段版本表：

数据表：

二、修订模型版本

模型版本版本升级模块是基于前一版本的业务字段，结合当前的需求对当前模型版本进行修订。

通过页面修订按钮操作，进行版本号升级，核心SQL如下：

UPDATE META_MODELVER SET VERSION＝VERSION+1

WHERE MODELID＝'4028688166c8735b0166c8e1515a0003'AND VERSTATUS＝'1'

三、编辑业务字段、模型版本生效

在模型版本下增加、修改、删除字段，并将业务字段的元信息保存到主库中，使用页面生效按钮将新的模型版本生效，核心SQL如下：

UPDATE META_MODELVER SET VERSTATUS＝'1'

WHERE MODELID＝'4028688166c8735b0166c8e1515a0003'AND VERSION＝'2'AND

VERSTATUS＝'2'

四、同步表信息到发布库

将主库中的保存的业务字段元信息同步到发布库中存储的数据的表上，二者需保持一致，以删除、增加、修改(名字、类型)场景进行说明，核心SQL如下：

删除业务字段修订：

ALTER TABLE M_CUSTOMER_VERSIONNO DROP(EMAIL)

增加业务字段修订：

ALTER TABLE M_CUSTOMER_VERSIONNO ADD(EMAILADD VARCHAR2(32))

业务字段名称修订：

ALTER TABLE M_CUSTOMER_VERSIONNO RENAME COLUME OLDENAME TO OLDENAMEM

业务字段类型修订：

ALTER TABLE M_CUSTOMER_VERSIONNO MODIFY MARITALSTATUS INT(8)

按照以上步骤实施，根据业务需求不断的进行版本修订，版本号的叠加，对模型版本下的业务字段进行增加、删除、修改操作，实现对数据资产的灵活管理，提高数据的自身价值

采用了本发明的基于大数据环境实现主数据模型版本与字段分开管理功能的系统及方法，通过模型版本与字段分开管理，解决了大数据背景下主数据在模型版本升级修订下可能出现影响之前模型版本下的数据的问题，达到精细、灵活管理，高效、充分使用数据的目的，从而提高了主数据版本管理的灵活性和适应性，满足多行业多领域的主数据管理需求，提高数据资产的价值。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (8)

1.一种基于大数据环境实现主数据模型版本与字段分开管理功能的系统，其特征在于，所述的系统包括：

模型版本初始化模块，用于对基础表进行初始化操作，实现模型的建立、版本号的生成、模型版本下业务字段的创建、模型版本的生效、发布库中该模型版本存储数据表的生成；

模型版本升级模块，与所述的模型版本初始化模块相连接，用于根据之前的模型版本进行修订，并创建自己的版本号的业务字段和数据表；

业务字段分离管理模块，与所述的模型版本升级模块相连接，用于对每个模型及其绑定的业务字段进行分离管理；

业务字段操作模块，与所述的业务字段分离管理模块相连接，用于对模型版本下的业务字段进行修改，避免各模型版本之间的业务字段存在关联和依赖关系。

2.根据权利要求1所述的基于大数据环境实现主数据模型版本与字段分开管理功能的系统，其特征在于，所述的模型版本初始化模块进行初始化操作的基础表包括主数据库模型表、模型版本表、模型字段表、模型字段版本表和数据表。

3.根据权利要求2所述的基于大数据环境实现主数据模型版本与字段分开管理功能的系统，其特征在于，所述的主数据库模型表包括模型所系分类和模型的信息。

4.根据权利要求2所述的基于大数据环境实现主数据模型版本与字段分开管理功能的系统，其特征在于，所述的模型版本表包括模型版本所系模型、模型版本号和状态。

5.根据权利要求2所述的基于大数据环境实现主数据模型版本与字段分开管理功能的系统，其特征在于，所述的模型字段表包括模型版本与、和所关联的业务字段的信息。

6.根据权利要求2所述的基于大数据环境实现主数据模型版本与字段分开管理功能的系统，其特征在于，所述的数据表包括模型版本对应的具体业务数据。

7.根据权利要求1所述的基于大数据环境实现主数据模型版本与字段分开管理功能的系统，其特征在于，所述的业务字段分离管理模块根据实际的业务需要结合模型和版本定义多个处理策略。

8.一种利用权利要求1所述的系统实现基于大数据环境的主数据模型版本与字段分开管理控制的方法，其特征在于，所述的方法包括以下步骤：

(1)所述的模型版本初始化模块对主数据库模型表、模型版本表、模型字段表和模型字段版本表和发布库中模型版本下的数据表进行初始化操作；

(2)所述的模型版本升级模块修订模型版本；

(3)所述的业务字段分离管理模块编辑业务字段，并使模型版本生效；

(4)所述的业务字段操作模块增加。修改、删除。并同步表信息到发布库。