CN109684398A - 大数据环境下基于多状态实现数据优化管理功能的系统及方法 - Google Patents

Abstract

本发明涉及一种大数据环境下基于多状态实现数据优化管理功能的系统，包括数据结构准备模块，用于增加符合发布库数据结构的模型信息，并在发布库中同步表信息以及字段配置、展现方式、数据模板和权限；数据准备模块，用于在已有的数据模型模板下添加业务数据；梳理定义数据状态模块，用于根据数据的走向定义满足、符合数据的状态；数据管理模块，用于对发布库中已存储的数据进行操作、管理，实现不同状态的切换，满足数据使用需求。本发明还涉及一种大数据环境下基于多状态的实现数据优化管理功能的方法。采用了该系统及方法，定义尽可能完整的数据状态，从而在数据使用的过程中更加真实、更加准确；同时降低因数据状态不足、缺失等原因而造成的影响。

Description

大数据环境下基于多状态实现数据优化管理功能的系统及 方法

技术领域

本发明涉及主数据管理领域，尤其涉及主数据状态管理领域，具体是指一种大数据环境下基于多状态实现数据优化管理功能的系统及方法。

背景技术

近年来，毫无疑问，各行各业因为大幅爆发的数据而正变得蒸蒸日上，几乎所有行业都或多或少的受到这一巨变的影响。数据的管理和应用，不仅仅在企业中得到重视，国家也制定了相关政策，来促进、保护和发展各领域的相关数据行业发展，数据已有当代“石油”的美誉。因此，对数据的管理手段和方法成为高效使用数据的重要关注点，主数据通常是以编辑、生效、启用和停用状态作为管理数据的一种方法，通过实际业务需要对数据进行增加、编辑删除、可用和不可用等操作，实现简单使用数据的目的。

但是，当前简单的管理手段和方法已经不适合当前的发展趋势，正常情况下，一个模型版本下经常会出现成千上万条甚至更多的数据，在业务场景十分复杂的当下，简单的数据状态无法满足高频、复杂使用数据的需求，特别是更多场景业务下，使用当前的数据管理方法无法满足实际业务需要，无法发挥数据应有的价值。

针对主数据模型版本下的数据管理，现有技术通常是在一个模型版本下对数据进行简单的管理，根据业务需求增加、编辑和生效满足实际需要。

1、增加符合发布库数据结构的模型信息并在发布库中同步表信息；

2、配置展现方式、字段配置、数据模板、数据权限；

3、在模型模板下增加数据；

4、对编辑状态的数据可重复进行编辑；

5、对编辑状态的数据进行生效操作；

6、对生效状态的数据进行停用、启用操作；

7、重复1～6可不断增加新的业务模型、模型版本、业务数据。

根据以上步骤创建出的模型版本和业务数据，管理和操作都是非常简单的，可以满足简单的数据管理需求，数据列表的效果图如下：

目前主数据平台对数据的管理从数据状态的角度上来看过于简单，不利于数据的管理和使用，特别是在大数据背景下，一个模型版本下经常会出现成千上万条甚至更多的数据，在业务场景十分复杂的当下，简单的数据状态无法满足高频、复杂使用数据的需求，特别是更多场景业务下，使用当前的数据管理方法无法满足实际业务需要，通过定义尽可能完整的、适应实际需求的状态，达到细粒度、实用的大数据环境下对主数据的管理，以适应复杂的场景，发挥数据的价值。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足灵活选择数据状态、数据使用效率、适用范围较为广泛的大数据环境下基于多状态实现数据优化管理功能的系统及方法。

为了实现上述目的，本发明的大数据环境下基于多状态实现数据优化管理功能的系统及方法如下：

该大数据环境下基于多状态的实现数据优化管理功能的方法，其主要特点是，所述的系统包括：

数据结构准备模块，用于增加符合发布库数据结构的模型信息，并在发布库中同步表信息以及字段配置、展现方式、数据模板和权限；

数据准备模块，与所述的数据结构准备模块相连接，用于在已有的数据模型模板下添加业务数据；

梳理定义数据状态模块，与所述的数据准备模块相连接，用于根据数据的走向定义满足、符合数据的状态；

数据管理模块，与所述的梳理定义数据状态模块相连接，用于对发布库中已存储的数据进行操作、管理，实现不同状态的切换，满足数据使用需求。

较佳地，所述的数据结构准备模块中同步的表包括模型表、模型版本表、模型字段表和模型字段版本表。

较佳地，所述的数据准备模块的添加方式包括直接切库、手动增加数据和批量导入。

较佳地，所述的梳理定义数据状态模块定义的状态包括编辑、生效、停用、启用、历史、可申请、不可申请、审核中、通过、作废、合并、冻结、解冻和异常。

较佳地，所述的系统异常状态包括业务异常状态和系统异常状态。

该利用上述系统实现大数据环境下基于多状态的数据优化管理控制的方法，其主要特点是，所述的方法包括以下步骤：

(1)所述的数据结构准备模块增加模型信息，并将表信息同步到发布库；

(2)所述的数据准备模块手动添加、批量导入，并读取生产库信息；

(2)所述的梳理定义数据状态模块根据业务需求定义数据状态；

(3)所述的数据管理模块操作管理发布库中的数据，实现不同状态中数据状态的切换。

采用了本发明的大数据环境下基于多状态实现数据优化管理功能的系统及方法，由于在使用数据的过程中分析数据在使用的过程中可能出现的情况，定义尽可能完整的数据状态，从而在数据使用的过程中更加真实、更加准确；同时降低因数据状态不足、缺失等原因而造成的影响；另外可以在实际使用中适应更多的复杂场景，提高系统的可用性和用户体验度，创造更大的数据价值。

附图说明

图1为本发明的大数据环境下基于多状态实现数据优化管理功能的系统的结构图。

图2为本发明的大数据环境下基于多状态实现数据优化管理功能的系统的数据定义状态关系示意图。

图3为本发明的实现大数据环境下基于多状态的数据优化管理控制的方法的流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的该大数据环境下基于多状态实现数据优化管理功能的系统，其中，所述的系统包括：

数据结构准备模块，用于增加符合发布库数据结构的模型信息，并在发布库中同步表信息以及字段配置、展现方式、数据模板和权限；

数据准备模块，与所述的数据结构准备模块相连接，用于在已有的数据模型模板下添加业务数据；

梳理定义数据状态模块，与所述的数据准备模块相连接，用于根据数据的走向定义满足、符合数据的状态；

数据管理模块，与所述的梳理定义数据状态模块相连接，用于对发布库中已存储的数据进行操作、管理，实现不同状态的切换，满足数据使用需求。

作为本发明的优选实施方式，所述的数据结构准备模块中同步的表包括模型表、模型版本表、模型字段表和模型字段版本表。

作为本发明的优选实施方式，所述的数据准备模块的添加方式包括直接切库、手动增加数据和批量导入。

作为本发明的优选实施方式，所述的梳理定义数据状态模块定义的状态包括编辑、生效、停用、启用、历史、可申请、不可申请、审核中、通过、作废、合并、冻结、解冻和异常。

作为本发明的优选实施方式，所述的系统异常状态包括业务异常状态和系统异常状态。

该利用上述系统实现大数据环境下基于多状态的数据优化管理控制的方法，所述的方法包括以下步骤：

(1)所述的数据结构准备模块增加模型信息，并将表信息同步到发布库；

(2)所述的数据准备模块手动添加、批量导入，并读取生产库信息；

(2)所述的梳理定义数据状态模块根据业务需求定义数据状态；

(3)所述的数据管理模块操作管理发布库中的数据，实现不同状态中数据状态的切换

本发明的具体实施方式中，目前主数据平台对数据的管理从数据状态的角度上来看过于简单，不利于数据的管理和使用，本发明通过分析数据在使用的过程中可能出现的情况，梳理出数据的走向，整理出数据的状态，定义尽可能完整的、适应实际使用数据需求的数据状态，使得数据在使用的过程中更加真实、更加准确，降低因数据状态不足、缺失等原因而造成的影响，从而达到更细粒度、更实用的大数据环境下对主数据的管理，以便在项目实施、数据管理中灵活选择数据状态，提高数据使用效率。

本发明通过分析数据在使用的过程中可能出现的情况，梳理出数据的走向，勾画出数据的状态图，定义尽可能完整的、适应实际使用数据需求的数据状态，使得数据在使用的过程中更加真实、更加准确，降低因数据状态不足、缺失等原因而造成的影响，从而达到更细粒度、更实用的大数据环境下对主数据的管理，解决了因数据状态不足而在使用过程中造成的不便。

本发明分为数据结构准备模块、数据准备模块、梳理定义数据状态、数据管理模块。

数据结构准备模块是增加符合发布库数据结构的模型信息并在发布库中同步表信息以及字段配置、展现方式、数据模板、权限的配置；数据准备模块是在已有的数据模型模板下添加业务数据；梳理定义数据状态模块是根据数据的走向定义满足、符合数据的状态；数据管理模块是对发布库中已存储的数据进行操作、管理，实现不同状态的切换，满足数据使用需求。

本发明构成如图1所示

下面将详细描述数据结构准备模块、数据准备模块、梳理定义数据状态模块和数据管理模块的内容。

如下所涉及到的代码均按照Java语法、SQL均按照ORACLE语法进行说明。

一、数据结构准备模块

数据结构准备模块是增加符合发布库数据结构的模型信息并在发布库中同步表信息。

涉及到的Java初始化核心代码如下：

public void addMetaModelData(DataObject metamodel,DataObjectmetamodelver

DataObject metamodelField,DataObject metamodelFieldver){

DatabaseUtil.insertEntity("default",metamodel,metamodelver,

metamodelField,metamodelFieldver)；

}

模型表、模型版本表、模型字段表、模型字段版本表是数据结构准备的内容，数据表是存储具体的数据内容，针对还未实施的主数据库、发布库中涉及到的表初始化核心SQL代码如下：

CREATE TABLE TABLENAME('所需的数据结构字段内容')

二、数据准备模块

数据准备模块是在已有的数据模型模板下添加业务数据。现有的方式有直接切库，连接到现场项目的发布数据库上，读取数据；也有手动根据实际需要增加部分数据；还可以实现批量导入到新的数据库中。

涉及到的Java初始化核心代码如下：

public void addData(DataObject data){

DatabaseUtil.insertEntity("public",data)；

}

核心SQL代码如下：

三、梳理定义数据状态

梳理定义数据状态模块是根据数据的走向定义满足、符合数据的状态，除了常规的编辑、生效和停用状态，新梳理出启用、历史、可申请、不可申请、审核中、通过、作废、合并、冻结、解冻、业务异常、系统异常。

如下表是对梳理出的数据定义状态的说明：

定义状态	说明
		编辑	主数据平台中新增加的数据
生效	编辑状态的数据通过生效、从其它生产库读取的有效数据
		停用	生效状态的数据不可用
启用	停用状态的数据需要使用
		历史	生效版本之前版本的数据
可申请	对外开放的数据
		不可申请	不对外开放的数据
审核中	申请后通过前的数据
		通过	申请通过后的数据
作废	无用的数据
		合并	不完整编辑状态的数据通过合并的数据
冻结	不允许操作改变的数据
		解冻	可操作改变的数据
业务异常	因数据自身问题异常的数据
		系统异常	因系统问题异常的数据

数据定义状态关系的说明如图2所示。

异常分为系统异常和业务异常，可根据项目需求扩展状态，加入到数据状态中。

四、数据管理模块

数据管理模块是对发布库中已存储的数据进行操作、管理，实现不同状态的切换，满足数据使用需求。

涉及到的Java初始化核心代码如下：

public void StateChange(DataObject data){

DatabaseUtil.stateChange("public",data)；

}

核心SQL代码如下：

UPDATE TABLENAME SET FIELD＝‘’WHERE ID＝‘’

INSERTINTO TABLENAME VALUES(FIELDS)

SELECT*FROM TABLENAME WHERE ID＝‘’

DELETE FROM TABLENAME WHERE ID＝‘’

具体实施部分以实际经历的项目为例进行说明。

在某地产主数据实施案例中，通过业务调研，识别出客户主数据(酒店的实例)信息，如下表所示：

在得到客户主数据表后，根据本发明的方法，主要实施步骤如图3所示。

一、增加模型信息、表信息同步到发布库

说明中根据客户主数据的酒店实例信息增加主库中的模型信息、并且将表信息同步到发布库中，主数据库中的模型信息表名使用通用的表名META_MODEL_INFO、META_MODELVER_INFO、META_FIELD_INFO、META_FIELDVER_INFO，客户主数据酒店实例表使用M_HOTEL。

SQL代码如下：

二、手动添加、批量导入、生产库读取数据

数据准备模块以新增为例进行说明，批量导入、生产库读取与其除了来源不同之外，在主数据平台上的操作是相同的。

核心SQL代码如下：

INSERTINTO M_CUSTOMER VALUES(HotelGUID,HotelName,

District,Address,Area,OfficeTel,Website,

NumOfRooms,OpeningDate,Principal,MobileTel,Blurb,

TotalInvest,CreateTime,ModifyTime,PlateCode,IsUsedCode)

三、根据业务需求定义数据状态

定义数据状态编辑、生效、停用、启用、历史、可申请、不可申请、审核中、通过、作废、合并、冻结、解冻、业务异常、系统异常。

四、操作、管理数据，实现状态切换

根据数据管理员的需求，对数据进行操作、管理，以生效操作进行说明。

新增、批量导入或者从已有生产库读取的数据可以是编辑状态的数据，对其进行生效操作，核心SQL如下：

UPDATE M_CUSTOMER SETISUSDCODE＝'1'

WHERE M_HOTEL_SYSID＝'4028688166c8735b0166c8e1515a0003'AND M_HOTEL_ISUSDCODE＝'2'

按照以上步骤实施，根据业务需求对数据进行操作、管理，根据数据的流向，灵活的切换数据状态，达到对数据资产的灵活管理，提高数据的自身价值。

采用了本发明的大数据环境下基于多状态实现数据优化管理功能的系统及方法，由于在使用数据的过程中分析数据在使用的过程中可能出现的情况，定义尽可能完整的数据状态，从而在数据使用的过程中更加真实、更加准确；同时降低因数据状态不足、缺失等原因而造成的影响；另外可以在实际使用中适应更多的复杂场景，提高系统的可用性和用户体验度，创造更大的数据价值。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (6)

1.一种大数据环境下基于多状态实现数据优化管理功能的系统，其特征在于，所述的系统包括：

数据结构准备模块，用于增加符合发布库数据结构的模型信息，并在发布库中同步表信息以及字段配置、展现方式、数据模板和权限；

数据准备模块，与所述的数据结构准备模块相连接，用于在已有的数据模型模板下添加业务数据；

梳理定义数据状态模块，与所述的数据准备模块相连接，用于根据数据的走向定义满足、符合数据的状态；

数据管理模块，与所述的梳理定义数据状态模块相连接，用于对发布库中已存储的数据进行操作、管理，实现不同状态的切换，满足数据使用需求。

2.根据权利要求1所述的大数据环境下基于多状态实现数据优化管理功能的系统，其特征在于，所述的数据结构准备模块中同步的表包括模型表、模型版本表、模型字段表和模型字段版本表。

3.根据权利要求1所述的大数据环境下基于多状态实现数据优化管理功能的系统，其特征在于，所述的数据准备模块的添加方式包括直接切库、手动增加数据和批量导入。

4.根据权利要求1所述的大数据环境下基于多状态实现数据优化管理功能的系统，其特征在于，所述的梳理定义数据状态模块定义的状态包括编辑、生效、停用、启用、历史、可申请、不可申请、审核中、通过、作废、合并、冻结、解冻和异常。

5.根据权利要求4所述的大数据环境下基于多状态实现数据优化管理功能的系统，其特征在于，所述的系统异常状态包括业务异常状态和系统异常状态。

6.一种利用权利要求1所述的系统实现大数据环境下基于多状态的数据优化管理控制的方法，其特征在于，所述的方法包括以下步骤：

(1)所述的数据结构准备模块增加模型信息，并将表信息同步到发布库；

(2)所述的数据准备模块手动添加、批量导入，并读取生产库信息；

(2)所述的梳理定义数据状态模块根据业务需求定义数据状态；

(3)所述的数据管理模块操作管理发布库中的数据，实现不同状态中数据状态的切换。