CN109933591A - 大数据环境下基于多方式结合实现数据编码优化管理的系统及方法 - Google Patents

Abstract

本发明涉及一种大数据环境下基于多方式结合实现数据编码优化管理的系统，包括资产编码定义模块，用于根据管理对象进行编码定义，维护基础标准体系来满足当前场景需求；编码管理模块，用于根据实际需求对已有的编码规范进行操作管理，绑定数据模型字段；编码组合模块；数据校验模块；数据输出模块，用于将经过处理的业务数据进行整理输出。本发明还涉及一种实现大数据环境下基于多方式结合的数据编码优化管理的方法。采用了该系统和方法，本发明通过设计多种编码方式结合的编码管理方式来解决目前数据资产管理当中遇到的复杂的数据管理需求，达到灵活、高效和充分使用数据的目的，提高数据资产管理系统的管理效率和数据价值。

Description

大数据环境下基于多方式结合实现数据编码优化管理的系统 及方法

技术领域

本发明涉及数据资产管理领域，尤其涉及资产编码优化管理领域，具体是指一种大数据环境下基于多方式结合实现数据编码优化管理的系统及方法。

背景技术

互联网的快速发展使数据呈爆炸式增长，电信、政府、金融、房产等领域产生大量的数据。在数据领域，像hive、hbase等这些炙手可热的组件或者是一些高级算法都是在数据有效治理和使用的基础上才能发挥作用。

数据资产管理是将数据规划整理后提供出去的一种管理方式，包括整个数据的流程和走向，通过有效的管理实现数据价值。其中，数据编码是数据资产管理的一个重要组成部分，数据编码方法的好坏直接影响数据提取、可否满足业务场景、能否准确使用数据等方面，一定程度影响着数据资产管理的效率。

目前，针对数据资产管理中，现有技术的数据的编码方法是根据实际数据描述对象的特点，将其分类并且对其进行数字编码来进行管理，具体的步骤如下：

1)根据管理对象进行梳理、分类、定义规则、设置对应编码；

2)根据步骤1)中的定义规则判断描述信息是否正确，如果不正确则提示错误信息，直到完全正确后进入步骤3)，如果正确，则直接进入步骤3)；

3)结合步骤1)和步骤2)反馈的结果，提取符合条件的数据信息；

4)根据3)中的数据结果，与系统信息进行比对；

5)根据4)中比对结果，将数据整理输出。

根据以上步骤创建出的编码、描述和数据之间的关系是有效的，适合处理一些简单的需求，但是对于特殊的编码定义、多种方式的编码管理不能满足，在使用上也会有诸多不便。

现有的数据资产管理中，编码管理是通过标准编码的分发和控制，规范和统一编码标准，实现系统数据同步管理，并进行对应和匹配，为系统数据集成提供基础标准编码支撑。形成适应企业信息技术应用特色的基础编码标准体系，为实现数字化提供基础平台支撑。目前的这种编码方式能够满足普通、单一的数据资产编码管理，如果需要面对复杂、多方式的数据资产编码管理需求，比如说是特征、流水、时间、日期及多种编码方式相组合的场景等该编码管理方式是无法满足需求的，针对该问题，通过设计特征码、流水码、时间码、日期码及多种编码相结合多方式的编码管理方式，来维护一套基础标准体系来满足目前的场景需求，达到灵活管理，高效、充分使用数据的目的。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足灵活性、高效性、管理效率高的大数据环境下基于多方式结合实现数据编码优化管理的系统及方法。

为了实现上述目的，本发明的大数据环境下基于多方式结合实现数据编码优化管理的系统及方法如下：

该大数据环境下基于多方式结合实现数据编码优化管理的系统，其主要特点是，所述的系统包括：

资产编码定义模块，用于根据管理对象进行编码定义，维护基础标准体系来满足当前场景需求；

编码管理模块，与所述的资产编码定义模块相连接，用于根据实际需求对已有的编码规范进行操作管理，绑定数据模型字段；

编码组合模块，与所述的编码管理模块相连接，用于将不同编码根据需求进行相互组合管理；

数据校验模块，与所述的编码组合模块相连接，用于对已绑定的模型下的业务字段和已定义的标准体系规则进行校验；

数据输出模块，与所述的数据校验模块相连接，用于将经过处理的业务数据进行整理输出。

较佳地，所述的资产编码定义模块进行编码定义的操作包括数据梳理、分类、定义规则、设置对应编码以及编码对应的业务含义。

较佳地，所述的资产编码定义模块通过树形结构进行编码管理。

较佳地，所述的资产编码定义模块的编码方式包括固定码、特征码、流水码、日期码、引用码和日期流水码。

较佳地，所述的编码方式均包括码段编码、码段名称、码段类型、码段前缀和码段后缀。

较佳地，所述的编码组合模块对单编码管理进行编码管理。

该基于上述系统实现大数据环境下基于多方式结合的数据编码优化管理的方法，其主要特点是，所述的方法包括以下步骤：

(1)所述的资产编码定义模块对资产编码进行分类，并定义编码种类和含义；

(2)所述的编码管理模块已有的编码规范进行操作管理，并绑定数据模型字段；

(3)所述的编码组合模块将不同编码根据需求进行相互组合管理；

(4)所述的数据校验模块校验编码规则下业务字段的数据；

(5)所述的数据输出模块将经过处理的业务数据进行整理输出。

较佳地，所述的步骤(4)具体包括以下步骤：

(4.1)所述的数据校验模块对当前数据进行校验；

(4.2)所述的数据校验模块对绑定的编码字段进行校验，判断校验是否通过，如果是，则校验下一条数据，继续步骤(4.1)，直至所有数据校验完成；否则，继续步骤(4.3)；

(4.3)所述的数据校验模块输出状态为业务异常，并进行人工校正，校验下一条数据，继续步骤(4.1)，直至所有数据校验完成。

采用了本发明的大数据环境下基于多方式结合实现数据编码优化管理的系统及方法，本发明通过设计特征码、流水码、日期码、时间码等及多种编码方式结合的编码管理方式来解决目前数据资产管理当中遇到的复杂、多方式的数据管理需求，达到灵活、高效和充分使用数据的目的，提高数据资产管理系统的管理效率和数据价值。

附图说明

图1为本发明的大数据环境下基于多方式结合实现数据编码优化管理的系统的结构图。

图2为本发明的实现大数据环境下基于多方式结合的数据编码优化管理的方法的流程图。

图3为本发明的实现大数据环境下基于多方式结合的数据编码优化管理的方法的数据校验模块的流程图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的该大数据环境下基于多方式结合实现数据编码优化管理的系统，其中包括：

资产编码定义模块，用于根据管理对象进行编码定义，维护基础标准体系来满足当前场景需求；

编码管理模块，与所述的资产编码定义模块相连接，用于根据实际需求对已有的编码规范进行操作管理，绑定数据模型字段；

编码组合模块，与所述的编码管理模块相连接，用于将不同编码根据需求进行相互组合管理；

数据校验模块，与所述的编码组合模块相连接，用于对已绑定的模型下的业务字段和已定义的标准体系规则进行校验；

数据输出模块，与所述的数据校验模块相连接，用于将经过处理的业务数据进行整理输出。

作为本发明的优选实施方式，所述的资产编码定义模块进行编码定义的操作包括数据梳理、分类、定义规则、设置对应编码以及编码对应的业务含义。

作为本发明的优选实施方式，所述的资产编码定义模块通过树形结构进行编码管理。

作为本发明的优选实施方式，所述的资产编码定义模块的编码方式包括固定码、特征码、流水码、日期码、引用码和日期流水码。

作为本发明的优选实施方式，所述的编码方式均包括码段编码、码段名称、码段类型、码段前缀和码段后缀。

作为本发明的优选实施方式，所述的编码组合模块对单编码管理进行编码管理。

本发明的该基于上述系统实现大数据环境下基于多方式结合的数据编码优化管理的方法，其中包括以下步骤：

(1)所述的资产编码定义模块对资产编码进行分类，并定义编码种类和含义；

(2)所述的编码管理模块已有的编码规范进行操作管理，并绑定数据模型字段；

(3)所述的编码组合模块将不同编码根据需求进行相互组合管理；

(4)所述的数据校验模块校验编码规则下业务字段的数据；

(4.1)所述的数据校验模块对当前数据进行校验；

(4.2)所述的数据校验模块对绑定的编码字段进行校验，判断校验是否通过，如果

是，则校验下一条数据，继续步骤(4.1)，直至所有数据校验完成；否则，继续步骤(4.3)；

(4.3)所述的数据校验模块输出状态为业务异常，并进行人工校正，校验下一条数

据，继续步骤(4.1)，直至所有数据校验完成；

(5)所述的数据输出模块将经过处理的业务数据进行整理输出。

本发明的具体实施方式中，本发明涉及一种大数据环境下基于多方式结合的数据编码优化管理方法。目前在数据资产管理中，经常会有使用数据编码的业务场景，可以方便提取数据，但是在使用数据编码的过程中，简单、不完善的数据编码在提取数据、业务场景覆盖和准确描述等方面影响了数据的使用，本发明通过分析项目中数据编码的实际使用场景，根据场景需要，设计出多种方式相结合的数据编码管理方法来满足实际项目需求，达到方便数据提取、满足多种业务场景和描述准确等目的，提高数据资产管理效率和数据价值。

本发明通过设计特征码、流水码、日期码、时间码等及多种编码方式结合的编码管理方式来解决目前数据资产管理当中遇到的复杂、多方式的数据管理需求，达到灵活、高效和充分使用数据的目的，提高数据资产管理系统的管理效率和数据价值。

本发明分为数据资产编码定义模块、编码管理模块、编码组合模块、数据校验模块和数据输出模块。

编码定义模块是根据管理对象进行数据梳理、分类、定义规则、设置对应编码以及编码对应的业务含义，维护一套基础标准体系来满足当前场景需求；编码管理模块是根据实际需要需求，对已有的编码规范进行增加、编辑、删除等操作管理，并对需要绑定的数据模型字段进行绑定，实现数据模型行下对应字段的编码管理需求；编码组合模块是在单编码管理的基础上进行增加的，将不同编码根据需求进行相互组合管理，来实现多方式的的编码管理方式；数据校验模块是对已经绑定的模型下的业务字段进行校验根据已定义好的标准体系规则进行校验；数据输出模块是将经过以上模块处理的业务数据进行整理输出，达到经过编码管理的效果。

本发明构成如图1所示，下面将详细描述数据资产编码定义模块、编码管理模块、编码组合模块、数据校验模块和数据输出模块。说明中所涉及到的SQL语法均按照oracle语法进行操作，代码均按照java语法。

一、编码定义模块

编码定义模块根据管理对象进行数据梳理、分类、定义规则、设置对应编码以及编码对应的业务含义。本发明中的编码管理采用树形结构梳理管理，编码方式包括：固定码、特征码、流水码、日期码、引用码、日期流水码，每个编码方式下包括码段编码、码段名称、码段类型、码段前缀、码段后缀，具体信息如下：

固定码定义信息：码段编码、码段名称、码段类型、固定码值、码段前缀、码段后缀、码段描述；

特征码定义信息：码段编码、码段名称、码段类型、是否定长、码段长度、填充值、码段前缀、码段后缀、码段描述、码段关联属性、应用对象、引用属性；

流水码定义信息：码段编码、码段名称、码段类型、码段关联属性、码段长度、步长起始值、码段前缀、码段后缀、码段描述；

日期码定义信息：码段编码、码段名称、码段类型、码段关联属性、日期格式、是否当前时间、码段前缀、码段后缀、码段描述；

引用码定义信息：码段编码、码段名称、码段类型、引用自身属性、码段关联属性、引用对象、引用属性、码段前缀、码段后缀、码段描述；

日期流水码定义信息：码段编码、码段名称、码段类型、码段关联属性、流水长度、步长、起始值、日期格式、码段前缀、码段后缀、码段描述。

二、编码管理模块

编码管理模块是根据实际需要需求，对已有的编码规范进行增加、编辑、删除等操作管理，并对需要绑定的数据模型字段进行绑定。在数据分类下，选择需要进行编码绑定的数据模型，在码段类型下选择相应的编码方式，可根据实际需求选择模块一中的编码方式进行绑定，增加、编辑和删除相应的编码方式，此过程中涉及到的代码和脚本如下：

增加过程：

public void add(Object entity){addMethod(entity)；}

INSERT INTO表名称(列1，列2，...)VALUES(值1，值2，....)；

修改过程：

public void update(Object entity){updateMethod(entity)；}

UPDATE表名称SET列名称＝新值WHERE列名称＝某值；

删除过程：

public void delete(Object entity){deleteMethod(entity)；}

DELETE FROM表名称WHERE列名称＝值

三、编码组合模块

编码组合模块是在单编码管理的基础上进行增加的，将不同编码根据需求进行相互组合管理，来实现多方式的的编码管理方式。

四、数据校验模块

数据校验模块是对已经绑定的模型下的业务字段进行校验根据已定义好的标准体系规则进行校验；

五、数据输出模块

数据输出模块是将经过以上模块处理的业务数据进行整理输出，达到经过编码管理的效果。

本发明的实现大数据环境下基于多方式结合的数据编码优化管理的方法的实施例如下，本部分以所在地产行业通过使用编码管理的方法来说明本发明的实现例子。

在某地产数据实施案例中，通过业务调研，识别出客户数据信息，如下表所示：

在得到客户数据表后，根据本发明的方法，主要实施步骤如图2所示.

说明中所涉及到的SQL语法均按照oracle语法进行操作，代码均按照java语法。

一、编码定义

根据项目要求梳理出的编码方式包括：固定码、特征码、流水码、日期码、引用码、日期流水码，每个编码方式下包括码段编码、码段名称、码段类型、码段前缀、码段后缀，项目实施的具体信息如下：

新增固定码定义信息：

新增特征码定义信息：

新增流水码定义信息：

新增日期码定义信息：

新增日期流水码定义信息：

二、编码管理

定义模型、模型版本及对应的模型版本下的业务字段，将编码方式绑定具体的业务字段上，并且添加到编码管理中。

编码管理模块是根据实际需要需求，对已有的编码规范进行增加、编辑、删除等操作管理，并对需要绑定的数据模型字段进行绑定。在数据分类下，选择需要进行编码绑定的数据模型，在码段类型下选择相应的编码方式，可根据实际需求选择模块一中的编码方式进行绑定，增加、编辑和删除相应的编码方式，此过程中涉及到的代码和脚本如下：

增加过程：

public void addGDM(Object entity){addMethodGDM(entity)；}

public void addTZM(Object entity){addMethodTZM(entity)；}

public void addLSM(Object entity){addMethodLSM(entity)；}

public void addRQM(Object entity){addMethodRQM(entity)；}

public void addRQLSM(Object entity){addMethodRQLSM(entity)；}

INSERT INTO META_BLOCK(ID，MODELID，CODE，NAME，TYPE，REMARK，BLOCKVAL，LENGTH，BLOCKFID，SVAL，STEP，FILLVAL，ISCURDATE，DATETYPE，REFMID，REFFID，REFTYPE，PFIX，SFIX，ISFIXLENGTH，ISCUROBJ)VALUES('8a4facc060c5c9bc0161d18c80d10001'，'8a4facc06034850d0160368bbb310085'，'RGDM'，'人员固定码'，'gd'，'固定码码段码段描述'，'R'，null，null，null，null，null，null，null，null，null，null，null，null，null，null)；

修改过程：

public void updateTZM(Obj ect entity){updateTZMMethod(entity)；}

UPDATE META_BLOCK SET列名称＝新值WHERE ID＝'8a4facc060c5c9bc0161d18c80d10001'AND MODELID＝'8a4facc06034850d0160368bbb310085”；

删除过程：

public void deleteTZM(Obj ect entity){deleteTZMMethod(entity)；}

DELETE FROM META_BLOCK WHERE ID＝'8a4facc060c5c9bc0161d18c80d10001'AND MODELID＝'8a4facc06034850d0160368bbb310085”；

三、编码组合模块

编码组合模块是在单编码管理的基础上进行增加的，将不同编码根据需求进行相互组合管理，来实现多方式的的编码管理方式。以以上列出的编码方式为例进行说明：

无	固定码	特征码	日期码	流水码
					固定码	GDM-GDM	GDM-TZM	GDM-RQM	GDM-LSM
特征码	TZM-GDM	TZM-TZM	TZM-RQM	TZM-LSM
					日期码	RAM-GDM	RQM-TZM	RQM-RQM	RQM-LSM
流水码	LSM-GDM	LSM-TZM	LSM-RQM	LSM-LSM

根据项目需求，可以选择表中不同的编码方式，也可根据需求对单一的编码方式进行改进、组合新的编码方式用于符合实际场景当中。

四、数据校验模块

数据校验模块是对已经绑定的模型下的业务字段进行校验根据已定义好的标准体系规则进行校验，根据编码定义中的编码信息对数据字段进行校验。

五、数据输出模块

将通过校验的数据输出到页面，绑定字段的数据如下：

CstType绑定固定码，CreateTime绑定日期码，ECode绑定日期流水码，如下：

字段	值1	值2	值3
				CstType	C_HY_CODE	C_HY_CODE	C_HY_CODE
CreateTime	20180102	20190112	20190902
				ECode	1【2018】	2【2019】	3【2019】

按照以上步骤实施，根据业务需求不断的进行改进修订编码方式，增加合理、高效的编码方式，绑定需要的业务字段，实现对数据资产的灵活管理，提高数据的自身价值。

采用了本发明的大数据环境下基于多方式结合实现数据编码优化管理的系统及方法，本发明通过设计特征码、流水码、日期码、时间码等及多种编码方式结合的编码管理方式来解决目前数据资产管理当中遇到的复杂、多方式的数据管理需求，达到灵活、高效和充分使用数据的目的，提高数据资产管理系统的管理效率和数据价值。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (8)

1.一种大数据环境下基于多方式结合实现数据编码优化管理的系统，其特征在于，所述的系统包括：

资产编码定义模块，用于根据管理对象进行编码定义，维护基础标准体系来满足当前场景需求；

编码管理模块，与所述的资产编码定义模块相连接，用于根据实际需求对已有的编码规范进行操作管理，绑定数据模型字段；

编码组合模块，与所述的编码管理模块相连接，用于将不同编码根据需求进行相互组合管理；

数据校验模块，与所述的编码组合模块相连接，用于对已绑定的模型下的业务字段和已定义的标准体系规则进行校验；

数据输出模块，与所述的数据校验模块相连接，用于将经过处理的业务数据进行整理输出。

2.根据权利要求1所述的大数据环境下基于多方式结合实现数据编码优化管理的系统，其特征在于，所述的资产编码定义模块进行编码定义的操作包括数据梳理、分类、定义规则、设置对应编码以及编码对应的业务含义。

3.根据权利要求1所述的大数据环境下基于多方式结合实现数据编码优化管理的系统，其特征在于，所述的资产编码定义模块通过树形结构进行编码管理。

4.根据权利要求1所述的大数据环境下基于多方式结合实现数据编码优化管理的系统，其特征在于，所述的资产编码定义模块的编码方式包括固定码、特征码、流水码、日期码、引用码和日期流水码。

5.根据权利要求4所述的大数据环境下基于多方式结合实现数据编码优化管理的系统，其特征在于，所述的编码方式均包括码段编码、码段名称、码段类型、码段前缀和码段后缀。

6.根据权利要求1所述的大数据环境下基于多方式结合实现数据编码优化管理的系统，其特征在于，所述的编码组合模块对单编码管理进行编码管理。

7.一种利用权利要求1所述的系统实现大数据环境下基于多方式结合的数据编码优化管理的方法，其特征在于，所述的方法包括以下步骤：

(1)所述的资产编码定义模块对资产编码进行分类，并定义编码种类和含义；

(2)所述的编码管理模块已有的编码规范进行操作管理，并绑定数据模型字段；

(3)所述的编码组合模块将不同编码根据需求进行相互组合管理；

(4)所述的数据校验模块校验编码规则下业务字段的数据；

(5)所述的数据输出模块将经过处理的业务数据进行整理输出。

8.根据权利要求7所述的实现大数据环境下基于多方式结合的数据编码优化管理的方法，其特征在于，所述的步骤(4)具体包括以下步骤：

(4.1)所述的数据校验模块对当前数据进行校验；

(4.2)所述的数据校验模块对绑定的编码字段进行校验，判断校验是否通过，如果是，则校验下一条数据，继续步骤(4.1)，直至所有数据校验完成；否则，继续步骤(4.3)；

(4.3)所述的数据校验模块输出状态为业务异常，并进行人工校正，校验下一条数据，继续步骤(4.1)，直至所有数据校验完成。