CN111680029A

CN111680029A - 基于数据标准系统落标的优化管理方法

Info

Publication number: CN111680029A
Application number: CN202010536836.9A
Authority: CN
Inventors: 王博
Original assignee: Primeton Information Technology Co ltd
Current assignee: Primeton Information Technology Co ltd
Priority date: 2020-06-12
Filing date: 2020-06-12
Publication date: 2020-09-18
Anticipated expiration: 2040-06-12
Also published as: CN111680029B

Abstract

本发明涉及一种基于数据标准系统落标的优化管理方法，包括规范标准设计模块，用于通过模型和规范两方面设计规范标准建立数据标准定义框架；词根库建立模块用于将已定义的数据标准通过词根规范进行拆分，形成数据标准词根库；落标执行确认模块，用于建立数据标准业务标准和数据库技术含义之间的对应关系，建立词根库与数据标准映射关系。采用了本发明的基于数据标准系统落标的优化管理方法，可以动态的对于标准进行智能感知，将数据标准信息的技术属性要素与实际的数据库表和字段相对应，形成业务与技术的自动关联，自动完成业务与技术的对接。此发明减少在对数据标准进行落标操作时的人工梳理工作，降低难度，提升数据处理效率。

Description

基于数据标准系统落标的优化管理方法

技术领域

本发明涉及数据标准管理领域，尤其涉及数据标准词根规则维护领域，具体是指一种基于数据标准系统落标的优化管理方法。

背景技术

数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束，建立数据标准内容易，落标难。数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，这就造成了同一个语义的数据，会有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此数据处理的前奏就是数据标准化，数据标准化作为一个统一的数据共识，在企业的标准化中起到重要作用。其中，词根库管理是数据标准落标的重要组成部分，数据标准落地以标准名称、代码取值、长度、格式类型等属性要素为主，通过统一规范的词根库管理，要求并细化信息系统表明字段名遵循标准执行，在一定程度上影响着数据标准落地的完整性。

目前，针对数据标准管理中，对于数据标准的落标方案并没有统一的管理规范，大部分的企业通过“咨询+落地”的方式开展数据标准化工作。通过建设数据标准管理平台，以线上系统方式而不是纸质方式管理维护数据标准。另一种方式是通过在制定完数据标准后，与源系统进行全面的差异性分析并建立完整的映射关系。针对现有方式的落标，主要的执行步骤如下：

1、在建立企业数据标准时，加入信息项英文名称，和实际数据库表中的字段相对应；

2、在做模型设计的时候，建立标准直接与模型设计工具集成，设计模型时可以直接使用标准；

3、对已有系统，标准能够通过英文名称直接和应用系统的相关字段对应，自动发现不符合标准的字段，并通过元数据直接通知给相应的系统。

现有的数据标准管理中，针对在建立企业数据标准时，加入信息项英文名称和实际数据库表中的字段相对应的步骤，此步骤不可避免的会导致对于信息项的英文名称并没有一个统一的规范管理，导致技术与业务之间的对应还需要大量的人工梳理才能完成，对于数据标准管理来说，技术能弄懂业务的前提是技术与业务之间要有对应，这种对应不能靠大量的人工梳理完成，否则业务部门负担很重，积极性不高。需要能够通过技术手段，利用数据治理工具提供商的行业实践积累，并且统一规范的词根库管理，形成业务与技术的自动关联库，自动完成业务与技术对应，将能大大减少业务人员的工作量，同时提升技术与业务关联的准确度，消除业务与技术之间的鸿沟。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足操作简便、数据处理效率高、适用范围较为广泛的基于数据标准系统落标的优化管理方法。

为了实现上述目的，本发明的基于数据标准系统落标的优化管理方法如下：

该基于数据标准系统落标的优化管理方法，其主要特点是，所述的系统包括：

规范标准设计模块，用于通过模型和规范两方面设计规范标准，建立数据标准定义框架；

词根库建立模块，与所述的规范标准设计模块相连接，用于根据数据标准设计和定义工作，将已定义的数据标准通过词根规范进行拆分，形成数据标准词根库；

落标执行确认模块，与所述的词根库建立模块相连接，用于通过词根库组合方式生成数据标准的名称，并建立数据标准业务标准和数据库技术含义之间的对应关系，建立词根库与数据标准映射关系。

较佳地，所述的规范标准设计模块的数据标准包含业务属性、技术属性和管理属性。

较佳地，所述的词根库建立模块的词根规范包括基础类数据标准落标命名规范和分析类数据标准落标命名规范，所述的分析类数据标准落标命名规范结合分析类数据标准和词根管理规范，将分析类数据标准进行结构化处理。

较佳地，所述的落标执行确认模块在新增数据标准的过程中与以词根为基础的中文名称、英文名称相关联，建立词根库与数据标准映射关系。

较佳地，所述的业务属性包含中文名称、英文名称、英文简称、业务定义、业务板块、业务规则、值域、标准来源、标准依据、依据版本、敏感度、相关数据、与相关数据关系。

较佳地，所述的技术属性包含数据类型、数据格式和引用的标准代码。

较佳地，所述的管理属性包含数据定义者、数据管理者、数据使用者、颁布日期、废止日期、业务应用领域、标准落地系统。

采用了本发明的基于数据标准系统落标的优化管理方法，由于词根库的规范的制定和管理，在进行数据标准落标操作时，使用自然语言分析技术，可以动态的对于标准进行智能感知，将数据标准信息的技术属性要素与实际的数据库表和字段相对应，形成业务与技术的自动关联，自动完成业务与技术的对接。此发明可以明确数据的业务含义，使得不同业务部门之间，以及业务与技术之间沟通通畅，避免歧义；减少在对数据标准进行落标操作时的人工梳理工作，减少大量的转换、清洗工作，降低难度，提升数据处理效率。

附图说明

图1为本发明的基于数据标准系统落标的优化管理方法的运行示意图。

图2为本发明的基于数据标准系统落标的优化管理方法的数据标准定义框架示意图。

图3为本发明的基于数据标准系统落标的优化管理方法的普通指标命名规范示意图。

图4为本发明的基于数据标准系统落标的优化管理方法的日期类型指标命名规范示意图。

图5为本发明的基于数据标准系统落标的优化管理方法的聚合类型指标示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

本发明的该基于数据标准系统落标的优化管理方法，其中包括：

作为本发明的优选实施方式，所述的规范标准设计模块的数据标准包含业务属性、技术属性和管理属性。

作为本发明的优选实施方式，所述的词根库建立模块的词根规范包括基础类数据标准落标命名规范和分析类数据标准落标命名规范，所述的分析类数据标准落标命名规范结合分析类数据标准和词根管理规范，将分析类数据标准进行结构化处理。

作为本发明的优选实施方式，所述的落标执行确认模块在新增数据标准的过程中与以词根为基础的中文名称、英文名称相关联，建立词根库与数据标准映射关系。

作为本发明的优选实施方式，所述的业务属性包含中文名称、英文名称、英文简称、业务定义、业务板块、业务规则、值域、标准来源、标准依据、依据版本、敏感度、相关数据、与相关数据关系。

作为本发明的优选实施方式，所述的技术属性包含数据类型、数据格式和引用的标准代码。

作为本发明的优选实施方式，所述的管理属性包含数据定义者、数据管理者、数据使用者、颁布日期、废止日期、业务应用领域、标准落地系统。

本发明的具体实施方式中，本发明通过统一规范词根库的管理，统一命名规范，通过技术手段规范业务术语和技术术语的映射关系，从非结构化的文档中，将大部分业务语义抽取出来，通过词根库进行统一管理，建立规范，使用自然语言分析技术来实现，通过对同一业务的描述，分析出业务定义，识别出业务语义，并利用专属行业的实践积累，形成业务与技术的自动关联，自动完成业务与技术的对应，完成数据标准的落标目的，这将大大的减少业务人员的工作量，通过提升技术与业务关联的准确度，消除业务与技术之间的鸿沟。

本发明主要针对词根库管理模块，具体包括词根的维护功能，包括词根的新增、修改、查询和删除，支持通过excel导入的方式进行数据录入，支持批量导出功能，支持在新增数据标准的时候可以对词根进行动态关联。

词根库管理模块是根据行业内存量的词根库或者是依据对企业内数据标准相关内容的调研，包括现有定义、使用习惯、数据分布、数据流向、业务规则、服务部门等形成的调研报告，在方法论的指导下，形成以数据标准的业务数据、技术属性、管理属性信息定义为基准的词根分类，维护一套词根库内容来满足当前的数据标准体系。

本发明涉及数据标准落标完整的流程如图1所示。

数据标准是组织内指定并发布的对经营管理相关数据从业务、技术和管理角度的定义解释，包含数据质量、数据安全、数据认责、数据应用等方面要求在内的一种规范性文件。为了解决数据标准落标中出现的问题，从模型和规范两个方面进行建设，并且设计统一归口。模型是建设数据标准的基石，规范是数据标准落标的准则。我们需要按照详细的、可落地的方法进行规范建设。

数据标准的分类，从业务角度上分为基础类数据标准和分析类数据标准。根据数据类型可分为代码标准、编码标准、计值标准、日期标准、描述标准等；根据标准来源的不同可分为国家标准、监管标准、行业标准、行内标准等。从技术角度上，将数据标准分为业务术语标准、参考标准和主数据标准、指标数据标准等。

数据标准的属性要素一般都包含业务属性、技术属性和管理属性。

1、业务属性描述数据与企业业务相关联的特性。业务属性包括中文名称、英文名称、英文简称、业务定义、业务板块、业务规则、值域、标准来源、标准依据、依据版本、敏感度、相关数据、与相关数据关系等。

2、技术属性描述数据与信息技术实现相关联的特性，是数据在信息系统项目实现时统一的技术方面定义。技术属性包括数据类型、数据格式和引用的标准代码。

3、管理属性描述数据标准与数据管理相关联的特性，是数据管控在数据标准管理领域的统一要求。管理属性包括数据定义者、数据管理者、数据使用者、颁布日期、废止日期、业务应用领域、标准落地系统等，如图2所示。

为此统一数据标准落标的规范，本发明从如下方面详细描述数据标准落标建立的词根库的技术标准和规范内容。

说明中所涉及到的SQL语法均按照oracle语法进行操作，代码均按照java语法。

词根是数据标准落标的基础，划分为普通词根和专有词根，提高词根的易用性和关联性。

(1)普通词根：描述事物的最小单元体，如交易-trade。

(2)专有词根：具备约定成俗或行业专属的描述体，如美元-USD。

基础类数据标准落标命名规范如下：

(1)通用规范

a)表名、字段名采用一个下划线分隔词根(示例：clienttype→client_type)；

b)每部分使用小写英文单词，属于通用字段的必须满足通用字段信息的定义；

c)表名、字段名需以字母为开头；

d)表名、字段名最长不超过64个英文字符；

e)有限使用词根中已有关键字，定期Review新增命名的合理性；

f)在表明自定义部分禁止采用非标准的缩写；

(2)命名规则

名称＝类型+业务主体+子主题+含义+存储格式+更新频率+结尾，如下表所示：

(3)分析类数据标准落标命名规范

结合分析类数据标准和词根管理规范，将分析类数据标准(指标)进行结构化处理

1)基础指标词根，即所有指标必须包含以下基础词根：

2)业务修饰词，用于描述业务场景的词汇，例如trade-交易。

3)日期修饰词，用于修饰业务发生的时间区间。

日期类型	全称	词根	备注
				日	daily	d
周	weekly	w
				……	……	……	……

4)聚合修饰词，对结果进行聚集操作。

5)基础指标，单一的业务修饰词+基础指标词根构建基础指标，例如：交易金额 -trade-amt。

6)派生指标，多修饰词+基础指标词根构建派生指标。派生指标继承基础指标的特性，例如：安装门店数量-install_poi_cnt。

7)普通指标命名规范，与字段命名规范一直，由词汇转换即可，如图3所示。

8)日期类型指标命名规范，命名时要遵循：业务修饰词+基础指标词根+日期修饰词/ 聚合修饰词。将日期后缀加到名称后面，如图4所示。

9)聚合类型指标，命名时要遵循：业务修饰词+基础指标词根+聚合类型+日期修饰词。将累计标记加到名称后面，如图5所示。

数据标准落标如下：建立数据标准相关的要素包括，数据标准的中文名称、英文名称、引用代码、业务含义、业务规则、值域、数据类型、数据格式、敏感度、数据定义者、数据管理者、数据使用者等。通过词根库组合方式生成数据标准的中文名称，英文名称，以此建立数据标准业务标准和数据库技术含义之间的对应关系。在新增数据标准时，可以和以词根为基础的中文名称、英文名称相关联，建立词根库与数据标准映射关系，达到数据标准的落标目的。此过程中涉及到的代码和脚本如下：

建立映射关系：

public void addRelations(Object obj){addRelationMethod(obj)；}

INSERT INTO TABLE_NAME(COLUMN1,COLUMN2,...)VALUES(VALUE1,VALUE2,....)；

修改映射关系：

public void updateRelations(Object obj){updateRelationMethod(obj)；}

UPDATE TABLE_NAME SET COLUMN1＝VALUE1 WHERE COLUMN2＝VALUE2；

解除映射关系：

public void removeRelations(Object obj){removeRelationMethod(obj)；}

DELETE FROM TABLE_NAME WHERE COLUMN1＝VALUE1

本部分的具体实施例以所在某航空行业通过使用词根库管理和规范建立来说明。

在某航空行业数据实施案例中，通过前期数据标准规划阶段，确定了航班、飞机、客户、员工等几个主题为关键主题；在方法论指导下，完成数据标准设计和定义工作，包括数据业务属性、技术属性，并设计出定义与分类、信息项、标准码等；根据已定义的数据标准建立词根库，并且建立词根规范；接下来执行数据标准映射和落地执行操作，根据已建立的词根库，数据标准可以动态感知相应的落地信息，包括表字段等信息，形成完整的数据标准落地方案。

在得到航班主题的基础类数据标准后，根据本发明的方法，主要实施步骤如下所示：

1)规范标准设计：在方法论的指导下，完成数据标准设计和定义工作，包括数据业务属性、技术属性、其他标准信息定义；

2)建立词根库：根据调研反馈得到的数据标准信息，依据中文名称给出英文全称，通过建立规范的中文到英文，英文全称到英文简称的词根库；

3)落标执行确认：对于新增系统，可以通过直接与模型设计工具集成，在设计模型时可以直接引用标准；对于已有系统，在落地阶段通过英文名称直接和应用系统的相关字段对应和匹配，在执行阶段借助专业工具实现标准落地检查与审核。

一、规范标准设计

在某航空行业实施案例中，通过业务调研，识别出航班主题的基础类数据标准，在调研阶段，通过制定调查问卷、安排现场访谈、收集文档资料等手段，针对各个业务系统以及应用系统进行调研，了解跟标准相关的内容，包括现有定义、使用习惯、数据分布、数据流向、业务规则、服务部门等，形成调研报告，分析问题，并讨论解决方案。在方法论指导下，完成数据标准设计和定义工作，包括数据业务描述定义(业务属性)、类型长度定义(技术属性)、其他标准信息定义。设计出定义与分类、信息项、标准码等文档，并通过各部门的评审验证。最终达成一致，形成企业级标准，如下表所示：

二、建立词根库

依据调研完成的数据标准设计和定义工作，通过设计出定义与分类、信息项、标准码等文档，形成的企业级数据标准，把已定义的数据标准通过词根规范进行拆分，形成数据标准词根库。

三、落标执行确认

建立数据标准相关的要素包括，数据标准的中文名称、英文名称、引用代码、业务含义、业务规则、值域、数据类型、数据格式、敏感度、数据定义者、数据管理者、数据使用者等。

通过词根库组合方式生成数据标准的中文名称，英文名称，以此建立数据标准业务标准和数据库技术含义之间的对应关系。

在新增数据标准时，可以和以词根为基础的中文名称、英文名称相关联，建立词根库与数据标准映射关系，达到数据标准的落标目的。

标准落地一般通过两种方式，新系统建设，直接参考数据标准的建设规范；旧系统通过标准映射，实现数据关系转换。数据标准落标结构如下表所示：

此过程中涉及到的代码和脚本如下：

建立映射关系：

public void addRelations(Object obj){addRelationMethod(obj)；}

INSERT INTO T_MM_STDRelation (stdId,stdCode,stdEnName,stdChName,rootTabEnName,rootTabChName,rootColEnNa me,rootChName)VALUES ('ds2raccgr6u5c9bc8idgd1855yt76656','T080935','carousel_number','行李转盘编号','CEAIR','飞行航班表','FLAG','靠桥标志')；

修改映射关系：

public void updateRelations(Object obj){updateRelationMethod(obj)；}

UPDATE T_MM_STDRelation SET stdCode＝'T080935'WHERE stdId＝'ds2raccgr6u5c9bc8idgd1855yt76656'；

解除映射关系：

public void removeRelations(Object obj){removeRelationMethod(obj)；}

DELETE FROM T_MM_STDRelation WHERE stdCode＝'T080935'；

按照以上步骤实施，从非结构化的文档中，将大部分业务语义抽取出来，并统一管理，通过自然语言分析技术来实现，企业可以通过综合多个材料中对同一业务的描述，分析出最新与最广泛认可的业务定义，由业务人员确认之后，识别出业务语义，这样大大减少了业务人员的工作量，提升了业务人员梳理业务语义的积极性。标准中有了技术和业务信息，还需要有效的关联才能发挥效用。对于企业数据管理来说，技术能弄懂业务的前提是技术与业务之间要有对应，这种对应不能靠大量的人工梳理完成，否则业务部门负担很重，积极性不高。需要能够通过技术手段，利用数据治理工具提供商的行业实践积累，形成业务与技术的自动关联库，自动完成业务与技术对应，将能大大减少业务人员的工作量，同时提升技术与业务关联的准确度，消除业务与技术之间的鸿沟，提高数据的自身价值。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims

1.一种基于数据标准系统落标的优化管理方法，其特征在于，所述的方法包括以下步骤：

2.根据权利要求1所述的基于数据标准系统落标的优化管理方法，其特征在于，所述的规范标准设计模块的数据标准包含业务属性、技术属性和管理属性。

3.根据权利要求1所述的基于数据标准系统落标的优化管理方法，其特征在于，所述的词根库建立模块的词根规范包括基础类数据标准落标命名规范和分析类数据标准落标命名规范，所述的分析类数据标准落标命名规范结合分析类数据标准和词根管理规范，将分析类数据标准进行结构化处理。

4.根据权利要求1所述的基于数据标准系统落标的优化管理方法，其特征在于，所述的落标执行确认模块在新增数据标准的过程中与以词根为基础的中文名称、英文名称相关联，建立词根库与数据标准映射关系。

5.根据权利要求1所述的基于数据标准系统落标的优化管理方法，其特征在于，所述的业务属性包含中文名称、英文名称、英文简称、业务定义、业务板块、业务规则、值域、标准来源、标准依据、依据版本、敏感度、相关数据、与相关数据关系。

6.根据权利要求1所述的基于数据标准系统落标的优化管理方法，其特征在于，所述的技术属性包含数据类型、数据格式和引用的标准代码。

7.根据权利要求1所述的基于数据标准系统落标的优化管理方法，其特征在于，所述的管理属性包含数据定义者、数据管理者、数据使用者、颁布日期、废止日期、业务应用领域、标准落地系统。