CN113434487B

CN113434487B - 基于企业数据的数据资产统一管理系统

Info

Publication number: CN113434487B
Application number: CN202110979216.7A
Authority: CN
Inventors: 祖军; 赵岚; 阴向阳; 王权; 刘开丰
Original assignee: Beijing Nengke Ruiyuan Digital Technology Co ltd
Current assignee: Beijing Nengke Ruiyuan Digital Technology Co ltd
Priority date: 2021-08-25
Filing date: 2021-08-25
Publication date: 2022-09-02
Anticipated expiration: 2041-08-25
Also published as: CN113434487A

Abstract

本发明公开了基于企业数据的数据资产统一管理系统，涉及企业数据管理技术领域，解决了现有方案中企业数据在流通过程中重复建设，导致人力成本升高、形成数据孤岛的技术问题；包括数据建模模块、数据资源管理模块、数据编码模块、数据清洗模块、系统运行监控模块和集成管理模块；本发明能够保证在运行实施过程中，建立产品数据技术标准和管理标准，明确产品数据管理流程；本发明通过提供全链路一站式软件产品，实现企业数据的标准化、规范化管理，为企业数据资产化管理奠定基础，提供全方位数据服务，结合AEOS梳理，全面推进公司级产品数据管理工作，更能以业务目标为驱动，直接为前端业务输出数据服务，从而实现数据价值。

Description

基于企业数据的数据资产统一管理系统

技术领域

本发明属于企业数据管理领域，具体是基于企业数据的数据资产统一管理系统。

背景技术

数据作为一种新的生产要素，在企业构筑竞争优势的过程中起着重要作用，企业应将数据作为一种战略资产进行管理。数据从业务中产生，在IT系统中承载，因此对数据进行有效治理是一个非常复杂的系统工程。

公开号为CN104732311A的发明专利公开了一种基于统一数据模型的企业数据管理系统，包括动态建模模块，其用于为企业建立一套符合企业数据管理需求的统一数据模型；数据对象定义模块，其用于定义数据对象及其数据关系，从而形成数据对象集合；统一数据中心，其用于存储数据对象集合；和，数据展示和管理模块，其用于展示和管理所有的数据对象。

上述方案通过建立统一数据模型，辅助用户以统一和标准的格式定义所有的数据对象，通过数据关系建立起不同数据对象之间的联系，并通过统一数据中心实现所有数据对象的统一管理，通过版本管理机制实现过程数据对象的管理，有利于数据对象的追溯、诊断和更改；但是，上述方案的辅助功能为主，并不能自主对数据进行建模、编码、检测等，无法建立产品数据技术标准和管理标准，导致产品数据管理流程不明确；因此，出于对上述问题的考虑，亟需构筑一套企业级的数据综合治理体系。

发明内容

本发明提供了基于企业数据的数据资产统一管理系统，用于解决现有方案中企业数据在流通过程中重复建设，导致人力成本升高、形成数据孤岛的技术问题。

本发明的目的可以通过以下技术方案实现：基于企业数据的数据资产统一管理系统，包括：

数据建模模块，用于对数据模型进行统一定义、管理，支持结构化、非结构化数据建模；

数据资源管理模块，基于数据建模模块为数据设计的数据类型，流程驱动和自定义管理模式实现数据生命周期的管理；

数据编码模块，与数据资源管理模块配合实现配置化的编码规则定义、数据自动赋码及编码的流程化申请和审批；

数据清洗模块，结合标准数据规则对数据进行检查，对不符合标准数据规则的数据进行编辑；所述标准数据规则包括质量规则、编码规则和字段属性；

系统运行监控模块，用于对系统管理的数据模型和数据进行监控分析，并根据分析结果输出分析报表和可视化图形；

集成管理模块，提供通用本地接口供采集数据使用，通过ESB或第三方接口注册及配置数据集成规范、自动分发条件，实现数据的集成共享。

优选的，所述数据建模模块用于构建和配置数据模型；其中，所述数据模型包括逻辑模型、物理模型和维度模型；

所述逻辑模型和所述物理模型的配置均包括基本配置、表字段、关系和映射；

所述维度模型具有层级结构，包括地理维度和时间维度；所述维度模型的配置包括基本配置、物化配置、属性配置和映射配置。

优选的，所述数据编码模块支持主流编码方式，所述主流编码方式包括ASCII码编码、UTF-8编码和Unicode编码；所述数据编码模块将根据编码规则和码段生成码值，拼接形成编码。

优选的，所述数据资产统一管理系统在数据录入、数据导入和数据集成时，对数据资源进行数据检测；所述数据检测支持自定义质量校验规则和配置质量调度任务，同时支持输出数据质量报告和质量分析图表。

优选的，所述数据清洗模块在标准数据规则修改时，根据新的标准数据规则对现有数据进行适应性的清洗。

优选的，所述数据资产统一管理系统还具有数据查询检索模块和数据在线审批模块；所述数据查询检索模块用于对集中管理的数据资源按照分类进行检索和查看，支持非结构化数据的多维度分类定义和在线浏览；所述数据在线审批模块支持用户对数据进行在线审批，所述在线审批包括数据新增、数据修改和数据停用。

优选的，所述系统运行监控模块对数据模型进行分析，包括：

获取数据模型的标准校验数据；所述标准校验数据包括初始数据和目标数据；

按照设定周期将初始数据输入至数据模型获取输出结果；所述设定周期包括一小时、一天和一星期；

获取输出结果与目标数据的匹配度值，并生成匹配度序列；所述匹配度序列中包括若干个匹配度值；

获取匹配度序列中匹配度值的均方差，当均方差小于等于均方差阈值时，则判定数据模型合格；否则，判定数据模型异常，并进行预警；所述均方差阈值为大于0的实数。

优选的，所述系统运行监控模块对数据进行数据量、数据增量、集成交换的监控；其中，对所述数据增量的监控包括：

实时获取数据增量，并以获取时间为自变量，以数据增量为因变量获取因变量通过多项式拟合法获取增量拟合曲线；

获取拟合曲线任一获取时间对应的数据增量以及一阶导数；

当数据增量处于异常范围，且一阶导数大于导数阈值时，则判定数据增量异常，并进行预警；所述导数阈值的绝对值为大于0的实数。

优选的，所述数据增量异常包括数据增量大于增量最高阈值或者数据增量小于增量最低阈值；所述增量最高阈值和所述增量最低阈值均通过大量数据模拟获取。

与现有技术相比，本发明的有益效果是：

1、本发明包括数据建模、数据资源管理、数据编码管理、数据检测、数据清洗、数据系统运行监控和数据集成管理，能够保证在运行实施过程中，建立产品数据技术标准和管理标准，明确产品数据管理流程。

2、本发明通过提供数据采集、数据模型、数据计算、数据资产、数据服务等全链路一站式软件产品，实现企业数据的标准化、规范化管理，为企业数据资产化管理奠定基础，提供全方位数据服务。结合AEOS（运营管理系统）梳理，开展针对企业生产经营全过程数据的分析诊断，全面推进公司级产品数据管理工作，并在日常生产中实施应用，更能以业务目标为驱动，直接为前端业务输出数据服务，从而实现数据价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的系统框架示意图；

图2为本发明的编码规则与码段划分示意图；

图3为本发明的编码流程示意图；

图4为本发明的数据集成分发示意图；

图5为本发明的数据创建与变更的版本演变示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

这里使用的术语用于描述实施例，并不意图限制和/或限制本公开；应该注意的是，除非上下文另有明确指示，否则单数形式的“一”、“一个”和“该”也包括复数形式；而且，尽管属于“第一”、“第二”等可以在本文中用于描述各种元件，但是元件不受这些术语的限制，这些术语仅用于区分一个元素和另一个元素。

请参阅图1，基于企业数据的数据资产统一管理系统，包括数据建模模块、数据资源管理模块、数据编码模块、数据清洗模块、系统运行监控模块和集成管理模块。

本申请中的数据建模模块用于对数据模型进行统一定义、管理，支持结构化、非结构化数据建模；为开展数据管理奠定基础，通过该模块对数据进行分类、快速构建可视化的数据模型，为数据应用提供多样化的配置选项。

本申请中的数据资源管理模块，基于数据建模模块为数据设计的数据类型，以流程驱动和自定义管理模块实现数据生命周期的管理；能够实现流程驱动的数据创建与变动方式，实现结构化数据、非结构化数据的集中管理，支持企业数据管理、企业数据中心建设等数据管理类项目的落地。

本申请中的数据编码模块与数据资源管理模块配合实现配置化的编码规则定义、数据自动赋码及编码的流程化申请和审批。数据资源的管理离不开数据编码。多领域的数据资源管理与之相匹配的必须是一套与数据模型关联、具有自定义编码规则管理功能。编码规则的定义与数据模型紧密关联，包括分类码、特征码、流水码以数据的实际属性值为依据来生成编码值。数据编码模块支持包括ASCII码编码、UTF-8编码和Unicode编码的主流编码方式。

数据编码的基本原理是将编码分解为最细粒度的码段，按码段生成码值，并拼接为编码。典型的编码规则与码段划分如图2所示。

企业数据平台可以按照数据编码标准，划分编码码段、定义数据的自动编码规则，在编码库的支撑下通过编码引擎实现数据创建时的自动赋码，编码流程如图3所示。

数据编码功能不仅为系统中创建数据是提供编码服务，同时可以为其他业务系统提供编码服务，形成企业的编码中心，集中管理企业的数据编码，有序管理数据编码。

本申请在数据录入、数据导入和数据集成时，对数据资源进行数据集成转换和数据检测，支持根据实际需要自定义质量校验规则，配置质量调度任务，输出质量报告与分析图表，辅助数据维护人员控制并持续提升数据质量。本实施例具体在数据检测中需要对目标数据进行的检测包括异常值、极端值、重复数据等，所使用的检测方法包括概率统计模型、机器学习方法、业务经验/逻辑规则和异常值判定规则。

本实施例中的概率统计模型通过概率给出总体的分布来推断样本性质，统计则从样本出发来验证总体分布的假设；所以概率统计模型需要我们去验证模型假设的正确性，比如概率分布是否正确，参数的设置是否合理。机器学习方法无外乎监督、非监督以及半监督学习方法等，比如常见的聚类，二分，回归。异常值判定规则主要包括区间判定和二分判定。上述方案在数据检测应用中，可以择一使用，也可以根据业务场景/数据类型的不同选择不同的判定方法。

本申请中的数据清洗模块结合标准数据规则对数据进行检查，对不符合标准数据规则的数据进行编辑。本实施例中对数据进行的编辑包括大小写变换、赋值等操作，且当数据标准发生变化时，根据新的数据标准对已有数据进行清洗操作。本实施例中的标准数据规则包括质量规则、编码规则和字段属性。

本申请中的数据运行监控模块用于对系统管理的数据模型和数据进行监控分析，并根据分析结果输出分析报表和可视化图形。针对数据的监控主要在于数据总量、数据增量、集成交换、数据管理绩效等方面输入报表和可视化图形，能够掌握数据管理动态、整改薄弱环境、辅助数据管理体系良性运行；针对增量的监控包括：

实时获取数据增量，并以获取时间为自变量，以数据增量为因变量获取因变量通过多项式拟合法获取增量拟合曲线；获取拟合曲线任一获取时间对应的数据增量以及一阶导数；当数据增量处于异常范围，且一阶导数大于导数阈值时，则判定数据增量异常，并进行预警。本实施例中数据增量的异常是指数据增量大于增量最高阈值或者数据增量低于增量最低阈值。

本申请针对数据模型的监控包括：

获取数据模型的标准校验数据；本实施例中的标准校验数据包括初始数据和目标数据，初始数据和目标数据成映射关系，且数据模型则是完成这种映射关系转换的；

按照设定周期将初始数据输入至数据模型获取输出结果；获取输出结果与目标数据的匹配度值，并生成匹配度序列；获取匹配度序列中匹配度值的均方差，当均方差小于等于均方差阈值时，则判定数据模型合格；否则，判定数据模型异常，并进行预警。本实施例中的设定周期可以是一小时，也可以是一天，主要目的是定期通过标准校验数据来验证数据模型的映射关系，保证数据模型的实用性和准确度。

请参阅图4，本申请中的集成管理模块提供通用本地接口供采集数据使用，通过ESB或第三方接口注册及配置数据集成规范、自动分发条件，实现数据的集成共享。

数据是企业内部应用最广泛的数据，需要在企业各单位业务系统间共享，避免数据的重复录入，产生数据不一致。通过企业数据平台的建设，形成数据的存储中心、管理中心，共享交换中心，数据的来源有两种：

1）从本系统完成数据录入：以本系统作为数据资源创建、维护的入口，通过数据审核后，将标准的数据分发到各业务系统。

2）当某类数据有一套可靠的信息源系统，可以以该系统作为数据源头，数据创建、修改等发生任何数据的变化，都向数据系统同步数据，再由数据系统同步分发到各数据消费系统。

数据统一分发是解决数据不一致、一次录入多处使用的有效手段。各类信息系统对同一数据的需求属性、需求时机有差异，由系统统一调度分发，在恰当的时机向数据需求系统发送需要的数据。

本申请还将数据仓库分层级进行管理，不同数据和模型支撑业务不同，所处仓库层级也不同，对应的管理策略也有差异，层级和差异化的管理能够使得庞杂的数据体系边界清晰。

本申请还提供数据标准化的码表构建，称之为数据字典表，一般由中英文名称编码组成，由可枚举数据构成，存储枚举数据名称与编码的映射关系。

码表的作用主要有：1）在数据清洗中用于标准化业务数据以及补充映射字段；2）在质量监控中用于监控业务数据的值域范围；3）在维度建模中可以引申为枚举维度。此模块有支持三种码表的创建方式：1）新建；2）逆向数据库；3）导入。

本申请中的数据建模分为逻辑建模、物理建模和维度建模，此模块支持数据管理和分析人员，根据业务需要构建数据模型；在“关系建模”页面，如果当前未创建过关系模型，系统会弹出“新建分层治理模型”提示框。如果不是首次创建，单击按钮新建模型。

具体地：

1）逻辑建模

首先创建逻辑模型的基本信息，然后为创建的该逻辑模型进行配置，分为以下几步：

a)基本配置；b)表字段；c)关系；d)映射。

2）物理建模

首先创建物理模型的基本信息，然后为创建的该物理模型进行配置，分为以下几步：

e)基本配置；f)表字段；g)关系；h)映射。

3）维度建模

维度是用于观察和分析业务数据的视角，支撑对数据汇聚、钻取、切片分析，用于SQL中的GROUP BY条件。维度多数具有层级结构，如：地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年度、季度、月度等级别的内容)。创建维度，即从顶层规范业务中实体（或称主数据）的存在性及唯一性。

维度模型构建主要分为一下几步进行配置：

i)基本配置；j)物化配置；k)属性配置；l)映射配置。

模型管理模块主要是构建模型的分类管理和查看，可以从具体某个模型的去查看该模型的版本信息、血缘关系、用户权限、模型基本信息等。

本申请的另外一个核心要点是通过业务流程来驱动数据交互。数据的应用非常广泛，涉及企业的各个业务环节与职能部门，使用范围广、业务对数据资源的依赖性强。这类数据一旦变化，对其相关业务影响非常广泛，因此需要严格管理数据的维护过程，避免自发的、随意的、不规范的数据管理活动，保持数据在企业各应用系统间的一致性、唯一性、正确性。

对同一类数据，不同业务部门关注的属性不同，每个属性都可以找到数据管理的归口管理部门。数据资源的维护可以细分为多个角色视图，由不同的角色分别完成，由流程驱动数据在各角色中完成数据维护工作，最终形成完整的数据。

通过流程驱动数据在各角色之间分别完成数据维护，实现了数据属性的管理权责划分。

通过流程化数据维护完成的数据信息，是符合业务需要、符合标准化要求、符合信息化管理的数据，是企业的数据资源单一视图，企业权威的单一数据源。

请参阅图5，数据资源生命周期从数据创建申请开始，直到数据停用。整个过程存在多个状态，包括：

数据维护与审核状态：

编辑态：数据初始创建，尚未进入审批流程、未生效的数据。

审核中：送审后进入审批流程环节，尚未完成所有审批环节的数据。

审核不通过：审核过程中被驳回的数据。

数据有效性状态：

生效：所有审核环节均审核通过后，产生正式生效的数据。

停用：是标记数据失效的状态，过期不再使用的数据进行停用，新业务不再使用，只进行历史数据备查。

历史：当生效数据发生变更产生新版本数据，历史版本数据保留，状态被置为历史备查。

当数据变更时，产生数据版本追溯数据演变过程。数据管理的主要状态有编辑中、审核中、生效、历史。当创建一条新数据，初始状态为编辑中，提交审核后状态演变为审核中，审核通过即生效。当数据变更产生新版本，旧版本数据状态变迁为历史状态。

本发明的工作原理：

录入或者导入数据，并进行数据检测，对检测出的异常数据进行修正或者剔除；通过数据建模模块对数据进行统一定义、管理，达到对数据进行分类、快速构建可视化数据模型的目的。

数据资源管理模块基于数据建模模块为数据设计的数据类型，流程驱动和自定义管理模式实现数据生命周期的管理，同时，结合主流编码方式，实现配置化的编码规则定义、数据自动赋码以及编码的流程化申请与审批。

通过数据清洗模块对导入的数据进行质量规则、编码规则、字段属性检查，支持对不符合规则的数据进行编辑、大小写转换、赋值等操作；当支持的数据标准变动时，对已有数据的进行清洗操作。集成管理模块过ESB或第三方接口注册及配置数据集成规范、自动分发条件，针对不同业务场景实现数据的集成共享。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims

1.基于企业数据的数据资产统一管理系统，其特征在于，包括：

集成管理模块，提供通用本地接口供采集数据使用，通过ESB或第三方接口注册及配置数据集成规范、自动分发条件，实现数据的集成共享；

所述数据资产统一管理系统在数据录入、数据导入和数据集成时，对数据资源进行数据检测；所述数据检测支持自定义质量校验规则和配置质量调度任务，同时支持输出数据质量报告和质量分析图表；

所述数据清洗模块在标准数据规则修改时，根据新的标准数据规则对现有数据进行适应性的清洗；

所述数据资产统一管理系统还具有数据查询检索模块和数据在线审批模块；所述数据查询检索模块用于对集中管理的数据资源按照分类进行检索和查看，支持非结构化数据的多维度分类定义和在线浏览；所述数据在线审批模块支持用户对数据进行在线审批，所述在线审批包括数据新增、数据修改和数据停用；

所述系统运行监控模块对数据模型进行分析，包括：

获取匹配度序列中匹配度值的均方差，当均方差小于等于均方差阈值时，则判定数据模型合格；否则，判定数据模型异常，并进行预警；所述均方差阈值为大于0的实数；

所述系统运行监控模块对数据进行数据量、数据增量、集成交换的监控；其中，对所述数据增量的监控包括：

实时获取数据增量，并以获取时间为自变量，以数据增量为因变量，获取因变量通过多项式拟合法获取增量拟合曲线；

获取拟合曲线任一获取时间对应的数据增量以及一阶导数；

2.根据权利要求1所述的基于企业数据的数据资产统一管理系统，其特征在于，所述数据建模模块用于构建和配置数据模型；其中，所述数据模型包括逻辑模型、物理模型和维度模型；

3.根据权利要求1所述的基于企业数据的数据资产统一管理系统，其特征在于，所述数据编码模块支持主流编码方式，所述主流编码方式包括ASCII码编码、UTF-8编码和Unicode编码；所述数据编码模块将根据编码规则和码段生成码值，拼接形成编码。

4.根据权利要求1所述的基于企业数据的数据资产统一管理系统，其特征在于，所述数据增量异常包括数据增量大于增量最高阈值或者数据增量小于增量最低阈值；所述增量最高阈值和所述增量最低阈值均通过大量数据模拟获取。