CN112364011A - 一种线上数据模型管理装置、方法及其系统 - Google Patents

Abstract

本申请公开了一种线上数据模型管理装置、方法及其系统，该管理装置包括如下部件：接收装置，接收用户的请求；处理器，执行以下步骤：响应于用户的请求，将数据标准应用于数据模型；使用数据标准检测所述数据模型；对通过数据标准检测的数据模型使用自动生成的质量检测原则进行数据质量检测；对于符合质量检测原则的数据模型，建立所述数据模型与其他数据模型之间的层级关系；使用建立的层级关系寻找所述数据模型与其他数据模型间的数据关系。采用本申请提供的线上数据模型管理装置、方法及其系统能够实现数据模型在设计及维护过程中直接应用数据标准成果，不但减少了数据模型开发工作的工作量，同时也能更好地保证数据模型开发过程的数据标准一致性，从而最终提高了数据的质量。

Description

一种线上数据模型管理装置、方法及其系统

技术领域

本申请涉及计算机领域，尤其涉及一种线上数据模型管理装置、方法及其系统。

背景技术

在现有大部分的企业数据治理过程中，只是利用数据治理平台来收集企业相关的数据模型信息，好一些的数据治理平台实现了数据模型的展示。但是数据模型的维护基本上只在线下利用数据模型客户端（PC端）工具来实现。

进一步的，现有的数据治理平台在针对数据模型的标准化实现上一般也只做到通过数据治理平台进行标准化的评估，甚至只能通过人工进行判定。不能做到将数据治理的数据标准成果直接应用到数据模型的设计过程。这样影响了数据标准与数据模型之间的一致性应用的IT能力，不利于从数据生命周期阶段的设计阶段的标准化应用的实施及监控。

现行的数据模型设计工具有PowerDesigner、Erwin等。这些工具都是客户端的数据模型设计工具；应用了标准数据建模技术，运行在Microsoft Windows平台上，可实现数据模型的设计、修改、删除等常规功能以及将数据模型应用到数据库上。

现行的数据治理平台针对数据模型的管理上，有部分数据治理平台可实现应用数据治理平台的数据标准来评估收集到平台上的数据模型的数据标准应用情况，并出示数据模型的数据标准应用评估报告。

现行的数据治理平台一般通过文件导入（如excel文件、PowerDesigner模型文件、Erwin模型文件等）来采集数据模型数据，实现对数据模型的收集管理。也有个别的数据治理平台通过表格的方式来实现数据模型的录入。对数据模型一般采用表格的方式来展示，也有一些数据治理平台实现了图形展示。

现有采用线下的数据模型设计，由数据治理平台将数据模型设计结果进行数据收集。通过数据治理平台对数据模型的数据标准应用进行评估。这些的技术方案实现了对数据模型的管理，但是由于数据模型的线下设计，数据模型设计过程中，模型设计人员不能直接应用企业已建立的数据标准成果，只能由数据模型设计人员根据经验或者通过设计过程中间登录数据治理平台进行数据标准查询等方式来尽可能实现数据模型设计过程中的数据标准应用。通过数据治理平台的评估及线下的管理手段来解决数据模型设计的一致性等问题。

发明内容

基于此，本申请提供一种线上数据模型管理装置、方法及其系统，实现线上数据模型的设计、维护，并打通数据模型与数据标准、数据模型与数据质量检测等数据治理各模块中间的数据关系及相互应用能力。

本申请提供一种线上数据模型管理装置，其特征在于，包括如下部件：接收装置，接收用户的请求；处理器，执行以下步骤：

响应于用户的请求，将数据标准应用于数据模型；

使用数据标准检测所述数据模型；

对通过数据标准检测的数据模型使用自动生成的质量检测原则进行数据质量检测；

对于符合质量检测原则的数据模型，建立所述数据模型与其他数据模型之间的层级关系；

使用建立的层级关系寻找所述数据模型与其他数据模型间的数据关系。

优选的，用户的请求包括数据模型新建请求或数据模型维护请求。

优选的，将数据标准应用于数据模型包括如下子步骤：

提取数据模型中的实体对象；

对实体对象的名称进行数据标准分析；

对实体对象的数据项内容进行数据标准分析。

优选的，其中使用数据标准检测所述数据模型包括如下子步骤：

将数据模型中的实体对象的名称与数据标准中标准词素库进行匹配并分析相似性，获得实体名称的标准化评估结果；

将数据模型中的实体对象的数据项内容与数据标准中数据元的技术指标信息进行匹配并分析相似性，获得实体对象的数据项内容的标准化评估结果；

将上述两个标准化评估结果进行结合，获得数据模型的总评估结果。

优选的，中将数据模型中的实体对象的名称与数据标准中标准词素库进行匹配并分析相似性，获得实体名称的标准化评估结果包括如下子步骤：

将实体对象的名称向量化；

向量化后的实体对象的名称为：N={n₁,n₂,.....n_l}，其中n_i为名称的第i个特征；

将数据标准中标准词素库进行向量化；

向量化后的标准词素库为：

T_i={t_i1,t_i2,.....t_il}；其中T_i为标准词素库的第i个向量，t_ij为第i个向量的第j个特征；

计算实体对象和数据标准中标准词素库的相似性：

其中n_j为N中的第j个特征，t_ij为标准词素库中第i个向量的第j个特征，d_i为第i个相似度度量，其中i为大于1的整数，共r个；

获得实体名称的标准化评估结果：

其中S为评估结果，d_m为第m个相似度度量，

为预先给出的d_m的权值。

优选的，其中对通过数据标准检测的数据模型使用自动生成的质量检测原则进行数据质量检测，还包括预先生成质量检测原则，即根据数据标准的技术指标、数据元的技术指标和/或根据数据模型中实体对象的数据项内容的标准来定义的业务规则描述，自动生成质量检测原则。

本申请还包含一种线上数据模型管理方法，包括如下步骤：

响应于用户的请求，将数据标准应用于数据模型；

使用数据标准检测所述数据模型；

对通过数据标准检测的数据模型使用自动生成的质量检测原则进行数据质量检测；

对于符合质量检测原则的数据模型，建立所述数据模型与其他数据模型之间的层级关系；

使用建立的层级关系寻找所述数据模型与其他数据模型间的数据关系。

优选的，将数据标准应用于数据模型包括如下子步骤：

提取数据模型中的实体对象；

对实体对象的名称进行数据标准分析；

对实体对象的数据项内容进行数据标准分析。

优选的，其中使用数据标准检测所述数据模型包括如下子步骤：

将数据模型中的实体对象的名称与数据标准中标准词素库进行匹配并分析相似性，获得实体名称的标准化评估结果；

将数据模型中的实体对象的数据项内容与数据标准中数据元的技术指标信息进行匹配并分析相似性，获得实体对象的数据项内容的标准化评估结果；

将上述两个标准化评估结果进行结合，获得数据模型的总评估结果。

本申请还提供一种线上数据模型管理系统，其中包括如上所述的线上数据模型管理装置，还包括：客户端，向线上数据模型管理装置发送请求。

本申请实现的有益效果如下：采用本申请提供的线上数据模型管理装置和方法能够实现数据模型在设计及维护过程中直接应用数据标准成果，不但减少了数据模型开发工作的工作量，同时也能更好地保证数据模型开发过程的数据标准一致性，从而最终提高了数据的质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请的一种线上数据模型管理系统的结构图；

图2是本申请的一种线上数据模型管理装置的结构图；

图3是本申请的一种线上数据模型管理方法流程图；

图4是本申请的数据模型层级图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本申请实施例一提供一种线上数据模型管理系统100，包括线上数据模型管理装置110和客户端120，其中，如图2所示，线上数据模型管理装置110包括接收装置210和处理器220，其中客户端120向线上数据模型管理装置110发送请求，以便新建数据模型或维护原有的数据模型，线上数据模型管理装置120使用接收装置210接收用户的请求，使用处理器220执行如图3所示的线上数据模型管理方法。

如图3所示，本申请的线上数据模型管理方法包括如下步骤：

步骤310、响应于用户的请求，将数据标准应用于数据模型；

采用中文的自然语言处理技术，结合数据治理平台预先建立的数据标准，在数据模型的新建及维护过程中，分析数据模型中实体对象与数据标准定义的相似性。实现可以利用数据标准对数据实体对象的标准分析，同时可规范或实现强制数据模型设计标准化。

将数据标准应用于数据模型包括如下子步骤：

步骤3101、提取数据模型中的实体对象；

数据模型中包括多个实体对象，例如组成数据模型的方法对象，表对象等。

步骤3102、对实体对象的名称进行数据标准分析；

使用现有的中文自然语言处理技术，将实体对象的名称和数据标准进行比对分析，如果符合标准则继续执行下述步骤，如果不符合标准则给出推荐结果供用户选择，用户一旦选择了，则继续下述步骤；也可以在不符合标准时，自动给出符合标准的英文名称，并继续下述步骤。

步骤3103、对实体对象的数据项内容进行数据标准分析。

实体对象的数据项内容包括例如实体对象数据项的中文名称、英文名称、数据类型、数据长度、业务说明等基本信息，均可进行数据标准分析。

使用现有的中文自然语言处理技术，将实体对象的数据项内容和数据标准进行比对分析，如果符合标准则继续执行下述步骤，如果不符合标准则给出推荐结果供用户选择，用户一旦选择了，则继续下述步骤；也可以在不符合标准时，自动给出符合标准的相应内容，并继续下述步骤。

步骤320、使用数据标准检测所述数据模型；包括如下子步骤：

步骤3201、将数据模型中的实体对象的名称与数据标准中标准词素库进行匹配并分析相似性，获得实体名称的标准化评估结果；

可以使用现有的中文自然语言处理技术，实现评估，优选的，使用以下步骤实现标准化评估：

步骤32011、将实体对象的名称向量化；

向量化后的实体对象的名称为：N={n₁,n₂,.....n_l}，其中n_i为名称的第i个特征。

步骤32012、将数据标准中标准词素库进行向量化；

向量化后的标准词素库为：

T_i={t_i1,t_i2,.....t_il}；其中T_i为标准词素库的第i个向量，t_ij为第i个向量的第j个特征。

步骤32013、计算实体对象和数据标准中标准词素库的相似性。

其中n_j为N中的第j个特征，t_ij为标准词素库中第i个向量的第j个特征，d_i为第i个相似度度量，其中i为大于1的整数，共r个。

步骤32014、获得实体名称的标准化评估结果；

其中S为评估结果，d_m为第m个相似度度量，

为预先给出的d_m的权值。

将S于预先设定的阈值进行比较，给出评估结果。例如大于阈值为不合格，小于阈值为合格等等。

步骤3202、将数据模型中的实体对象的数据项内容与数据标准中数据元的技术指标信息进行匹配并分析相似性，获得实体对象的数据项内容的标准化评估结果；

可以使用现有的中文自然语言处理技术，实现评估，优选的使用上述步骤32011-步骤32014获得实体对象的数据项内容的标准化评估结果，具体如下：

步骤32021、将实体对象的数据项内容向量化；

向量化后的实体对象的数据项内容为：B={b₁,b₂,.....b_l}，其中b_i为数据项内容的第i个特征。

步骤32022、将数据标准中数据元的技术指标信息进行向量化；

向量化后的数据元的技术指标信息为：

Q_i={q_i1,q_i2,.....q_ip}；其中Q_i为数据元的技术指标信息的第i个向量，q_ij为第i个向量的第j个特征。

步骤32023、计算实体对象的数据项内容和数据元的技术指标信息的相似性。

其中b_j为B中的第j个特征，q_ij为数据元的技术指标信息中第i个向量的第j个特征，a_i为第i个相似度度量，其中i为大于1的整数，共c个。

步骤32024、获得实体名称的标准化评估结果；

获得实体名称的标准化评估结果

其中E为评估结果，a_m为第m个相似度度量，

为预先给出的a_m的权值。

将E于预先设定的阈值进行比较，给出评估结果。例如大于阈值为不合格，小于阈值为合格等等。

步骤3203、将上述两个标准化评估结果进行结合，获得数据模型的总评估结果。

其中

和

为预先给出的S和E的权值，将A于预先设定的阈值进行比较，给出总评估结果。例如大于阈值为不合格，小于阈值为合格等等。

步骤330、对通过数据标准检测的数据模型使用自动生成的质量检测原则进行数据质量检测；

在执行步骤330之前，还包括预先生成质量检测原则的步骤：

根据数据标准的技术指标、数据元的技术指标和/或根据数据模型中实体对象的数据项内容的标准来定义的业务规则描述，自动生成质量检测原则；

将生成的质量检测原则与数据模型中实体对象的数据项进行关联进行数据质量检测。

步骤340、对于符合质量检测原则的数据模型，建立所述数据模型与其他数据模型之间的层级关系；

如图4所示，数据模型按层次可分为主题模型、概念模型、逻辑模型、物理模型；以上至下，下一层数据模型是上一层的分解，父级模型为子级模型的数据或业务抽象。下一层模型的设计可通过引用父级模型复制初步生成模型框架，并建立数据关系。其中的主题模型、概念模型、逻辑模型时面向业务设计的数据模型，用于定义关键数据的生产者和消费者的需求，反应业务的整体功能；物理模型是逻辑模型在业务信息系统的实际应用。

各层级数据模型的关系也可以通过数据模型Web端的数据模型维护页面进行关系建立及维护。服务端设计相应的数据表将模型间的关系信息进行记录。

步骤350、使用建立的层级关系寻找所述数据模型与其他数据模型间的数据关系。

通过数据模型各层次之间已建立的层级关系及相对应信息项之间的数据关系，从新建或维护的数据模型的实体或信息项出发，展示此数据模型实体或信息项的父级数据关系，从而寻找所述数据模型与其他数据模型间的数据关系。

以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特殊进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种线上数据模型管理装置，其特征在于，包括如下部件：

接收装置，接收用户的请求；

处理器，执行以下步骤：

响应于用户的请求，将数据标准应用于数据模型；

使用数据标准检测所述数据模型；

对通过数据标准检测的数据模型使用自动生成的质量检测原则进行数据质量检测；

对于符合质量检测原则的数据模型，建立所述数据模型与其他数据模型之间的层级关系；

使用建立的层级关系寻找所述数据模型与其他数据模型间的数据关系。

2.如权利要求1所述的线上数据模型管理装置，其中，用户的请求包括数据模型新建请求或数据模型维护请求。

3.如权利要求1所述的线上数据模型管理装置，其中，将数据标准应用于数据模型包括如下子步骤：

提取数据模型中的实体对象；

对实体对象的名称进行数据标准分析；

对实体对象的数据项内容进行数据标准分析。

4.如权利要求1所述的线上数据模型管理装置，其中使用数据标准检测所述数据模型包括如下子步骤：

将数据模型中的实体对象的名称与数据标准中标准词素库进行匹配并分析相似性，获得实体名称的标准化评估结果；

将数据模型中的实体对象的数据项内容与数据标准中数据元的技术指标信息进行匹配并分析相似性，获得实体对象的数据项内容的标准化评估结果；

将上述两个标准化评估结果进行结合，获得数据模型的总评估结果。

5.如权利要求4所述的线上数据模型管理装置，其中将数据模型中的实体对象的名称与数据标准中标准词素库进行匹配并分析相似性，获得实体名称的标准化评估结果包括如下子步骤：

将实体对象的名称向量化；

向量化后的实体对象的名称为：N={n₁,n₂,.....n_l}，其中n_i为名称的第i个特征；

将数据标准中标准词素库进行向量化；

向量化后的标准词素库为：

T_i={t_i1,t_i2,.....t_il}；其中T_i为标准词素库的第i个向量，t_ij为第i个向量的第j个特征；

计算实体对象和数据标准中标准词素库的相似性：

其中n_j为N中的第j个特征，t_ij为标准词素库中第i个向量的第j个特征，d_i为第i个相似度度量，其中i为大于1的整数，共r个；

获得实体名称的标准化评估结果：

其中S为评估结果，d_m为第m个相似度度量，

为预先给出的d_m的权值。

6.如权利要求1所述的线上数据模型管理装置，其中对通过数据标准检测的数据模型使用自动生成的质量检测原则进行数据质量检测，还包括预先生成质量检测原则，即根据数据标准的技术指标、数据元的技术指标和/或根据数据模型中实体对象的数据项内容的标准来定义的业务规则描述，自动生成质量检测原则。

7.一种线上数据模型管理方法，其特征在于，包括如下步骤：

响应于用户的请求，将数据标准应用于数据模型；

使用数据标准检测所述数据模型；

对通过数据标准检测的数据模型使用自动生成的质量检测原则进行数据质量检测；

对于符合质量检测原则的数据模型，建立所述数据模型与其他数据模型之间的层级关系；

使用建立的层级关系寻找所述数据模型与其他数据模型间的数据关系。

8.如权利要求7所述的线上数据模型管理方法，将数据标准应用于数据模型包括如下子步骤：

提取数据模型中的实体对象；

对实体对象的名称进行数据标准分析；

对实体对象的数据项内容进行数据标准分析。

9.如权利要求7所述的线上数据模型管理方法，其中使用数据标准检测所述数据模型包括如下子步骤：

将数据模型中的实体对象的名称与数据标准中标准词素库进行匹配并分析相似性，获得实体名称的标准化评估结果；

将数据模型中的实体对象的数据项内容与数据标准中数据元的技术指标信息进行匹配并分析相似性，获得实体对象的数据项内容的标准化评估结果；

将上述两个标准化评估结果进行结合，获得数据模型的总评估结果。

10.一种线上数据模型管理系统，其中包括如权利要求1-6之一所述的线上数据模型管理装置，还包括：

客户端，向线上数据模型管理装置发送请求。

Images