CN114911773A - 一种通用元模型设计方法 - Google Patents

一种通用元模型设计方法 Download PDF

Info

Publication number
CN114911773A
CN114911773A CN202210548743.7A CN202210548743A CN114911773A CN 114911773 A CN114911773 A CN 114911773A CN 202210548743 A CN202210548743 A CN 202210548743A CN 114911773 A CN114911773 A CN 114911773A
Authority
CN
China
Prior art keywords
data
meta
management
model
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210548743.7A
Other languages
English (en)
Other versions
CN114911773B (zh
Inventor
赵定喜
姚滔
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nianhua Data Technology Co Ltd
Original Assignee
Nianhua Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nianhua Data Technology Co Ltd filed Critical Nianhua Data Technology Co Ltd
Priority to CN202210548743.7A priority Critical patent/CN114911773B/zh
Publication of CN114911773A publication Critical patent/CN114911773A/zh
Application granted granted Critical
Publication of CN114911773B publication Critical patent/CN114911773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2291User-Defined Types; Storage management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明涉及数据开发治理领域,公开了一种通用元模型设计方法,包括数据生产步骤,所述数据生产步骤包括依次进行的数据汇聚步骤、数据加工步骤以及数据输出步骤;所述数据加工步骤,用来将数据汇聚步骤得到的企业数据,按照预设模型框架将企业数据分配到预设模型框架中,建立从顶层到底层的元模型结构;所述数据输出步骤,用来将数据加工步骤中未分配的企业数据自动形成自定义模块后推送确认,并将确认后的自定义模块添加至元模型结构中形成当前企业管理模型。本申请采用从顶层到底层的设计方式,由用户结合自身需求自行编辑设计,并在数据输入过程中进行管控和治理,保障数据一致性和准确性,提升数据治理效果,实现构建通用的元模型结构。

Description

一种通用元模型设计方法
技术领域
本发明涉及数据开发治理领域,具体涉及一种通用元模型设计方法。
背景技术
企业需要发展,那么就需要从上至下,从内到外的对企业各个环节信息掌握并进行管理,特别是在进入快速发展的信息化时代,针对每个环节涌入的信息越多,对应需要管理的信息也会逐渐增加;而现目前用于企业信息管理的软件或平台非常多,且分支很细,针对企业每个环节就需要用一个管理平台来管理,例如技术和业务,就是公司内两个完全不同的领域,相交涉的部分其实很少,但又是企业非常重要的两个部分,针对每一个部分的管理,对于企业管理者来说,需要在多个管理平台间不停切换,甚至在使用的管理平台之间还存在内容重复或功能多余的现象,增加管理复杂度且造成资源浪费,无法做到统一平台管理,若将两者叠加管理,对单独每个部分来说其余版块又是多余浪费的。
并且现在市面上使用的管理平台大都是已经设计好的管理模块,用户只能选择用或不用,不能针对用户自身的需求制定适用性强的管理平台,即使有部分管理平台能够在线编辑,但都是在提供的现有选择下进行添加或减少,无法真正做到根据用户的实际需求灵活设计,同时,因为每个公司的职能划分以及业务机构等差别较大,导致这种设计方式只能适用于单个或某部分具有共性的企业,无法有一个完全通用的管理模型来满足所有的企业管理需求。
同时,因为现在使用的系统都是每个单独存在的,每个系统中已经有了实际运用的数据,但是为了能够统一公司内的所有管理信息,以现在惯性设计思维,一般都是采用对现有的各个系统架构以及信息内容进行整合,因为现有数据的存在,不可能另外从上往下设计,只能是以成本最少地从实际数据出发,从底层逐渐完善统一后再形成综合系统的顶层结构,再针对综合系统进行解析和登记,即都是采用事后治理的方式对系统进行管控,再针对出现的问题进行整改,这种设计开发方式一方面会造成治理视角看到的数据失真,另一方面也会存在数据处理延时,将治理变成了事后稽核,导致管理效果不好且造成资源的浪费。
因此,针对以上问题,现在需要提供一种通用元模型设计方法。
发明内容
本发明意在提供一种通用元模型设计方法,采用从顶层到底层的设计方式,构建一种适用于所有企业管理的元模型结构。
为达到上述目的,本发明采用如下技术方案:
本发明用于构建一种从顶层到底层的通用元模型结构,具体为一种通用元模型设计方法,包括数据生产步骤,所述数据生产步骤包括依次进行的数据汇聚步骤、数据加工步骤以及数据输出步骤;所述数据汇聚步骤用于将从多个平台采集来的数据进行汇聚并初始化处理;所述数据加工步骤,用来将初始化处理后的数据按照预设模型框架进行分配,建立从顶层到底层的元模型结构;所述数据输出步骤,用来将数据加工步骤中未分配的企业数据自动形成自定义模块后推送确认,并将确认后的自定义模块添加至元模型结构中形成当前企业管理模型。
本方案的原理及优点是:
实际应用时,通过将从多个平台采集来的数据进行汇聚,通过数据汇聚处理确保初始数据的一致性;再将汇聚处理后的数据送入数据加工步骤,经过加工后的数据根据设定形成元模型结构,构建出元模型框架和初始元数据;在数据加工中将数据按预设的模型框架分类处理,确保语义一致性和语段的精确识别,提升业务语言和技术语言的融合度。对未进行分配的数据将自动形成自定义模块,结合企业数据进行推送确认,以达到精准识别和有效推送,完成对通用元模型结构的自定义编辑。此设计方法采用在数据处理的每个步骤中对数据进行实时治理,做到事中管控,避免数据失真,提升数据处理的精确度;在通用的元数据模型的基础上,用户可结合实际需求对元模型结构增加、删除和修改,形成一套适用于企业自身的管理模型,实现从顶层到底层的设计应用平台。
优选的,作为一种改进,所述数据加工步骤包括依次进行的数据清洗步骤、数据标准化设置以及数据融合步骤;所述数据清洗步骤用于将采集到的数据进行清洗去错误;所述数据标准化设置包括模型标准化和数据标准化,所述数据标准化设置用于将企业数据处理后形成元模型框架和初始元数据,构成元模型结构;所述数据融合步骤用于将标准化设置后的数据按照类别进行融合汇总。首先将汇聚的数据清理去除冗长和错误的数据,保证数据的一致性和有效性,再采用设置的标准将汇聚处理后的数据进行精准分类处理,并将后续自定义输入的数据按照设置的标准管控处理后输出自定义元模型,再基于业务需求将标准化的数据进行跨平台融合后输出至应用层;保障把控数据质量和有效性,使构成的元模型结构便于管理和追踪。
优选的,作为一种改进,所述数据汇集步骤采用分布式调度引擎方式采集调度实时数据和非实时数据。本申请根据设计参数自动化构建数据调度流程,可实现跨平台的数据调度,实现实时动态数据和库存数据的调度结合,保障系统描述与数据加工时的一致性。
优选的,作为一种改进,还包括数据管理步骤,用于对输入的元数据进行实时管理;所述数据管理步骤包括元模管理步骤以及导入导出步骤。通过对元模型、元数据的自定义编辑可实现信息管理模型的灵活应用,提升适用性;结合对输入的元数据实时管理,做到事中实时监控治理,进一步保障数据质量;同时可根据使用需求或信息重要程度对自定义的内容进行备份保存导入导出操作,便于信息管理。
优选的,作为一种改进,所述元模型设计开发步骤采用自定义编辑方式用于对形成的元模型结构进行编辑并根据内容进行自动布局和自动编译,形成企业管理模型。用户可根据自身需求对企业管理模型中的元模型结构进行增加、删除或修改,平台根据用户修改的内容自行判定后进行布局,使用更便捷,数据管理效果最大化;同时在保存时进行自动编译,形成开发治理的可视化组件,便于数据开发人员可视化配置填充元数据信息,便于后续的管理追踪调用。
优选的,作为一种改进,所述元数据设计开发步骤采用自定义函数,用于对企业管理模型中的元数据进行要素管理。用户可根据实际使用情况,在添加或修改的元模型结构中对元数据进行要素定义,针对技术要素、业务要素、管控要素等重要要素进行管理,实现快速查找、新增、修改、权限控制等功能。
优选的,作为一种改进,所述元数据管理步骤用于将所有与数据有关的内容统一管理形成元数据管理单元,并采用前向元数据获取方式对元数据管理单元中的数据进行抓取和判断。将所有与数据有关的内容在对应的数据对象内部完成,确保数据对象之间只有数据加工过程的上下游关系,实现系统复杂度的线性化,局部问题局部影响,任一环节出现问题时可以及时发现及时处理,保证系统灵活、快速、高质量的完成作业;同时,采用强制性前向获取机制,杜绝元数据的后期补录和解析,保证输入的每个领域的元数据与技术实现达到一致性。
优选的,作为一种改进,所述导入导出步骤用于对数据源信息、元模型结构、元数据、调度的数据进行实时备份和导入导出操作。本平台可实现批量导入导出操作,可结合实际需求选择操作,并可将操作进度展示出来。
优选的,作为一种改进,所述模型标准化包括命名标准化和稽核标准化;所述数据标准化包括将数据分层分级管理和定义字段标准。所述数据分层分级管理包括安全分层分级、敏感级别分布和敏感数据分析。通过对元模型结构进行命名和稽核标准化制定,限定用户通过自定义方式输入无效或错误的元模型,可实时进行监控整改,同时也便于系统的管理和整合,利于元模型结构的搜索和调用;对元数据进行分层分级管理和定义字段标准,可有效把控用户自定义输入时内容的安全等级和敏感度判定,从而快速有效的对信息进行分类区分,或进行权限控制,保证信息数据的安全性;当需要对某个元数据进行搜索或归纳时,可根据定义的字段标准精准快速的查找和调用。
附图说明
图1为本发明实施例的结构示意图。
具体实施方式
下面通过具体实施方式进一步详细说明:
实施例基本如附图1所示:
一种通用元模型设计方法,用于进行数据建管一体化,为一种通用元模型构建方法,通过进行模型设计、业务开发、作业调度和数据标准化、数据管理、运维管理,保障需求与实现的一致性;通过在数据汇聚阶段进行初步数据筛选,然后在经过筛选后的数据中进行数据加工,形成标准化构建管理,确保数据生产与数据管理的一致性,使平台的血缘和调度完全一致,以保证元数据准确度100%。具体设计方法包括数据生产步骤,所述数据生产步骤包括依次进行的数据汇聚步骤、数据加工步骤以及数据输出步骤;所述数据汇聚步骤,采用高并发分布式方式采集源端各个业务系统中已有的和实时产生的企业数据;所述数据加工步骤,用来将经过数据汇聚步骤后得到的企业数据,按照预设的数据对象属性将企业数据进行分配,建立从顶层到底层的元模型结构;所述数据输出步骤,用来将数据加工步骤中未分配的企业数据自动形成自定义模块后推送确认,并将确认后的自定义模块添加至元模型结构中形成当前企业管理模型,并保证数据加工过程的可视化,保证数据质量的准确性。构建一个通用的元模型结构,用户可根据自身需求进行自定义编辑,形成适合的企业管理模型,提升元模型结构的灵活性。
具体的,所述数据加工步骤包括依次进行的数据清洗步骤、数据标准化设置以及数据融合步骤;所述数据清洗步骤是用于将经过数据汇聚步骤后得到的企业数据中的冗余数据、错误数据进行清除,保证进入大数据平台的数据去冗余、去错误,并对加工过程中的冗余数据、错误数据进行问题追溯,确保第一层数据准确性;所述数据标准化设置包括模型标准化和数据标准化,用于对清洗后的数据进行标准化,确保语义唯一,使企业数据经过处理后形成元模型框架和初始元数据,构成元模型结构;所述数据融合步骤用于基于业务需求将标准化后形成的元模型结构进行跨系统数据融合,生成应用数据用于共享和开放。
具体的,所述数据汇集步骤采用分布式调度引擎方式采集调度实时数据和非实时数据,通过数据缓冲将数据装载到大数据平台。分布式调度引擎可实现跨平台统一调度,具体支持RDBMS、MPP、Hadoop、Spark、Storm等多种主流数据平台系统,由主控服务器同时控制多个计算节点高效运行,采用分布式的部署,针对调度可以进行有先后顺序的调度流程进行互相通信。对运行中的调度还提供启动、挂起、激活、中断等运行管理功能,当数据出现问题时,系统将快速反应并重跑数据调度,提供灵活的配置功能,方便对系统的生产调度信息进行管理和重做,可设置自动构建调度关系和手动构建调度关系。在调度作业过程中还会将调度名称、调度时间、调度状态信息、队列信息等作业信息的执行情况进行反馈,形成可视化调度视图,支持用户对调度关系进行可视化查看,从数据的源端到中间加工过程、至数据应用进行全流程可视化查看,能够清晰的分析指标数据的来龙去脉,确保数据一致性。根据不同场景的应用需求,用户可自主选择进行实时调度、定时调度、周期调度等方式启动数据调度。
同时数据汇集将采集实时数据和非实时数据,根据用户需求在与需求有关的所有数据中进行采集,保证数据的完整性和有效性。
具体的,还包括数据管理步骤,根据数据指标重要程度通过事中监控和事后跟踪两种方式嵌入开发,同时辅以预警通道和数据质量分析功能,建立生产过程中数据质量监控、预警、分析、优化的闭环管理。所述数据管理步骤包括元模型设计开发步骤、元数据设计开发步骤、元数据管理步骤以及导入导出步骤。元模型设计开发步骤和元数据设计开发步骤能够确保设计与开发的强一致性,经元模型设计开发步骤形成的元模型结构将自动转换为元数据开发设计的固定模板,以保证开发与设计的高度一致;同时提供可视化的数据开发功能,降低开发门槛。同时在数据管理中还设计有血缘管理,血缘管理即对元数据血缘图进行配置,血缘图和调度图是一致的,因此配置血缘图的过程就是配置调度视图的过程,血缘图一般包括手工构建血缘、自动构建血缘、血缘一致性管理、血缘分析管理四个方面;通过血缘管理可以在数据开发治理平台完成元数据之间的关系管理,有助于识别数据资产关系和元数据图谱,保证血缘图和调度的一致性,解决数据管理、数据生产的运行加工路径不一致的问题;同时可根据血缘图或调度图回溯进行问题的排查。
具体的,所述元模型设计开发步骤采用自定义编辑方式用于对形成的元模型结构进行编辑并根据内容进行自动布局和自动编译,形成企业管理模型。用户可根据设计的可视化元模型要素信息进行自由选择添加或删除元模型结构,并支持元模型结构间的连线、撤销、重做的功能,系统按照设定的标准化将对编辑的元模型结构根据要素信息进行自动布局,并在保存时进行自动编译,转换为机器可读形式便于对输入的信息进行管控,及时提示错误和原因,并对关键字进行高亮显示,便于断点调试。
具体的,设计好的元模型结构会在平台自动转换为元数据开发的固定模板,所述元数据设计开发步骤采用自定义函数,用于在固定模板中对元数据进行要素管理。元数据设计开发步骤提供用户自定义目录、权限控制等功能,并针对元数据提供查询、新增、修改、删除等功能。所述要素管理主要是针对技术要素、表实体、业务要素、管控要素等进行管理,所述表实体包括如字段中文、字段英文、字段长度、字段精度等数据;基于语义、参数、数据、质量、逻辑等数据对象进行管理,保证数据一致性和数据质量准确化,确保开发与设计的高度一致。
具体的,所述元数据管理步骤用于将所有与数据有关的内容统一管理形成元数据管理单元,并采用前向元数据获取方式对元数据管理单元中的数据进行抓取和判断。与数据有关的内容一般包括数据、业务元数据、技术元数据、数据加工、数据质量检查等数据对象,并针对业务元数据和技术元数据进行强制性前向获取,杜绝元数据的后期补录和解析,保证业务元数据、技术元数据、技术实现三者一致性,做到实时监控、事中管理;同时所有数据对象的设计和开发均以业务需求吻合度为目标,最大程度上保证数据对象与业务需求的一致性,以业务驱动进行元数据管理设计,保证数据准确性。
具体的,平台还包括数据导入导出步骤,所述导入导出步骤用于对数据源信息、元模型结构、元数据、调度的数据进行实时备份和导入导出操作。用户可根据实际需求对设计开发的数据源信息、元模型、元数据、调度和源码等文件进行选择性备份、导入或导出,并将进度过程展示出来,形成可视化操作,提升系统灵活性。
具体的,所述模型标准化包括命名标准化和稽核标准化;所述数据标准化包括将数据分层分级管理和定义字段标准。所述命名标准化一般包括数据源定义、枚举定义、表实体定义、图标管理、代理器管理定义。数据源定义是对数据的新增、查询、修改、测试的功能进行数据的统一定义和约束,建模人员无需密码即可完成建模开发,保障数仓使用安全性;枚举定义是对枚举数据平台的码表进行统一定义,保障各个建模人员编码语义一致性;表实体定义是按数据治理管控要求进行表结构、敏感信息的统一管理,保障开发管控;图标管理是对自定义图标进行查询、预览、修改和删除等功能,可设置系统不同类型、不同数仓模型的可视化图标,更容易理解数据生产过程;代理器管理定义是用于提供计算节点的管理和横向扩展,可实现远程可视化部署计算节点,支持海量数据存储和新增数仓接入,保障计算节点的扩展,并可对命名规范标准进行查询、新增、修改和删除,对更改后的命名规则将直接作用于数据建模中。以此,将涉及到的数据规范化分类管理,保障数据在开发使用过程中的规范化,提升数据管理效率,加强管理效果。
所述稽核标准化,一般包括模型名称、稽核不通过描述、模型状态时间、稽核时间等稽核内容,并提供稽核报告生成并支持PDF格式导出;同时可选择多种标准稽核规则进行配置,一般稽核规则包括完整性稽核、波动性稽核、准确性稽核、标准化稽核、安全性稽核和及时性稽核六类,实现事后稽核,达到生产资源消耗小且提升数据治理效率。同时对稽核结果分四级进行预警,包括一般、预警、错误和故障,针对不同等级的预警结果及时做出调整,进一步规范元模型设计。所述定义字段标准用于构建标准字段库,用于对标准字段库进行查询,并可对标准字段库字段提交申请、审批入库等功能,并定义审批级别,用于审批修改或删除标准字段库。
具体的,所述数据分层分级管理包括安全分层分级、敏感级别分布和敏感数据分析。所述安全分层分级依据安全管理办法对标准字段进行定义,同时对表级进行安全分类分级标记。通过建立字段级、表级安全定义,从数据来源端到数据输出端进行包括业务分布、模型分布的监控和分析,并建立敏感字段安全使用分析视图,使数据管控可视化。本申请中将安全分层分级定义为四级,包括低敏感级、较敏感级、敏感级和极敏感级。低敏感级主要涉及公开的数据或不涉及到敏感信息的数据;较敏感级主要涉及例如消费信息、账单、企业内部一般管理数据等;敏感级主要涉及例如自然人身份标识、网络身份标识、自然人基本资料、联系方式信息、自然人资产信息等;极敏感级主要涉及例如身份证明、自然人私密资料、用户密码及关联信息、中小企业内部核心管理数据等。通过对数据安全分层分级可统计出敏感数据分布情况并查看敏感数据分布明细信息,提供数据分析可视化追溯,提升平台使用安全性,并可针对平台中不同使用人员身份提供不同敏感级别的可视化数据,可以清楚目前共享和开放的数据,同时结合分布分析结果指导对外数据共享和开放。
具体实施过程如下:
实施例一:
本平台管理员可在平台上进行多租户形式开放管理,平台提供可扩展的对象化接口,平台中的数据、元数据、数据质量、数据标准、管理规范、数据模型、调度信息以及用户管理等所有平台拥有的信息,在权限允许的情况下都可通过接口可与外部系统进行交互,提供全量API接口。平台提供完整的API文档,用户或第三方可在不依赖平台厂商的情况下,自行开发相关应用,包括应用管控、应用维护、应用展现等。租户与租户之间可完成模型、调度的共享和隔离,并在单个租户内完成开发、测试、运维等操作,并对系统内的静态数据和动态数据进行统一管理。平台提供规则录入模板、规则运行监控视图、数据质量分析视图,里面涉及的规则详细内容由租户自由制定。
例如,A企业现有多个管理系统,每个系统都已经运行并具有一定的数据输入,若按照现有的技术只能从每个系统底端将数据进行分类整合,然后再重新构建新的管理系统,这种融合方式不仅效率低,耗费大量人力成本,同时也会容易遗漏数据,导致数据在融合过程中缺失不完善,同时因为每个系统所采用的数据不统一,在融合后的管理过程中,容易造成管理混乱,无法做到高效精准的数据管理。而在本实施例中,系统管理者将平台以租户的形式开放给A企业,A企业的平台管理员分别对企业中的总管理人员B、技术管理人员C和运营人员D提供用户管理、角色管理和权限管理的功能;总管理人员B结合自身工作需求需要了解和管理例如业务情况、人员情况、技术情况、平级管理信息等,即可在平台中通过搜索调度出和上述信息有关的元模型结构,并根据实际对每个版块具体想了解和管理的内容进行自定义编辑或修改,也可将以往使用的数据进行导入,由系统进行初始化处理;通过在自定义函数库中增加如自定义目录、自定义格式、自定义标准等多种自定义函数完成向下对录入模板的规则、运行监控视图规则、数据质量分析视图模板等的设置,以便于A企业内部数据统一管理。平台将对修改后的元模型结构自动布局和编译,当出现错误输入时会及时弹出提示并告知错误原因,指正总管理人员B进行修正,当出现敏感级数据,如输入了员工基本资料版块时,平台将会自动识别进行安全分级管理并弹出提示,总管理人员B可根据提示设置不同的查询权限等,同时对下级的管理可选择内容进行开放和管理,最终汇聚为一个完整管理模型。当完成构建后便形成一套完整的企业管理模型,总管理人员B可根据需要和信息重要性对形成的企业管理模型中的数据选择性开放和共享,当需要对某个板块进行修改时,进入编辑状态后即可进行调整和修改。使用者按需自定义编辑所需的元模型,将平台自定义标准化管理,以提高平台使用灵活性,节省管理开发成本,使平台适用性最优化,构造一套通用的管理平台。
对于技术管理人员C,他只需要在总管理人员B对他开放的技术管理板块进行操作,针对技术板块管理,技术管理人员C可通过搜索例如技术标准、项目进度、资金管理等字段查找和调度相关元模型结构,并将元模型结构添加至技术管理板块,结合每个具体工作内容对元模型结构中的元数据进行修改或删减,当完成自定义编辑后,系统将会自动进行布局,并将技术管理人员C修改后的元模型结构同步至总管理人员B的管理模型中,同时技术管理人员C也可选择数据开放和共享。
对于运营人员D,他需要了解同行间的运作数据、行业分析、行业走向等数据,他可以通过本平台在租户间提供的共享和开放的数据中进行搜索和查找,并将需要的元模型结构进行拖拽、引用或节点的引入进行添加和修改,作为适合自己的元模型结构,在此基础上进行数据管理。
在企业总管理框架下按照实际需求构建元模型结构,使系统使用规范化,便于管理者统一管理,且每个版块均为管理者结合实际管理需求定义构建,保证每个版块实用性。系统采用通用模型和专用模型两个板块分开设置,既保证数据准确性和完整性,又能将系统灵活使用,将原有数据按照标准化方式直接导入管理,确保数据管理精准度,而不增加额外的劳动成本。当数据发生改变时系统会将实时数据同步上传,避免数据失真,保证数据准确性和有效性,同时结合权限设置开放,保证数据安全性;管理者可根据自身意愿选择开放或共享自建的元模型结构,做到资源共享,不断优化管理系统,避免资源浪费和重复,以提升管理效率,提升平台通用性。
实施例二:
数据汇聚步骤可以采用网络爬虫、MySQL、API端口等方式通过平台接口层将源端数据按照现有的行业分类标准进行采集处理,对每个行业中业务需求占比达到30%以上的含有管理数据信息的库表和文件进行采集,在根据元对象机制按照数据关键词属性对库表和文件中的数据进行分类融合,并将关键词需求占比达到70%以上的数据进行数据抓取作为通用元模型基础模板数据,未被抓取的数据将作为自定义模块数据。
对分类融合后的数据进行数据清洗,可以采用语义识别判断数据正确性,删除冗余和错误数据,融合重复数据,经过清洗后的数据将根据建立的模型开发和设计规范标准,按照数据分层设计、模型命名规范、字段命名规范、程序命名规范、数据存储规范、模型管理规范几类进行标准化;具体包括:层次结构总体设计、层次结构命名规范、数据跨层引用规范;分域命名规范、周期命名规范、数据域命名规范、模型命名规范、临时表命名;字段命名要求、字段类型要求;程序命名规范、程序逻辑流程要求;普通表存储要求、临时表存储要求、映射表存储要求。将规范标准配置为技术可识别的规范表达式,建立标准化程序,构建出初始开发模板框架,将数据从任务名称、任务标签、来源模式、来源表名、过滤条件、数据更新方式、清理数据SQL、源端表对标配置、初始化和数据处理进行标准化,以在事前进行开发约束,事中实时管控,事后稽核,规范用户输入数据,并将运行管控状态和稽核报告可视化输出。数据完成标准化后平台可采用语义分割根据分层、命名等关键词信息将数据进行压缩和汇总,通过层级关联度、命名关联度、应用关联度、域名关联度等构建元数据血缘图,即生成调度图,血缘图由平台自动生成,也可由数据开发人员根据需求进行配置,以解决数据管理和数据生产过程中运行加工路径不一致的问题,当数据出现问题时,采用血缘分析可针对开发错误、调度错误、数据错误、业务口径查看几类进行回溯排查。
数据输出步骤包括可视化的调度配置方式,支持进行拖拽、引用、节点的引入,构建调度关系;包括可视化的作业运行监控视图,支持查看调度运行状态、错误日志信息等;包括构建的开发模板框架和自定义模块构成的初始元模型结构,提供Web版本的在线ide工具,可进行Java代码开发、编译、调试,供用户选取编辑使用;可视化的数据管理分析,支持数据安全分层分级管理查看。
如一家位于上海市的汽车零部件制造集团公司Z(以下简称Z公司)财务部需要构建一套含有“科目收入汇总月表”且能体现“月度记录数环比波动”的情况,以便于公司每月对生产原料采购、生产成本、销售任务计划等作出及时调整。当Z公司在平台上完成用户信息注册后,平台根据输入的公司名称、法人信息、成立时间、注册地址、行业领域、主营业务等信息获取如“集团公司”、“上海”、“制造业”、“汽车零部件”等信息要素词,结合平台行业分类向Z公司推送与要素词有关的初始元模型结构,如“制造业财务管理”、“制造业人事管理”、“汽车行业统计分析”等。Z公司财务部管理员根据需求选取“制造业财务管理”初始元模型,平台对选取的初始元模型中元数据进行初始化处理,Z公司财务部管理员在原有元模型框架下对初始元模型中需要修改的元数据相关属性和信息进行填充以完善PSM要素信息,如根据需求在业务元数据中的名称栏中填入“集团信息化收入月表”,在模型定义栏中填入“集团业务信息化科目收入汇总月表”;在技术元数据中的表所属类型栏中选择填入“带日期事实表”,数据更新周期栏中选择填入“月”;在质量规则栏中选择填入“集团信息化收入月表记录数环比波动”。平台根据选择填入的数据自动编译并进行质量检测,确认输入要素信息无误后,通过接口层采集收入统计表、月度统计表、用户信息表、环比波动统计表,并经过预处理、标准化后形成带有记录数环比波动显示的科目收入汇总月表分发至初始元模型中,并将数据同步至Z公司管理系统中,若选择开放和共享该元模型,则平台将会同步至数据库中。同时平台提供单独的服务器key认证文件和jar包,代码调用jar包进行数据加密,jar包会与加密服务端进行认证,确认用户信息是否合法,合法后再用jar包的加密能力进行数据加密,以保证数据安全性。通过对通用在线元模型开发设计,使平台设计灵活多变,能够应对各种业务场景,不局限于数据开发,使开发更便捷,响应更快。
以上所述的仅是本发明的实施例,方案中公知的具体技术方案和/或特性等常识在此未作过多描述。应当指出,对于本领域的技术人员来说,在不脱离本发明技术方案的前提下,还可以作出若干变形和改进,这些也应该视为本发明的保护范围,这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准,说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.一种通用元模型设计方法,其特征在于:包括数据生产步骤,所述数据生产步骤包括依次进行的数据汇聚步骤、数据加工步骤以及数据输出步骤;所述数据加工步骤,用来将数据汇聚步骤得到的企业数据,按照预设模型框架将企业数据分配到预设模型框架中,建立从顶层到底层的元模型结构;所述数据输出步骤,用来将数据加工步骤中未分配的企业数据自动形成自定义模块后推送确认,并将确认后的自定义模块添加至元模型结构中形成当前企业管理模型。
2.根据权利要求1所述的一种通用元模型设计方法,其特征在于:所述数据加工步骤包括依次进行的数据清洗步骤、数据标准化设置以及数据融合步骤;所述数据清洗步骤用于将采集到的数据进行清洗去错误;所述数据标准化设置包括模型标准化和数据标准化,所述数据标准化设置用于将企业数据处理后形成元模型框架和初始元数据,构成元模型结构;所述数据融合步骤用于将标准化设置后的数据按照类别进行融合汇总。
3.根据权利要求1所述的一种通用元模型设计方法,其特征在于:所述数据汇集步骤采用分布式调度引擎方式采集调度实时数据和非实时数据。
4.根据权利要求1所述的一种通用元模型设计方法,其特征在于:还包括数据管理步骤,用于对输入的元数据进行实时管理;所述数据管理步骤包括元模型设计开发步骤、元数据设计开发步骤、元数据管理步骤以及导入导出步骤。
5.根据权利要求4所述的一种通用元模型设计方法,其特征在于:所述元模型设计开发步骤采用自定义编辑方式用于对形成的元模型结构进行编辑并根据内容进行自动布局和自动编译,形成企业管理模型。
6.根据权利要求5所述的一种通用元模型设计方法,其特征在于:所述元数据设计开发步骤采用自定义函数,用于对企业管理模型中的元数据进行要素管理。
7.根据权利要求4中任一所述的一种通用元模型设计方法,其特征在于:所述元数据管理步骤用于将所有与数据有关的内容统一管理形成元数据管理单元,并采用前向元数据获取方式对元数据管理单元中的数据进行抓取和判断。
8.根据权利要求4所述的一种通用元模型设计方法,其特征在于:所述导入导出步骤用于对数据源信息、元模型结构、元数据、调度的数据进行实时备份和导入导出操作。
9.根据权利要求2所述的一种通用元模型设计方法,其特征在于:所述模型标准化包括命名标准化和稽核标准化;所述数据标准化包括将数据分层分级管理和定义字段标准。
10.根据权利要求9所述的一种通用元模型设计方法,其特征在于:所述数据分层分级管理包括安全分层分级、敏感级别分布和敏感数据分析。
CN202210548743.7A 2022-05-20 2022-05-20 一种通用元模型设计方法 Active CN114911773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210548743.7A CN114911773B (zh) 2022-05-20 2022-05-20 一种通用元模型设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210548743.7A CN114911773B (zh) 2022-05-20 2022-05-20 一种通用元模型设计方法

Publications (2)

Publication Number Publication Date
CN114911773A true CN114911773A (zh) 2022-08-16
CN114911773B CN114911773B (zh) 2023-09-26

Family

ID=82768484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210548743.7A Active CN114911773B (zh) 2022-05-20 2022-05-20 一种通用元模型设计方法

Country Status (1)

Country Link
CN (1) CN114911773B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220245274A1 (en) * 2021-02-03 2022-08-04 Cloudhedge Technologies Private Limited System and method for detection of patterns in application for application transformation and applying those patterns for automated application transformation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060064666A1 (en) * 2001-05-25 2006-03-23 Amaru Ruth M Business rules for configurable metamodels and enterprise impact analysis
US20150317350A1 (en) * 2011-11-04 2015-11-05 Salesforce.Com, Inc. Custom metadata in loosely coupled triggers
CN106777097A (zh) * 2016-12-14 2017-05-31 济南浪潮高新科技投资发展有限公司 一种元数据分层扩展时的合并方法
US20170322716A1 (en) * 2016-05-04 2017-11-09 Open Text Sa Ulc Reusable entity modeling systems and methods
CN112035431A (zh) * 2020-07-17 2020-12-04 中国城市规划设计研究院 智慧城市通用数据格式的构建处理方法及其系统
CN113032376A (zh) * 2019-12-25 2021-06-25 陕西云基华海信息技术有限公司 一种海量数据质量管理与治理的系统
CN114328509A (zh) * 2021-11-25 2022-04-12 泰康保险集团股份有限公司 一种业务处理方法和装置
CN114490634A (zh) * 2021-12-24 2022-05-13 贵州乌江水电开发有限责任公司 一种基于大数据的多能互补数据资产管理方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060064666A1 (en) * 2001-05-25 2006-03-23 Amaru Ruth M Business rules for configurable metamodels and enterprise impact analysis
US20150317350A1 (en) * 2011-11-04 2015-11-05 Salesforce.Com, Inc. Custom metadata in loosely coupled triggers
US20170322716A1 (en) * 2016-05-04 2017-11-09 Open Text Sa Ulc Reusable entity modeling systems and methods
CN106777097A (zh) * 2016-12-14 2017-05-31 济南浪潮高新科技投资发展有限公司 一种元数据分层扩展时的合并方法
CN113032376A (zh) * 2019-12-25 2021-06-25 陕西云基华海信息技术有限公司 一种海量数据质量管理与治理的系统
CN112035431A (zh) * 2020-07-17 2020-12-04 中国城市规划设计研究院 智慧城市通用数据格式的构建处理方法及其系统
CN114328509A (zh) * 2021-11-25 2022-04-12 泰康保险集团股份有限公司 一种业务处理方法和装置
CN114490634A (zh) * 2021-12-24 2022-05-13 贵州乌江水电开发有限责任公司 一种基于大数据的多能互补数据资产管理方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
DOMINIK BORK 等: "Supporting Customized Design Thinking Using a Metamodel-based Approach", 《AUSTRALASIAN CONFERENCE ON INFORMATION SYSTEMS》, pages 1 - 11 *
GANG WANG 等: "Toward Cloud-Assisted Industrial IoT Platform for Large-Scale Continuous Condition Monitoring", 《PROCEEDINGS OF THE IEEE》, vol. 107, pages 1193 - 1205, XP011725975, DOI: 10.1109/JPROC.2019.2914021 *
PETROVA-ANTONOVA, DESSISLAVA 等: "Big Data Research and Application - A Systematic Literature Review", 《SERDICA JOURNAL OF COMPUTING》, vol. 11, no. 2, pages 73 - 114 *
吴争荣 等: "基于数据模型解析的后端实体结构建模方法研究", 《数字技术与应用》, no. 11, pages 90 - 91 *
孙琳 等: "基于企业资源的竞争情报知识元构建与融合机制研究", 《实践研究》, vol. 40, no. 7, pages 67 - 73 *
梁晨 等: "微服务架构下企业元数据管理平台的设计和应用", 《电脑知识与技术》, no. 17, pages 55 - 56 *
陈啸: "基于数据中台的烟草企业数据管理系统架构设计", 《数码设计(上)》, pages 49 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220245274A1 (en) * 2021-02-03 2022-08-04 Cloudhedge Technologies Private Limited System and method for detection of patterns in application for application transformation and applying those patterns for automated application transformation

Also Published As

Publication number Publication date
CN114911773B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
US10162612B2 (en) Method and apparatus for inventory analysis
Paim et al. DWARF: An approach for requirements definition and management of data warehouse systems
US8671084B2 (en) Updating a data warehouse schema based on changes in an observation model
US7403901B1 (en) Error and load summary reporting in a health care solution environment
US8954375B2 (en) Method and system for developing data integration applications with reusable semantic types to represent and process application data
US6701345B1 (en) Providing a notification when a plurality of users are altering similar data in a health care solution environment
Vassiliadis Data warehouse modeling and quality issues
EP2849098A2 (en) Cross system analytics for in memory data warehouse
JP2007535723A (ja) 複合ソフトウエアシステムを実施して検証するための自動多次元追跡可能性行列を含む試験ツール
US11550704B2 (en) Methods, systems and computer program products for automated software testing
CN115934680A (zh) 一站式大数据分析处理系统
CN112163337A (zh) 基于SysML的航电协同设计方法及系统
CN116541372A (zh) 一种数据资产治理方法及系统
Berenbach et al. Metrics for model driven requirements development
CN114911773A (zh) 一种通用元模型设计方法
CN104573053B (zh) 一种基于xml的配置项模板动态定制方法
CN111914417A (zh) 一种计划和预算仿真分析系统
Hinrichs et al. An ISO 9001: 2000 Compliant Quality Management System for Data Integration in Data Warehouse Systems.
JP2011515755A (ja) 予約されたコンポーネントコンテナ基盤ソフトウェアの開発方法及び装置
CA2406421C (en) Method for a health care solution framework
CN115599346A (zh) 一种应用软件全生命周期数字化开发方法
ElGamal et al. An Architecture-Oriented Data Warehouse Testing Approach.
Zhao et al. Design and Implementation of Enterprise Public Data Management Platform Based on Artificial Intelligence
CN112381509A (zh) 重大新药创制国家科技重大专项课题管理系统
CN112308508A (zh) 一种信息统一管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant