CN116166641A - 数据模型和数据标准的映射方法、装置、设备及介质 - Google Patents
数据模型和数据标准的映射方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116166641A CN116166641A CN202211446391.0A CN202211446391A CN116166641A CN 116166641 A CN116166641 A CN 116166641A CN 202211446391 A CN202211446391 A CN 202211446391A CN 116166641 A CN116166641 A CN 116166641A
- Authority
- CN
- China
- Prior art keywords
- data
- standard
- metadata
- model
- data standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据模型和数据标准的映射方法、装置、设备及介质,其中,该数据模型和数据标准的映射方法包括:通过标准源端获取每一数据类型对应的元数据的数据标准信息;基于数据类型对应的数据标准模板,采用数据标准信息对数据类型对应的元数据定义治理属性,用以生成所有元数据对应的初步数据标准;评审端基于初步标准返回元数据对应的公开数据标准;获取任一数据模型,计算数据模型和公开数据标准的语义距离,基于语义距离,确认数据模型和公开数据标准之间的映射关系。该方法可提高在制定数据标准过程中需要线下预先针对不同的数据模型提取出通用标准的效率,智能化建立数据模型与数据标准的关联映射关系。
Description
技术领域
本发明涉及数据治理技术领域,尤其涉及一种数据模型和数据标准的映射方法、装置、设备及介质。
背景技术
随着企业业务的发展,信息化系统的建设加快,数据规模逐渐扩大,与此同时,劣质数据也随之而来,严重影响数据的使用质量,对信息造成严重困扰。提升数据的质量和可用性,以及提升数据治理的重要性成为行业共识。
数据治理的处理对象可能是分布在各个系统中的数据,不同系统的数据往往存在差异,比如,数据代码、数据格式和数据标识都不一样,甚至可能存在错误的数据。这就需要建立标准化的体系,通过建立数据质量评估标准和管理规范,从准确性、完备性、一致性、完整性、合理性、及时性和有效性等多个维度评估数据是否达到预期设定的质量要求。
当前在制定数据标准过程中需要线下预先针对不同的数据模型提取出通用标准,成为数据治理工作中的一项繁琐工作。
发明内容
本发明实施例提供一种数据模型和数据标准的映射方法、装置、设备及介质,以解决当前在制定数据标准过程中需要线下预先针对不同的数据模型提取出通用标准,成为数据治理工作中的一项繁琐工作的问题。
一种数据模型和数据标准的映射方法,包括:
通过标准源端获取每一数据类型对应的元数据的数据标准信息;
基于数据类型对应的数据标准模板,采用数据标准信息对数据类型对应的元数据定义治理属性,用以生成所有元数据对应的初步数据标准;
将初步数据标准发送给评审端,以使评审端基于初步标准返回元数据对应的公开数据标准;获取任一数据模型,计算数据模型和公开数据标准的语义距离,基于语义距离,确认数据模型和公开数据标准之间的映射关系。
一种数据模型和数据标准的映射装置,包括:
标准信息获取模块,用于通过标准源端获取每一数据类型对应的元数据的数据标准信息;
数据标准生成模块,用于基于数据类型对应的数据标准模板,采用数据标准信息对数据类型对应的元数据定义治理属性,用以生成所有元数据对应的初步数据标准;
数据标准返回模块,用于将初步数据标准发送给评审端,以使评审端基于初步标准返回元数据对应的公开数据标准;
映射关系确认模块,用于获取任一数据模型,计算数据模型和公开数据标准的语义距离,基于语义距离,确认数据模型和公开数据标准之间的映射关系。
在一些实施例中,该数据模型和数据标准的映射装置还用于对元数据的治理属性进行维护,用以生成元数据对应的初步数据标准,并将初步数据标准发送给评审端;获取评审端基于初步数据标准进行评审后返回的评审数据标准,将评审数据标准作为数据类型对应的公开数据标准并发布。
在一些实施例中,该数据模型和数据标准的映射装置还用于采用任务维度和元数据模型维度对治理属性进行维护。
在一些实施例中,该数据模型和数据标准的映射装置还用于若语义距离为语义相近,则将数据模型与公开数据标准建立映射关系,为数据模型建立数据校验规则;若语义距离为匹配失败,则按距离远近对数据模型中涉及的模型数据进行排序,返回排序结果和匹配失败的提示信息。
在一些实施例中,该数据模型和数据标准的映射装置还用于基于数据模型模板,获取元数据并导入数据模型模板,生成初步模型;对初步模型进行维护,生成数据模型,数据模型中的每一元数据对应限定的数据输入格式。
在一些实施例中,该数据模型和数据标准的映射装置还用于获取数据模型中的每一目标元数据以及模板元数据对应的目标数据输入格式;获取目标元数据在公开数据标准中对应的目标治理属性;统计每一模板元数据对应的模板数据输入格式和目标治理属性之间的语义相似度,将统计结果作为数据模型和公开数据标准的语义距离。
在一些实施例中,该数据模型和数据标准的映射装置还用于获取与公开数据标准建立映射关系的所有数据模型作为关联数据模型;若公开数据标准中的至少一个元数据作为同步元数据对应的治理属性被更新,则向与同步元数据关联数据模型发送输入格式更新提示。
一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述数据模型和数据标准的映射方法。
一种计算机可读介质,所述计算机可读介质存储有计算机程序,所述计算机程序被处理器执行时实现上述数据模型和数据标准的映射方法。
上述数据模型和数据标准的映射方法、装置、设备及介质,通过评审端基于初步标准返回元数据对应的公开数据标准,计算所述数据模型和该公开数据标准之间的语义距离,从而确认所述数据模型和所述公开数据标准之间的映射关系,可提高在制定数据标准过程中需要线下预先针对不同的数据模型提取出通用标准的效率,减少繁琐配置,智能化建立数据模型与数据标准的关联映射关系,为后续质量检核和质量提升提供基础数据。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1绘示本发明一实施例中数据模型和数据标准的映射方法的应用环境示意图;
图2绘示本发明第一实施例中数据模型和数据标准的映射方法的第一流程图;
图3绘示本发明第二实施例中数据模型和数据标准的映射方法的第二流程图;
图4绘示本发明一实施例中数据模型和数据标准的映射装置的示意图;
图5绘示本发明一实施例中电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请涉及的多个名词解释如下:
数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。元数据,是解释数据的数据。
模型是指通过主观意识借助实体或者虚拟表现构成客观阐述形态结构的一种表达目的的物件。数据模型是指用数据阐述客观事务或实体的形态、结构特征的模型。
数据标准是从用数据描述世界的视角出发,对数据分类、记录格式和编码等进行统一定义的物件。数据标准制定后,不同的建设方将可以按照统一的规则定义数据存储,实现数据的交换和共享。元数据标准包括元数据结构标准(即元数据包含那些项目,都柏林核心集和MARC元素集)、元数据内容标准、元数据取值标准和元数据编码标准(用于机读记录的存储和交换,比如MARC(Machine Readable Cataloging)和XML等),通过数据的规范化提高数据的通用性、共享性、可移植性及数据的可用性。
本发明实施例提供的数据模型和数据标准的映射方法,可应用在如图1的应用环境中,该数据模型和数据标准的映射方法应用在数据模型和数据标准的映射系统中,该数据模型和数据标准的映射系统包括分布式客户端和服务器,其中,分布式客户端通过网络与服务器进行通信。分布式客户端又称为用户端,是指与服务器相对应,为分布式客户端提供本地服务的程序。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种数据模型和数据标准的映射方法,以该方法应用在图1中的服务器为例进行说明,具体包括如下步骤:
S110.通过标准源端获取每一数据类型对应的元数据的数据标准信息。
具体地,标准源端是各种制定的数据标准的主体端,比如,各个行业数据标准发布端口或企业特定数据标准发布端口等。本实施例提供的数据模型和数据标准的映射系统可对接上述标准远端提供的API,从而及时获取行业或者企业实时发布的各种类型数据对应的数据标准。
S120.基于数据类型对应的数据标准模板,采用数据标准信息对数据类型对应的元数据定义治理属性,用以生成所有元数据对应的初步数据标准。
其中,数据标准模板是用以形成数据标准的基本架构,该基本架构至少包括元数据对应的治理属性,比如,业务属性、技术属性和管理属性等元数据。
属性提供了一种通过用户定义的字段来描述产品及其特征的方法。比如,电脑属性包括内存大小、硬盘容量和是否符合能源要求。
属性与各种Commerce实体(如产品类别和通道)关联,并且可以为属性设置默认值。当属性与产品类别或渠道相关联时,产品会继承这些属性及其默认值。默认属性值可在单个产品级别、在渠道级别或在目录中被替代。
例如,电视机产品通常具有以下表一所示的属性。
表一
上述表格中的元数据包括:“类别”、“属性”、“允许的值”和“默认值”。基于元数据所代表的特性,本实施例可将元数据划分为业务属性、技术属性和管理属性等类型。
业务属性是指某种行业业务的规定特性,多用于通讯领域,比如承载业务,承载业务用一系列低层属性来描述,这些属性在网络内的实现仅仅需要低层功能。比如“电话记帐卡”和“校园卡”两种业务。后者具有前者基本的业务属性,并且根据学生在校园内使用电话的特点而增加了部分功能。
技术属性包括技术的自然属性和技术的社会属性两方面。技术的自然属性说明技术的形成和实施必须符合自然规律,并受自然因素的制约。例如,机械动作的原理要符合物理规律等。
管理属性提供了一种机制,可包含要与应用程序共享的更多属性。这些属性可以包含特定信息,例如,从用户认证的会话获取的公司名称或用户属性。
数据标准即规定数据的输入或存储格式等,比如:
货币-此类型支持货币值,可以受约束(即,支持某个值范围),也可以保持开放。
日期时间-此类型支持日期和时间值,可以有范围,也可以保持开放。
小数-此类型支持包括小数位的数字值,还支持度量单位,可以有范围,也可以保持开放。
整数-此类型支持数字值,还支持度量单位,可以有范围,也可以保持开放。
文本-此类型支持文本值,当启用固定列表设置时,还支持一组预定义的可能值。
布尔-此类型支持二进制值(true或false)。
具体地,本申请提供的系统将某类型元数据对应的数据标准信息按治理属性进行NLP(自然语言处理,Natural Language Processing)分析和分类,包括:资料收集、调研访谈信息分析和信息评估等,梳理数据标准信息的业务指标、数据项和代码等,用以生成每种类型元数据的输入数据格式的标准,也即生成元数据对应的初步数据标准。
S130.将初步数据标准发送给评审端,以使评审端基于初步标准返回元数据对应的公开数据标准。
具体地,评审端包括各个业务部门端以及专门的评审小组对应的主体端。评审端对该初步数据标准给出专业性审查和建议后可公布该标准成为公开数据标准,以保障公开数据标准的准确性和可靠性。
S140.获取任一数据模型,计算数据模型和公开数据标准的语义距离,基于语义距离,确认数据模型和公开数据标准之间的映射关系。
具体地,本实施例通过提取数据模型中的所有语义特征,将所有语义特征逐一和公开数据标准中对应的元数据规定的数据输入格式进行比对,获取比对结果。根据比对结果判定该数据模型和公开数据标准之间是否可实现映射。可以理解的是,若某数据模型和公开数据标准之间不能实现映射关系,该数据模型应进行对应的格式调整,以最终满足其和公开数据标准之间的映射关系,从而从准确性、完备性、一致性、完整性、合理性、及时性和有效性等多个维度保障数据达到预期设定的质量要求。
该数据模型和数据标准的映射方法,通过评审端基于初步标准返回元数据对应的公开数据标准,计算所述数据模型和该公开数据标准之间的语义距离,从而确认所述数据模型和所述公开数据标准之间的映射关系,可提高在制定数据标准过程中需要线下预先针对不同的数据模型提取出通用标准的效率,减少繁琐配置,快速且智能化灵活地建立数据模型与数据标准的关联映射关系,为后续质量检核和质量提升提供基础数据。
在一实施例中,在步骤S130中,即将初步数据标准发送给评审端,以使评审端基于初步标准返回元数据对应的公开数据标准,具体包括如下步骤:
S131.对元数据的治理属性进行维护,用以生成元数据对应的初步数据标准,并将初步数据标准发送给评审端。
优选地,在步骤S131中,即对元数据的治理属性进行维护,具体包括如下步骤:
S1311.采用任务维度和元数据模型维度对治理属性进行维护。
S132.获取评审端基于初步数据标准进行评审后返回的评审数据标准,将评审数据标准作为数据类型对应的公开数据标准并发布。
具体地,维度即数据观察的角度,包括从什么角度分析问题(指标),比如:20XX年XX地区XX手机品牌的销售量,销售量是一个指标,销售量涉及的维度包括时间维度,地区维度和产品维度。
任务维度从任务角度对任务进行观察的角度,比如,可按任务完成的紧要性按重要紧急维度进行划分包括:重要紧急,重要非紧急,非重要紧急和非重要非紧急。
元数据模型维度可包括维度:业务模型、领域模型、逻辑模型和物理模型。其中:业务模型:业务分解和程序化,确定好业务边界和业务流程,如订单、支付是独立的业务模块。
领域模型:业务的抽象、分组和整理分组之间的关联,比如用户购物的业务。
逻辑模型:领域模型中的业务概念实体化,并考虑实体的具体属性及实体与实体之间的关系,比如订单(订单号、付款人…)和支付(金额、支付时间…)的关系。
物理模型:解决实际应用的落地开发、上线及性能等系列技术问题。
在一实施例中,在步骤S140中,即基于语义距离,确认数据模型和公开数据标准之间的映射关系,具体包括如下步骤:
S1411.若语义距离为语义相近,则将数据模型与公开数据标准建立映射关系,为数据模型建立数据校验规则。
S1412.若语义距离为匹配失败,则按距离远近对数据模型中涉及的模型数据进行排序,返回排序结果和匹配失败的提示信息。
具体地,本实施例给已建立关联关系的数据模型和公开数据标准生成数据校验规则。数据校验规则是校验输入数据是否符合输入格式的规则。比如,规定货币输入格式为小数点后只携带两位数字等,若输入数据为“1.023”则该输入数据不符合数据校验规则。
本实施例给未建立关联关系的数据模型和公开数据标准返回匹配失败的提示信息。并匹配出造成两者未匹配的多个数据模型中对应的元数据的输入格式作为问题格式进行反馈。
在一实施例中,在步骤S140之前,即在获取任一数据模型之前,还具体包括如下步骤:
S4011.基于数据模型模板,获取元数据并导入数据模型模板,生成初步模型。
S4012.对初步模型进行维护,生成数据模型,数据模型中的每一元数据对应限定的数据输入格式。
具体地,本实施例支持通过JDBC(Java DataBase Connectivity,Java语言连接数据库)在线获取和离线模板方式导入元数据。根据获取到的元数据信息,通过模板文件、模型设计文件、设计文档和在线维护等多种方式来完善数据模型的元数据信息,比如描述业务含义等。
在一实施例中,在步骤S140中,即获取任一数据模型,计算数据模型和公开数据标准的语义距离,具体包括如下步骤:
S1421.获取数据模型中的每一目标元数据以及模板元数据对应的目标数据输入格式。
S1422.获取目标元数据在公开数据标准中对应的目标治理属性。
S1423.统计每一模板元数据对应的模板数据输入格式和目标治理属性之间的语义相似度,将统计结果作为数据模型和公开数据标准的语义距离。
具体地,本实施例可通过数据模型的目标治理属性,比如:模型名称、描述信息、数据类型与数据标准的定义、业务含义、格式要求和设定的同义词词根,基于语料库、分词和关键词提取等方式计算数据模型和公开数据标准之间的距离。
在一实施例中,在步骤S140之后,即在确认数据模型和公开数据标准之间的映射关系之后,还具体包括如下步骤:
S4021.获取与公开数据标准建立映射关系的所有数据模型作为关联数据模型。
S4022.若公开数据标准中的至少一个元数据作为同步元数据对应的治理属性被更新,则向与同步元数据关联数据模型发送输入格式更新提示。
具体地,本实施例可将经过更新的公开数据标准中提取出更新内容,包括同步元数据对应的治理属性,并将该更新内容同步发送给与其关联的数据模型,用以关联的数据模型也同步更新其数据输入格式,以保障数据的通用性和兼容性。
本实施例通过搜集整理行业标准和整理企业特有的数据标准,录入系统中,通过对标准和模型的字段自动关联映射,自动为字段设置和生成数据校验规则,可实现后续高效地对数据进行校验。数据标准智能映射基于NLP语义对比,判断每个字段和标准的语义距离,并对语义进行分析对比,按照语义距离对字段匹配到的标准进行排序,快速建立关联关系,以提高工作效率。
本实施例提供的数据模型和数据标准的映射方法,如图3所示,通过评审端基于初步标准返回元数据对应的公开数据标准,计算所述数据模型和该公开数据标准之间的语义距离,从而确认所述数据模型和所述公开数据标准之间的映射关系,可提高在制定数据标准过程中需要线下预先针对不同的数据模型提取出通用标准的效率,减少繁琐配置和人力消耗,智能化建立数据模型与数据标准的关联映射关系,为后续质量检核和质量提升提供基础数据,对于传统行业的IT人员或者专业人士长期维护治理平台都有很大的帮助。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种数据模型和数据标准的映射装置,该数据模型和数据标准的映射装置与上述实施例中数据模型和数据标准的映射方法一一对应。如图4所示,该数据模型和数据标准的映射装置包括标准信息获取模块110、数据标准生成模块120、数据标准返回模块130和映射关系确认模块140。各功能模块详细说明如下:
标准信息获取模块110,用于通过标准源端获取每一数据类型对应的元数据的数据标准信息。
数据标准生成模块120,用于基于数据类型对应的数据标准模板,采用数据标准信息对数据类型对应的元数据定义治理属性,用以生成所有元数据对应的初步数据标准。
数据标准返回模块130,用于将初步数据标准发送给评审端,以使评审端基于初步标准返回元数据对应的公开数据标准。
映射关系确认模块140,用于获取任一数据模型,计算数据模型和公开数据标准的语义距离,基于语义距离,确认数据模型和公开数据标准之间的映射关系。
优选地,数据标准返回模块130包括:
数据标准发送子模块131,用于对元数据的治理属性进行维护,用以生成元数据对应的初步数据标准,并将初步数据标准发送给评审端。
数据标准发表子模块132,用于获取评审端基于初步数据标准进行评审后返回的评审数据标准,将评审数据标准作为数据类型对应的公开数据标准并发布。
优选地,数据标准发送子模块131包括:
治理属性维护单元1311,用于采用任务维度和元数据模型维度对治理属性进行维护。
优选地,映射关系确认模块140包括:
映射关系建立子模块1411,用于若语义距离为语义相近,则将数据模型与公开数据标准建立映射关系,为数据模型建立数据校验规则。
提示信息返回子模块1412,用于若语义距离为匹配失败,则按距离远近对数据模型中涉及的模型数据进行排序,返回排序结果和匹配失败的提示信息。
优选地,该数据模型和数据标准的映射装置还包括:
初步模型生成模块4011,用于基于数据模型模板,获取元数据并导入数据模型模板,生成初步模型。
数据模型生成模块4012,用于对初步模型进行维护,生成数据模型,数据模型中的每一元数据对应限定的数据输入格式。
优选地,映射关系确认模块140包括:
元数据获取子模块1421,用于获取数据模型中的每一目标元数据以及模板元数据对应的目标数据输入格式。
治理属性获取子模块1422,用于获取目标元数据在公开数据标准中对应的目标治理属性。
语义相似度统计子模块1423,用于统计每一模板元数据对应的模板数据输入格式和目标治理属性之间的语义相似度,将统计结果作为数据模型和公开数据标准的语义距离。
优选地,该数据模型和数据标准的映射装置还包括:
关联数据模型获取模块4021,用于获取与公开数据标准建立映射关系的所有数据模型作为关联数据模型。
格式更新提示发送模块4022,用于若公开数据标准中的至少一个元数据作为同步元数据对应的治理属性被更新,则向与同步元数据关联数据模型发送输入格式更新提示。
关于数据模型和数据标准的映射装置的具体限定可以参见上文中对于数据模型和数据标准的映射方法的限定,在此不再赘述。上述数据模型和数据标准的映射装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一实施例中,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图5所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性介质、内存储器。该非易失性介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于数据模型和数据标准的映射方法相关的数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据模型和数据标准的映射方法。
在一实施例中,提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例数据模型和数据标准的映射方法,例如图2所示S10至步骤S40。或者,处理器执行计算机程序时实现上述实施例中数据模型和数据标准的映射装置的各模块/单元的功能,例如图4所示模块10至模块40的功能。为避免重复,此处不再赘述。
在一实施例中,提供一种计算机可读介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例数据模型和数据标准的映射方法,例如图2所示S10至步骤S40。或者,该计算机程序被处理器执行时实现上述装置实施例中数据模型和数据标准的映射装置中各模块/单元的功能,例如图4所示模块10至模块40的功能。为避免重复,此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据模型和数据标准的映射方法,其特征在于,包括:
通过标准源端获取每一数据类型对应的元数据的数据标准信息;
基于所述数据类型对应的数据标准模板,采用所述数据标准信息对所述数据类型对应的元数据定义治理属性,用以生成所有所述元数据对应的初步数据标准;
将所述初步数据标准发送给评审端,以使评审端基于所述初步标准返回所述元数据对应的公开数据标准;
获取任一数据模型,计算所述数据模型和所述公开数据标准的语义距离,基于所述语义距离,确认所述数据模型和所述公开数据标准之间的映射关系。
2.根据权利要求1所述的数据模型和数据标准的映射方法,其特征在于,所述将所述初步数据标准发送给评审端,以使评审端基于所述初步标准返回所述元数据对应的公开数据标准,包括:
对所述元数据的治理属性进行维护,用以生成所述元数据对应的初步数据标准,并将所述初步数据标准发送给评审端;
获取评审端基于所述初步数据标准进行评审后返回的评审数据标准,将所述评审数据标准作为所述数据类型对应的公开数据标准并发布。
3.根据权利要求1所述的数据模型和数据标准的映射方法,其特征在于,所述对所述元数据的治理属性进行维护,包括:
采用任务维度和元数据模型维度对所述治理属性进行维护。
4.根据权利要求1所述的数据模型和数据标准的映射方法,其特征在于,所述基于所述语义距离,确认所述数据模型和所述公开数据标准之间的映射关系,包括:
若所述语义距离为语义相近,则将所述数据模型与所述公开数据标准建立映射关系,为所述数据模型建立数据校验规则;
若所述语义距离为匹配失败,则按距离远近对所述数据模型中涉及的模型数据进行排序,返回排序结果和匹配失败的提示信息。
5.根据权利要求1所述的数据模型和数据标准的映射方法,其特征在于,在所述获取任一数据模型之前,还包括:
基于数据模型模板,获取元数据并导入所述数据模型模板,生成初步模型;
对所述初步模型进行维护,生成数据模型,所述数据模型中的每一元数据对应限定的数据输入格式。
6.根据权利要求5所述的数据模型和数据标准的映射方法,其特征在于,所述获取任一数据模型,计算所述数据模型和所述公开数据标准的语义距离,包括:
获取所述数据模型中的每一目标元数据以及所述模板元数据对应的目标数据输入格式;
获取所述目标元数据在所述公开数据标准中对应的目标治理属性;
统计每一所述模板元数据对应的所述模板数据输入格式和所述目标治理属性之间的语义相似度,将所述统计结果作为所述数据模型和所述公开数据标准的语义距离。
7.根据权利要求1所述的数据模型和数据标准的映射方法,其特征在于,在所述确认所述数据模型和所述公开数据标准之间的映射关系之后,还包括:
获取与所述公开数据标准建立映射关系的所有数据模型作为关联数据模型;
若所述公开数据标准中的至少一个元数据作为同步元数据对应的治理属性被更新,则向与所述同步元数据所述关联数据模型发送输入格式更新提示。
8.一种数据模型和数据标准的映射装置,其特征在于,包括:
标准信息获取模块,用于通过标准源端获取每一数据类型对应的元数据的数据标准信息;
数据标准生成模块,用于基于所述数据类型对应的数据标准模板,采用所述数据标准信息对所述数据类型对应的元数据定义治理属性,用以生成所有所述元数据对应的初步数据标准;
数据标准返回模块,用于将所述初步数据标准发送给评审端,以使评审端基于所述初步标准返回所述元数据对应的公开数据标准;
映射关系确认模块,用于获取任一数据模型,计算所述数据模型和所述公开数据标准的语义距离,基于所述语义距离,确认所述数据模型和所述公开数据标准之间的映射关系。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述数据模型和数据标准的映射方法。
10.一种计算机可读介质,所述计算机可读介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据模型和数据标准的映射方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211446391.0A CN116166641A (zh) | 2022-11-18 | 2022-11-18 | 数据模型和数据标准的映射方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211446391.0A CN116166641A (zh) | 2022-11-18 | 2022-11-18 | 数据模型和数据标准的映射方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116166641A true CN116166641A (zh) | 2023-05-26 |
Family
ID=86420739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211446391.0A Pending CN116166641A (zh) | 2022-11-18 | 2022-11-18 | 数据模型和数据标准的映射方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116166641A (zh) |
-
2022
- 2022-11-18 CN CN202211446391.0A patent/CN116166641A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263024B (zh) | 数据处理方法、终端设备及计算机存储介质 | |
WO2016141491A1 (en) | Systems and methods for managing data | |
WO2019019777A1 (zh) | 保单退费处理方法、装置、计算机设备和存储介质 | |
CN113205402A (zh) | 对账方法、装置、电子设备及计算机可读介质 | |
CN112115107A (zh) | 合同文本自动生成方法及装置 | |
CN115526605A (zh) | 基于企业内部控制管理的审批方法及系统 | |
CN114187082A (zh) | 一种财务记账及报销方法及系统 | |
CN113989020A (zh) | 贷款逾期信息处理方法、装置、计算机设备及存储介质 | |
CN114418714A (zh) | 一种5g基站运维管理系统及方法 | |
CN111191153A (zh) | 一种信息技术咨询服务展示装置 | |
CN111242779B (zh) | 金融数据特征选择和预测方法、装置、设备及存储介质 | |
CN112905677A (zh) | 数据处理方法及装置、业务处理系统和计算机设备 | |
CN116166641A (zh) | 数据模型和数据标准的映射方法、装置、设备及介质 | |
CN115408598A (zh) | 信息处理方法、装置、设备、存储介质及程序产品 | |
US10235719B2 (en) | Centralized GAAP approach for multidimensional accounting to reduce data volume and data reconciliation processing costs | |
CN114153860A (zh) | 业务数据管理方法及装置、电子设备、存储介质 | |
CN113849618A (zh) | 基于知识图谱的策略确定方法、装置、电子设备及介质 | |
CN114511318A (zh) | 一种账户核算方法、装置及电子设备 | |
CN115423595B (zh) | 文件信息处理方法、装置、计算机设备和存储介质 | |
US20180101745A1 (en) | System and method for finding evidencing electronic documents based on unstructured data | |
CN110765118B (zh) | 一种数据的修订方法、修订装置及可读存储介质 | |
CN113609407B (zh) | 地区一致性校验方法和装置 | |
CN116739602A (zh) | 一种基于多模型融合的可疑电子票据预测方法 | |
KR101617651B1 (ko) | 트랜잭션 에디터를 이용한 이 기종간 데이터 전송 시스템 및 방법 | |
CN116860750A (zh) | 数据处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |