CN115114271A - 数据标准体系构建方法及装置、存储介质及电子设备 - Google Patents

数据标准体系构建方法及装置、存储介质及电子设备 Download PDF

Info

Publication number
CN115114271A
CN115114271A CN202210736591.3A CN202210736591A CN115114271A CN 115114271 A CN115114271 A CN 115114271A CN 202210736591 A CN202210736591 A CN 202210736591A CN 115114271 A CN115114271 A CN 115114271A
Authority
CN
China
Prior art keywords
data
data item
standard
information corresponding
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210736591.3A
Other languages
English (en)
Inventor
马晨阳
张鑫
李蚌蚌
霍思云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202210736591.3A priority Critical patent/CN115114271A/zh
Publication of CN115114271A publication Critical patent/CN115114271A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems

Abstract

本申请公开了一种数据标准体系构建方法及装置、存储介质及电子设备,可应用于金融领域或其他领域。该方法包括:确定已构建的多个业务系统,并对每个业务系统进行元数据采集,获得数据项集合。确定数据项集合中的每个数据项对应的第一标准要素信息;对各个数据项对应的第一标准要素信息进行二义性消除处理,获得每个数据项对应的第二标准要素信息;依据各个第二标准要素信息,对数据项集合进行去重处理,获得处理后的数据项集合;依据处理后的数据项集合中每个数据项对应的第二标准要素信息,确定多个数据标准,以构建数据标准体系。应用本申请的方法,可基于大量业务系统的元数据建立数据标准,得到的数据标准体系覆盖范围广,管理能力较好。

Description

数据标准体系构建方法及装置、存储介质及电子设备
技术领域
本发明涉及数据治理技术领域,特别是涉及一种数据标准体系构建方法及装置、存储介质及电子设备。
背景技术
随着数字化和信息化建设的发展,企业机构的信息化体系中积累的数据越来越多。为了提升企业机构的数据资产管理能力,通常会建立数据标准体系,通过数据标准来管理数据,数据标准指的是对数据的表达、格式及定义等内容的一致约定。
目前,企业机构的数据标准体系中的数据标准,通常都是基于国家标准、行业标准等现有的通用标准构建的。通用标准通常是针对核心数据或是共性数据制定的。
而在实际的应用场景下,企业机构部署的业务系统越来越多,各个业务系统涉及的数据规模也愈加庞大,涉及的数据种类繁多。基于现有方式构建数据标准体系,其应用覆盖范围十分有限,仅能为核心数据或是共性数据提供参考,而存在大量的数据难以应用数据标准体系进行有效管理,使得数据资产管理能力较差。
发明内容
有鉴于此,本发明实施例提供了一种数据标准体系构建方法,以解决现有基于通用标准构建数据标准体系,应用覆盖范围有限,管理能力较差的问题。
本发明实施例还提供了一种数据标准体系构建装置,用以保证上述方法实际中的实现及应用。
为实现上述目的,本发明实施例提供如下技术方案:
一种数据标准体系构建方法,包括:
确定已构建的多个业务系统,并对每个所述业务系统进行元数据采集,获得数据项集合,所述数据项集合中包含每个所述业务系统对应的多个数据项;
确定所述数据项集合中的每个数据项对应的第一标准要素信息;
对各个所述数据项对应的第一标准要素信息进行二义性消除处理,获得每个所述数据项对应的第二标准要素信息;
依据各个所述数据项对应的第二标准要素信息,对所述数据项集合进行去重处理,获得处理后的数据项集合;
依据所述处理后的数据项集合中每个数据项对应的第二标准要素信息,确定多个数据标准,以构建所述多个数据标准对应的数据标准体系。
上述的方法,可选的,所述确定所述数据项集合中的每个数据项对应的第一标准要素信息,包括:
确定所述数据项集合中的每个所述数据项对应的管理用户;
对于所述数据项集合中的每个所述数据项,将该数据项发送给其对应的管理用户,并提示该管理用户按照预设的多个要素属性,确定该数据项对应的数据标准要素项;
接收每个所述数据项对应的数据标准要素项,并将每个所述数据项对应的数据标准要素项作为每个所述数据项对应的第一标准要素信息。
上述的方法,可选的,所述预设的多个要素属性包括:数据项英文名称、数据项中文名称、数据项定义、数据分类、数据类型、数据格式和代码取值范围。
上述的方法,可选的,所述依据各个所述数据项对应的第二标准要素信息,对所述数据项集合进行去重处理,包括:
将各个所述数据项对应的第二标准要素信息进行比对,以确定所述数据项集合中是否存在重复数据组,所述重复数据组包括多个数据项,所述重复数据组中各个数据项对应的第二标准要素信息相同;
若所述数据项集合中存在所述重复数据组,则对所述重复数据组中的各个数据项进行合并,以对所述数据项集合进行去重处理。
上述的方法,可选的,所述依据所述处理后的数据项集合中每个数据项对应的第二标准要素信息,确定多个数据标准,包括:
对所述处理后的数据项集合中的各个数据项进行分类,获得每个预设数据类别对应的数据项集合;
对于每个所述预设数据类别对应的数据项集合,依据该数据项集合中每个数据项对应的第二标准要素信息,确定数据项约束信息,并确定所述数据项约束信息对应的数据标准,将所述数据项约束信息对应的数据标准作为该预设数据类别对应的数据标准。
上述的方法,可选的,还包括:
对于每个所述预设数据类别对应的数据项集合中的每个数据项,建立该数据项与该预设数据类别对应的数据标准的映射关系。
一种数据标准体系构建装置,包括:
第一确定单元,用于确定已构建的多个业务系统,并对每个所述业务系统进行元数据采集,获得数据项集合,所述数据项集合中包含每个所述业务系统对应的多个数据项;
第二确定单元,用于确定所述数据项集合中的每个数据项对应的第一标准要素信息;
第一处理单元,用于对各个所述数据项对应的第一标准要素信息进行二义性消除处理,获得每个所述数据项对应的第二标准要素信息;
第二处理单元,用于依据各个所述数据项对应的第二标准要素信息,对所述数据项集合进行去重处理,获得处理后的数据项集合;
第三确定单元,用于依据所述处理后的数据项集合中每个数据项对应的第二标准要素信息,确定多个数据标准,以构建所述多个数据标准对应的数据标准体系。
上述的装置,可选的,所述第二确定单元,包括:
第一确定子单元,用于确定所述数据项集合中的每个所述数据项对应的管理用户;
发送子单元,用于对于所述数据项集合中的每个所述数据项,将该数据项发送给其对应的管理用户,并提示该管理用户按照预设的多个要素属性,确定该数据项对应的数据标准要素项;
接收子单元,用于接收每个所述数据项对应的数据标准要素项,并将每个所述数据项对应的数据标准要素项作为每个所述数据项对应的第一标准要素信息。
一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如上述的数据标准体系构建方法。
一种电子设备,包括存储器,以及一个或者一个以上的指令,其中一个或者一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如上述的数据标准体系构建方法。
基于上述本发明实施例提供的一种数据标准体系构建方法,包括:确定已构建的多个业务系统,并对每个业务系统进行元数据采集,获得数据项集合。确定数据项集合中的每个数据项对应的第一标准要素信息,并对各个数据项对应的第一标准要素信息进行二义性消除处理,获得每个数据项对应的第二标准要素信息。依据各个数据项对应的第二标准要素信息,对数据项集合进行去重处理,获得处理后的数据项集合。依据处理后的数据项集合中每个数据项对应的第二标准要素信息,确定多个数据标准,以构建数据标准体系。应用本发明实施例提供的方法,可结合大量业务系统的大量数据项建立数据标准,可以得到覆盖所有存量系统及存量数据的数据标准体系,数据标准体系的应用覆盖范围广泛,有利于提高数据标准体系的有效性,继而提升数据资产管理能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据标准体系构建方法的方法流程图;
图2为本发明实施例提供的一种数据标准体系构建方法的又一方法流程图;
图3为本发明实施例提供的一种数据标准体系构建过程的示例图;
图4为本发明实施例提供的一种数据标准体系构建装置的结构示意图;
图5为本发明实施例提供的一种数据标准体系构建装置的又一结构示意图;
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例提供了一种数据标准体系构建方法,所述方法可应用于数据标准体系构建系统,其执行主体可以为系统的服务器,所述方法的方法流程图如图1所示,包括:
S101:确定已构建的多个业务系统,并对每个所述业务系统进行元数据采集,获得数据项集合,所述数据项集合中包含每个所述业务系统对应的多个数据项;
本发明实施例提供的方法中,当需要建立数据标准时,用户可通过前端发送触发指令,当服务器接收到对应的指令时,可根据预先配置的系统信息,确定当前已构建的多个业务系统,根据预先建立的连接,采集每个业务系统的元数据,采集得到每个业务系统的所有数据项,继而获得数据项集合。
具体的,已构建的业务系统指的是需要数据标准体系覆盖的业务系统,可以是企业机构的信息化架构中的所有业务系统,也可以是部分业务系统,例如新增的业务系统。
S102:确定所述数据项集合中的每个数据项对应的第一标准要素信息;
本发明实施例提供的方法中,可以根据预设的要素采集策略,确定采集到的每个数据项对应的第一标准要素信息,第一标准要素信息包含其对应的数据项所对应的多个要素数据,例如可以包含数据项的中文名称、该数据项的数据项定义、该数据项的数据类型等等。具体的,预设的要素采集策略可以是将采集到的各个数据项发送给相关的工作人员,由工作人员在数据标准体系构建系统中录入数据项对应的第一标准要素信息。
S103:对各个所述数据项对应的第一标准要素信息进行二义性消除处理,获得每个所述数据项对应的第二标准要素信息;
本发明实施例提供的方法中,第一标准要素信息中包含数据项名称(其对应的数据项的中文名称)和数据项定义(其对应数据项的数据项定义),可以对各个数据项对应的第一标准要素信息进行二义性检查,以确定各个数据项是否存在二义性问题,数据项存在二义性问题指的是,若是有一组数据项(至少两个数据项)之间存在二义性问题,即这些数据项对应的各个第一标准要素信息中包含的数据项名称相同而数据项定义不同,或是数据项定义相同而数据项名称不同。若是各个数据项之间存在二义性问题,则对这些数据项的第一标准要素信息进行修改,消除二义性,即保证同样的数据项名称对应的数据项定义相同,同样的数据项定义对应的数据项名称相同。
本发明实施例提供的方法中,在进行二义性消除的过程中,对于不存在二义性问题的数据项,将该数据项对应的第一标准要素信息作为该数据项对应的第二标准要素信息。对于存在二义性问题的数据项,会对其对应的第一标准要素信息进行修改,将修改后的第一标准要素信息作为其对应的第二标准要素信息。
S104:依据各个所述数据项对应的第二标准要素信息,对所述数据项集合进行去重处理,获得处理后的数据项集合;
本发明实施例提供的方法中,判断各个数据项对应的第二标准要素信息是否相同,若是存在第二标准要素信息相同的数据项,则将对应的第二标准要素信息相同的各个数据项合并,以对数据项集合进行去重处理,获得处理后的数据项集合,处理后的数据项集合中的各个数据项所对应的第二标准要素信息互不相同。
S105:依据所述处理后的数据项集合中每个数据项对应的第二标准要素信息,确定多个数据标准,以构建所述多个数据标准对应的数据标准体系。
本发明实施例提供的方法中,根据处理后的数据项集合中的各个数据项对应的第二标准要素信息,建立数据标准,以构建数据标准体系。
基于本发明实施例提供的方法,在需要构建数据标准时,可对已构建的每个业务系统进行元数据采集,获得数据项集合,并确定数据项集合中每个数据项对应的第一标准要素信息。对各个数据项对应的第一标准要素信息进行二义性消除处理,获得每个数据项对应的第二标准要素信息,根据各个第二标准要素信息,对数据项集合进行去重处理,并依据处理后的数据项集合中的每个数据项所对应的第二标准要素信息,建立多个数据标准,以构建数据标准体系。应用本发明实施例提供的方法,可以结合实际应用场景下所有业务系统的数据项建立数据标准,可以得到覆盖所有存量系统及存量数据的数据标准体系,数据标准体系的应用覆盖范围广泛,有利于提高数据标准体系的有效性,继而提升数据资产管理能力。
在上述实施例提供的方法的基础上,参考图2所示流程图,本发明实施例提供的方法中,步骤S102中提及的确定所述数据项集合中的每个数据项对应的第一标准要素信息,包括:
S201:确定所述数据项集合中的每个所述数据项对应的管理用户;
本发明实施例提供的方法中,用户可以在数据标准体系构建系统中,预先进行数据项信息补充任务的分配工作,即设置各个数据项对应的管理用户,具体可以为某个人员的用户账号。管理用户指的是需要对相应的数据项的数据标准要素项进行补充的人员。
S202:对于所述数据项集合中的每个所述数据项,将该数据项发送给其对应的管理用户,并提示该管理用户按照预设的多个要素属性,确定该数据项对应的数据标准要素项;
本发明实施例提供的方法中,可以通过系统推送或是邮件等方式,将每个数据项发送给其对应的管理用户,并提示管理用户按照预设的多个要素属性(具体可由数据标准要素项模板呈现),对该数据项对应的数据标准要素项模板进行内容补充,即填写数据标准要素项模板中每个要素属性的具体内容,如该数据项的中文名称、数据项定义等等,补充完成的数据标准要素项模板则为该数据项对应的数据标准要素项。各个管理用户可将对模板进行补充所得到的数据标准要素项提交到系统。
S203:接收每个所述数据项对应的数据标准要素项,并将每个所述数据项对应的数据标准要素项作为每个所述数据项对应的第一标准要素信息。
本发明实施例提供的方法中,系统可接收每个管理用户按照要求提交的数据标准要素项,并将数据标准要素项作为第一标准要素信息。
在上述实施例提供的方法的基础上,本发明实施例提供的方法中,所述预设的多个要素属性包括:数据项英文名称、数据项中文名称、数据项定义、数据分类、数据类型、数据格式和代码取值范围。
本发明实施例提供的方法中,数据标准要素项中的要素属性包括数据项英文名称、数据项中文名称、数据项定义、数据分类、数据类型、数据格式和代码取值范围,即管理用户需要对数据项的上述内容进行补充,并提交到系统。
在图1所示方法的基础上,本发明实施例提供的方法中,步骤S104中提及的依据各个所述数据项对应的第二标准要素信息,对所述数据项集合进行去重处理,包括:
将各个所述数据项对应的第二标准要素信息进行比对,以确定所述数据项集合中是否存在重复数据组,所述重复数据组包括多个数据项,所述重复数据组中各个数据项对应的第二标准要素信息相同;
本发明实施例提供的方法中,可以将每个第二标准要素信息分别与其他第二标准要素信息进行比对,如果存在重复的第二标准要素信息,则这些重复的第二标准要素信息所对应的数据项则为一个重复数据组。一个重复数据组中至少包括两个数据项。
需要说明的是,在具体的实现过程中,数据项集合中可能不存在重复数据组,可能存在一个重复数据组,也可能存在多个重复数据组,具体的重复数据组的数量由实际的数据项内容确定,不影响本发明实施例提供的方法实现功能。当存在多个重复数据组时,对每个重复数据组均执行后续操作即可。
若所述数据项集合中存在所述重复数据组,则对所述重复数据组中的各个数据项进行合并,以对所述数据项集合进行去重处理。
本发明实施例提供的方法中,如果数据项集合中存在重复数据组,则对重复数据组中的各个数据项合并,也就是将第二标准要素信息重复的各个数据项,合并成一个数据项,可以理解为在这些数据项中仅保留一个数据项,将多余的数据项从数据项集合中移除。
在图1所示方法的基础上,本发明实施例提供的方法中,步骤S105中提及的依据所述处理后的数据项集合中每个数据项对应的第二标准要素信息,确定多个数据标准,包括:
对所述处理后的数据项集合中的各个数据项进行分类,获得每个预设数据类别对应的数据项集合;
本发明实施例提供的方法中,在对数据项集合进行去重处理后,可基于每个数据项对应的第二标准要素信息对各个数据项进行分类,例如分为业务数据、指标数据、技术数据等等。将分类为同一预设数据类别的数据项作为一个数据项集合,与该预设数据类别相对应。
对于每个所述预设数据类别对应的数据项集合,依据该数据项集合中每个数据项对应的第二标准要素信息,确定数据项约束信息,并确定所述数据项约束信息对应的数据标准,将所述数据项约束信息对应的数据标准作为该预设数据类别对应的数据标准。
本发明实施例提供的方法中,对于每个预设数据类别对应的数据项集合,可基于该数据项对应的第二标准要素信息进行数据结构的抽象,以确定数据项约束信息,即对于这些数据项中数据内容的约束的总结描述,如某一属性的数据的数据类型,字段长度等等。根据数据项约束信息确定其对应的数据项集合所对应的数据标准,具体的,可以将数据项约束信息发送给相关的技术人员,提示技术人员根据该信息制定数据标准,并获取技术人员输入的数据标准,作为该数据项约束信息对应的数据标准,也可以预先基于国标和行业标准等等标准设置一些数据标准,通过数据项约束信息与预设数据标准的约束信息的匹配,可确定该数据项约束信息对应的预设数据标准,并将该预设数据标准发送给相关的技术人员确认,当接收到技术人员的确认指令后,将该预设数据标准确定为该数据项约束信息对应的数据标准。
在上述实施例提供的方法的基础上,本发明实施例提供的方法中,还包括:
对于每个所述预设数据类别对应的数据项集合中的每个数据项,建立该数据项与该预设数据类别对应的数据标准的映射关系。
本发明实施例提供的方法中,在确定各个数据标准后,可将每个预设数据类别对应的数据标准作为其对应的数据项集合中每个数据项对应的数据标准,建立每个数据项与其对应的数据标准的映射关系,也就是进行数据标准落标。
为了更好地说明本发明实施例提供的方法,结合实际的应用场景,本发明实施例提供了又一种数据标准体系构建方法。本发明实施例提供的方法应用于企业机构的数据标准体系构建场景。该方法可应用于企业级数据标准建设系统,该工具是对于图1所示方法的一种实例化,该系统主要包括以下模块:
数据源管理模块:管理员用户配置UAT环境数据源信息,包括数据库类型、所属应用系统、IP地址、端口号等数据库链接信息,数据源添加成功后,进行数据源信息的采集,数据表信息采集成功后,数据表在任务分配模块中展示。
任务分配模块:技术管理员用户可根据系统名、数据库名、表名、状态(已分配、未分配、全部)查询表相关详细及状态信息。支持批量将表分配给某一个用户,任务分配后在操作员梳理任务列表展示,操作员可在该模块进行梳理。
任务调整模块:支持对已分配的任务进行重新分配用户。其中,已分配的任务包括未处理和处理中的任务。
数据标准建设模块:对表中所有数据项按照数据标准要素项模板进行补充,对数据项中文名称按照“基本词+类词”格式进行规范填写,支持下载整张表中所有字段信息,进行线下补充和明细批量导入。
任务跟踪模块:可根据系统名称和处理状态进行(模糊)查询相关详细信息,如表中文名、表英文名、操作员、处理进展等。
业务系统数据项修改模块:默认展示所有本系统已梳理的数据项,可按照某一个或多个已填写的字段信息查询对应数据项,并且支持对一条或多条数据项的某个字段信息进行修改。
二义性检查模块:对于已完成规范后的数据项中文名称和数据项定义,对出现名称相同定义不同(同名不同义)和定义相同名称不同(同义不同名)的两种情况进行二义性检查、修改,消除二义性,保证二者为一一对应关系。
数据标准生成模块:当系统中所有数据项完成二义性消除后,对于不存在重复的数据项(这里的重复是指规范后的数据项中文名称和数据项定义完全一致),可直接进入到数据标准清单中,对于重复的数据项需进行去重再生成数据标准。
参考图3所示示例图,本发明实施例提供的数据标准(体系)的构建过程,主要包括:
制定数据标准要素项:确定描述数据标准的语言,即如何定义一个数据标准,数据标准要素项需要包括数据项英文名称、数据项中文名称、数据项定义、数据分类、数据类型、数据格式、代码取值范围等。
元数据资产盘点:盘点企业内所有业务系统的数据项,将所有数据项进行统一收集、盘点,即采集业务系统的数据项。
补充数据项要素:针对收集好的企业内所有业务系统数据项,按照数据标准要素项的要求进行补充填写,也就是将采集的数据项按照预设的模板保存。
规范数据项名称含义:对企业内所有业务系统数据项中文名称进行规范化描述,需要从不断建立的词根库中选取规范的用词,以确保名称的准确描述,同时详细描述数据项的含义,规范后的数据项名称需要与数据项含义一一对应。通过系统补充、规范数据项要素信息。补充后的信息由技术管理员复核并提交,接着由业务人员复核与完善,若业务人员未予以通过复核,则需要返回补充、规范数据项要素信息的流程。
数据项分类:为便于后续数据标准的应用管理,对企业内所有业务系统数据项进行分类,包括业务数据、指标数据、技术数据等。
数据项去重合并(数据项匹配去重):对规范后的数据项进行二义性检查,对不存在二义性的数据项进行去重合并,逐项形成数据标准。
生成企业级数据标准:根据去重合并后的数据项集合生成数据标准。
对标国家行业标准:针对建立的数据标准进行检查,主要按照国家和行业数据标准进行对标分析和落标。也就是建立业务系统的数据项与企业级数据标准的映射。
基于本发明实施例提供的方法,可实现一种“自下而上”建立企业级数据标准的方法,提供一种支撑数据标准建立流程的工具,利用元数据自动抽取技术,获取业务系统中元数据集合,结合企业所有业务系统的元数据现状,通过使用工具对数据项进行收集、补充、规范、分类和去重,建立“全面、统一、规范、通用”的企业级数据标准。
可建立覆盖企业全部数据的标准化规划,建立的数据标准覆盖可各项业务和管理数据,并且建立了现状数据与数据标准的映射关联关系,是企业数据治理工作的基石,可实现数据标准的规范管理,构建数字标准体系,有利于激活数据要素潜能。
与图1所示的一种数据标准体系构建方法相对应的,本发明实施例还提供了一种数据标准体系构建装置,用于对图1中所示方法的具体实现,其结构示意图如图4所示,包括:
第一确定单元301,用于确定已构建的多个业务系统,并对每个所述业务系统进行元数据采集,获得数据项集合,所述数据项集合中包含每个所述业务系统对应的多个数据项;
第二确定单元302,用于确定所述数据项集合中的每个数据项对应的第一标准要素信息;
第一处理单元303,用于对各个所述数据项对应的第一标准要素信息进行二义性消除处理,获得每个所述数据项对应的第二标准要素信息;
第二处理单元304,用于依据各个所述数据项对应的第二标准要素信息,对所述数据项集合进行去重处理,获得处理后的数据项集合;
第三确定单元305,用于依据所述处理后的数据项集合中每个数据项对应的第二标准要素信息,确定多个数据标准,以构建所述多个数据标准对应的数据标准体系。
基于本发明实施例提供的装置,在需要构建数据标准时,可对已构建的每个业务系统进行元数据采集,获得数据项集合,并确定数据项集合中每个数据项对应的第一标准要素信息。对各个数据项对应的第一标准要素信息进行二义性消除处理,获得每个数据项对应的第二标准要素信息,根据各个第二标准要素信息,对数据项集合进行去重处理,并依据处理后的数据项集合中的每个数据项所对应的第二标准要素信息,建立多个数据标准,以构建数据标准体系。应用本发明实施例提供的装置,可以结合实际应用场景下所有业务系统的数据项建立数据标准,可以得到覆盖所有存量系统及存量数据的数据标准体系,数据标准体系的应用覆盖范围广泛,有利于提高数据标准体系的有效性,继而提升数据资产管理能力。
本发明实施例提供了又一种数据标准体系构建装置,其结构示意图如图5所示,在图4所示装置的基础上,本发明实施例提供的装置中,所述第二确定单元302,包括:
第一确定子单元306,用于确定所述数据项集合中的每个所述数据项对应的管理用户;
发送子单元307,用于对于所述数据项集合中的每个所述数据项,将该数据项发送给其对应的管理用户,并提示该管理用户按照预设的多个要素属性,确定该数据项对应的数据标准要素项;
接收子单元308,用于接收每个所述数据项对应的数据标准要素项,并将每个所述数据项对应的数据标准要素项作为每个所述数据项对应的第一标准要素信息。
在上述实施例提供的装置的基础上,本发明实施例提供的装置中,所述预设的多个要素属性包括:数据项英文名称、数据项中文名称、数据项定义、数据分类、数据类型、数据格式和代码取值范围。
在上述实施例提供的装置的基础上,本发明实施例提供的装置中,所述第二处理单元304,包括:
第二确定子单元,用于将各个所述数据项对应的第二标准要素信息进行比对,以确定所述数据项集合中是否存在重复数据组,所述重复数据组包括多个数据项,所述重复数据组中各个数据项对应的第二标准要素信息相同;
合并子单元,用于若所述数据项集合中存在所述重复数据组,则对所述重复数据组中的各个数据项进行合并,以对所述数据项集合进行去重处理。
在上述实施例提供的装置的基础上,本发明实施例提供的装置中,所述第三确定单元305,包括:
分类子单元,用于对所述处理后的数据项集合中的各个数据项进行分类,获得每个预设数据类别对应的数据项集合;
第三确定子单元,用于对于每个所述预设数据类别对应的数据项集合,依据该数据项集合中每个数据项对应的第二标准要素信息,确定数据项约束信息,并确定所述数据项约束信息对应的数据标准,将所述数据项约束信息对应的数据标准作为该预设数据类别对应的数据标准。
在上述实施例提供的装置的基础上,本发明实施例提供的装置中,还包括:
映射子单元,用于对于每个所述预设数据类别对应的数据项集合中的每个数据项,建立该数据项与该预设数据类别对应的数据标准的映射关系。
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如上述的数据标准体系构建方法。
本发明实施例还提供了一种电子设备,其结构示意图如图6所示,具体包括存储器401,以及一个或者一个以上的指令402,其中一个或者一个以上指令402存储于存储器401中,且经配置以由一个或者一个以上处理器403执行所述一个或者一个以上指令402进行以下操作:
确定已构建的多个业务系统,并对每个所述业务系统进行元数据采集,获得数据项集合,所述数据项集合中包含每个所述业务系统对应的多个数据项;
确定所述数据项集合中的每个数据项对应的第一标准要素信息;
对各个所述数据项对应的第一标准要素信息进行二义性消除处理,获得每个所述数据项对应的第二标准要素信息;
依据各个所述数据项对应的第二标准要素信息,对所述数据项集合进行去重处理,获得处理后的数据项集合;
依据所述处理后的数据项集合中每个数据项对应的第二标准要素信息,确定多个数据标准,以构建所述多个数据标准对应的数据标准体系。
需要说明的是,本发明提供的数据标准体系构建方法及装置、存储介质及电子设备可用于金融领域或其他领域,例如,可用于金融领域中银行数据治理的应用场景。其他领域为除金融领域之外的任意领域,例如,通信服务领域。上述仅为示例,并不对本发明提供的数据标准体系构建方法及装置、存储介质及电子设备的应用领域进行限定。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据标准体系构建方法,其特征在于,包括:
确定已构建的多个业务系统,并对每个所述业务系统进行元数据采集,获得数据项集合,所述数据项集合中包含每个所述业务系统对应的多个数据项;
确定所述数据项集合中的每个数据项对应的第一标准要素信息;
对各个所述数据项对应的第一标准要素信息进行二义性消除处理,获得每个所述数据项对应的第二标准要素信息;
依据各个所述数据项对应的第二标准要素信息,对所述数据项集合进行去重处理,获得处理后的数据项集合;
依据所述处理后的数据项集合中每个数据项对应的第二标准要素信息,确定多个数据标准,以构建所述多个数据标准对应的数据标准体系。
2.根据权利要求1所述的方法,其特征在于,所述确定所述数据项集合中的每个数据项对应的第一标准要素信息,包括:
确定所述数据项集合中的每个所述数据项对应的管理用户;
对于所述数据项集合中的每个所述数据项,将该数据项发送给其对应的管理用户,并提示该管理用户按照预设的多个要素属性,确定该数据项对应的数据标准要素项;
接收每个所述数据项对应的数据标准要素项,并将每个所述数据项对应的数据标准要素项作为每个所述数据项对应的第一标准要素信息。
3.根据权利要求2所述的方法,其特征在于,所述预设的多个要素属性包括:数据项英文名称、数据项中文名称、数据项定义、数据分类、数据类型、数据格式和代码取值范围。
4.根据权利要求1所述的方法,其特征在于,所述依据各个所述数据项对应的第二标准要素信息,对所述数据项集合进行去重处理,包括:
将各个所述数据项对应的第二标准要素信息进行比对,以确定所述数据项集合中是否存在重复数据组,所述重复数据组包括多个数据项,所述重复数据组中各个数据项对应的第二标准要素信息相同;
若所述数据项集合中存在所述重复数据组,则对所述重复数据组中的各个数据项进行合并,以对所述数据项集合进行去重处理。
5.根据权利要求1所述的方法,其特征在于,所述依据所述处理后的数据项集合中每个数据项对应的第二标准要素信息,确定多个数据标准,包括:
对所述处理后的数据项集合中的各个数据项进行分类,获得每个预设数据类别对应的数据项集合;
对于每个所述预设数据类别对应的数据项集合,依据该数据项集合中每个数据项对应的第二标准要素信息,确定数据项约束信息,并确定所述数据项约束信息对应的数据标准,将所述数据项约束信息对应的数据标准作为该预设数据类别对应的数据标准。
6.根据权利要求5所述的方法,其特征在于,还包括:
对于每个所述预设数据类别对应的数据项集合中的每个数据项,建立该数据项与该预设数据类别对应的数据标准的映射关系。
7.一种数据标准体系构建装置,其特征在于,包括:
第一确定单元,用于确定已构建的多个业务系统,并对每个所述业务系统进行元数据采集,获得数据项集合,所述数据项集合中包含每个所述业务系统对应的多个数据项;
第二确定单元,用于确定所述数据项集合中的每个数据项对应的第一标准要素信息;
第一处理单元,用于对各个所述数据项对应的第一标准要素信息进行二义性消除处理,获得每个所述数据项对应的第二标准要素信息;
第二处理单元,用于依据各个所述数据项对应的第二标准要素信息,对所述数据项集合进行去重处理,获得处理后的数据项集合;
第三确定单元,用于依据所述处理后的数据项集合中每个数据项对应的第二标准要素信息,确定多个数据标准,以构建所述多个数据标准对应的数据标准体系。
8.根据权利要求7所述的装置,其特征在于,所述第二确定单元,包括:
第一确定子单元,用于确定所述数据项集合中的每个所述数据项对应的管理用户;
发送子单元,用于对于所述数据项集合中的每个所述数据项,将该数据项发送给其对应的管理用户,并提示该管理用户按照预设的多个要素属性,确定该数据项对应的数据标准要素项;
接收子单元,用于接收每个所述数据项对应的数据标准要素项,并将每个所述数据项对应的数据标准要素项作为每个所述数据项对应的第一标准要素信息。
9.一种存储介质,其特征在于,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如权利要求1~6任意一项所述的数据标准体系构建方法。
10.一种电子设备,其特征在于,包括存储器,以及一个或者一个以上的指令,其中一个或者一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如权利要求1~6任意一项所述的数据标准体系构建方法。
CN202210736591.3A 2022-06-27 2022-06-27 数据标准体系构建方法及装置、存储介质及电子设备 Pending CN115114271A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210736591.3A CN115114271A (zh) 2022-06-27 2022-06-27 数据标准体系构建方法及装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210736591.3A CN115114271A (zh) 2022-06-27 2022-06-27 数据标准体系构建方法及装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115114271A true CN115114271A (zh) 2022-09-27

Family

ID=83330908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210736591.3A Pending CN115114271A (zh) 2022-06-27 2022-06-27 数据标准体系构建方法及装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115114271A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220245274A1 (en) * 2021-02-03 2022-08-04 Cloudhedge Technologies Private Limited System and method for detection of patterns in application for application transformation and applying those patterns for automated application transformation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220245274A1 (en) * 2021-02-03 2022-08-04 Cloudhedge Technologies Private Limited System and method for detection of patterns in application for application transformation and applying those patterns for automated application transformation

Similar Documents

Publication Publication Date Title
CN116055283B (zh) 支持全局设置租户应用资源配额的多平台统一云管系统
CN112217656B (zh) Sd-wan系统中的网络设备的配置信息同步方法和装置
CN111382956A (zh) 企业集团关系的挖掘方法和装置
CN104536965B (zh) 一种大数据条件下的数据查询展示系统及方法
CN112801607A (zh) 一种管理服务平台及构建方法
CN109902919A (zh) 服务器资产管理方法、装置、设备及可读存储介质
CN112017007A (zh) 用户行为数据的处理方法及装置、计算机设备、存储介质
CN115114271A (zh) 数据标准体系构建方法及装置、存储介质及电子设备
CN113746684A (zh) 一种网络设备纳管方法、装置、计算机设备及存储介质
CN109829088A (zh) 一种高速公路机电工程检测系统
CN112330299A (zh) 业务流程管理方法、装置、设备及存储介质
CN110728452B (zh) 分布式流程系统中实现多维组织集成人员选择控制的系统及其方法
CN115640457A (zh) 信息管理方法、装置、设备、介质和程序产品
CN112860700B (zh) 数据表的生成方法及装置、存储介质及电子装置
CN114911511A (zh) 一种软件技术状态管理系统
JP7041675B2 (ja) 複数の供給者からデジタル文書を収集するための方法及びシステム
CN110162386B (zh) 一种任务下发方法及装置
CN115082179A (zh) 一种数据处理方法、装置、设备及存储介质
CN111143322A (zh) 一种数据标准治理系统及方法
CN115587087B (zh) 一种基于数据抽取和系统建模的高效数据共享平台
CN115348185B (zh) 一种分布式查询引擎的控制方法及其控制装置
CN111666341A (zh) 办公资产数据同步方法、装置及系统
CN117057901A (zh) 一种自动分案方法、终端及存储介质
CN109726898A (zh) 人员进出管理方法、装置、设备和存储介质
CN114070882A (zh) 一种数据整编方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination