CN111324597A - 一种主数据管理方法和系统 - Google Patents

一种主数据管理方法和系统 Download PDF

Info

Publication number
CN111324597A
CN111324597A CN202010197783.2A CN202010197783A CN111324597A CN 111324597 A CN111324597 A CN 111324597A CN 202010197783 A CN202010197783 A CN 202010197783A CN 111324597 A CN111324597 A CN 111324597A
Authority
CN
China
Prior art keywords
data
processing
main
quality control
compatible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010197783.2A
Other languages
English (en)
Other versions
CN111324597B (zh
Inventor
金震
李明
刘绍忠
张汉敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing SunwayWorld Science and Technology Co Ltd
Original Assignee
Beijing SunwayWorld Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing SunwayWorld Science and Technology Co Ltd filed Critical Beijing SunwayWorld Science and Technology Co Ltd
Priority to CN202010197783.2A priority Critical patent/CN111324597B/zh
Publication of CN111324597A publication Critical patent/CN111324597A/zh
Application granted granted Critical
Publication of CN111324597B publication Critical patent/CN111324597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种主数据管理方法和系统,该主数据管理方法和系统通过对源数据依次进行第一数据交换处理、清洗处理、数据标准转换处理、数据质量管控处理、数据生命周期管控处理和第二数据交换处理,以此将源数据接入到相应的数据分析处理平台中进行批量化的分析处理,再将分析处理得到的数据结果传送至外部平台中进行实际的业务应用,其能够提高主数据管理对不同数据场合的适用性,同时也有利于发挥主数据管理对数据价值挖掘的作用。

Description

一种主数据管理方法和系统
技术领域
本发明涉及数据管理的技术领域,特别涉及一种主数据管理方法和系统。
背景技术
主数据管理作为数据治理的核心职能,其在企业数据治理方面发挥着重大的作用。主数据管理的关键就是如何实现对主数据的合理管控,主数据管理并不会创建新的数据,其只是提供一种对主数据进行加工的方式,这样可使企业能够有效地管理存储于不同系统的不同类型数据。其中,主数据管理最重要的一个环节就是要保证主数据的唯一性、完整性、一致性和数据相互之间的对应关系。但是,由于数据呈爆发式的增长,相应地主数据的数据量和数据结构也呈现海量化和多样化的发展趋势,而现有的主数据管理模式只能针对特定数据量和数据结构的主数据进行相应的管理操作,其管理操作的效率和准确性会随着数据量的增长和数据结构的多样化而下降,这严重地影响主数据管理对不同数据场合的适用性,同时也不利于发挥主数据管理对数据价值挖掘的作用。
发明内容
针对现有技术存在的缺陷,本发明提供一种主数据管理方法和系统,该主数据管理方法和系统通过对源数据进行第一数据交换处理,以将所述源数据转换为引擎兼容主数据,并对所述为引擎兼容主数据进行数据清洗处理,以此获得清洁主数据,对所述清洁主数据依次进行数据标准转换处理和数据质量管控处理,以此获得标准化质控主数据,对所述标准化质控数据进行数据生命周期管控处理,以此获得归档化主数据,对所述归档化主数据进行第二数据交换处理,以此获得与外部平台相匹配的平台兼容数据;可见,该主数据管理方法和系统通过对源数据依次进行第一数据交换处理、清洗处理、数据标准转换处理、数据质量管控处理、数据生命周期管控处理和第二数据交换处理,以此将源数据接入到相应的数据分析处理平台中进行批量化的分析处理,再将分析处理得到的数据结果传送至外部平台中进行实际的业务应用,其能够提高主数据管理对不同数据场合的适用性,同时也有利于发挥主数据管理对数据价值挖掘的作用。
本发明提供一种主数据管理方法,其特征在于,所述主数据管理方法包括如下步骤:
步骤S1,对源数据进行第一数据交换处理,以将所述源数据转换为引擎兼容主数据,并对所述引擎兼容主数据进行数据清洗处理,以此获得清洁主数据;
步骤S2,对所述清洁主数据依次进行数据标准转换处理和数据质量管控处理,以此获得标准化质控主数据;
步骤S3,对所述标准化质控数据进行数据生命周期管控处理,以此获得归档化主数据;
步骤S4,对所述归档化主数据进行第二数据交换处理,以此获得与外部平台相匹配的平台兼容数据;
进一步,在所述步骤S1中,对源数据进行第一数据交换处理,以将所述源数据转换为引擎兼容主数据,并对所述引擎兼容主数据进行数据清洗处理,以此获得清洁主数据具体包括,
步骤S101,根据分析引擎的数据分析模式,确定相应的数据变换模式,并根据所述数据变换模式,对所述源数据进行关于所述分析引擎兼容的第一数据交换处理,以此得到所述引擎兼容主数据;
步骤S102,根据预定数据清洗模型对所述引擎兼容主数据进行关于数据检测、数据定位、数据修正和数据验证的所述数据清洗处理,以此获得所述清洁主数据,其中,所述数据定位是根据下面公式(1)-(3)利用数据与数据节点之间的映射关系对经过数据检测确定为异常的数据进行定位,
Figure BDA0002418246020000031
Figure BDA0002418246020000032
Figure BDA0002418246020000033
在上述公式(1)-(3)中,dij为数据节点i与数据节点j之间的距离,x为所述数据节点i的坐标向量中的第α个值,x为所述数据节点j的坐标向量中第α个值,k为所述坐标向量包含的数值总数量,w为加权函数,f(xi)为中间函数,
Figure BDA0002418246020000034
为所述中间函数的函数项的权值,dmin为当前数据节点间隔相邻的另一个数据节点,Nj为当期数据节点间隔相邻的数据节点集,S为数据定位范围,并通过所述数据定位范围S确定所述异常的数据对应的扇区存储位置;
步骤S103,对所述清洁主数据进行第一数据分段处理,以此获得满足最优化数据处理条件的若干分段清洁主数据;
进一步,在所述步骤S2中,对所述清洁主数据依次进行数据标准转换处理和数据质量管控处理,以此获得标准化质控主数据具体包括,
步骤S201,对所述清洁主数据进行关于数据编码规则、数据属性规则和数据结构规则中至少一者的数据标准转换处理,以此获得标准化主数据;
步骤S202,对所述标准化主数据进行关于数据唯一性、数据完整性、数据自约束性和数据相似性中至少一者的质量管控处理,以此获取所述标准化质控主数据;
步骤S203,对所述标准化质控主数据进行第二数据分段处理,以此获得满足最优化数据处理条件的若干分段标准化质控主数据;
进一步,在所述步骤S3中,对所述标准化质控数据进行数据生命周期管控处理,以此获得归档化主数据具体包括,
步骤S301,对所述标准化质控数据进行关于数据模板匹配、数据元属性校正、数据版本校对和数据归档维护的所述数据生命周期管控处理,以此获得所述归档化主数据;
步骤S302,对所述归档化主数据进行第三数据分段处理,以此获得满足最优化数据处理条件的若干分段归档化主数据;
进一步,在所述步骤S4中,对所述归档化主数据进行第二数据交换处理,以此获得与外部平台相匹配的平台兼容数据具体包括,
步骤S401,根据所述外部平台的数据业务应用模式,确定相应的数据业务化转换模式;
步骤S402,根据所述数据业务化转换模式,对所述归档化主数据进行关于外部平台业务应用兼容的第二数据变换处理,以此获得所述平台兼容数据。
本发明还提供一种主数据管理系统,其特征在于:
所述主数据管理系统包括第一数据交换模块、清洗处理模块、数据标准转换处理模块、数据质量管控处理模块、数据生命周期管控处理模块和第二数据交换模块;其中,
所述第一数据交换模块用于对源数据进行第一数据交换处理,以将所述源数据转换为引擎兼容主数据;
所述清洗处理模块用于对所述为引擎兼容主数据进行数据清洗处理,以此获得清洁主数据;
所述数据标准转换处理模块用于对所述清洁主数据进行数据标准转换处理,以此获得标准化主数据;
所述数据质量管控处理模块用于对所述标准化主数据进行数据质量管控处理,以此获得标准化质控主数据;
所述数据生命周期管控处理模块用于对所述标准化质控数据进行数据生命周期管控处理,以此获得归档化主数据;
所述第二数据交换模块用于对所述归档化主数据进行第二数据交换处理,以此获得与外部平台相匹配的平台兼容数据;
进一步,所述第一数据交换模块包括数据变换模式确定子模块和第一数据交换执行子模块;其中,
所述数据变换模式确定子模块用于根据分析引擎的数据分析模式,确定相应的数据变换模式;
所述第一数据交换执行子模块用于根据所述数据变换模式,对所述源数据进行关于所述分析引擎兼容的第一数据交换处理,以此得到所述引擎兼容主数据;
或者,
所述清洗处理模块包括数据清洁子模块和第一数据分段子模块;其中,
所述数据清洁子模块用于根据预定数据清洗模型对所述引擎兼容主数据进行关于数据检测、数据定位、数据修正和数据验证的所述数据清洗处理,以此获得所述清洁主数据;
所述第一数据分段子模块用于对所述清洁主数据进行第一数据分段处理,以此获得满足最优化数据处理条件的若干分段清洁主数据;
进一步,所述数据标准转换处理模块用于对所述清洁主数据进行关于数据编码规则、数据属性规则和数据结构规则中至少一者的数据标准转换处理,以此获得所述标准化主数据;
所述数据质量管控处理模块用于对所述标准化主数据进行关于数据唯一性、数据完整性、数据自约束性和数据相似性中至少一者的质量管控处理,以此获取所述标准化质控主数据;
所述数据质量管控处理模块包括第一数据分段子模块,其用于对对所述标准化质控主数据进行第二数据分段处理,以此获得满足最优化数据处理条件的若干分段标准化质控主数据;
进一步,所述数据生命周期管控处理模块用于对所述标准化质控数据进行关于数据模板匹配、数据元属性校正、数据版本校对和数据归档维护的所述数据生命周期管控处理,以此获得所述归档化主数据;
所述数据生命周期管控处理模块包括第三数据分段处理子模块,其用于对所述归档化主数据进行第三数据分段处理,以此获得满足最优化数据处理条件的若干分段归档化主数据;
进一步,所述第二数据交换模块包括数据业务化转换模式确定子模块和第二数据交换执行子模块;其中,
所述数据业务化转换模式确定子模块用于根据所述外部平台的数据业务应用模式,确定相应的数据业务化转换模式;
所述第二数据交换执行子模块用于根据所述数据业务化转换模式,对所述归档化主数据进行关于外部平台业务应用兼容的第二数据变换处理,以此获得所述平台兼容数据。
相比于现有技术,该主数据管理方法和系统通过对源数据进行第一数据交换处理,以将所述源数据转换为引擎兼容主数据,并对所述为引擎兼容主数据进行数据清洗处理,以此获得清洁主数据,对所述清洁主数据依次进行数据标准转换处理和数据质量管控处理,以此获得标准化质控主数据,对所述标准化质控数据进行数据生命周期管控处理,以此获得归档化主数据,对所述归档化主数据进行第二数据交换处理,以此获得与外部平台相匹配的平台兼容数据;可见,该主数据管理方法和系统通过对源数据依次进行第一数据交换处理、清洗处理、数据标准转换处理、数据质量管控处理、数据生命周期管控处理和第二数据交换处理,以此将源数据接入到相应的数据分析处理平台中进行批量化的分析处理,再将分析处理得到的数据结果传送至外部平台中进行实际的业务应用,其能够提高主数据管理对不同数据场合的适用性,同时也有利于发挥主数据管理对数据价值挖掘的作用。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种主数据管理方法的流程示意图。
图2为本发明提供的一种主数据管理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1,为本发明实施例提供的一种主数据管理方法的流程示意图。该主数据管理方法包括如下步骤:
步骤S1,对源数据进行第一数据交换处理,以将该源数据转换为引擎兼容主数据,并对该引擎兼容主数据进行数据清洗处理,以此获得清洁主数据;
步骤S2,对该清洁主数据依次进行数据标准转换处理和数据质量管控处理,以此获得标准化质控主数据;
步骤S3,对该标准化质控数据进行数据生命周期管控处理,以此获得归档化主数据;
步骤S4,对该归档化主数据进行第二数据交换处理,以此获得与外部平台相匹配的平台兼容数据。
优选地,在该步骤S1中,对源数据进行第一数据交换处理,以将该源数据转换为引擎兼容主数据,并对该引擎兼容主数据进行数据清洗处理,以此获得清洁主数据具体包括,
步骤S101,根据分析引擎的数据分析模式,确定相应的数据变换模式,并根据该数据变换模式,对该源数据进行关于该分析引擎兼容的第一数据交换处理,以此得到该引擎兼容主数据;
步骤S102,根据预定数据清洗模型对该引擎兼容主数据进行关于数据检测、数据定位、数据修正和数据验证的该数据清洗处理,以此获得该清洁主数据,其中,该数据定位是根据下面公式(1)-(3)利用数据与数据节点之间的映射关系对经过数据检测确定为异常的数据进行定位,
Figure BDA0002418246020000081
Figure BDA0002418246020000082
Figure BDA0002418246020000083
在上述公式(1)-(3)中,dij为数据节点i与数据节点j之间的距离,x为该数据节点i的坐标向量中的第α个值,x为该数据节点j的坐标向量中第α个值,k为该坐标向量包含的数值总数量,w为加权函数,f(xi)为中间函数,
Figure BDA0002418246020000084
为该中间函数的函数项的权值,dmin为当前数据节点间隔相邻的另一个数据节点,Nj为当期数据节点间隔相邻的数据节点集,S为数据定位范围,并通过该数据定位范围S确定该异常的数据对应的扇区存储位置;
步骤S103,对该清洁主数据进行第一数据分段处理,以此获得满足最优化数据处理条件的若干分段清洁主数据;
上述数据定位过程能够对经过数据检测确定异常数据进行定位,其具体是利用数据与数据节点之间的映射关系,对数据节点进行定位的,其能够实现对异常数据的快速和准确定位。
优选地,在该步骤S2中,对该清洁主数据依次进行数据标准转换处理和数据质量管控处理,以此获得标准化质控主数据具体包括,
步骤S201,对该清洁主数据进行关于数据编码规则、数据属性规则和数据结构规则中至少一者的数据标准转换处理,以此获得标准化主数据;
步骤S202,对该标准化主数据进行关于数据唯一性、数据完整性、数据自约束性和数据相似性中至少一者的质量管控处理,以此获取该标准化质控主数据;
步骤S203,对该标准化质控主数据进行第二数据分段处理,以此获得满足最优化数据处理条件的若干分段标准化质控主数据。
优选地,在该步骤S3中,对该标准化质控数据进行数据生命周期管控处理,以此获得归档化主数据具体包括,
步骤S301,对该标准化质控数据进行关于数据模板匹配、数据元属性校正、数据版本校对和数据归档维护的该数据生命周期管控处理,以此获得该归档化主数据;
步骤S302,对该归档化主数据进行第三数据分段处理,以此获得满足最优化数据处理条件的若干分段归档化主数据。
优选地,在该步骤S4中,对该归档化主数据进行第二数据交换处理,以此获得与外部平台相匹配的平台兼容数据具体包括,
步骤S401,根据该外部平台的数据业务应用模式,确定相应的数据业务化转换模式;
步骤S402,根据该数据业务化转换模式,对该归档化主数据进行关于外部平台业务应用兼容的第二数据变换处理,以此获得该平台兼容数据。
参阅图2,为本发明实施例提供的一种主数据管理系统的结构示意图。该主数据管理系统包括第一数据交换模块、清洗处理模块、数据标准转换处理模块、数据质量管控处理模块、数据生命周期管控处理模块和第二数据交换模块;其中,
该第一数据交换模块用于对源数据进行第一数据交换处理,以将该源数据转换为引擎兼容主数据;
该清洗处理模块用于对该为引擎兼容主数据进行数据清洗处理,以此获得清洁主数据;
该数据标准转换处理模块用于对该清洁主数据进行数据标准转换处理,以此获得标准化主数据;
该数据质量管控处理模块用于对该标准化主数据进行数据质量管控处理,以此获得标准化质控主数据;
该数据生命周期管控处理模块用于对该标准化质控数据进行数据生命周期管控处理,以此获得归档化主数据;
该第二数据交换模块用于对该归档化主数据进行第二数据交换处理,以此获得与外部平台相匹配的平台兼容数据。
优选地,该第一数据交换模块包括数据变换模式确定子模块和第一数据交换执行子模块;其中,
该数据变换模式确定子模块用于根据分析引擎的数据分析模式,确定相应的数据变换模式;
该第一数据交换执行子模块用于根据该数据变换模式,对该源数据进行关于该分析引擎兼容的第一数据交换处理,以此得到该引擎兼容主数据。
优选地,该清洗处理模块包括数据清洁子模块和第一数据分段子模块;其中,
该数据清洁子模块用于根据预定数据清洗模型对该引擎兼容主数据进行关于数据检测、数据定位、数据修正和数据验证的该数据清洗处理,以此获得该清洁主数据;
该第一数据分段子模块用于对该清洁主数据进行第一数据分段处理,以此获得满足最优化数据处理条件的若干分段清洁主数据。
优选地,该数据标准转换处理模块用于对该清洁主数据进行关于数据编码规则、数据属性规则和数据结构规则中至少一者的数据标准转换处理,以此获得该标准化主数据;
该数据质量管控处理模块用于对该标准化主数据进行关于数据唯一性、数据完整性、数据自约束性和数据相似性中至少一者的质量管控处理,以此获取该标准化质控主数据;
该数据质量管控处理模块包括第一数据分段子模块,其用于对对该标准化质控主数据进行第二数据分段处理,以此获得满足最优化数据处理条件的若干分段标准化质控主数据。
优选地,该数据生命周期管控处理模块用于对该标准化质控数据进行关于数据模板匹配、数据元属性校正、数据版本校对和数据归档维护的该数据生命周期管控处理,以此获得该归档化主数据;
该数据生命周期管控处理模块包括第三数据分段处理子模块,其用于对该归档化主数据进行第三数据分段处理,以此获得满足最优化数据处理条件的若干分段归档化主数据。
优选地,该第二数据交换模块包括数据业务化转换模式确定子模块和第二数据交换执行子模块;其中,
该数据业务化转换模式确定子模块用于根据该外部平台的数据业务应用模式,确定相应的数据业务化转换模式;
该第二数据交换执行子模块用于根据该数据业务化转换模式,对该归档化主数据进行关于外部平台业务应用兼容的第二数据变换处理,以此获得该平台兼容数据。
从上述实施例的内容可知,该主数据管理方法和系统通过对源数据依次进行第一数据交换处理、清洗处理、数据标准转换处理、数据质量管控处理、数据生命周期管控处理和第二数据交换处理,以此将源数据接入到相应的数据分析处理平台中进行批量化的分析处理,再将分析处理得到的数据结果传送至外部平台中进行实际的业务应用,其能够提高主数据管理对不同数据场合的适用性,同时也有利于发挥主数据管理对数据价值挖掘的作用。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种主数据管理方法,其特征在于,所述主数据管理方法包括如下步骤:
步骤S1,对源数据进行第一数据交换处理,以将所述源数据转换为引擎兼容主数据,并对所述引擎兼容主数据进行数据清洗处理,以此获得清洁主数据;
步骤S2,对所述清洁主数据依次进行数据标准转换处理和数据质量管控处理,以此获得标准化质控主数据;
步骤S3,对所述标准化质控数据进行数据生命周期管控处理,以此获得归档化主数据;
步骤S4,对所述归档化主数据进行第二数据交换处理,以此获得与外部平台相匹配的平台兼容数据。
2.如权利要求1所述的主数据管理方法,其特征在于:
在所述步骤S1中,对源数据进行第一数据交换处理,以将所述源数据转换为引擎兼容主数据,并对所述引擎兼容主数据进行数据清洗处理,以此获得清洁主数据具体包括,
步骤S101,根据分析引擎的数据分析模式,确定相应的数据变换模式,并根据所述数据变换模式,对所述源数据进行关于所述分析引擎兼容的第一数据交换处理,以此得到所述引擎兼容主数据;
步骤S102,根据预定数据清洗模型对所述引擎兼容主数据进行关于数据检测、数据定位、数据修正和数据验证的所述数据清洗处理,以此获得所述清洁主数据,其中,所述数据定位是根据下面公式(1)-(3)利用数据与数据节点之间的映射关系对经过数据检测确定为异常的数据进行定位,
Figure FDA0002418246010000011
Figure FDA0002418246010000012
Figure FDA0002418246010000021
在上述公式(1)-(3)中,dij为数据节点i与数据节点j之间的距离,x为所述数据节点i的坐标向量中的第α个值,x为所述数据节点j的坐标向量中第α个值,k为所述坐标向量包含的数值总数量,w为加权函数,f(xi)为中间函数,
Figure FDA0002418246010000022
为所述中间函数的函数项的权值,dmin为当前数据节点间隔相邻的另一个数据节点,Nj为当期数据节点间隔相邻的数据节点集,S为数据定位范围,并通过所述数据定位范围S确定所述异常的数据对应的扇区存储位置;
步骤S103,对所述清洁主数据进行第一数据分段处理,以此获得满足最优化数据处理条件的若干分段清洁主数据。
3.如权利要求1所述的主数据管理方法,其特征在于:
在所述步骤S2中,对所述清洁主数据依次进行数据标准转换处理和数据质量管控处理,以此获得标准化质控主数据具体包括,
步骤S201,对所述清洁主数据进行关于数据编码规则、数据属性规则和数据结构规则中至少一者的数据标准转换处理,以此获得标准化主数据;
步骤S202,对所述标准化主数据进行关于数据唯一性、数据完整性、数据自约束性和数据相似性中至少一者的质量管控处理,以此获取所述标准化质控主数据;
步骤S203,对所述标准化质控主数据进行第二数据分段处理,以此获得满足最优化数据处理条件的若干分段标准化质控主数据。
4.如权利要求1所述的主数据管理方法,其特征在于:
在所述步骤S3中,对所述标准化质控数据进行数据生命周期管控处理,以此获得归档化主数据具体包括,
步骤S301,对所述标准化质控数据进行关于数据模板匹配、数据元属性校正、数据版本校对和数据归档维护的所述数据生命周期管控处理,以此获得所述归档化主数据;
步骤S302,对所述归档化主数据进行第三数据分段处理,以此获得满足最优化数据处理条件的若干分段归档化主数据。
5.如权利要求1所述的主数据管理方法,其特征在于:
在所述步骤S4中,对所述归档化主数据进行第二数据交换处理,以此获得与外部平台相匹配的平台兼容数据具体包括,
步骤S401,根据所述外部平台的数据业务应用模式,确定相应的数据业务化转换模式;
步骤S402,根据所述数据业务化转换模式,对所述归档化主数据进行关于外部平台业务应用兼容的第二数据变换处理,以此获得所述平台兼容数据。
6.一种主数据管理系统,其特征在于:
所述主数据管理系统包括第一数据交换模块、清洗处理模块、数据标准转换处理模块、数据质量管控处理模块、数据生命周期管控处理模块和第二数据交换模块;其中,
所述第一数据交换模块用于对源数据进行第一数据交换处理,以将所述源数据转换为引擎兼容主数据;
所述清洗处理模块用于对所述为引擎兼容主数据进行数据清洗处理,以此获得清洁主数据;
所述数据标准转换处理模块用于对所述清洁主数据进行数据标准转换处理,以此获得标准化主数据;
所述数据质量管控处理模块用于对所述标准化主数据进行数据质量管控处理,以此获得标准化质控主数据;
所述数据生命周期管控处理模块用于对所述标准化质控数据进行数据生命周期管控处理,以此获得归档化主数据;
所述第二数据交换模块用于对所述归档化主数据进行第二数据交换处理,以此获得与外部平台相匹配的平台兼容数据。
7.如权利要求6所述的主数据管理系统,其特征在于:
所述第一数据交换模块包括数据变换模式确定子模块和第一数据交换执行子模块;其中,
所述数据变换模式确定子模块用于根据分析引擎的数据分析模式,确定相应的数据变换模式;
所述第一数据交换执行子模块用于根据所述数据变换模式,对所述源数据进行关于所述分析引擎兼容的第一数据交换处理,以此得到所述引擎兼容主数据;
或者,
所述清洗处理模块包括数据清洁子模块和第一数据分段子模块;其中,所述数据清洁子模块用于根据预定数据清洗模型对所述引擎兼容主数据进行关于数据检测、数据定位、数据修正和数据验证的所述数据清洗处理,以此获得所述清洁主数据;
所述第一数据分段子模块用于对所述清洁主数据进行第一数据分段处理,以此获得满足最优化数据处理条件的若干分段清洁主数据。
8.如权利要求6所述的主数据管理系统,其特征在于:
所述数据标准转换处理模块用于对所述清洁主数据进行关于数据编码规则、数据属性规则和数据结构规则中至少一者的数据标准转换处理,以此获得所述标准化主数据;
所述数据质量管控处理模块用于对所述标准化主数据进行关于数据唯一性、数据完整性、数据自约束性和数据相似性中至少一者的质量管控处理,以此获取所述标准化质控主数据;
所述数据质量管控处理模块包括第一数据分段子模块,其用于对对所述标准化质控主数据进行第二数据分段处理,以此获得满足最优化数据处理条件的若干分段标准化质控主数据。
9.如权利要求6所述的主数据管理系统,其特征在于:
所述数据生命周期管控处理模块用于对所述标准化质控数据进行关于数据模板匹配、数据元属性校正、数据版本校对和数据归档维护的所述数据生命周期管控处理,以此获得所述归档化主数据;
所述数据生命周期管控处理模块包括第三数据分段处理子模块,其用于对所述归档化主数据进行第三数据分段处理,以此获得满足最优化数据处理条件的若干分段归档化主数据。
10.如权利要求6所述的主数据管理系统,其特征在于:
所述第二数据交换模块包括数据业务化转换模式确定子模块和第二数据交换执行子模块;其中,
所述数据业务化转换模式确定子模块用于根据所述外部平台的数据业务应用模式,确定相应的数据业务化转换模式;
所述第二数据交换执行子模块用于根据所述数据业务化转换模式,对所述归档化主数据进行关于外部平台业务应用兼容的第二数据变换处理,以此获得所述平台兼容数据。
CN202010197783.2A 2020-03-19 2020-03-19 一种主数据管理方法和系统 Active CN111324597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010197783.2A CN111324597B (zh) 2020-03-19 2020-03-19 一种主数据管理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010197783.2A CN111324597B (zh) 2020-03-19 2020-03-19 一种主数据管理方法和系统

Publications (2)

Publication Number Publication Date
CN111324597A true CN111324597A (zh) 2020-06-23
CN111324597B CN111324597B (zh) 2020-12-08

Family

ID=71164018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010197783.2A Active CN111324597B (zh) 2020-03-19 2020-03-19 一种主数据管理方法和系统

Country Status (1)

Country Link
CN (1) CN111324597B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115936017A (zh) * 2023-01-12 2023-04-07 北京三维天地科技股份有限公司 一种支持界面多语言和数据多语言的主数据管理方法
CN116166679A (zh) * 2023-02-13 2023-05-26 北京三维天地科技股份有限公司 一种基于主从模型关系的主数据交换方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065269A (zh) * 2013-01-05 2013-04-24 深圳供电局有限公司 一种营配主数据管理系统
CN104699860A (zh) * 2015-04-09 2015-06-10 成都卡莱博尔信息技术有限公司 一种共享型主数据的数据加工存储方法
CN104699861A (zh) * 2015-04-09 2015-06-10 成都卡莱博尔信息技术有限公司 一种主数据中心的数据处理方法
CN106021494A (zh) * 2016-05-19 2016-10-12 中国银联股份有限公司 一种主数据同步方法及装置
CN108052645A (zh) * 2017-12-26 2018-05-18 重庆信联达软件有限公司 企业内部数据标准化管理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065269A (zh) * 2013-01-05 2013-04-24 深圳供电局有限公司 一种营配主数据管理系统
CN104699860A (zh) * 2015-04-09 2015-06-10 成都卡莱博尔信息技术有限公司 一种共享型主数据的数据加工存储方法
CN104699861A (zh) * 2015-04-09 2015-06-10 成都卡莱博尔信息技术有限公司 一种主数据中心的数据处理方法
CN106021494A (zh) * 2016-05-19 2016-10-12 中国银联股份有限公司 一种主数据同步方法及装置
CN108052645A (zh) * 2017-12-26 2018-05-18 重庆信联达软件有限公司 企业内部数据标准化管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾凯等: "《大数据治理及数据仓库模型设计》", 31 July 2017 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115936017A (zh) * 2023-01-12 2023-04-07 北京三维天地科技股份有限公司 一种支持界面多语言和数据多语言的主数据管理方法
CN116166679A (zh) * 2023-02-13 2023-05-26 北京三维天地科技股份有限公司 一种基于主从模型关系的主数据交换方法
CN116166679B (zh) * 2023-02-13 2023-10-20 北京三维天地科技股份有限公司 一种基于主从模型关系的主数据交换方法

Also Published As

Publication number Publication date
CN111324597B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN107168995B (zh) 一种数据处理方法及服务器
CN111324597B (zh) 一种主数据管理方法和系统
CN112445775B (zh) 一种光刻机的故障分析方法、装置、设备和存储介质
CN110647447A (zh) 用于分布式系统的异常实例检测方法、装置、设备和介质
CN114968727B (zh) 基于人工智能运维的数据库贯穿基础设施的故障定位方法
CN110633318A (zh) 一种数据提取的处理方法、装置、设备和存储介质
CN114281932A (zh) 工单质检模型的训练方法、装置、设备及存储介质
CN113138906A (zh) 一种调用链数据采集方法、装置、设备及存储介质
CN112783989A (zh) 一种基于区块链的数据处理方法及装置
CN115437965B (zh) 适用于测试管理平台的数据处理方法
CN115345600B (zh) 一种rpa流程的生成方法和装置
CN115759742A (zh) 企业风险评估方法、装置、计算机设备和存储介质
CN114546706B (zh) 一种应用于深度学习的应用程序缺陷分析方法及服务器
CN111611406B (zh) 用于人工智能学习模式的数据存储系统与方法
CN116383883B (zh) 一种基于大数据的数据管理权限处理方法及系统
CN117806981B (zh) 一种cfd软件自动化测试方法及系统
CN114722819B (zh) 一种实体类型分类识别方法、装置、设备和介质
CN114692595B (zh) 一种基于文本匹配的重复冲突方案检测方法
CN111897886A (zh) 模型管理方法、装置、电子设备和存储介质
CN112288329A (zh) 一种操作行为记录的风险预估方法及装置
CN112559331A (zh) 测试方法和装置
CN115982151A (zh) 数据冗余识别方法、装置、电子设备及存储介质
CN117216326A (zh) 无效数据表的识别方法、装置、设备及存储介质
CN116974915A (zh) 基于cmdb的ci模型评测方法、装置、设备及介质
CN113468155A (zh) 问题数据处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant