CN113111245B - 实现多维数据质量校验的高校主数据治理系统及方法 - Google Patents
实现多维数据质量校验的高校主数据治理系统及方法 Download PDFInfo
- Publication number
- CN113111245B CN113111245B CN202110278188.6A CN202110278188A CN113111245B CN 113111245 B CN113111245 B CN 113111245B CN 202110278188 A CN202110278188 A CN 202110278188A CN 113111245 B CN113111245 B CN 113111245B
- Authority
- CN
- China
- Prior art keywords
- data
- main data
- main
- management
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013523 data management Methods 0.000 title claims abstract description 36
- 238000007726 management method Methods 0.000 claims abstract description 25
- 238000012795 verification Methods 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 53
- 238000010606 normalization Methods 0.000 claims description 22
- 238000013524 data verification Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 14
- 238000012550 audit Methods 0.000 claims description 10
- 238000004519 manufacturing process Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Library & Information Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于高校信息化的主数据管理技术领域，提出一种实现多维数据质量校验的高校主数据治理系统及方法，系统包括：元数据管理模块、主数据代码模块、主数据照管模块、主数据治理模块和主数据管控模块；方法包括：制定主数据标准；定义主数据代码；配置主数据的元数据模型；配置主数据UCSM权责矩阵；抽取并转换应用系统主数据；主数据质量校验；是否合规判定；主数据自动存储到主数据中心。本发明综合了高校主数据标准、元数据建模、数据质量稽核等技术，并提供了高校主数据治理的元数据版本管控、UCSM矩阵管控、数据质量管控、共享安全管控等策略，通过提供多维数据质量稽核检查方法的配置，使系统具有通用性、实用性、灵活性。
Description
技术领域
本发明涉及高校信息化的主数据管理技术领域，具体涉及一种实现多维数据质量校验的高校主数据治理系统及方法。
背景技术
高校主数据是那些经常被应用系统共享使用的基础数据，如部门、学院、教师、学生、学科、专业、课程、教室等。主数据治理的目的是保障高校主数据的唯一性、完整性、有效性、规范性、一致性和稳定性，为全校信息化提供跨系统、跨应用和跨流程的单一、准确、权威基础数据。
由于高校应用系统通常由各个业务部分根据业务需要独立建设，每个应用系统中使用的主数据都是独立维护，高校主数据缺乏统一的信息标准，导致数据格式各异、数据一致性差、数据内容出错，使得主数据无法共享与交换。
目前一些高校建设了数据中心，基于高校的信息标准实现了各个应用系统数据集成整合，按照“一数一源”的原则进行应用系统数据抽取，但主数据重复分布到各个应用系统中，没有针对主数据进行全量抽取、交叉对比和深度治理，导致数据中心的主数据的数据质量难以得到保证，不能从根本上提升主数据的数据质量。
因此，需要精细化管理高校主数据的权责关系，采用多个维度校验方法稽核主数据的数据质量，保证主数据的数据质量持续可信。
发明内容
针对高校现有数据中心管理技术的不足，本发明的目的是提供一种实现多维数据质量校验的高校主数据治理系统及方法，综合了高校主数据标准、元数据建模、数据质量稽核等技术，提供了高校主数据治理的元数据版本管控、UCSM矩阵管控、数据质量管控、共享安全管控等策略。
本发明解决其技术问题，采用的技术方案是：
本发明一方面提出一种实现多维数据质量校验的高校主数据治理系统，包括：
元数据管理模块，用于基于高校主数据标准构建主数据的元数据模型，保证主数据的元数据属性与主数据的数据结构协同，并用于配置主数据的范畴、结构关系和版本控制，自动生成主数据的数据库结构；
主数据代码模块，用于定义高校各类通用代码的编码规则和代码值；
主数据照管模块，用于采用UCSM矩阵模式定义各个主数据子类的使用、生产、照管和修改权限的归属，设置具体人员在主数据数据治理过程中担任的角色，U代表使用，C代表生产，S代表照管，M代表修改；
主数据治理模块，用于集成高校已有各类应用系统中使用的所有主数据，通过自动转换和检测，识别问题主数据并消息反馈主数据子类照顾人员，纠正后的主数据自动存入主数据数据库；
主数据管控模块，用于对比分析任意两个时间节点的数据快照变化，并按系统角色、工作岗位和业务部门三个维度配置主数据的搜索、查询、新增和编辑权限，配置主数据共享开放数据接口，并按时间节点对主数据的历史数据进行归档形成数据快照。
进一步的是，所述自动生成主数据的数据库结构，具有以下属性：
范畴属性：定义高校主数据的目录和主数据名称；
结构属性：定义主数据编号、项名、位置、主键、非空、类型、长度和约束，数据类型可设置文本、数字和时间的常规类型，和/或设置图片、附件和不限长文本的特殊类型；
关系属性：定性主数据字段的引用标准代码、关联数据字段和关联计算规则；
版本控制属性：已经发布的主数据元数据模型可以重新修改结构和关系属性，重新发布后形成主数据元数据模型新版本，同时自动调整主数据数据库结构，对已经保持的主数据历史记录不产生影响。
进一步的是，所述主数据代码模块定义在高校各类通用代码的编码规则和代码值时，具有以下属性：
编码级次：定义高校各类通用代码的编码级次，级次数量无限制；
编码构成：每级编码可以定义为固定字符、系统变量、系统时间和自动编号，自动编号可以设置长度、最大值、最小值以及自动编号周期属性；
代码值：增加和编辑各个编码对应的代码值，代码值为数字或文本。
进一步的是，所述自动转换和检测的方法包括：
代码转换：按照主数据代码规范转换各类集成应用系统使用主数据的代码数据字段，并存入贴源层数据表中；
唯一性校验：提供数据唯一性数据校验方法，包括单指标值域唯一性检测、同组多指标联合值域唯一性检测以及多个组多指标值域唯一性检测；
完整性校验：提供数据完整性数据校验方法，包括单个指标值域非空检测和同组多指标联合值域非空检测；
有效性校验：提供数据有效性数据校验方法，包括基于字段检测、基于指标检测和基于计算检测；
规范性校验：提供数据规范性数据校验方法，包括身份证规范性检测、手机号规范性检测、时间格式检测、百分数规范性检测和小数位数规范性检测；
一致性校验：提供数据一致性数据校验方法，包括周期定义与数据项数检测和组间指标值域一致性检测；
稳定性校验：提供数据稳定性数据校验方法，包括波动性检测、平衡性检测和高群值检测。
进一步的是，所述主数据治理模块还用于自动生成主数据质量报告，呈现稽核指标组数量、规则指标覆盖率、稽核数据覆盖率和稽核数据合规率，并自动计算主数据总体和各个主数据子类的唯一性、完整性、有效性、规范性、一致性和稳定性质量得分。
进一步的是，所述对比分析任意两个时间节点的数据快照变化，具体包括以下对比内容：
总体差异对比：选择任意两个时间节点，对比分析两个时间节点上数据快照的数据总体差异，呈现数据子类的字段数量和数据记录数量的对比差异，以及字段数据的变化率和数据记录数量的变化率；
数据记录对比：选择任意两个时间节点，对比分析两个时间节点上数据快照的数据记录差异，呈现每条数据记录的每个数据字段的数据内容在两个时间节点上差异，具有差异的内容通过明显标记标注；
数据记录追溯：查看数据子类数据更新日志记录，查看每次数据操作日志的数据来源方式、数据来源名称、操作执行人，以及新增、修改和删除的数据记录数量，支持查看每次操作的数据记录详细信息。
进一步的是，当按系统角色、工作岗位和业务部门三个维度配置主数据的搜索、查询、新增和编辑权限时，可以自定义数据过滤条件限制授权数据记录范围。
进一步的是，所述配置主数据共享开放数据接口，具有以下属性：
接口参数：接口名称、接口类型、接口地址、加密方式、加密字串、目标系统、目标应用和目标服务器；
数据限制：限定单次访问获取数据记录的最大值，限定两次访问获取数据的时间间隔最小值；
接口图谱：呈现接口谱系视图展示数据接口与数据子类之间的关联关系。
进一步的是，所述按时间节点对主数据的历史数据进行归档形成数据快照时，手动归档和/或按周期性自动归档，主数据归档范围设置为全部归档、部分归档或单表归档。
另一方面，本发明还提出一种实现多维数据质量校验的高校主数据治理方法，包括以下步骤：
步骤1.制定主数据标准；
步骤2.定义主数据代码：配置主数据代码的编码规则和代码值；
步骤3.配置主数据的元数据模型：配置主数据的范畴、结构和关系；
步骤4.配置主数据UCSM权责矩阵；
步骤5.抽取并转换应用系统主数据：集成整合已有各类应用系统中使用的主数据到贴源层数据库中，同时完成标准代码转换；
步骤6.主数据质量校验：稽核贴源层数据库中所有主数据的唯一性、完整性、有效性、规范性、一致性和稳定性；
步骤7.是否合规判定：判定主数据六个维度的数据质量，并将问题数据反馈数据照管人纠正，自动生成主数据质量报告；
步骤8.主数据自动存储到主数据中心：对比分析任意两个时间节点的主数据变化，按角色、岗位和部门配置主数据的操作权限，配置主数据共享开放数据接口，配置主数据定期自动归档策略。
本发明的有益效果是，通过上述实现多维数据质量校验的高校主数据治理系统及方法，能够帮助高校建立统一的主数据标准，基于元数据建模工具实现主数据的元数据管理与主数据的数据结构协同，通过元数据版本管理方便主数据标准的变更和升级；另外，本发明通过UCSM矩阵清楚的管理主数据的权责关系，保证主数据质量治理过程中问题数据反馈和消息通知机制健全；本发明还通过多维数据质量稽核，自动识别多个维度的主数据质量问题，保证全校主数据生产规范和主数据使用可信；而且，本发明还通过主数据管控保证主数据操作、共享、存储安全。因此，本发明提供的系统和方法具有通用性、实用性、灵活性。
附图说明
图1为本发明实施例1中实现多维数据质量校验的高校主数据治理系统的系统结构图；
图2为本发明实施例2中实现多维数据质量校验的高校主数据治理方法的实施方式流程图。
具体实施方式
下面结合附图及实施例，详细描述本发明的技术方案。
实施例1
本实施例为一种实现多维数据质量校验的高校主数据治理系统，其系统结构图见图1，其中，该系统包括：
元数据管理模块，用于基于高校主数据标准构建主数据的元数据模型，保证主数据的元数据属性与主数据的数据结构协同，并用于配置主数据的范畴、结构关系和版本控制，自动生成主数据的数据库结构；
主数据代码模块，用于定义高校各类通用代码的编码规则和代码值；
主数据照管模块，用于采用UCSM矩阵模式定义各个主数据子类的使用、生产、照管和修改权限的归属，设置具体人员在主数据数据治理过程中担任的角色，U代表使用，C代表生产，S代表照管，M代表修改；
主数据治理模块，用于集成高校已有各类应用系统中使用的所有主数据，通过自动转换和检测，识别问题主数据并消息反馈主数据子类照顾人员，纠正后的主数据自动存入主数据数据库；
主数据管控模块，用于对比分析任意两个时间节点的数据快照变化，并按系统角色、工作岗位和业务部门三个维度配置主数据的搜索、查询、新增和编辑权限，配置主数据共享开放数据接口，并按时间节点对主数据的历史数据进行归档形成数据快照。
上述系统中，自动生成主数据的数据库结构，可以具有以下属性：
范畴属性：定义高校主数据的目录和主数据名称；
结构属性：定义主数据编号、项名、位置、主键、非空、类型、长度和约束，数据类型可设置文本、数字和时间的常规类型，和/或设置图片、附件和不限长文本的特殊类型；
关系属性：定性主数据字段的引用标准代码、关联数据字段和关联计算规则；
版本控制属性：已经发布的主数据元数据模型可以重新修改结构和关系属性，重新发布后形成主数据元数据模型新版本，同时自动调整主数据数据库结构，对已经保持的主数据历史记录不产生影响。
需要指出的是，主数据代码模块定义在高校各类通用代码的编码规则和代码值时，具有以下属性：
编码级次：定义高校各类通用代码的编码级次，级次数量无限制；
编码构成：每级编码可以定义为固定字符、系统变量、系统时间和自动编号，自动编号可以设置长度、最大值、最小值以及自动编号周期属性；
代码值：增加和编辑各个编码对应的代码值，代码值为数字或文本。
进一步的是，所述自动转换和检测的方法包括：
代码转换：按照主数据代码规范转换各类集成应用系统使用主数据的代码数据字段，并存入贴源层数据表中；
唯一性校验：提供数据唯一性数据校验方法，包括单指标值域唯一性检测、同组多指标联合值域唯一性检测以及多个组多指标值域唯一性检测；
完整性校验：提供数据完整性数据校验方法，包括单个指标值域非空检测和同组多指标联合值域非空检测；
有效性校验：提供数据有效性数据校验方法，包括基于字段检测、基于指标检测和基于计算检测；
规范性校验：提供数据规范性数据校验方法，包括身份证规范性检测、手机号规范性检测、时间格式检测、百分数规范性检测和小数位数规范性检测；
一致性校验：提供数据一致性数据校验方法，包括周期定义与数据项数检测和组间指标值域一致性检测；
稳定性校验：提供数据稳定性数据校验方法，包括波动性检测、平衡性检测和高群值检测。
需要说明的是，主数据治理模块还用于自动生成主数据质量报告，呈现稽核指标组数量、规则指标覆盖率、稽核数据覆盖率和稽核数据合规率，并自动计算主数据总体和各个主数据子类的唯一性、完整性、有效性、规范性、一致性和稳定性质量得分。
另外，对比分析任意两个时间节点的数据快照变化，具体包括以下对比内容：
总体差异对比：选择任意两个时间节点，对比分析两个时间节点上数据快照的数据总体差异，呈现数据子类的字段数量和数据记录数量的对比差异，以及字段数据的变化率和数据记录数量的变化率；
数据记录对比：选择任意两个时间节点，对比分析两个时间节点上数据快照的数据记录差异，呈现每条数据记录的每个数据字段的数据内容在两个时间节点上差异，具有差异的内容通过明显标记标注；
数据记录追溯：查看数据子类数据更新日志记录，查看每次数据操作日志的数据来源方式、数据来源名称、操作执行人，以及新增、修改和删除的数据记录数量，支持查看每次操作的数据记录详细信息。
实际应用中，当按系统角色、工作岗位和业务部门三个维度配置主数据的搜索、查询、新增和编辑权限时，可以自定义数据过滤条件限制授权数据记录范围。
配置主数据共享开放数据接口，具有以下属性：
接口参数：接口名称、接口类型、接口地址、加密方式、加密字串、目标系统、目标应用和目标服务器；
数据限制：限定单次访问获取数据记录的最大值，限定两次访问获取数据的时间间隔最小值；
接口图谱：呈现接口谱系视图展示数据接口与数据子类之间的关联关系。
按时间节点对主数据的历史数据进行归档形成数据快照时，手动归档和/或按周期性自动归档，主数据归档范围设置为全部归档、部分归档或单表归档。
实施例2
本实施例为一种实现多维数据质量校验的高校主数据治理方法，其实施方式流程图见图2，其中，该方法包括以下步骤：
S1.制定主数据标准；
S2.定义主数据代码：配置主数据代码的编码规则和代码值；
S3.配置主数据的元数据模型：配置主数据的范畴、结构和关系；
S4.配置主数据UCSM权责矩阵；
S5.抽取并转换应用系统主数据：集成整合已有各类应用系统中使用的主数据到贴源层数据库中，同时完成标准代码转换；
S6.主数据质量校验：稽核贴源层数据库中所有主数据的唯一性、完整性、有效性、规范性、一致性和稳定性；
S7.是否合规判定：判定主数据六个维度的数据质量，并将问题数据反馈数据照管人纠正，自动生成主数据质量报告；
S8.主数据自动存储到主数据中心：对比分析任意两个时间节点的主数据变化，按角色、岗位和部门配置主数据的操作权限，配置主数据共享开放数据接口，配置主数据定期自动归档策略。
Claims (10)
1.实现多维数据质量校验的高校主数据治理系统，其特征在于，包括：
元数据管理模块，用于基于高校主数据标准构建主数据的元数据模型，保证主数据的元数据属性与主数据的数据结构协同，并用于配置主数据的范畴、结构关系和版本控制，自动生成主数据的数据库结构；
主数据代码模块，用于定义高校各类通用代码的编码规则和代码值；
主数据照管模块，用于采用UCSM矩阵模式定义各个主数据子类的使用、生产、照管和修改权限的归属，设置具体人员在主数据数据治理过程中担任的角色，U代表使用，C代表生产，S代表照管，M代表修改；
主数据治理模块，用于集成高校已有各类应用系统中使用的所有主数据，通过自动转换和检测，识别问题主数据并消息反馈主数据子类照顾人员，纠正后的主数据自动存入主数据数据库；
主数据管控模块，用于对比分析任意两个时间节点的数据快照变化，并按系统角色、工作岗位和业务部门三个维度配置主数据的搜索、查询、新增和编辑权限，配置主数据共享开放数据接口，并按时间节点对主数据的历史数据进行归档形成数据快照。
2.根据权利要求1所述的实现多维数据质量校验的高校主数据治理系统，其特征在于，所述自动生成主数据的数据库结构，具有以下属性：
范畴属性：定义高校主数据的目录和主数据名称；
结构属性：定义主数据编号、项名、位置、主键、非空、类型、长度和约束，数据类型可设置文本、数字和时间的常规类型，和/或设置图片、附件和不限长文本的特殊类型；
关系属性：定性主数据字段的引用标准代码、关联数据字段和关联计算规则；
版本控制属性：已经发布的主数据元数据模型可以重新修改结构和关系属性，重新发布后形成主数据元数据模型新版本，同时自动调整主数据数据库结构，对已经保持的主数据历史记录不产生影响。
3.根据权利要求1所述的实现多维数据质量校验的高校主数据治理系统，其特征在于，所述主数据代码模块定义在高校各类通用代码的编码规则和代码值时，具有以下属性：
编码级次：定义高校各类通用代码的编码级次，级次数量无限制；
编码构成：每级编码定义为固定字符、系统变量、系统时间和自动编号，自动编号可以设置长度、最大值、最小值以及自动编号周期属性；
代码值：增加和编辑各个编码对应的代码值，代码值为数字或文本。
4.根据权利要求1所述的实现多维数据质量校验的高校主数据治理系统，其特征在于，所述自动转换和检测的方法包括：
代码转换：按照主数据代码规范转换各类集成应用系统使用主数据的代码数据字段，并存入贴源层数据表中；
唯一性校验：提供数据唯一性数据校验方法，包括单指标值域唯一性检测、同组多指标联合值域唯一性检测以及多个组多指标值域唯一性检测；
完整性校验：提供数据完整性数据校验方法，包括单个指标值域非空检测和同组多指标联合值域非空检测；
有效性校验：提供数据有效性数据校验方法，包括基于字段检测、基于指标检测和基于计算检测；
规范性校验：提供数据规范性数据校验方法，包括身份证规范性检测、手机号规范性检测、时间格式检测、百分数规范性检测和小数位数规范性检测；
一致性校验：提供数据一致性数据校验方法，包括周期定义与数据项数检测和组间指标值域一致性检测；
稳定性校验：提供数据稳定性数据校验方法，包括波动性检测、平衡性检测和高群值检测。
5.根据权利要求4所述的实现多维数据质量校验的高校主数据治理系统，其特征在于，所述主数据治理模块还用于自动生成主数据质量报告，呈现稽核指标组数量、规则指标覆盖率、稽核数据覆盖率和稽核数据合规率，并自动计算主数据总体和各个主数据子类的唯一性、完整性、有效性、规范性、一致性和稳定性质量得分。
6.根据权利要求1所述的实现多维数据质量校验的高校主数据治理系统，其特征在于，所述对比分析任意两个时间节点的数据快照变化，具体包括以下对比内容：
总体差异对比：选择任意两个时间节点，对比分析两个时间节点上数据快照的数据总体差异，呈现数据子类的字段数量和数据记录数量的对比差异，以及字段数据的变化率和数据记录数量的变化率；
数据记录对比：选择任意两个时间节点，对比分析两个时间节点上数据快照的数据记录差异，呈现每条数据记录的每个数据字段的数据内容在两个时间节点上差异，具有差异的内容通过明显标记标注；
数据记录追溯：查看数据子类数据更新日志记录，查看每次数据操作日志的数据来源方式、数据来源名称、操作执行人，以及新增、修改和删除的数据记录数量，支持查看每次操作的数据记录详细信息。
7.根据权利要求1所述的实现多维数据质量校验的高校主数据治理系统，其特征在于，当按系统角色、工作岗位和业务部门三个维度配置主数据的搜索、查询、新增和编辑权限时，可以自定义数据过滤条件限制授权数据记录范围。
8.根据权利要求1所述的实现多维数据质量校验的高校主数据治理系统，其特征在于，所述配置主数据共享开放数据接口，具有以下属性：
接口参数：接口名称、接口类型、接口地址、加密方式、加密字串、目标系统、目标应用和目标服务器；
数据限制：限定单次访问获取数据记录的最大值，限定两次访问获取数据的时间间隔最小值；
接口图谱：呈现接口谱系视图展示数据接口与数据子类之间的关联关系。
9.根据权利要求1所述的实现多维数据质量校验的高校主数据治理系统，其特征在于，所述按时间节点对主数据的历史数据进行归档形成数据快照时，手动归档和/或按周期性自动归档，主数据归档范围设置为全部归档、部分归档或单表归档。
10.实现多维数据质量校验的高校主数据治理方法，其特征在于，包括以下步骤：
步骤1.制定主数据标准；
步骤2.定义主数据代码：配置主数据代码的编码规则和代码值；
步骤3.配置主数据的元数据模型：配置主数据的范畴、结构和关系；
步骤4.配置主数据UCSM权责矩阵，U代表使用，C代表生产，S代表照管，M代表修改；
步骤5.抽取并转换应用系统主数据：集成整合已有各类应用系统中使用的主数据到贴源层数据库中，同时完成标准代码转换；
步骤6.主数据质量校验：稽核贴源层数据库中所有主数据的唯一性、完整性、有效性、规范性、一致性和稳定性；
步骤7.是否合规判定：判定主数据六个维度的数据质量，并将问题数据反馈数据照管人纠正，自动生成主数据质量报告；
步骤8.主数据自动存储到主数据中心：对比分析任意两个时间节点的主数据变化，按角色、岗位和部门配置主数据的操作权限，配置主数据共享开放数据接口，配置主数据定期自动归档策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110278188.6A CN113111245B (zh) | 2021-03-15 | 2021-03-15 | 实现多维数据质量校验的高校主数据治理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110278188.6A CN113111245B (zh) | 2021-03-15 | 2021-03-15 | 实现多维数据质量校验的高校主数据治理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113111245A CN113111245A (zh) | 2021-07-13 |
| CN113111245B true CN113111245B (zh) | 2023-06-20 |
Family
ID=76711332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110278188.6A Active CN113111245B (zh) | 2021-03-15 | 2021-03-15 | 实现多维数据质量校验的高校主数据治理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113111245B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762735A (zh) * | 2021-08-18 | 2021-12-07 | 江苏电力信息技术有限公司 | 一种基于规则库的数据质量治理系统及方法 |
| CN114356848B (zh) * | 2022-03-11 | 2022-06-07 | 中国信息通信研究院 | 元数据管理方法、计算机存储介质及电子设备 |
| CN115329156B (zh) * | 2022-10-14 | 2022-12-23 | 北京云成金融信息服务有限公司 | 基于历史数据的数据治理方法及系统 |
| CN117114843B (zh) * | 2023-10-25 | 2024-02-23 | 浙江农商数字科技有限责任公司 | 一种银行数据质量管控的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105612547A (zh) * | 2013-11-06 | 2016-05-25 | 英特尔公司 | 统一用于云内容共享服务的接口 |
| CN107491381A (zh) * | 2017-07-04 | 2017-12-19 | 广西电网有限责任公司电力科学研究院 | 一种设备状态监测数据质量评测系统 |
| CN108701257A (zh) * | 2016-08-22 | 2018-10-23 | 甲骨文国际公司 | 用于实时可视模拟内的动态、增量推荐的系统和方法 |
| CN109710678A (zh) * | 2018-12-27 | 2019-05-03 | 成都电科智联科技有限公司 | 一种工业大数据监测管理的实时数据系统及运行方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9851967B2 (en) * | 2013-09-20 | 2017-12-26 | Oracle International Corporation | Runtime customization infrastructure |
-
2021
- 2021-03-15 CN CN202110278188.6A patent/CN113111245B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105612547A (zh) * | 2013-11-06 | 2016-05-25 | 英特尔公司 | 统一用于云内容共享服务的接口 |
| CN108701257A (zh) * | 2016-08-22 | 2018-10-23 | 甲骨文国际公司 | 用于实时可视模拟内的动态、增量推荐的系统和方法 |
| CN107491381A (zh) * | 2017-07-04 | 2017-12-19 | 广西电网有限责任公司电力科学研究院 | 一种设备状态监测数据质量评测系统 |
| CN109710678A (zh) * | 2018-12-27 | 2019-05-03 | 成都电科智联科技有限公司 | 一种工业大数据监测管理的实时数据系统及运行方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于数据引擎的通用数据采集与监控软件架构设计与应用;易文星等;《锻压装备与制造技术》;20140228(第01期);99-102 * |
| 基于数据治理的开放交通数据发布流程优化及质量控制;龙莎;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20210115(第01期);C034-6 * |
| 高校数据治理中提升数据质量的方法研究;巫莉莉等;《重庆理工大学学报(自然科学)》;20190815;第33卷(第08期);149-156 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113111245A (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113111245B (zh) | 实现多维数据质量校验的高校主数据治理系统及方法 | |
| CN107103025B (zh) | 一种数据处理方法及数据处理平台 | |
| US6847973B2 (en) | Method of managing slowly changing dimensions | |
| US8341131B2 (en) | Systems and methods for master data management using record and field based rules | |
| Harrington | Relational database design clearly explained | |
| US20110231359A1 (en) | Synchronization of relational databases with olap cubes | |
| US7383272B2 (en) | Method and system for versioned sharing, consolidating and reporting information | |
| US20120054174A1 (en) | Geospatial database integration using business models | |
| US20090089630A1 (en) | Method and system for analysis of a system for matching data records | |
| CN102541867A (zh) | 数据字典生成方法及系统 | |
| CN112231333A (zh) | 一种生态环境数据共享交换方法和系统 | |
| AU2005225020A1 (en) | Complex data access | |
| CN106372044A (zh) | 一种基于报表生成类型化维度xbrl报告的方法 | |
| Li et al. | Entity-relationship diagram | |
| CN115617776A (zh) | 一种数据管理系统及方法 | |
| KR101829198B1 (ko) | 보고서의 중요도를 분석하는 메타 데이터 기반 온라인 분석 프로세싱 시스템 | |
| US9507764B2 (en) | Computerised data entry form processing | |
| CN110633267A (zh) | 一种可支持多业务行使报表功能的方法及系统 | |
| US20060167920A1 (en) | System and Method for Managing Large-Scale Databases | |
| CN116561114A (zh) | 一种基于元数据的管理方法 | |
| WO2014114761A1 (en) | Data management system | |
| US20050198329A1 (en) | Relational database and a method of enabling access to a data structure stored therein | |
| RU2688229C1 (ru) | Способ агрегирования и преобразования данных и устройство для его реализации | |
| Phungtua-Eng et al. | Information Integration and Multiple Slowly Changing Dimensions Modeling | |
| Bhoyar | A Case Study of RDBMS and OODBMS: Importance in Business |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |