CN112463777A - 一种基于大数据分析的数据资产管理方法 - Google Patents
一种基于大数据分析的数据资产管理方法 Download PDFInfo
- Publication number
- CN112463777A CN112463777A CN202011310520.4A CN202011310520A CN112463777A CN 112463777 A CN112463777 A CN 112463777A CN 202011310520 A CN202011310520 A CN 202011310520A CN 112463777 A CN112463777 A CN 112463777A
- Authority
- CN
- China
- Prior art keywords
- data
- quality
- data quality
- management method
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 44
- 238000007405 data analysis Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 24
- 230000006872 improvement Effects 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 238000007689 inspection Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000012423 maintenance Methods 0.000 claims abstract description 5
- 238000004140 cleaning Methods 0.000 claims abstract description 4
- 230000000694 effects Effects 0.000 claims abstract description 4
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 230000002265 prevention Effects 0.000 claims abstract description 4
- 238000004886 process control Methods 0.000 claims abstract description 4
- 238000013523 data management Methods 0.000 claims description 9
- 238000013441 quality evaluation Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 238000005728 strengthening Methods 0.000 claims description 2
- 230000005856 abnormality Effects 0.000 claims 1
- 238000012517 data analytics Methods 0.000 claims 1
- 238000012795 verification Methods 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于大数据分析的数据资产管理方法，包括以下步骤：S1、评估数据质量，探查数据内容、结构和异常；S2、建立数据质量管理方针并明确目标；S3、确定数据质量问题原因，设计和实施数据质量业务规则，制定提高方案；S4、形成完善的数据质量监控，包括预防控制、过程控制和监督控制机制；S5、定期开展数据质量的检查和清洗工作；S6、对照目标，监测数据质量，在整个业务应用中持续监测和管理数据质量，归档和沟通质量管理效果、所做的改进和改进的结果。本发明通过建立数据质量管理方针以及完善的数据质量监控，能够强化源头数据、对数据加工卡点校验，在数据的维护和使用过程中持续监测和管理数据质量。
Description
技术领域
本发明涉及资产大数据管理技术领域，尤其涉及一种基于大数据分析的数据资产管理方法。
背景技术
数据资产管理的定义为：数据资产管理是规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。
数据资产管理一般地认为有十大数据管理职能：数据治理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理和数据质量管理，其中数据质量与业务绩效之间存在着直接联系，高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量，企业在任何时候都可以信任满足所有需求的所有数据。
目前，企业对于数据质量管理不到位，无法通过有效的数据质量控制手段，进行数据的管理和控制，不能消除数据质量问题进而提升企业数据变现的能力，为此，我们提出一种基于大数据分析的数据资产管理方法来解决上述问题。
发明内容
基于背景技术提出的技术问题，本发明提出了一种能够准确地评估数据质量，能够确定数据质量问题的根本原因，从而可以更加准确地找出需要改进的地方加以改进，并且通过建立数据质量管理方针以及完善的数据质量监控，能够强化源头数据、对数据加工卡点校验，在数据的维护和使用过程中持续监测和管理数据质量的基于大数据分析的数据资产管理方法。
本发明提出的一种基于大数据分析的数据资产管理方法，包括以下步骤：
S1、评估数据质量，探查数据内容、结构和异常，选择对应的数据质量维度，评估数据质量，评估结果用来确定数据质量问题的根本原因、需要改进的地方；
S2、建立数据质量管理方针并明确目标，选取若干个指标来作为数据质量评价指标，建立数据质量评估模型，对企业的数据进行评估和测量，固化数据标准，优化数据管理流程；
S3、确定数据质量问题原因，设计和实施数据质量业务规则，制定提高方案，引起数据质量问题的根本原因，并区分优先次序，以及为解决这些问题的具体建议，明确企业的数据质量规则；
S4、形成完善的数据质量监控，包括预防控制、过程控制和监督控制机制，强化源头数据质量，在数据的维护和使用过程中去监控和处理数据质量，基于数据的元模型配置数据质量规则，即针对不同的数据对象，配置相应的数据质量指标；
S5、定期开展数据质量的检查和清洗工作，设置成手动执行或定期自动执行的系统任务，通过执行检查任务对存量数据进行检查，形成数据质量问题清单；
S6、对照目标，监测数据质量，在整个业务应用中持续监测和管理数据质量，归档和沟通质量管理效果、所做的改进和改进的结果。
优选地，在S1中，探查数据以发现和评估数据的内容、结构和异常，识别数据的优势和弱势，明确指出数据错误和问题。
优选地，在S2中，数据质量评价指标包括：数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。
优选地，在S2中，通过数据管理和监控手段，确保流程改进成果，提升数据质量，主要方法有：标准化、程序化、制度化等。
优选地，在S3中，管理如何清洗数据和解析用于支持目标应用字段和数据，设计、测试、完善和实施数据质量业务规则，分析业务场景，根据应用的影响程度，确定当前以及生产链路上的数据资产等级。
优选地，在S4中，控制过程数据质量，建立数据标准化模型，对每个数据元素的业务描述、数据结构、业务规则、质量规则、管理规则、采集规则进行清晰的定义。
优选地，在S5中，根据数据质量问题清单汇总形成数据质量报告，数据质量报告支持查询、下载等操作，制定和实施数据质量改进方案，进行数据质量问题的处理。
优选地，通过定期对系统开展全面的数据质量状况评估，从问题率、解决率、解决时效等方面建立评价指标进行整改评估，根据整改优化结果，进行适当的绩效考核。
与现有技术相比，本发明的有益效果为：本发明通过准确地评估数据质量，能够确定数据质量问题的根本原因，从而可以更加准确地找出需要改进的地方加以改进，并且通过建立数据质量管理方针以及完善的数据质量监控，能够强化源头数据、对数据加工卡点校验，在数据的维护和使用过程中持续监测和管理数据质量。
附图说明
图1为本发明提出的一种基于大数据分析的数据资产管理方法流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本文中，术语“包括”、“包含”、“具有”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。
实施例
参照图1，本发明提出的一种基于大数据分析的数据资产管理方法，包括以下步骤：
S1、评估数据质量，探查数据内容、结构和异常，选择对应的数据质量维度，评估数据质量，评估结果用来确定数据质量问题的根本原因、需要改进的地方，探查数据以发现和评估数据的内容、结构和异常，识别数据的优势和弱势，明确指出数据错误和问题；
具体的，可以从收集、整理并分析数据质量相关的信息环境入手，包括收集、整理和分析当前流程、人员、需求、数据及规范、组织以及业务问题等相关技术细节。
S2、建立数据质量管理方针并明确目标，选取若干个指标来作为数据质量评价指标，建立数据质量评估模型，对企业的数据进行评估和测量，固化数据标准，优化数据管理流程，并通过数据管理和监控手段，确保流程改进成果，提升数据质量，主要方法有：标准化、程序化、制度化等；
为了改进和提高数据质量，必须从产生数据的源头开始抓起，从管理入手，对数据运行的全过程进行监控，强化全面数据质量管理的思想观念，通过界定问题来寻找潜在原因，推断分析，验证关键因素，油画改进，并动态跟踪与控制，以实现有限资源的效益最大化；
数据质量评价指标包括：数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。
S3、确定数据质量问题原因，设计和实施数据质量业务规则，制定提高方案，引起数据质量问题的根本原因，并区分优先次序，以及为解决这些问题的具体建议，明确企业的数据质量规则，可重复使用的业务逻辑，管理如何清洗数据和解析用于支持目标应用字段和数据。设计、测试、完善和实施数据质量业务规则，分析业务场景，根据应用的影响程度，确定当前以及生产链路上的数据资产等级；
S4、形成完善的数据质量监控，包括预防控制、过程控制和监督控制机制，强化源头数据质量，控制过程数据质量，建立数据标准化模型，对每个数据元素的业务描述、数据结构、业务规则、质量规则、管理规则、采集规则进行清晰的定义，在数据的维护和使用过程中去监控和处理数据质量，基于数据的元模型配置数据质量规则，即针对不同的数据对象，配置相应的数据质量指标；
S5、定期开展数据质量的检查和清洗工作，设置成手动执行或定期自动执行的系统任务，通过执行检查任务对存量数据进行检查，形成数据质量问题清单，根据数据质量问题清单汇总形成数据质量报告，数据质量报告支持查询、下载等操作，制定和实施数据质量改进方案，进行数据质量问题的处理，通过定期对系统开展全面的数据质量状况评估，从问题率、解决率、解决时效等方面建立评价指标进行整改评估，根据整改优化结果，进行适当的绩效考核；
S6、对照目标，监测数据质量，在整个业务应用中持续监测和管理数据质量，归档和沟通质量管理效果、所做的改进和改进的结果。
综上所述，与现有技术相比，本发明的有益效果为：本发明通过准确地评估数据质量，能够确定数据质量问题的根本原因，从而可以更加准确地找出需要改进的地方加以改进，并且通过建立数据质量管理方针以及完善的数据质量监控，能够强化源头数据、对数据加工卡点校验，在数据的维护和使用过程中持续监测和管理数据质量。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于大数据分析的数据资产管理方法，其特征在于，包括以下步骤：
S1、评估数据质量，探查数据内容、结构和异常，选择对应的数据质量维度，评估数据质量，评估结果用来确定数据质量问题的根本原因、需要改进的地方；
S2、建立数据质量管理方针并明确目标，选取若干个指标来作为数据质量评价指标，建立数据质量评估模型，对企业的数据进行评估和测量，固化数据标准，优化数据管理流程；
S3、确定数据质量问题原因，设计和实施数据质量业务规则，制定提高方案，引起数据质量问题的根本原因，并区分优先次序，以及为解决这些问题的具体建议，明确企业的数据质量规则；
S4、形成完善的数据质量监控，包括预防控制、过程控制和监督控制机制，强化源头数据质量，在数据的维护和使用过程中去监控和处理数据质量，基于数据的元模型配置数据质量规则，即针对不同的数据对象，配置相应的数据质量指标；
S5、定期开展数据质量的检查和清洗工作，设置成手动执行或定期自动执行的系统任务，通过执行检查任务对存量数据进行检查，形成数据质量问题清单；
S6、对照目标，监测数据质量，在整个业务应用中持续监测和管理数据质量，归档和沟通质量管理效果、所做的改进和改进的结果。
2.根据权利要求1所述的一种基于大数据分析的数据资产管理方法，其特征在于，在S1中，探查数据以发现和评估数据的内容、结构和异常，识别数据的优势和弱势，明确指出数据错误和问题。
3.根据权利要求1所述的一种基于大数据分析的数据资产管理方法，其特征在于，在S2中，数据质量评价指标包括：数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。
4.根据权利要求1所述的一种基于大数据分析的数据资产管理方法，其特征在于，在S2中，通过数据管理和监控手段，确保流程改进成果，提升数据质量，主要方法有：标准化、程序化、制度化等。
5.根据权利要求1所述的一种基于大数据分析的数据资产管理方法，其特征在于，在S3中，管理如何清洗数据和解析用于支持目标应用字段和数据，设计、测试、完善和实施数据质量业务规则，分析业务场景，根据应用的影响程度，确定当前以及生产链路上的数据资产等级。
6.根据权利要求1所述的一种基于大数据分析的数据资产管理方法，其特征在于，在S4中，控制过程数据质量，建立数据标准化模型，对每个数据元素的业务描述、数据结构、业务规则、质量规则、管理规则、采集规则进行清晰的定义。
7.根据权利要求1所述的一种基于大数据分析的数据资产管理方法，其特征在于，在S5中，根据数据质量问题清单汇总形成数据质量报告，数据质量报告支持查询、下载等操作，制定和实施数据质量改进方案，进行数据质量问题的处理。
8.根据权利要求7所述的一种基于大数据分析的数据资产管理方法，其特征在于，通过定期对系统开展全面的数据质量状况评估，从问题率、解决率、解决时效等方面建立评价指标进行整改评估，根据整改优化结果，进行适当的绩效考核。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011310520.4A CN112463777A (zh) | 2020-11-20 | 2020-11-20 | 一种基于大数据分析的数据资产管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011310520.4A CN112463777A (zh) | 2020-11-20 | 2020-11-20 | 一种基于大数据分析的数据资产管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112463777A true CN112463777A (zh) | 2021-03-09 |
Family
ID=74798133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011310520.4A Pending CN112463777A (zh) | 2020-11-20 | 2020-11-20 | 一种基于大数据分析的数据资产管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112463777A (zh) |
-
2020
- 2020-11-20 CN CN202011310520.4A patent/CN112463777A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105868373B (zh) | 电力业务信息系统关键数据处理方法及装置 | |
| US5930798A (en) | Universal data measurement, analysis and control system | |
| CN107810500A (zh) | 数据质量分析 | |
| US20090265199A1 (en) | System and Method for Governance, Risk, and Compliance Management | |
| Swinnen et al. | A process deviation analysis–a case study | |
| CN110020687B (zh) | 基于操作人员态势感知画像的异常行为分析方法及装置 | |
| CN113111095B (zh) | 一种智能化信息管理方法及系统 | |
| Oliveira et al. | Analysis of supply chain risk management researches | |
| US20140350993A1 (en) | Information management device and method | |
| Theodorou et al. | Quality measures for ETL processes | |
| Leno et al. | Discovering process maps from event streams | |
| Sheikhalishahi et al. | Human factors effects and analysis in maintenance: a power plant case study | |
| Bouwers et al. | Quantifying the encapsulation of implemented software architectures | |
| CN105574666A (zh) | 一种基于关键数据建模的评定企业信用等级的方法及装置 | |
| CN110109678A (zh) | 一种代码审计规则库生成方法、装置、设备及介质 | |
| CN114329498A (zh) | 一种数据中心运维安全管控方法及装置 | |
| KR20110037578A (ko) | 통합 보안 모니터링 시스템 및 통합 보안 모니터링 방법 | |
| CN117114412A (zh) | 一种用于危险化学品生产企业的安全预控方法及装置 | |
| Trinkenreich et al. | Metrics to Support IT Service Maturity Models | |
| CN112463777A (zh) | 一种基于大数据分析的数据资产管理方法 | |
| CN115225470A (zh) | 一种业务异常监测方法、装置、电子设备及存储介质 | |
| Gulzira et al. | The audit method of enterprise's Information security | |
| Santoso et al. | Analysis of Interregional Trade Network Structure: A Case Study of Indonesia | |
| CN113987015A (zh) | 一种设备资产状态管理方法、系统、设备及存储介质 | |
| CN112256516A (zh) | 一种酒店直连系统用数据分析处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210309 |