CN110825725A - 基于双螺旋管理的数据质量校验方法及系统 - Google Patents

基于双螺旋管理的数据质量校验方法及系统 Download PDF

Info

Publication number
CN110825725A
CN110825725A CN201910969551.1A CN201910969551A CN110825725A CN 110825725 A CN110825725 A CN 110825725A CN 201910969551 A CN201910969551 A CN 201910969551A CN 110825725 A CN110825725 A CN 110825725A
Authority
CN
China
Prior art keywords
data
service
requirement
management
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910969551.1A
Other languages
English (en)
Other versions
CN110825725B (zh
Inventor
郑高峰
韩学民
刘朋熙
李周
邓小明
王旭东
胡聪
林航
许中平
胡栋梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Netstone Accenture Information Technology Co Ltd
State Grid Information and Telecommunication Co Ltd
State Grid Anhui Electric Power Co Ltd
Original Assignee
Beijing Netstone Accenture Information Technology Co Ltd
State Grid Information and Telecommunication Co Ltd
State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Netstone Accenture Information Technology Co Ltd, State Grid Information and Telecommunication Co Ltd, State Grid Anhui Electric Power Co Ltd filed Critical Beijing Netstone Accenture Information Technology Co Ltd
Priority to CN201910969551.1A priority Critical patent/CN110825725B/zh
Publication of CN110825725A publication Critical patent/CN110825725A/zh
Application granted granted Critical
Publication of CN110825725B publication Critical patent/CN110825725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P80/00—Climate change mitigation technologies for sector-wide applications
    • Y02P80/10—Efficient use of energy, e.g. using compressed air or pressurized fluid as energy carrier

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

本发明适用于数据管理技术领域，提供了一种基于双螺旋管理的数据质量校验方法及系统，该方法包括：获取业务需求和数据需求，对业务需求和数据需求进行溯源，生成业务溯源信息和数据溯源信息；根据业务溯源信息制定业务规范，根据数据溯源信息进行数据评估，根据评估结果制定数据优化方案；根据业务规范实施业务处理，根据数据优化方案实施数据优化；对本地数据库进行数据校验，根据校验结果进行数据替换。本发明通过业务需求、业务溯源、制定业务规范和实施业务处理的设计，形成业务闭环结构，通过数据需求获取、数据溯源、数据评估和数据优化设计，形成数据闭环结构，通过该业务闭环结构和数据闭环结构形成双螺旋管理机制，提高了数据管理效率。

Description

基于双螺旋管理的数据质量校验方法及系统
技术领域
本发明属于数据管理技术领域，尤其涉及一种基于双螺旋管理的数据质量校验方法及系统。
背景技术
随着企业规模的日益扩大，企业内部都会有多个业务系统提供相应的数据管理和服务，业务与业务之间的相关性也越来越大，各个业务系统之间有着密切的关系，任一业务系统都会调用其他业务系统的数据或服务。业务系统承担越来越多功能，发挥越来越大作用的同时，系统多年积累下来的数据也越来越多，这些数据是企业的宝贵财富，但同时由于保存和处理这些数据不仅需要大量的主机和存储设备，而且系统所保存的海量数据使得系统越来越慢，所以这些宝贵的数据又成为了系统的沉重负担，因此，在业务处理过程中为保障业务处理的效率，其数据的管理就尤为重要。
现有的数据管理过程中，其数据管理效率低下，且均需要采用人工的方式进行数据质量的校验，降低了数据校验的准确性和效率性。
发明内容
本发明实施例要解决的技术问题是，现有的数据管理效率低下的问题。
本发明实施例是这样实现的，一种基于双螺旋管理的数据质量校验方法，所述方法包括：
获取业务需求和数据需求，并分别对所述业务需求和所述数据需求进行溯源，以生成业务溯源信息和数据溯源信息；
根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；
根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；
对本地数据库进行数据校验，并根据校验结果进行数据替换。
更进一步的，所述分别对所述业务需求和所述数据需求进行溯源的步骤包括：
分析产生所述业务需求的需求原因，根据分析结果查询解决方案，并根据所述解决方案生成业务溯源分析报告；
分析产生所述数据需求的需求原因，根据分析结果定位目标数据，并根据所述目标数据生成业务溯源分析报告。
更进一步的，所述根据所述目标数据生成业务溯源分析报告的步骤包括：
根据所述目标数据查询目标处理流程和目标传输流程；
根据所述目标处理流程和所述目标传输流程生成数据字典和数据流程图。
更进一步的，所述对本地数据库进行数据校验的步骤包括：
对所述数据库进行异常分析，以获取异常数据；
对所述异常数据进行成因分析，并根据分析结果生成补救措施。
更进一步的，所述对本地数据库进行异常分析的步骤之后，所述方法还包括：
获取所述数据库中所述异常数据的异常数量，并依序计算所述异常数量的异常等级；
根据所述异常数量和所述异常等级对所述数据库进行评估，以得到质量评估结果。
更进一步的，所述对所述数据库进行异常分析的步骤包括：
判断所述数据库中是否存在缺失数据；
当判断到存在所述缺失数据时，记录数据缺失位置；
判断所述数据库中是否存在错误数据；
当判断到存在所述错误数据时，记录数据错误位置。
本发明实施例的另一目的在于提供一种基于双螺旋管理的数据质量校验系统，所述系统包括：
需求获取模块，用于获取业务需求和数据需求，并分别对所述业务需求和所述数据需求进行溯源，以生成业务溯源信息和数据溯源信息；
信息分析模块，用于根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；
措施实施模块，用于根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；
数据校验模块，用于对本地数据库进行数据校验，并根据校验结果进行数据替换。
更进一步的，所述需求获取模块还用于：
分析产生所述业务需求的需求原因，根据分析结果查询解决方案，并根据所述解决方案生成业务溯源分析报告；
分析产生所述数据需求的需求原因，根据分析结果定位目标数据，并根据所述目标数据生成业务溯源分析报告。
更进一步的，所述需求获取模块还用于：
根据所述目标数据查询目标处理流程和目标传输流程；
根据所述目标处理流程和所述目标传输流程生成数据字典和数据流程图。
更进一步的，所述数据校验模块还用于：
对本地数据库进行异常分析，以获取异常数据；对所述异常数据进行成因分析，并根据分析结果生成补救措施。
本发明实施例，通过依序进行业务需求获取、业务溯源、制定业务规范和实施业务处理的设计，以形成业务闭环结构，通过依序进行数据需求获取、数据溯源、数据评估和实施数据优化应用的设计，以形成数据闭环结构，并通过该业务闭环结构和数据闭环结构以形成双螺旋管理机制(PDCA协同)，通过该双螺旋管理机制的实施，以业务需求为导向，以业务问题促进数据治理水平提升，以高效的数据治理效率促进业务高效协作运行，有效的提高了数据管理效率。
附图说明
图1是本发明第一实施例提供的基于双螺旋管理的数据质量校验方法的流程图；
图2是本发明第一实施例提供的工作机制结构示意图；
图3是本发明第二实施例提供的基于双螺旋管理的数据质量校验方法的流程图；
图4是本发明第三实施例提供的基于双螺旋管理的数据质量校验系统的结构示意图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
请参阅图1，是本发明第一实施例提供的基于双螺旋管理的数据质量校验方法的流程图，包括步骤：
步骤S10，获取业务需求和数据需求，并分别对所述业务需求和所述数据需求进行溯源，以生成业务溯源信息和数据溯源信息；
其中，通过调研营配调等各业务部门的需求，整理收集的需求，以建立业务需求资源池，并对该业务需求资源池内的各个业务需求进行优先级判断，以使对应进行优先级标记，进而能针对性的对重要性的需求先进行溯源；
该步骤中，通过收集管理层和业务部门最为迫切和重要的数据应用需求，比如经营统计分析等，并重点调研同期线损系统、供电服务指挥中心数据质量问题、大数据分析项目数据共享需求，确定数据治理需求，结合管理层和业务部门数据需求，梳理、评估并确定数据需求的范围和优先级；
具体的，该步骤中，通过对所述业务需求和所述数据需求进行溯源的设计，以查找产生所述业务需求和所述数据需求的原因，进而有效的方便了后续针对数据的管理和梳理；
步骤S20，根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；
其中，通过采用溯源的方式，以找到数据和业务的源头，并根据该源头制定问题驱动和治理的流程，以使加强业务规范，通过制定阶段性演进目标和路线，针对性的进行数据的治理，以避免数据治理的盲目性，进而有效的提高了数据治理和管理的效率，优选的，该步骤中，通过进行该业务规范和数据优化方案的制定，有效的提高了后续针对业务处理的规范性和数据的有效性；
步骤S30，根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；
请参阅图2，该步骤中，通过根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化的设计，以使与步骤S10中的业务需求、业务溯源、数据需求、数据溯源，及步骤S20中的制定业务规范、制定数据优化方案分别形成业务闭环结构和数据闭环结构，有效的提高了数据管理的准确性和效率性；
步骤S40，对本地数据库进行数据校验，并根据校验结果进行数据替换；
其中，通过对所述数据库进行数据校验的设计，以使对本地数据的传输、数据的存储、数据的发送、数据的采集对应进行核查、诊断和修改，以使保障所述业务需求和所述数据需求获取的准确性；
本实施例，通过依序进行业务需求获取、业务溯源、制定业务规范和实施业务处理的设计，以形成业务闭环结构，通过依序进行数据需求获取、数据溯源、数据评估和实施数据优化应用的设计，以形成数据闭环结构，并通过该业务闭环结构和数据闭环结构以形成双螺旋管理机制(PDCA协同)，通过该双螺旋管理机制的实施，以业务需求为导向，以业务问题促进数据治理水平提升，以高效的数据治理效率促进业务高效协作运行，有效的提高了数据管理效率，且本实施例中，，以业务流和数据流为两条主链，以业务和数据间的映射关系为基础，促进数据与业务融合，构建PDCA协同工作机制，提升数据质量和价值，实现数据治理闭环管理。
实施例二
请参阅图3，是本发明第二实施例提供的基于双螺旋管理的数据质量校验方法的流程图，包括步骤：
步骤S11，获取业务需求和数据需求，分析产生所述业务需求的需求原因，根据分析结果查询解决方案，并根据所述解决方案生成业务溯源分析报告；
步骤S21，分析产生所述数据需求的需求原因，根据分析结果定位目标数据，并根据所述目标数据生成业务溯源分析报告；
步骤S31，根据所述目标数据查询目标处理流程和目标传输流程，并根据所述目标处理流程和所述目标传输流程生成数据字典和数据流程图；
其中，通过数据项入手进行需求分析和梳理，确定需要进入到专项治理的数据范围。依据数据资产视图建立的全域数据-业务映射关系开展溯源定位，以治理分析场景定位目标业务节点及业务流程，按照层级映射关系锁定治理数据实体表、系统处理和传输流程；
步骤S41，根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；
其中，通过制定业务规范的设计，以使针对性的进行数据的治理，以避免数据治理的盲目性，进而有效的提高了数据治理和管理的效率，优选的，该步骤中，通过进行该业务规范和数据优化方案的制定，有效的提高了后续针对业务处理的规范性和数据的有效性；
步骤S51，根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；
步骤S61，对所述数据库进行异常分析，以获取异常数据；
其中，通过对所述数据库进行异常分析的设计，以使判断所述数据库中是否存在错误数据或缺失数据，并对该错误数据和缺失数据的信息进行获取，生成所述异常数据，优选的，所述数据库中存储有表格数据、音频数据或图片数据等；
例如用于判断表格或文档中是否存在关键字段的缺失、判断表格或文档是否符合预定义的标准及规范、判断表格或文档中的参数是否在规定的取值范围内、判断表格或文档中字段值与预设值是否具有一致性；
优选的，当所述数据库中存储有设备数据时，判断存储的设备信息中设备的功率、电压、电流等运行数据是否存在记录缺失或空值等情况；并分析设备的功率、电压、电流等运行数据采集值是否符合业务常识和物理规律；
步骤S71，对所述异常数据进行成因分析，根据分析结果生成补救措施，并根据所述补救措施实施数据替换；
具体的，该步骤中，所述对所述数据库进行异常分析的步骤包括：
判断所述数据库中是否存在缺失数据；
当判断到存在所述缺失数据时，记录数据缺失位置；
判断所述数据库中是否存在错误数据；
当判断到存在所述错误数据时，记录数据错误位置；
步骤S81，获取所述数据库中所述异常数据的异常数量，并依序计算所述异常数量的异常等级；
步骤S91，根据所述异常数量和所述异常等级对所述数据库进行评估，以得到质量评估结果；
其中，通过对所述数据库进行异常分析的设计，以使从异常数据的数量、影响范围、严重程度及数据质量问题响应度等多个维度进行，并实现基于数据抽查、关键记录验证、历史数据分析、统计数据等多种统计方法的源系统数据质量整体评价的快速方法；
本实施例，通过依序进行业务需求获取、业务溯源、制定业务规范和实施业务处理的设计，以形成业务闭环结构，通过依序进行数据需求获取、数据溯源、数据评估和实施数据优化应用的设计，以形成数据闭环结构，并通过该业务闭环结构和数据闭环结构以形成双螺旋管理机制(PDCA协同)，通过该双螺旋管理机制的实施，以业务需求为导向，以业务问题促进数据治理水平提升，以高效的数据治理效率促进业务高效协作运行，有效的提高了数据管理效率。
实施例三
请参阅图4，是本发明第三实施例提供的基于双螺旋管理的数据质量校验系统100的结构示意图，包括：需求获取模块10、信息分析模块11、措施实施模块12和数据校验模块13，其中：
需求获取模块10，用于获取业务需求和数据需求，并分别对所述业务需求和所述数据需求进行溯源，以生成业务溯源信息和数据溯源信息。
其中，所述需求获取模块10还用于：分析产生所述业务需求的需求原因，根据分析结果查询解决方案，并根据所述解决方案生成业务溯源分析报告；分析产生所述数据需求的需求原因，根据分析结果定位目标数据，并根据所述目标数据生成业务溯源分析报告。
进一步的，所述需求获取模块10还用于：根据所述目标数据查询目标处理流程和目标传输流程；根据所述目标处理流程和所述目标传输流程生成数据字典和数据流程图。
信息分析模块11，用于根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；
措施实施模块12，用于根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；
数据校验模块13，用于对本地数据库进行数据校验，并根据校验结果进行数据替换。
更进一步的，所述数据校验模块13还用于：对本地数据库进行异常分析，以获取异常数据；对所述异常数据进行成因分析，并根据分析结果生成补救措施。
优选的，所述数据校验模块13还用于：获取所述数据库中所述异常数据的异常数量，并依序计算所述异常数量的异常等级；根据所述异常数量和所述异常等级对所述数据库进行评估，以得到质量评估结果。
此外，本实施例中，所述数据校验模块13还用于：判断所述数据库中是否存在缺失数据；当判断到存在所述缺失数据时，记录数据缺失位置；判断所述数据库中是否存在错误数据；当判断到存在所述错误数据时，记录数据错误位置。
本实施例，通过依序进行业务需求获取、业务溯源、制定业务规范和实施业务处理的设计，以形成业务闭环结构，通过依序进行数据需求获取、数据溯源、数据评估和实施数据优化应用的设计，以形成数据闭环结构，并通过该业务闭环结构和数据闭环结构以形成双螺旋管理机制(PDCA协同)，通过该双螺旋管理机制的实施，以业务需求为导向，以业务问题促进数据治理水平提升，以高效的数据治理效率促进业务高效协作运行，有效的提高了数据管理效率。
本实施例还提供了一种存储介质，该程序在执行时，包括如下步骤：
获取业务需求和数据需求，并分别对所述业务需求和所述数据需求进行溯源，以生成业务溯源信息和数据溯源信息；
根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；
根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；
对本地数据库进行数据校验，并根据校验结果进行数据替换。所述的存储介质，如：ROM/RAM、磁碟、光盘等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元或模块完成，即将存储装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施方式中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
本领域技术人员可以理解，图4中示出的组成结构并不构成对本发明的基于双螺旋管理的数据质量校验系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，而图1和图3中的基于双螺旋管理的数据质量校验方法亦采用图4中所示的更多或更少的部件，或者组合某些部件，或者不同的部件布置来实现。本发明所称的单元、模块等是指一种能够被所述目标基于双螺旋管理的数据质量校验系统中的处理器(图未示)所执行并功能够完成特定功能的一系列计算机程序，其均可存储于所述目标基于双螺旋管理的数据质量校验系统的存储设备(图未示)内。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于双螺旋管理的数据质量校验方法，其特征在于，所述方法包括：
获取业务需求和数据需求，并分别对所述业务需求和所述数据需求进行溯源，以生成业务溯源信息和数据溯源信息；
根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；
根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；
对本地数据库进行数据校验，并根据校验结果进行数据替换。
2.如权利要求1所述的基于双螺旋管理的数据质量校验方法，其特征在于，所述分别对所述业务需求和所述数据需求进行溯源的步骤包括：
分析产生所述业务需求的需求原因，根据分析结果查询解决方案，并根据所述解决方案生成业务溯源分析报告；
分析产生所述数据需求的需求原因，根据分析结果定位目标数据，并根据所述目标数据生成业务溯源分析报告。
3.如权利要求2所述的基于双螺旋管理的数据质量校验方法，其特征在于，所述根据所述目标数据生成业务溯源分析报告的步骤包括：
根据所述目标数据查询目标处理流程和目标传输流程；
根据所述目标处理流程和所述目标传输流程生成数据字典和数据流程图。
4.如权利要求1所述的基于双螺旋管理的数据质量校验方法，其特征在于，所述对本地数据库进行数据校验的步骤包括：
对所述数据库进行异常分析，以获取异常数据；
对所述异常数据进行成因分析，并根据分析结果生成补救措施。
5.如权利要求4所述的基于双螺旋管理的数据质量校验方法，其特征在于，所述对本地数据库进行异常分析的步骤之后，所述方法还包括：
获取所述数据库中所述异常数据的异常数量，并依序计算所述异常数量的异常等级；
根据所述异常数量和所述异常等级对所述数据库进行评估，以得到质量评估结果。
6.如权利要求4所述的基于双螺旋管理的数据质量校验方法，其特征在于，所述对所述数据库进行异常分析的步骤包括：
判断所述数据库中是否存在缺失数据；
当判断到存在所述缺失数据时，记录数据缺失位置；
判断所述数据库中是否存在错误数据；
当判断到存在所述错误数据时，记录数据错误位置。
7.一种基于双螺旋管理的数据质量校验系统，其特征在于，所述系统包括：
需求获取模块，用于获取业务需求和数据需求，并分别对所述业务需求和所述数据需求进行溯源，以生成业务溯源信息和数据溯源信息；
信息分析模块，用于根据所述业务溯源信息制定业务规范，根据所述数据溯源信息进行数据评估，并根据评估结果制定数据优化方案；
措施实施模块，用于根据所述业务规范实施业务处理，并根据所述数据优化方案实施数据优化；
数据校验模块，用于对本地数据库进行数据校验，并根据校验结果进行数据替换。
8.如权利要求7所述的基于双螺旋管理的数据质量校验系统，其特征在于，所述需求获取模块还用于：
分析产生所述业务需求的需求原因，根据分析结果查询解决方案，并根据所述解决方案生成业务溯源分析报告；
分析产生所述数据需求的需求原因，根据分析结果定位目标数据，并根据所述目标数据生成业务溯源分析报告。
9.如权利要求8所述的基于双螺旋管理的数据质量校验系统，其特征在于，所述需求获取模块还用于：
根据所述目标数据查询目标处理流程和目标传输流程；
根据所述目标处理流程和所述目标传输流程生成数据字典和数据流程图。
10.如权利要求7所述的基于双螺旋管理的数据质量校验系统，其特征在于，所述数据校验模块还用于：
对本地数据库进行异常分析，以获取异常数据；对所述异常数据进行成因分析，并根据分析结果生成补救措施。
CN201910969551.1A 2019-10-12 2019-10-12 基于双螺旋管理的数据质量校验方法及系统 Active CN110825725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910969551.1A CN110825725B (zh) 2019-10-12 2019-10-12 基于双螺旋管理的数据质量校验方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910969551.1A CN110825725B (zh) 2019-10-12 2019-10-12 基于双螺旋管理的数据质量校验方法及系统

Publications (2)

Publication Number Publication Date
CN110825725A true CN110825725A (zh) 2020-02-21
CN110825725B CN110825725B (zh) 2022-08-19

Family

ID=69549163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910969551.1A Active CN110825725B (zh) 2019-10-12 2019-10-12 基于双螺旋管理的数据质量校验方法及系统

Country Status (1)

Country Link
CN (1) CN110825725B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114185938A (zh) * 2021-11-03 2022-03-15 王伟强 基于数字金融及大数据溯源的项目溯源分析方法及系统
CN114185937A (zh) * 2021-11-03 2022-03-15 王伟强 基于数字金融的大数据溯源方法及系统
CN116303376A (zh) * 2023-05-24 2023-06-23 川投信息产业集团有限公司 一种基于资产大数据平台的资产管理优化方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070021992A1 (en) * 2005-07-19 2007-01-25 Srinivas Konakalla Method and system for generating a business intelligence system based on individual life cycles within a business process
US20120050772A1 (en) * 2010-08-31 2012-03-01 Zhenyu Lu Tracking The Processing Of Electronic Document Data By Network Services Using Trace
US20140095623A1 (en) * 2012-09-28 2014-04-03 Rex Wiig System and method of a requirement, conpliance and resource management methodology
CN103970872A (zh) * 2014-05-13 2014-08-06 上海新炬网络技术有限公司 基于业务口径的多层级数据处理方法
CN104134121A (zh) * 2014-07-30 2014-11-05 国家电网公司 一种电网信息系统业务数据可视化的实现方法
US20180129699A1 (en) * 2016-11-09 2018-05-10 Ab Initio Technology Llc Systems and methods for determining relationships among data elements
CN109242445A (zh) * 2018-09-29 2019-01-18 广东中标数据科技股份有限公司 对数据产品全生命周期进行开发管理的系统、方法及装置
CN109242259A (zh) * 2018-08-10 2019-01-18 华迪计算机集团有限公司 一种基于基础数据资源库的数据集成方法及系统
CN110232576A (zh) * 2019-05-21 2019-09-13 深圳壹账通智能科技有限公司 一种基于区块链的溯源数据处理方法及相关装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070021992A1 (en) * 2005-07-19 2007-01-25 Srinivas Konakalla Method and system for generating a business intelligence system based on individual life cycles within a business process
US20120050772A1 (en) * 2010-08-31 2012-03-01 Zhenyu Lu Tracking The Processing Of Electronic Document Data By Network Services Using Trace
US20140095623A1 (en) * 2012-09-28 2014-04-03 Rex Wiig System and method of a requirement, conpliance and resource management methodology
CN103970872A (zh) * 2014-05-13 2014-08-06 上海新炬网络技术有限公司 基于业务口径的多层级数据处理方法
CN104134121A (zh) * 2014-07-30 2014-11-05 国家电网公司 一种电网信息系统业务数据可视化的实现方法
US20180129699A1 (en) * 2016-11-09 2018-05-10 Ab Initio Technology Llc Systems and methods for determining relationships among data elements
WO2018089633A1 (en) * 2016-11-09 2018-05-17 Ab Initio Technology Llc Systems and methods for determining relationships among data elements
CN109242259A (zh) * 2018-08-10 2019-01-18 华迪计算机集团有限公司 一种基于基础数据资源库的数据集成方法及系统
CN109242445A (zh) * 2018-09-29 2019-01-18 广东中标数据科技股份有限公司 对数据产品全生命周期进行开发管理的系统、方法及装置
CN110232576A (zh) * 2019-05-21 2019-09-13 深圳壹账通智能科技有限公司 一种基于区块链的溯源数据处理方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SCHOECKLE,F.等: "Aging management: Control of the knowledge data base", 《NUCLEAR ENGINEERING AND DESIGN》 *
汪洪昕: "Hadoop环境下的数据溯源方法的应用研究", 《中国优秀硕士学位论文全文数据库(电子期刊)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114185938A (zh) * 2021-11-03 2022-03-15 王伟强 基于数字金融及大数据溯源的项目溯源分析方法及系统
CN114185937A (zh) * 2021-11-03 2022-03-15 王伟强 基于数字金融的大数据溯源方法及系统
CN114185938B (zh) * 2021-11-03 2023-04-18 北京亿欧网盟科技有限公司 基于数字金融及大数据溯源的项目溯源分析方法及系统
CN116303376A (zh) * 2023-05-24 2023-06-23 川投信息产业集团有限公司 一种基于资产大数据平台的资产管理优化方法及系统
CN116303376B (zh) * 2023-05-24 2023-09-08 川投信息产业集团有限公司 一种基于资产大数据平台的资产管理优化方法及系统

Also Published As

Publication number Publication date
CN110825725B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN110825725B (zh) 基于双螺旋管理的数据质量校验方法及系统
US9503335B2 (en) Service metric analysis from structured logging schema of usage data
CN110929036B (zh) 电力营销稽查管理方法、装置、计算机设备和存储介质
US10387236B2 (en) Processing data errors for a data processing system
US11256683B2 (en) Method and apparatus for integrating multi-data source user information
US20090204517A1 (en) Intercompany accounting data analytics
CN109934268B (zh) 异常交易检测方法及系统
CN104346574A (zh) 基于配置规范的主机安全配置漏洞自动修复方法及系统
CN111339151B (zh) 在线考试方法、装置、设备及计算机存储介质
CN110084476B (zh) 案件调整方法、装置、计算机设备和存储介质
CN105786682A (zh) 一种规避软件性能故障的实施系统及方法
CN113138906A (zh) 一种调用链数据采集方法、装置、设备及存储介质
CN110532122B (zh) 故障分析方法及系统、电子设备、存储介质
US20080033995A1 (en) Identifying events that correspond to a modified version of a process
CN115907505A (zh) 一种基于知识图谱的电力互联网运维预警方法及系统
CN112598226B (zh) 一种设备清查方法、装置、设备及存储介质
CN116070111A (zh) 一种基于ai的大数据挖掘的辅助决策方法及系统
CN113052700B (zh) 一种确定微服务调用链的方法及装置
CN114399192A (zh) 一种在线稽查自动化rpa系统
CN114331165A (zh) 一种城市安全绩效评估报告自动生成与分析方法及系统
CN111626586B (zh) 数据质量检测方法、装置、计算机设备和存储介质
CN117094665B (zh) 一种数字化企业管理系统及方法
Chii et al. A big data approach for memory quality management
CN111352975B (zh) 数据质量管理方法、客户端、服务端和系统
Dundjerski et al. Improving schema issue advisor in the Azure SQL database

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant