CN110399363A - 一种问题数据全生命周期数据质量管理方法及系统 - Google Patents

Abstract

本发明公开了一种问题数据全生命周期数据质量管理方法及系统，基于对问题数据建立唯一的指纹码后，建立问题数据指纹数据库，实现对问题数据的全生命周期的监管和监控，有效提升问题数据的精益化管理，能实现问题数据全流程闭环管控、实现问题数据的多维角度分析统计，提高问题数据全生命周期的数据质量精益化管理，并能分析问题数据的续存时间，存量、增量问题数据变化情况，问题数据的类型、规则，通过对指标、问题数据多维度分析，强化信息中心数据质量管控能力，实现数据治理“说得清、看得见、管得住”。

Description

一种问题数据全生命周期数据质量管理方法及系统

技术领域

本发明涉及一种数据质量的管理、处理、分析技术，尤其是一种问题数据全生命周期数据质量管理方法及系统。

背景技术

数据质量管理作为数据资产管理重要内容之一，是公司各业务域工作高效运转的基础，关乎各业务域精益管理工作和大数据分析工作开展的成败，对促进公司数据决策能力提升有着至关重要的作用。

目前，CSGII信息系统数据质量管理以省公司数据资源管理平台为主要支撑工具，重点对各业务系统核心数据、指标的完整性、规范性、准确性、及时性、一致性开展通报监督工作，每月从平台中导出生产、营销、财务、基建、物资、人资、协同域数据质量指标，针对存在的指标数据质量问题开展数据质量治理和实用化工作，并以文件的形式通报监督，来实现指标管控，各业务域及协同数据质量均得到了大幅提升，但现存的管理模式还存在以下问题亟需解决：

(1)省公司数据资源管理平台侧重于指标管控，对问题数据无法实现跟踪管理，管控力度及粒度不够精细。

(2)数据治理量的管理集中在供电局层面，涉及6个业务域及协同域，数据的整理、指标分析工作量大。

(3)无法实现对供电所层面及各基层单位的管控。县级供电局信息人员缺乏有效的支撑工具来实现对本单位数据质量管理，对本单位数据治理支撑力较弱。

(4)现有数据资源管理平台仅提供扫描报告，缺乏数据的分析统计功能，数据的分析、统计均需要人工导出原始数据，通过excel 表格开展，每月需要耗费大量时间、人力编制通报文件,通报的频次、效率低。

(5)积累的大量的历史数据，缺乏对这些历史数据有效存储、应用方式。

发明内容

为解决上述现有技术存在的不足，本发明的发明目的在于提高问题数据全生命周期的数据质量精益化管理，并能分析问题数据的续存时间，存量、增量问题数据变化情况，问题数据的类型、规则，通过对指标、问题数据多维度分析，强化信息中心数据质量管控能力，实现数据治理“说得清、看得见、管得住”。具体的，本发明是这样实现的：

一种问题数据全生命周期数据质量管理方法，包括以下步骤：1) 获取问题数据的问题信息，并将每一条问题信息基于唯一性标识建模，构造与每一条问题数据的唯一对应的问题数据指纹信息，并存储问题数据及问题数据指纹信息；2)将问题数据匹配建立多维度分拣条目，并基于分拣条目将问题数据划分为问题元数据和问题主数据；

3)将问题数据下放任务下达，等待整改；4)基于整改后，或一定时间周期后，对一条或多条问题数据进行问题数据指纹信息二次验证，若通过验证，该问题数据消亡；若未通过验证，该问题数据返回步骤 3)等待再次整改。

进一步的，所述唯一性标识建模为，将问题数据的问题信息利用128位MD5加密散列算法得问题数据指纹。

进一步的，所述步骤1)中获取问题数据的问题信息后，还包括：提取或记录问题数据出现的时间值，提取问题数据的来源信息，对相同的问题数据指纹信息作重复问题数据的合并。

进一步的，所述问题元数据的分拣条目包括：问题数据出现、持续、消除的时间、问题数据出现的频次、问题数据的业务域、问题数据的类型、问题数据来自的组织单位、问题数据的优先级或校验规则中的一种或多种；所述问题主数据是描述问题数据对应的核心业务实体的主数据，是解决的问题数据的核心务对象、执行主体；其分拣条目包括：用电用户信息、计量点信息、变压器信息。

进一步的，所述步骤3)中的整改包括对问题数据增加整改记录信息，所述步骤4)中的二次验证，还包括先对是否有整改记录信息进行验证，若有整改记录信息，则对整改后的问题数据进行问题数据指纹信息二次验证；若无整改记录信息，则未通过验证，该问题数据返回步骤3)等待再次整改。

进一步的，所述步骤4)中的问题数据消亡还包括：问题数据的消除，彻底消除短期内不再重复同一问题的问题数据并形成问题数据存档数据。

进一步的，所述步骤4)中的问题数据指纹信息二次验证，包括：再次对该问题数据进行二次唯一性标识建模，构造与该问题数据的唯一对应的二次问题数据指纹信息，比对二次问题数据指纹信息和步骤 1)中的问题数据指纹信息是否一致，若一致，则验证未通过；若不一致，则验证通过。

本发明的另一方面，提供了一种问题数据全生命周期数据质量管理系统，包括：问题数据存储模块，用于获取并存储问题数据、新增问题数据、整改后的问题数据及问题数据指纹信息；问题数据处理模块，用于将每一条问题信息基于唯一性标识建模，构造与每一条问题数据的唯一对应的问题数据指纹信息；问题数据分拣模块，用于将问题数据匹配建立多维度分拣条目，并基于分拣条目将问题数据划分为问题元数据和问题主数据，并支持基于分拣条目对问题数据进行关键时间点记录及提取、排重、合并、检索或排列处理；问题数据整改下达模块，用于将问题数据发送下达至整改责任主体，能对问题数据进行问题流转传输，并能存取修改后的问题数据的核心数据内容；问题数据整改验证模块，用于定时、定周期或主动对整改后的问题数据作验证，包括先进行非结构化数据验证，若未通过，再次将问题数据发送下达至整改责任主体；若通过，则进行二次验证：再次对该问题数据进行二次唯一性标识建模，构造与该问题数据的唯一对应的二次问题数据指纹信息，比对二次问题数据指纹信息和该问题数据绑定的问题数据指纹信息是否一致，若一致，则验证未通过；若不一致，则验证通过，再次将问题数据发送下达至整改责任主体。

进一步的，还包括问题数据分析模块，基于每一条问题数据的唯一对应的问题数据指纹信息，用于可获取一条或多条问题数据在不同阶段的存续时间信息、整改时间信息；获取一条或多条问题数据的存量、增量变化信息；用于基于分拣条目对问题数据产生的指标分析、问题数据任务流转、问题数据处理情况、绩效评价、监督检查、日常通报、问题数据溯源信息、整改完成率、问题数据地图或问题数据趋势中的一种或多种的多维度分析结果，形成对问题数据全阶段的全闭环管控分析。

进一步的，还包括问题数据评价模块，基于每一条问题数据的唯一对应的问题数据指纹信息，用于构建各地方单位组织主体于问题数据治理的工作评价模型，用于计算并显示数据质量评价得分、数据质量评价排名、问题数据整改的数量、问题数据整改的整改率、问题数据的整改效率、长期未整改的问题数据数量或现场检查等评价维度中的一种或多种。

本发明的工作原理介绍：本发明全面梳理问题数据扫描规则及各业务域的数据认责最小管理单元，基于问题数据全生命周期，实现对数据质量精益化管理。能对问题数据进行全周期的管理，关键在于能够唯一性的确定单个问题数据，才能实现对问题数据的监控管理，本发明的核心在于结合数据质量精益管理现有制度标准及要求，梳理生产域、营销域、物资域、人资域、基建域、财务域以及协同域约3000 条扫描规则，对每条问题数据构造问题数据指纹(PDF：Problem Data Fingerprint)，建立问题数据指纹库，实现对问题数据的唯一性判定, 支撑问题数据全生命周期管理模型构建。利用128位MD5加密散列算法，对每条问题数据构造问题数据指纹(PDF：Problem Data Fingerprint)，建立问题数据指纹库，作为问题数据的唯一身份。建立唯一性标识数据指纹后，对问题数据添加分拣目录，如时间维度(包括出现、持续、消除时间)，单位维度(问题数据所属的组织路径)，业务域维度(生产域、营销域等)，校验规则维度(一致性、完整性、规范性等)、优先级维度(问题比例，描述需优先处理突出问题)等。本阶段对问题数据进行分拣，即将问题数据以主数据的形式进行清洗、排重、合并，实现问题数据的完整性、准确性和唯一性，达到业务可应用级别，结合元数据，从而满足问题数据全生命周期应用。这样的分拣目录能有利于问题数据的管理、监控和统计分析；

问题数据的整改任务下达，任务下达是根据问题数据分拣管理及问题数据责任主体，提供问题数据流转的管理过程，根据现有问题数据生命周期，已对问题数据进行了完整统一的管理：

(1)对问题数据出现的管理，生成问题数据的基础框架以及问题数据认责主体信息统一管理。

(2)对问题数据分拣的管理，生成业务需要的问题数据执行主体，统一模式存取问题数据核心数据。

因此任务下达可通过数据质量管理工具进行问题流转，流转过程能满足跨部门业务协同的需要，进行整改，问题数据通过任务下达，指定认责部门及责任人将收到整改通知，此时正式进入整改流程，整改管理过程中，提供任务下达意见、问题清单、检查项明细、问题出现时间、发现问题详细文字描述等分拣完成的问题主数据信息，以供责任人完成整改。

责任人整改管理中，必须提供整改过程信息存档，其中包括整改清单、整改措施以及具体整改过程，涉及现场处理的还必须提供整改图片信息为整改完成依据。

整改提供问题主数据到整改责任人，责任人根据问题数据形成相应整改过程资料。

整改后需要对问题数据进行验证，问题数据通过责任人整改后，将对整改情况进行管理。由责任人反馈到问题发起管理人，管理人进行主数据问题数据整改验证，当数据验证成功后，问题数据在下一周期将不再产生，从而一条问题数据的全生命周期达到消除。

故本发明根据问题数据的类型、规则，以及问题数据不同阶段的存续时间，问题数据的存量、增量变化情况，实现对指标、问题数据多维度分析，并结合指标分析、问题数据任务流转、问题数据处理情况、绩效评价、监督检查、日常通报以及日常会议等多种手段，实现问题数据所有阶段全闭环管控，构建问题数据全生命周期管理模型。

与现有技术相比，本发明的有益效果在于：

(1)有效提升问题数据的精益化管理

针对问题数据，能分析问题数据的续存时间，存量、增量问题数据变化情况，问题数据的类型、规则，通过对指标、问题数据多维度分析，强化信息中心数据质量管控能力，实现数据治理“说得清、看得见、管得住”。其中，说得清，是因为对每一条问题数据都通过构件其唯一的标识功能的问题数据指纹数据，能实现对海量的问题数据的精确查询和监控；看得见，是指针对问题数据进行分拣目录的添加，实现对问题数据的信息可查询、检索的可见性监控管理；管得住，是指针对整改过程能够实现多维的监控管理，能通过二次验证、双从验证自动检验是否对问题数据作出整改，且能获得整改周期中的整改数据，实现可视化、数据化的问题数据管理。

(2)能实现问题数据全流程闭环管控、实现问题数据的多维角度分析统计；

从扫描规则、问题类型、归属单位、问题发现时间、问题存在时间、问题消除时间以及趋势分析等各个维度进行数据统计分析，通过构建问题数据精益化管理多维度模型对数据进行自动统计与展示；根据指标及指标变化情况、问题数据的存续时间，存量、增量问题数据变化情况，问题数据的类型、规则问题数据结果、问题数据的整改情况，穿透问题数据之前的相互关系，实现对问题数据的精细化、系统性把控，通过问题数据存量、增量、整改完成率、问题数据地图、趋势分析、雷达图等多种形式开展多维度分析，强化数据分析在数据治理中的应用，找出其规律性，为改进指出方向和机会，优先处理突出问题数据。

(3)实现绩效评价的数据治理质量标准有所可依；

通过本发明对问题数据整改的精益化管理，构建各单位数据治理工作评价模型，对各单位、部门数据治理工作开展情况进行评价，既关注结果，也强化过程评价，纳入季度评价和年度信息化水平评价中，以绩效评价推动工作落实，充分发挥绩效评价的指挥棒作用。

(4)实现问题数据的日常监督检查；

根据数据认责、数据质量及实用化情况，对指标、问题整改数据、问题整改完成度监督通报工作贯穿全年实现指标通报的常态化，做好指标管控；能结合主要领导、分管领导、业务部门现场检查及班组自查，在数据质量指标提高同时，系统数据与现场实际的一致性也进一步提高，实现数据的真实、准确、完整。

(5)问题数据精益管理模型工具支撑

搭建问题数据全生命周期管理模型，为县级供电局提供一个有效的数据质量管理模型及工具，落实数据质量管理属地化职责，促进各部门、单位数据的深化应用，全面提升玉溪供电局数据质量及实用化水平。

附图说明

图1为本发明的问题数据全生命周期数据质量管理方法的流程示意图；

图2为问题数据生命周期示意图；

图3为问题数据唯一性标识建模的示意图；

图4为问题数据分拣过程的示意图；

图5为问题数据整改流程图；

图6为问题数据整改验证模块示意图；

图7为问题数据整改流程示意图；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例1：如图1所示，一种问题数据全生命周期数据质量管理方法，包括以下步骤：问题数据的出现是问题数据生命周期的开始，问题数据来源于两个部分，一是数据资源管理平台校验规则产生问题数据，二是现场检查及班组自查发现的问题数据；获取问题数据的问题信息，并将每一条问题信息基于唯一性标识建模，即结合数据质量精益管理现有制度标准及要求，梳理生产域、营销域、物资域、人资域、基建域、财务域以及协同域约3000条扫描规则，对每条问题数据构造问题数据指纹(PDF：Problem Data Fingerprint)，建立问题数据指纹库，实现对问题数据的唯一性判定,支撑问题数据全生命周期管理模型构建，构造与每一条问题数据的唯一对应的问题数据指纹信息，并存储问题数据及问题数据指纹信息；将问题数据匹配建立多维度分拣条目，分拣时，梳理各业务域建立的数据认责最小管理单元，如生产域设备主人认责、营销域网格经理认责等认责方案，建立角色认责机制，对应问题数据与数据责任人的关系，对问题数据进行分拣，通过问题整改任务发起、处理、反馈、归档等全流程闭环管控。加强对县区供电局数据治理工作的技术指导，统筹CSGII现场技术支持力量，将现场技术支持工程师按IT服务二线人员管理，纳入IT服务事件流程管控，确保每个数据治理相关的工单、事件闭环。根据指标及指标变化情况、问题数据的存续时间，存量、增量问题数据变化情况，问题数据的类型、规则问题数据结果、问题数据的整改情况，穿透问题数据之前的相互关系，实现对问题数据的精细化、系统性把控，通过问题数据存量、增量、整改完成率、问题数据地图、趋势分析、雷达图等多种形式开展多维度分析，强化数据分析在数据治理中的应用，找出其规律性，为改进指出方向和机会，优先处理突出问题数据。分拣就是根据一定规则、策略对问题数数据进行性分类、归类的过程。按问题出现的管理模式，将元数据一部分作为支撑问题数据的基础信息，另一部分则需要进一步分拣，形成问题数据(PD：Problem Data)，并将其分为问题元数据(PM：Problem Metadata)和问题主数据(PMD： Problem Master Data)进一步管理。

问题元数据(PM：Problem Metadata)：描述问题数据的数据。如记录问题数据出现的时间、频次、业务域、类型、组织、优先级等。

问题主数据(PMD：Problem Master Data)：是指用来描述问题数据对应的核心业务实体的主数据，是解决的问题数据的核心务对象、执行主体。如用电用户、计量点、变压器信息等。核心主数据是问题数据管理中的神经中枢，是问题数据精益化管理和决策分析的基础。

问题数据可按以下几个维度分拣：时间维度(包括出现、持续、消除时间)，单位维度(问题数据所属的组织路径)，业务域维度(生产域、营销域等)，校验规则维度(一致性、完整性、规范性等)、优先级维度(问题比例，描述需优先处理突出问题)等。

本阶段对问题数据进行分拣，即将问题数据以主数据的形式进行清洗、排重、合并，实现问题数据的完整性、准确性和唯一性，达到业务可应用级别，结合元数据，从而满足问题数据全生命周期应用。

将问题数据下放任务下达，等待整改；任务下达是根据问题数据分拣管理及问题数据责任主体，提供问题数据流转的管理过程，根据现有问题数据生命周期，已对问题数据进行了完整统一的管理：

(1)对问题数据出现的管理，生成问题数据的基础框架以及问题数据认责主体信息统一管理。

(2)对问题数据分拣的管理，生成业务需要的问题数据执行主体，统一模式存取问题数据核心数据。

因此任务下达可通过数据质量管理工具进行问题流转，流转过程能满足跨部门业务协同的需要。

问题数据通过任务下达，指定认责部门及责任人将收到整改通知，此时正式进入整改流程，整改管理过程中，提供任务下达意见、问题清单、检查项明细、问题出现时间、发现问题详细文字描述等分拣完成的问题主数据信息，以供责任人完成整改。

责任人整改管理中，必须提供整改过程信息存档，其中包括整改清单、整改措施以及具体整改过程，涉及现场处理的还必须提供整改图片信息为整改完成依据。

整改提供问题主数据到整改责任人，责任人根据问题数据形成相应整改过程资料。

基于整改后，或一定时间周期后，对一条或多条问题数据进行问题数据指纹信息二次验证，若通过验证，该问题数据消亡；若未通过验证，该问题数据返回，等待再次整改。

建立问题数据指纹库，如图3所示，作为问题数据的唯一身份，问题唯一性校验规则，将问题数据的问题信息利用128位MD5加密散列算法得问题数据指纹。例如，输入问题数据，经过m(x)的MD5 运算，得026688238e0c58f3f这一个MD5值，026688238e0c58f3f即为这条问题数据的问题数据指纹信息；

进一步的，获取问题数据的问题信息后，还包括：提取或记录问题数据出现的时间值，提取问题数据的来源信息，对相同的问题数据指纹信息作重复问题数据的合并。

进一步的，分拣就是根据一定规则、策略对问题数数据进行性分类、归类的过程。按问题出现的管理模式，将元数据一部分作为支撑问题数据的基础信息，另一部分则需要进一步分拣，形成问题数据(PD： Problem Data)，并将其分为问题元数据(PM：ProblemMetadata)和问题主数据(PMD：Problem Master Data)进一步管理。所述问题元数据的分拣条目包括：问题数据出现、持续、消除的时间、问题数据出现的频次、问题数据的业务域、问题数据的类型、问题数据来自的组织单位、问题数据的优先级或校验规则中的一种或多种；所述问题主数据是描述问题数据对应的核心业务实体的主数据，是解决的问题数据的核心务对象、执行主体；其分拣条目包括：用电用户信息、计量点信息、变压器信息。

进一步的，整改包括对问题数据增加整改记录信息，所述步骤4) 中的二次验证，还包括先对是否有整改记录信息进行验证，若有整改记录信息，则对整改后的问题数据进行问题数据指纹信息二次验证；若无整改记录信息，则未通过验证，该问题数据返回步骤3)等待再次整改。问题数据通过责任人整改后，将对整改情况进行管理。由责任人反馈到问题发起管理人，管理人进行主数据问题数据整改验证，数据验证包括：

非结构化数据验证：数据认责清单、整改签字清单、整改问题过程描述、现场整改图等。

主数据二次验证：验证工具自动发起验证，对数据问题进行二次验证，验证通过进入下一阶段，验证失败将返回整改管理流程，继续发送到责任人，并提供辅助元数据、主数据为责任人提供二次整改方案。

进一步的，当数据验证成功后，问题数据在下一周期将不再产生，从而一条问题数据的全生命周期达到消除。

问题数据消亡还包括：问题数据的消除，彻底消除短期内不再重复同一问题的问题数据并形成问题数据存档数据。

新数据问题产生：由于数据规则变化、基础元数据产生变动等情况，下个周期外的其他周期产生相同的数据问题，在此情况下，形成新的问题数据进入新的生命周期。

彻底消除：彻底消除指数据问题短期内不再重复同一问题，问题主数据将形成存档数据，数据的所有者可通过对数据的建模分析挖掘，把海量数据中的符合业务需求的信息作为分析条件，以合规安全的形式完成问题数据展示，如与同期数据进行同比，环比等。

进一步的，问题数据指纹信息二次验证，包括：再次对该问题数据进行二次唯一性标识建模，构造与该问题数据的唯一对应的二次问题数据指纹信息，比对二次问题数据指纹信息和步骤1)中的问题数据指纹信息是否一致，若一致，则验证未通过；若不一致，则验证通过。

问题数据及扫描规则梳理

1.根据数据资源管理平台发布的问题数据，结合玉溪供电局数据质量管理的具体应用场景，收集问题数据及数据指标，梳理问题数据规则、类型，建立问题数据库及扫描规则库，规范化整理问题数据，形成问题数据的精益化分析基础数据。

2.根据梳理的问题数据，基于问题数据全生命周期，分析问题数据的存续时间，存量、增量问题数据变化情况，再结合问题数据的归属信息，为业务部门的数据质量提升工作提供数据支撑及指导意见。

3.问题规则收集、梳理完成后，将建立规则管理库，包含对问题规则的参数检查；对问题所属域检查；对问题类型检查，对问题重复数据检查；对问题SQL检查以及对问题参数检查，实现对问题规则进行全面的、可扩展的管理，为底层数据准确性提供支撑，实现数据治理“说得清”。

实施例2

基于全生命周期理念，如图2所示，按照“数据供给、运营管理、价值可视”数据资产管理工作三大核心能力，开展问题数据全生命周期管理PDLM(Problem Data Lifecyclemanagement)模型研究，即一种问题数据全生命周期数据质量管理系统，将问题数据全生命周期分为出现、分拣、任务下达、整改、验证、消除、评价七个阶段，制定每个阶段管理内容和措施。具体包括：

问题数据存储模块，用于获取并存储问题数据、新增问题数据、整改后的问题数据及问题数据指纹信息；

问题数据处理模块，用于将每一条问题信息基于唯一性标识建模，构造与每一条问题数据的唯一对应的问题数据指纹信息；

如图4所示，问题数据分拣模块，用于将问题数据匹配建立多维度分拣条目，并基于分拣条目将问题数据划分为问题元数据和问题主数据，并支持基于分拣条目对问题数据进行关键时间点记录及提取、排重、合并、检索或排列处理；

如图5～7所示，问题数据整改下达模块，用于将问题数据发送下达至整改责任主体，能对问题数据进行问题流转传输，并能存取修改后的问题数据的核心数据内容；通过梳理各业务域建立的数据认责最小管理单元，如生产域设备主人认责、营销域网格经理认责等认责方案，建立角色认责机制，对应问题数据与数据责任人的关系，结合问题数据整改流程实现问题数据处理的闭环。角色认责机制将通过数据质量管理工具实现责任人与工具内数据认责角色捆绑，责任人对于流转下发问题及责任范围内问题需要及时处理。

基于本系统，能实现问题数据整改监控和问题数据整改流转：

结合收集的问题数据及各基层单位的日常数据质量管理情况，从扫描规则、问题类型、归属单位、问题发现时间、问题存在时间、问题消除时间以及趋势分析等各个维度进行数据统计分析，构建问题数据精益化管理多维度模型对数据进行自动统计与展示，以最直观和快捷的方式反馈给相关责任人。基于“问题数据地图”，建立各单位到站所的问题数据与组织的映射关系，提供全局视图，形象具体展现问题数据分布情况，便于各级管理人员掌握各单位数据治理工作情况，让问题数据“看得见”。问题数据通过数据质量管理工具及现场检查等手段进行统计，全量进入数据质量管理工具问题数据整改的流程内流转，实现精准的问题整改任务通报。指派人可在数据质量管理工具内发出整改任务，处理人根据问题数据的详细信息对问题数据进行整改，并上传图片资料等对整改过程和结果进行记录。最后由指派人对处理结果进行验收、归档，通过对问题数据发起整改、人员认责、问题处理、数据归档等数据问题的闭环解决流程，并提供消息预警功能，实现数据治理“管得住”。

问题数据整改验证模块，用于定时、定周期或主动对整改后的问题数据作验证，包括先进行非结构化数据验证，若未通过，再次将问题数据发送下达至整改责任主体；若通过，则进行二次验证：再次对该问题数据进行二次唯一性标识建模，构造与该问题数据的唯一对应的二次问题数据指纹信息，比对二次问题数据指纹信息和该问题数据绑定的问题数据指纹信息是否一致，若一致，则验证未通过；若不一致，则验证通过，再次将问题数据发送下达至整改责任主体。

优选地，本系统还包括问题数据分析模块，基于每一条问题数据的唯一对应的问题数据指纹信息，用于可获取一条或多条问题数据在不同阶段的存续时间信息、整改时间信息；获取一条或多条问题数据的存量、增量变化信息；用于基于分拣条目对问题数据产生的指标分析、问题数据任务流转、问题数据处理情况、绩效评价、监督检查、日常通报、问题数据溯源信息、整改完成率、问题数据地图或问题数据趋势中的一种或多种的多维度分析结果，形成对问题数据全阶段的全闭环管控分析。

基于本系统，在业务流程不变的情况下，通过数据质量管理工具缩短问题数据分析工作周期，并按如下步骤构建数据质量模型：

(1)以时间维度、单位维度、业务域维度以及问题规则维度进行分析。

(2)以表格、图表、颜色标识等多种不同形式精准、简洁、直观的展示分析结果，包括可单位间可比较的雷达图、问题数据变化折线图，指标统计条形图等。

通过模型构建，最终形成报表数据，以便各层级管理人员及相关工作人员及时、高效的掌握当前数据质量情况，为下一步工作决策提供支撑参考，同时为问题数据整改工作等提供辅助性指导。

通过本系统，分析并完善各县公司问题数据详情、趋势、对比及图表，提供数据治理工作分析，由信息中心、各县区供电局编制印发数据认责、数据质量及实用化情况，将数据认责对数据质量的指标实现常态化，做好指标管控，对于反复及长时间存在的问题数据进行重点跟踪通报，并同步在管理工具中突出展示。

结合指标图表、指标变化情况、问题数据多维度分析结果以及问题数据的整改情况，信息中心每月组织对问题数据较多或指标较低的区域进行现场检查，指导、督查各单位数据质量管理的有序开展。

优选地，本系统还包括问题数据评价模块，基于每一条问题数据的唯一对应的问题数据指纹信息，用于构建各地方单位组织主体于问题数据治理的工作评价模型，用于计算并显示数据质量评价得分、数据质量评价排名、问题数据整改的数量、问题数据整改的整改率、问题数据的整改效率、长期未整改的问题数据数量或现场检查等评价维度中的一种或多种。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种问题数据全生命周期数据质量管理方法，其特征在于，包括以下步骤：

1)获取问题数据的问题信息，并将每一条问题信息基于唯一性标识建模，构造与每一条问题数据的唯一对应的问题数据指纹信息，并存储问题数据及问题数据指纹信息；

2)将问题数据匹配建立多维度分拣条目，并基于分拣条目将问题数据划分为问题元数据和问题主数据；

3)将问题数据下放任务下达，等待整改；

4)基于整改后，或一定时间周期后，对一条或多条问题数据进行问题数据指纹信息二次验证，若通过验证，该问题数据消亡；若未通过验证，该问题数据返回步骤3)等待再次整改。

2.根据权利要求1所述的问题数据全生命周期数据质量管理方法，其特征在于，所述唯一性标识建模为，将问题数据的问题信息利用128位MD5加密散列算法得问题数据指纹。

3.根据权利要求1所述的问题数据全生命周期数据质量管理方法，其特征在于，所述步骤1)中获取问题数据的问题信息后，还包括：提取或记录问题数据出现的时间值，提取问题数据的来源信息，对相同的问题数据指纹信息作重复问题数据的合并。

4.根据权利要求1所述的问题数据全生命周期数据质量管理方法，其特征在于，所述问题元数据的分拣条目包括：问题数据出现、持续、消除的时间、问题数据出现的频次、问题数据的业务域、问题数据的类型、问题数据来自的组织单位、问题数据的优先级或校验规则中的一种或多种；

所述问题主数据是描述问题数据对应的核心业务实体的主数据，是解决的问题数据的核心务对象、执行主体；其分拣条目包括：用电用户信息、计量点信息、变压器信息。

5.根据权利要求1所述的问题数据全生命周期数据质量管理方法，其特征在于，所述步骤3)中的整改包括对问题数据增加整改记录信息，所述步骤4)中的二次验证，还包括先对是否有整改记录信息进行验证，若有整改记录信息，则对整改后的问题数据进行问题数据指纹信息二次验证；若无整改记录信息，则未通过验证，该问题数据返回步骤3)等待再次整改。

6.根据权利要求1所述的问题数据全生命周期数据质量管理方法，其特征在于，所述步骤4)中的问题数据消亡还包括：问题数据的消除，彻底消除短期内不再重复同一问题的问题数据并形成问题数据存档数据。

7.根据权利要求1所述的问题数据全生命周期数据质量管理方法，其特征在于，所述步骤4)中的问题数据指纹信息二次验证，包括：再次对该问题数据进行二次唯一性标识建模，构造与该问题数据的唯一对应的二次问题数据指纹信息，比对二次问题数据指纹信息和步骤1)中的问题数据指纹信息是否一致，若一致，则验证未通过；若不一致，则验证通过。

8.一种问题数据全生命周期数据质量管理系统，其特征在于，包括：

问题数据存储模块，用于获取并存储问题数据、新增问题数据、整改后的问题数据及问题数据指纹信息；

问题数据处理模块，用于将每一条问题信息基于唯一性标识建模，构造与每一条问题数据的唯一对应的问题数据指纹信息；

问题数据分拣模块，用于将问题数据匹配建立多维度分拣条目，并基于分拣条目将问题数据划分为问题元数据和问题主数据，并支持基于分拣条目对问题数据进行关键时间点记录及提取、排重、合并、检索或排列处理；

问题数据整改下达模块，用于将问题数据发送下达至整改责任主体，能对问题数据进行问题流转传输，并能存取修改后的问题数据的核心数据内容；

问题数据整改验证模块，用于定时、定周期或主动对整改后的问题数据作验证，包括先进行非结构化数据验证，若未通过，再次将问题数据发送下达至整改责任主体；若通过，则进行二次验证：再次对该问题数据进行二次唯一性标识建模，构造与该问题数据的唯一对应的二次问题数据指纹信息，比对二次问题数据指纹信息和该问题数据绑定的问题数据指纹信息是否一致，若一致，则验证未通过；若不一致，则验证通过，再次将问题数据发送下达至整改责任主体。

9.根据权利要求8所述的问题数据全生命周期数据质量管理系统，其特征在于，还包括问题数据分析模块，基于每一条问题数据的唯一对应的问题数据指纹信息，用于可获取一条或多条问题数据在不同阶段的存续时间信息、整改时间信息；获取一条或多条问题数据的存量、增量变化信息；用于基于分拣条目对问题数据产生的指标分析、问题数据任务流转、问题数据处理情况、绩效评价、监督检查、日常通报、问题数据溯源信息、整改完成率、问题数据地图或问题数据趋势中的一种或多种的多维度分析结果，形成对问题数据全阶段的全闭环管控分析。

10.根据权利要求8所述的问题数据全生命周期数据质量管理系统，其特征在于，还包括问题数据评价模块，基于每一条问题数据的唯一对应的问题数据指纹信息，用于构建各地方单位组织主体于问题数据治理的工作评价模型，用于计算并显示数据质量评价得分、数据质量评价排名、问题数据整改的数量、问题数据整改的整改率、问题数据的整改效率、长期未整改的问题数据数量或现场检查等评价维度中的一种或多种。