CN105741196A - 一种基于四个维度进行数据质量监测及评价方法 - Google Patents

Abstract

本发明提供了一种基于四个维度数据质量监测及评价方法，其特征在于，步骤为：首先将数据质量管理体系中所有可监控、可计算的数据指标在指标源中统一编码管理，为每个指标做出明确的定义等。其次将数据传输、整合、分析过程中所有需要监测的指标及对于应用情况的监控指标都纳入监测指标集，并针对上传的业务数据进行基础校验，生成监测报告。然后基于监测报告，参考评估规则，生成评估报告。最后基于评估报告，参考指标考核办法，对机构、区县按不同时间维度分别对各指标进行考核，生成指标级、维度级以及接入平台级别的考核报告。本发明提供的方法能够对各接入平台数据进行全面而完整的科学评估，从而整体提升数据质量。

Description

一种基于四个维度进行数据质量监测及评价方法

技术领域

本发明涉及一种对数据质量进行检测及评价的方法。

背景技术

作为所有上层系统应用的基础，数据质量的好坏将直接影响到各类应用功能的使用效果。但是由于各接入平台建设水平参差不齐，上传数据的质和量都存在不同程度的差异，严重影响了数据在上层系统中的应用效果。

发明内容

本发明的目的是将提供一种对数据质量进行检测及评价的方法。

为了达到上述目的，本发明的技术方案是提供了一种基于四个维度进行数据质量监测及评价方法，其特征在于，包括以下步骤：

步骤1、将数据质量管理体系中所有可监控、可计算的数据指标在指标源中统一编码管理，从而形成监测指标，将所有监测指标分为完整性、一致性、规范性和及时性四个维度进行监测，其中：

完整性是为了监测当前数据质量管理体系是否将业务日期内的数据完整上传，为了便于数据质量问题追溯，将完整性监测进一步细分为关联性和业务约束性两类；

一致性是为了监测当前数据质量管理体系上传的统计指标是否与明细报告汇总值相符；

规范性是为了监测当前数据质量管理体系上传的数据是否满足接口中定义的数据规范性要求；

及时性是为了监测当前数据质量管理体系上传的数据是否在业务数据产生后及时上传；

步骤2、计算隶属于关联性的各监测指标的关联率，计算隶属于业务约束性的各监测指标的约束符合率，计算隶属于一致性的各监测指标的明细数据统计结果与业务运营一致率，计算隶属于规范性的各监测指标的规范率，计算隶属于及时性的各监测指标的平均差异天数；

步骤3、分别为关联率、约束符合率、明细数据统计结果与业务运营一致率、规范率、平均差异天数设定不同的等分区间，等分区间对应的最高分值为MAX，根据该得分区间计算分别隶属于关联性、业务约束性、一致性、规范性及及时性的各监测指标的得分；

步骤4、将一致性得分的满分设定为A，计算得到隶属于一致性的N₁个监测指标的得分的总和sum₁，则将单指标体系得分₁的权重，即单指标体系权重₁，设为a；

计算得到隶属于关联性的N₂₁个监测指标的得分的总和sum₂₁，计算得到隶属于业务约束性的N₂₂个监测指标的得分的总和sum₂₂，则 将单指标体系得分₂的权重，即单指标体系权重₂，设为b；

计算得到隶属于规范性的N₃个监测指标的得分的总和sum₃，则 将单指标体系得分₃的权重，即单指标体系权重₃，设为c；

计算得到隶属于及时性的N₄个监测指标的得分的总和sum₄，则 将单指标体系得分₄的权重，即单指标体系权重₄，设为d；

步骤5、计算得到当前数据质量管理体系的评价得分P，将当前数据质量管理体系的上次评价得分记为P_-1，则有：

优选地，在所述步骤5中，所述平滑系数初始化为120％。

优选地，在所述步骤5之后，还包括：

步骤6、设目标区域内有n家机构运行了数据质量管理体系，通过所述步骤1至步骤5分别计算每家机构的数据质量管理体系的评价得分，其中，第i家机构的数据质量管理体系的评价得分为P_i，则目标区域的数据质量评价得分为PD，则有 $\mathrm{PD}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{P}_i}{n}.$

本发明提出了一种基于四个维度的数据质量监测及评价体系，该体系采用分级量化的方法，向不同的接入平台提供技术支撑和管理措施，从数据一致性、完整性、规范性、及时性四个维度全面监测及提高数据上传质量。

附图说明

图1为本发明的原理示意图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例作详细说明如下。

若将本发明提供的一种基于四个维度进行数据质量监测及评价方法应用在医院所使用的医疗数据管理系统中，则包括如下步骤：

步骤A：如图1所示，本发明以目前区县内所有医院的医疗数据管理系统的数据为基础，将所涉及的所有可监控、可计算的数据指标纳入指标源中统一编码管理，针对上传的业务数据进行基础校验，生成监测报告。同时由于步骤B评估考核方式不同，将所有指标分为完整性、一致性、规范性和及时性四个维度进行监测。

其中，完整性是为了监测各区县平台/机构是否将业务日期内的数据完整上传，为了便于数据质量问题追溯，将完整性监测进一步细分为关联性监测和业务约束性监测两类；一致性是为了监测各区县平台/机构上传的统计指标是否与明细报告汇总值相符；规范性是为了监测各区县平台/机构上传的数据是否满足接口中定义的数据规范性要求；及时性是为了监测各区县平台/机构上传的数据是否在业务数据产生后及时上传。

步骤B：按照考核要求，对区县平台/机构按不同时间维度(周/月/季/年)分别对步骤A中各监测指标进行评估，生成评估报告。各类指标评估办法如下：

表1监测指标评估办法

其中，表1中提到的指标编码10001、10301、20001、31001、40001，分别代表的监测标准如下：

指标10001：挂号表中的患者唯一标识(就诊卡)是否能与患者信息表关联。

指标10301：已出院患者是否具有出院小结。

指标20001：挂号表中统计出的门诊人次与业务量统计表中填报值是否一致。

指标31001：修改标志(XGBZ)编码符合率。

指标40001：业务量统计表(TB_STAT_YWL_Report)上传及时性。

步骤C：基于步骤B对各指标的评估结果，按照考核要求，对各区县/机构按不同时间维度(周/月/季/年)分别对各指标进行考核，单指标满分为10分。各类指标考核办法如表2所示。

表2评估指标考核办法

其中，各指标评分阈值(a/b/c)不同，由市级平台数据质量专管员根据管理要求在系统中进行配置。

步骤D：对步骤C考核指标体系、机构及区县平台进行分数评定。

指标体系分数评定如表3所示。

表3指标体系分数评定

指标体系	满分分值	权重
			一致性	100	a
完整性	一致性得分	b
			规范性	一致性得分	c
及时性	一致性得分	d
			机构	100	100％

其中，一致性指标体系满分设为100分，其他指标体系满分分值设为该机构当期一致性指标体系的实际得分。

计算得到隶属于一致性的N₁个监测指标的得分的总和sum₁，则 将单指标体系得分₁的权重，即单指标体系权重₁，设为a。

计算得到隶属于关联性的N₂₁个监测指标的得分的总和sum₂₁，计算得到隶属于业务约束性的N₂₂个监测指标的得分的总和sum₂₂，则 将单指标体系得分₂的权重，即单指标体系权重₂，设为b。

计算得到隶属于规范性的N₃个监测指标的得分的总和sum₃，则 将单指标体系得分₃的权重，即单指标体系权重₃，设为c。

计算得到隶属于及时性的N₄个监测指标的得分的总和sum₄，则 将单指标体系得分₄的权重，即单指标体系权重₄，设为d。

机构分数评定：为保障错误的历史数据得到及时有效的清洗，当前数据质量管理体系的评价得分P由上期当前数据质量管理体系的评价得分P_-1及四类指标体系得分综合计算得出：

注：

1.各指标体系权重值不同，由市级平台数据质量专管员根据管理要求在系统中进行配置；

2.平滑系数：在浮动满分值的基础上，用于控制综合得分，防止无限下跌，初始化设定为120％；

3.当大于1时，记为1。

区县分数评定：区县分数由计算当期该区县参与考核的机构得分平均数得出，设目标区县内有n家机构运行了数据质量管理体系，通过上述步骤分别计算每家机构的数据质量管理体系的评价得分，其中，第i家机构的数据质量管理体系的评价得分为P_i，则目标区域的数据质量评价得分为PD，则有

通过本发明上述步骤，从数据上传的完整性、一致性、规范性和及时性四个维度对数据质量进行了综合评估，从而达到了进一步夯实数据基础，整体提升数据质量的目的。

Claims (3)

1.一种基于四个维度进行数据质量监测及评价方法，其特征在于，包括以下步骤：

步骤1、将数据质量管理体系中所有可监控、可计算的数据指标在指标源中统一编码管理，从而形成监测指标，将所有监测指标分为完整性、一致性、规范性和及时性四个维度进行监测，其中：

完整性是为了监测当前数据质量管理体系是否将业务日期内的数据完整上传，为了便于数据质量问题追溯，将完整性监测进一步细分为关联性和业务约束性两类；

一致性是为了监测当前数据质量管理体系上传的统计指标是否与明细报告汇总值相符；

规范性是为了监测当前数据质量管理体系上传的数据是否满足接口中定义的数据规范性要求；

及时性是为了监测当前数据质量管理体系上传的数据是否在业务数据产生后及时上传；

步骤2、计算隶属于关联性的各监测指标的关联率，计算隶属于业务约束性的各监测指标的约束符合率，计算隶属于一致性的各监测指标的明细数据统计结果与业务运营一致率，计算隶属于规范性的各监测指标的规范率，计算隶属于及时性的各监测指标的平均差异天数；

步骤3、分别为关联率、约束符合率、明细数据统计结果与业务运营一致率、规范率、平均差异天数设定不同的等分区间，等分区间对应的最高分值为MAX，根据该得分区间计算分别隶属于关联性、业务约束性、一致性、规范性及及时性的各监测指标的得分；

步骤4、将一致性得分的满分设定为A，计算得到隶属于一致性的N₁个监测指标的得分的总和sum₁，则将单指标体系得分₁的权重，即单指标体系权重₁，设为a；

计算得到隶属于关联性的N₂₁个监测指标的得分的总和sum₂₁，计算得到隶属于业务约束性的N₂₂个监测指标的得分的总和sum₂₂，则 将单指标体系得分₂的权重，即单指标体系权重₂，设为b；

计算得到隶属于规范性的N₃个监测指标的得分的总和sum₃，则 将单指标体系得分₃的权重，即单指标体系权重₃，设为c；

计算得到隶属于及时性的N₄个监测指标的得分的总和sum₄，则 将单指标体系得分₄的权重，即单指标体系权重₄，设为d；

步骤5、计算得到当前数据质量管理体系的评价得分P，将当前数据质量管理体系的上次评价得分记为P_-1，则有：

2.如权利要求1所述的一种基于四个维度进行数据质量监测及评价方法，其特征在于，在所述步骤5中，所述平滑系数初始化为120％。

3.如权利要求1所述的一种基于四个维度进行数据质量监测及评价方法，其特征在于，在所述步骤5之后，还包括：

步骤6、设目标区域内有n家机构运行了数据质量管理体系，通过所述步骤1至步骤5分别计算每家机构的数据质量管理体系的评价得分，其中，第i家机构的数据质量管理体系的评价得分为P_i，则目标区域的数据质量评价得分为PD，则有 $PD=\frac{\underset{i=1}{\overset{n}{\Σ}}{P}_i}{n}.$