CN106682179A - 一种数据质量的检测方法及装置 - Google Patents

Abstract

本发明公开了一种数据质量的检测方法及装置，所述数据质量的检测方法包括：制定数据质量评价模型，所述数据质量评价模型包括人口数据质量评价模型和人口数据字段质量评价模型；根据所述数据质量评价模型对人口实体对象数据进行评价，得到评价内容，根据所述评价内容判断所述人口实体对象数据的质量；展现所述人口实体对象数据质量，供用户查阅。本发明能够对数据质量进行检测和评价，从而能够直观地了解人口数据质量的状况。

Description

一种数据质量的检测方法及装置

技术领域

本发明涉及计算机应用领域,尤其涉及一种数据质量的检测方法及装置。

背景技术

人口数据与人们的日常生活息息相关，并且是一个非常庞大的数据，对人口数据的管理越来越重要，但由于各种原因，数据库中的人口数据可能存在错误，例如，住址、婚姻状况等等因没有及时更新，而导致数据库中存储的信息与实际情况不符，这将给数据的统计、分析工作带来不确定因素，也给人们了解数据质量的情况增加了困难。因此，需要对人口数据质量进行评价，以便能够直观的了解人口数据质量。

发明内容

针对现有技术中的缺陷，本发明提供一种数据质量的检测方法及装置，能够对数据质量进行检测和评价。

第一方面，本发明提供了一种数据质量的检测方法，包括：

制定数据质量评价模型，所述数据质量评价模型包括人口数据质量评价模型和人口数据字段质量评价模型；

根据所述数据质量评价模型对人口实体对象数据进行评价，得到评价内容，根据所述评价内容判断所述人口实体对象数据的质量；所述人口实体对象数据包括人口实体对象记录和人口实体对象字段；

展现所述人口实体对象数据质量，供用户查阅。

进一步地，所述制定数据质量模型，包括：制定人口数据质量评价模型，制定人口数据字段质量评价模型；其中，

所述人口数据包括所述多个人口实体对象记录，所述人口数据质量评价模型用于评价人口实体对象记录质量；

所述人口数据字段包括所述人口实体对象字段，所述人口数据字段质量评价模型用于评价人口实体对象字段质量。

进一步地，所述制定人口数据质量评价模型，包括：

设定用于评价所述人口数据质量的第一因素集；

确定所述第一因素集中各因素的权重；

根据所述第一因素集中各因素的权重和第一预设规则，计算用于反映所述人口数据质量的第一参数值，所述第一参数值的范围为0至1。

进一步地，所述制定人口数据字段质量评价模型，包括：

设定用于评价所述人口数据字段质量的第二因素集；

确定所述第二因素集中各因素的权重；

根据所述第二因素集中各因素的权重和所述第一预设规则，计算用于所述人口实体对象数据字段质量的第二参数值，所述第二参数值的取值范围为0至1。

进一步地，所述根据所述数据质量评价模型对人口实体对象数据的质量进行评价，包括：根据所述人口数据质量评价模型对所述人口实体对象记录质量进行评价；根据所述人口数据字段质量评价模型对所述人口实体对象字段质量进行评价。

进一步地，所述根据人口数据质量评价模型对所述人口实体对象记录质量进行评价，包括：

将所述第一参数值的取值范围按照第二预设规则分为五个区间，每个所述区间对应一个第一评价内容；

根据所述第一参数值所处的区间，得到相应的第一评价内容，根据所述第一评价内容判断所述人口实体对象记录质量。

进一步地，所述根据人口数据字段质量评价模型对所述人口实体对象字段质量进行评价，包括：

将所述第二参数值的取值范围按照第三预设规则分为五个区间，每个所述区间对应一个第二评价内容；

根据所述第二参数值所处的区间，得到相应的第二评价内容，根据所述第二评价内容判断所述人口实体对象字段质量。

第二方面，本发明还提供了一种数据质量的检测装置，所述检测装置包括：模型制定模块，数据评价模块，数据显示模块；

所述模型制定模块，用于制定数据质量评价模型，所述数据质量评价模型包括人口数据质量评价模型和人口数据字段质量评价模型；

所述数据评价模块，用于根据所述数据质量评价模型对人口实体对象数据进行评价；

所述数据显示模块，用于展现所述人口实体对象数据质量，供用户查阅。

进一步地，所述模型制定模块包括：第一模型制定单元，第二模型制定单元；

所述第一模型制定单元，用于制定人口数据质量评价模型；

所述第二模型制定单元，用于制定人口数据字段质量评价模型。

进一步地，所述数据评价模块包括：第一数据评价单元，第二数据评价单元；

所述第一数据评价单元，用于根据人口数据质量评价模型对所述人口实体对象记录质量进行评价；

所述第二数据评价单元，用于根据人口数据字段质量评价模型对所述人口实体对象字段质量进行评价。

由上述技术方案可知，本发明提供一种数据质量的检测方法及装置，通过制定数据质量评价模型，进而根据该模型对人口实体对象数据进行评价，使得能够对数据质量进行检测和评价，从而能够直观地了解人口数据质量的状况。

附图说明

图1示出了本发明提供的数据质量的检测方法的流程示意图。

图2示出了本发明提供的数据质量的检测装置的结构示意图。

图3示出了本发明提供的数据质量的检测方法中展现人口实体对象记录质量的示例性示意图。

图4示出了本发明提供的数据质量的检测方法中展现人口实体对象字段质量的示例性示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

实施例一

图1示出了本发明实施例提供的一种数据质量的检测方法的流程示意图。如图1所示，本发明提供了一种数据质量的检测方法，包括：

步骤S1，制定数据质量评价模型，所述数据质量评价模型包括人口数据质量评价模型和人口数据字段质量评价模型；

步骤S2，根据所述数据质量评价模型对人口实体对象数据进行评价，得到评价内容，根据所述评价内容判断所述人口实体对象数据的质量；所述人口实体对象数据包括人口实体对象记录和人口实体对象字段；

步骤S3，展现所述人口实体对象数据质量，供用户查阅。

本发明实施例一的技术方案为：

首先，制定数据质量评价模型，所述数据质量评价模型包括人口数据质量评价模型和人口数据字段质量评价模型。

优选地，所述制定数据质量模型，包括：制定人口数据质量评价模型，制定人口数据字段质量评价模型；其中，所述人口数据包括所述多个人口实体对象记录，所述人口数据质量评价模型用于评价人口实体对象记录质量；所述人口数据字段包括所述人口实体对象字段，所述人口数据字段质量评价模型用于评价人口实体对象字段质量。

优选地，可以通过以下方式制定人口数据质量评价模型：

首先，设定用于评价所述人口数据质量的第一因素集；例如，设定第一因素集U1＝{u11(字段完整性)，u12(字段值冲突)，u13(数据源)，u14(最后更新时间)，u15(出现次数)，u16(是否户籍)}，其中，因素u11、u12、u13、u14、u15、u16分别包含以下子因素：

u11＝{姓名，性别，证件类型，证件号码，出生年月日，其他字段}；

u12＝{全部源相同，有两个源相同，三个源都不同}；

u13＝{镜像库，采集库，全员人口}；

u14＝{最近一个月更新，最近两个月更新，最近三个月更新，最近四个月更新……}；

u15＝{3次，2次，1次}；

u16＝{罗湖户籍，非罗湖户籍}。

其次，确定所述第一因素集中各因素的权重；以上述第一因素集U1为例，确定U1中各因素的评价因子，即权重，可确定该权重为V1＝{v11(0.2)，v12(0.21)，v13(0.22)，v14(0.19)，v15(0.1)，v16(0.08)}，其中，v11对应u11的权重，v12对应u12的权重，v13对应u13的权重，v14对应u14的权重，v15对应u15的权重，v16对应u16的权重，并且满足：

max(v11)+max(v12)+max(v13)+max(v14)+max(v15)+max(v16)＝1。

其中，因素u11、u12、u13、u14、u15、u16中所包含的子因素的权重可以确定为：

v11＝{0.25，0.1，0.15，0.3，0.1，0.1}；

v12＝{1，待定，0}；

v13＝{0.4，0.4，0.2}；

v14＝{1，0.96¹，0.96²，……，0.96ⁿ}，n为当前时间减去更新时间除以30向下取整；

v15＝{1，0.5，0}；

v16＝{1，0}；

所述v11、v12、v13、v14、v15和v16的值可根据上述各子因素的权重来确定，以上具体数值均为示例性说明，不用于限制本发明的保护范围。

再次，根据所述第一因素集中各因素的权重和第一预设规则，计算用于反映所述人口数据质量的第一参数值，所述第一参数值的范围为0至1。以上述第一因素集U1为例，将第一参数值用P1来表示，可选地，第一预设规则可以是将U1中的各因素的权重值相加，则用于反映人口数据质量的第一参数值的计算公式为：P1＝v11+v12+v13+v14+v15+v16，0≦P1≦1。

优选地，可通过以下方式制定人口数据字段质量评价模型：

首先，设定用于评价所述人口数据字段质量的第二因素集；例如，设定第二因素集U2＝{u21(字段值冲突)，u22(数据源)，u23(最后更新时间)，u24(出现次数)，u25(是否户籍)}，其中，因素u21、u22、u23、u24和u25分别包含以下子因素：

u21＝{全部源相同，有两个源相同，三个源都不同}；

u22＝{镜像库，采集库，全员人口}；

u23＝{最近一个月更新，最近两个月更新，最近三个月更新，最近四个月更新……}；

u24＝{3次，2次，1次}；

u25＝{罗湖户籍，非罗湖户籍}

其次，确定所述第二因素集中各因素的权重；以上述第一因素集U2为例，确定U2中各因素的评价因子，即权重，可确定该权重为V2＝{v21(0.3)，v22(0.25)，v23(0.25)，v24(0.12)，v25(0.08)}，其中，v21对应u21的权重，v22对应u22的权重，v23对应u23的权重，v24对应u24的权重，v25对应u25的权重，并且满足：

max(v21)+max(v22)+max(v23)+max(v24)+max(v25)＝1。

其中，因素u21、u22、u23、u24、u25中所包含的子因素的权重可以确定为：

v21＝{1，0.5，0}；

v22＝{0.4，0.4，0.2}；

v23＝{1，0.96¹，0.96²，……，0.96ⁿ}，n为当前时间减去更新时间除以30向下取整；

v24＝{1，0.5，0}；

v25＝{1，0}；

所述v21、v22、v23、v24和v25的值可根据上述各子因素的权重来确定，以上具体数值均为示例性说明，不用于限制本发明的保护范围。

再次，根据所述第二因素集中各因素的权重和所述第一预设规则，计算用于所述人口实体对象数据字段质量的第二参数值，所述第二参数值的取值范围为0至1。以上述第一因素集U2为例，将第一参数值用P2来表示，可选地，第一预设规则可以是将U2中的各因素的权重值相加，则用于反映人口数据质量的第一参数值的计算公式为：P2＝v21+v22+v23+v24+v25，0≦P2≦1。

优选地，所述根据所述数据质量评价模型对人口实体对象数据的质量进行评价，包括以下两种情况：根据所述人口数据质量评价模型对所述人口实体对象记录质量进行评价；根据所述人口数据字段质量评价模型对所述人口实体对象字段质量进行评价。

优选地，所述根据人口数据质量评价模型对所述人口实体对象记录质量进行评价，包括以两个步骤：将所述第一参数值的取值范围按照第二预设规则分为五个区间，每个所述区间对应一个第一评价内容；根据所述第一参数值所处的区间，得到相应的第一评价内容，根据所述第一评价内容判断所述人口实体对象记录质量。例如，将第一参数值P1的取值范围等分为五个数值区间，每个数值区间对应“不可信”、“较不可信”、“中等”、“较可信”和“可信”五个评价内容，由这些评价内容可以明显判断出某一人口实体对象记录的可靠性和其数据质量的优劣。可选地，所述第二预设规则不仅限于将第一参数值的取值范围进行等分，也可以不等分，区间的分割方式可调整，所述第一评价内容也不仅限于上例中的五种描述，具体的描述方式可由使用者确定和调整，可以是文字，也可以是图形符号。

优选地，所述根据人口数据字段质量评价模型对所述人口实体对象字段质量进行评价，包括：将所述第二参数值的取值范围按照第三预设规则分为五个区间，每个所述区间对应一个第二评价内容；根据所述第二参数值所处的区间，得到相应的第二评价内容，根据所述第二评价内容判断所述人口实体对象字段质量。例如，将第二参数值P2的取值范围等分为五个数值区间，每个数值区间对应“不可信”、“较不可信”、“中等”、“较可信”和“可信”五个评价内容，由这些评价内容可以明显判断出某一人口实体对象字段的可靠性和其数据质量的优劣。可选地，所述第三预设规则不仅限于将第一参数值的取值范围进行等分，也可以不等分，区间的分割方式可调整，所述第一评价内容也不仅限于上例中的五种描述，具体的描述方式可由使用者确定和调整，可以是文字也可以是图形符号。

优选地，展现人口实体对象数据质量包括：展现人口实体对象记录质量，以及展现人口实体对象字段质量，具体地，可以将第一评价内容和第二评价内容展现，展现方式可以是通过文字或通过图形符号，可选地，如图3和图4所示，用五角星的亮度和数量来体现相应的评价内容，用户根据五角星的亮度和数量可以直观地了解对应数据的质量。

可选地，本发明实施例提供的一种数据质量的检测方法，还包括对人口数据进行总体评价，所述人口数据为多个人口实体对象记录的集合，将多个人口实体对象记录的评价结果通过预设算法进行运算，可得到对人口数据的总体评价，同时，总体评价需要考虑以下因素的影响：数据来源量、来源的权威性、更新时间等，数据来源量反映提供数据的单位或机构的数量，来源的权威性反映提供数据的单位或机构的类型，例如，官方机构提供的数据往往比其它机构更具权威性，机构类型与数据类型对应较好的，权威性也较高，如对于人口数据中的婚姻信息，民政局的权威性明显高于出租屋、社区等，更新时间越近则数据质量越准确。

基于以上内容，本发明实施例一可以实现的技术效果为：通过制定数据质量评价模型，进而根据该模型对人口实体对象数据进行评价，使得能够对数据质量进行检测和评价，从而能够直观地了解人口数据质量的状况。

实施例二

与实施例一对应的，图2示出了本发明实施例提供的一种数据质量的检测装置的结构示意图。如图2所示，一种数据质量的检测装置，包括：模型制定模块101，数据评价模块102，数据显示模块103；所述模型制定模块101，用于制定数据质量评价模型，所述数据质量评价模型包括人口数据质量评价模型和人口数据字段质量评价模型；所述数据评价模块102，用于根据所述数据质量评价模型对人口实体对象数据进行评价；所述数据显示模块103，用于展现所述人口实体对象数据质量，供用户查阅。

优选地，所述模型制定模块101包括：第一模型制定单元，第二模型制定单元。

所述第一模型制定单元，用于制定人口数据质量评价模型，优选地，所述第一模型制定单元通过以下方式制定所述人口数据质量评价模型：设定用于评价人口数据质量的第一因素集；确定所述第一因素集中各因素的权重；根据所述第一因素集中各因素的权重和第一预设规则，计算用于反映所述人口数据质量的第一参数值，所述第一参数值的范围为0至1。所述第二模型制定单元，用于制定人口数据字段质量评价模型，优选地，所述第二模型制定单元通过以下方式制定所述人口数据字段质量评价模型：设定用于评价所述人口数据字段质量的第二因素集；确定所述第二因素集中各因素的权重；根据所述第二因素集中各因素的权重和第一预设规则，计算用于所述人口实体对象数据字段质量的第二参数值，所述第二参数值的取值范围为0至1。

优选地，所述数据评价模块102包括：第一数据评价单元，第二数据评价单元。所述第一数据评价单元，用于根据人口数据质量评价模型对所述人口实体对象记录质量进行评价，具体用于：将所述第一参数值的取值范围按照第二预设规则分为五个区间，每个所述区间对应一个第一评价内容；根据所述第一参数值所处的区间，得到相应的第一评价内容，根据所述第一评价内容判断所述人口实体对象记录质量。所述第二数据评价单元，用于根据人口数据字段质量评价模型对所述人口实体对象字段质量进行评价，具体用于，将所述第二参数值的取值范围按照第三预设规则分为五个区间，每个所述区间对应一个第二评价内容；根据所述第二参数值所处的区间，得到相应的第二评价内容，根据所述第二评价内容判断所述人口实体对象字段质量。

优选地，所述数据显示模块103既用于展现人口实体对象记录质量，也用于展现人口实体对象字段质量，可选地，所述数据显示模块103通过文字或图形符号将第一评价内容和第二评价内容展现出来，以供用户查阅。

优选地，所述数据评价模块102还可用于对人口数据进行总体评价，具体地，可将多个人口实体对象记录的评价结果通过预设算法进行运算，可得到对人口数据的总体评价。

基于以上内容，本发明实施例二可以达到的技术效果包括：通过模型制定模块101实现数据质量评价模型的制定，通过数据评价模块102结合数据质量评价模型，实现对人口实体对象数据的评价，使得检测装置能够对数据质量进行检测和评价，从而能够直观地了解人口数据质量的状况。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种数据质量的检测方法，其特征在于，包括：

制定数据质量评价模型，所述数据质量评价模型包括人口数据质量评价模型和人口数据字段质量评价模型；

根据所述数据质量评价模型对人口实体对象数据进行评价，得到评价内容，根据所述评价内容判断所述人口实体对象数据的质量；所述人口实体对象数据包括人口实体对象记录和人口实体对象字段；

展现所述人口实体对象数据质量，供用户查阅。

2.根据权利要求1所述的数据质量的检测方法，其特征在于，所述制定数据质量模型，包括：制定人口数据质量评价模型，制定人口数据字段质量评价模型；其中，

所述人口数据包括所述多个人口实体对象记录，所述人口数据质量评价模型用于评价人口实体对象记录质量；

所述人口数据字段包括所述人口实体对象字段，所述人口数据字段质量评价模型用于评价人口实体对象字段质量。

3.根据权利要求2所述的数据质量的检测方法，其特征在于，所述制定人口数据质量评价模型，包括：

设定用于评价所述人口数据质量的第一因素集；

确定所述第一因素集中各因素的权重；

根据所述第一因素集中各因素的权重和第一预设规则，计算用于反映所述人口数据质量的第一参数值，所述第一参数值的范围为0至1。

4.根据权利要求2所述的数据质量的检测方法，其特征在于，所述制定人口数据字段质量评价模型，包括：

设定用于评价所述人口数据字段质量的第二因素集；

确定所述第二因素集中各因素的权重；

根据所述第二因素集中各因素的权重和所述第一预设规则，计算用于所述人口实体对象数据字段质量的第二参数值，所述第二参数值的取值范围为0至1。

5.根据权利要求1至4中任一项所述的数据质量的检测方法，其特征在于，所述根据所述数据质量评价模型对人口实体对象数据的质量进行评价，包括：根据所述人口数据质量评价模型对所述人口实体对象记录质量进行评价；根据所述人口数据字段质量评价模型对所述人口实体对象字段质量进行评价。

6.根据权利要求5所述的数据质量的检测方法，其特征在于，所述根据人口数据质量评价模型对所述人口实体对象记录质量进行评价，包括：

将所述第一参数值的取值范围按照第二预设规则分为五个区间，每个所述区间对应一个第一评价内容；

根据所述第一参数值所处的区间，得到相应的第一评价内容，根据所述第一评价内容判断所述人口实体对象记录质量。

7.根据权利要求5所述的数据质量的检测方法，其特征在于，所述根据人口数据字段质量评价模型对所述人口实体对象字段质量进行评价，包括：

将所述第二参数值的取值范围按照第三预设规则分为五个区间，每个所述区间对应一个第二评价内容；

根据所述第二参数值所处的区间，得到相应的第二评价内容，根据所述第二评价内容判断所述人口实体对象字段质量。

8.一种数据质量的检测装置，其特征在于，所述检测装置包括：模型制定模块，数据评价模块，数据显示模块；

所述模型制定模块，用于制定数据质量评价模型，所述数据质量评价模型包括人口数据质量评价模型和人口数据字段质量评价模型；

所述数据评价模块，用于根据所述数据质量评价模型对人口实体对象数据进行评价；

所述数据显示模块，用于展现所述人口实体对象数据质量，供用户查阅。

9.根据权利要求8所述的数据质量的检测装置，其特征在于，所述模型制定模块包括：第一模型制定单元，第二模型制定单元；

所述第一模型制定单元，用于制定人口数据质量评价模型；

所述第二模型制定单元，用于制定人口数据字段质量评价模型。

10.根据权利要求8所述的数据质量的检测装置，其特征在于，所述数据评价模块包括：第一数据评价单元，第二数据评价单元；

所述第一数据评价单元，用于根据人口数据质量评价模型对所述人口实体对象记录质量进行评价；

所述第二数据评价单元，用于根据人口数据字段质量评价模型对所述人口实体对象字段质量进行评价。