CN112115130A - 获取数据对应关系的方法、装置、设备及介质 - Google Patents
获取数据对应关系的方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112115130A CN112115130A CN202010994742.6A CN202010994742A CN112115130A CN 112115130 A CN112115130 A CN 112115130A CN 202010994742 A CN202010994742 A CN 202010994742A CN 112115130 A CN112115130 A CN 112115130A
- Authority
- CN
- China
- Prior art keywords
- data
- inspected
- data set
- target
- audited
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000007689 inspection Methods 0.000 claims abstract description 63
- 238000004891 communication Methods 0.000 claims description 41
- 230000003993 interaction Effects 0.000 claims description 25
- 230000001960 triggered effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 10
- 238000012550 audit Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供了获取数据对应关系的方法、装置、设备及介质,获取待稽查数据集的待稽查属性;从预先设置的各数据元中获得与所述待稽查属性相应的目标数据元,并建立所述待稽查数据集与所述目标数据元的关联关系;从预先设置的各数据元相应的业务规则中,确定所述目标数据元相应的目标业务规则;依据所述目标数据元以及所述目标业务规则,生成所述待稽查数据集的稽查任务。本发明中对各待稽查属性相应的数据元仅设置一次相应的业务规则,无需重复多次设置,降低了冗余度;且仅需要建立所述待稽查数据集与目标数据元的关联关系,即可自动生成稽查任务,从而简化了稽查任务的设置过程。
Description
本申请为申请日为2017年4月25日,申请号为:201710278260.9,发明名称为:数据质量的稽查任务生成方法以及装置的分案申请。
技术领域
本申请涉及数据处理技术领域,更具体的涉及获取数据对应关系的方法、装置、设备及介质。
背景技术
数据管理是对数据进行有效的收集、存储、处理和应用的过程。在从多个数据源收集数据的过程中,涉及对收集的数据进行数据质量稽查的过程,以便提高收集的数据的质量。
目前的数据质量稽查方法包括:从数据源中选择待稽查数据集;人为配置稽查任务,依据稽查任务对待稽查数据集进行审核。待稽查数据集的数据类型不同其稽查任务中的业务规则就会不同,例如当待稽查数据集的数据类型为数字型时,业务规则可能为取值范围;当待稽查数据集的数据类型为字符串时,业务规则可能为长度范围;当待稽查数据集的数据类型为日期类型时,业务规则可能为日期范围;当待稽查数据集的数据类型为枚举类型时,业务规则可能为一系列的枚举值。因此数据质量稽查任务设置操作较为繁琐。综上,现有技术中的数据质量的稽查任务设置较为繁琐。
发明内容
有鉴于此,本发明提供了一种获取数据对应关系的方法、装置、设备及介质,以克服现有技术中数据质量的稽查任务设置较为繁琐的问题。
为实现上述目的,本发明提供如下技术方案:
一种数据质量的稽查任务生成方法,包括:
获取待稽查数据集的待稽查属性,所述待稽查属性包括所述待稽查数据集的数据类型,和/或,数据类别;
从预先设置的各数据元中获得与所述待稽查属性相应的目标数据元,并建立所述待稽查数据集与所述目标数据元的关联关系,数据元用于表征相应待稽查数据集需要满足的业务规则的标识信息;
从预先设置的各数据元相应的业务规则中,确定所述目标数据元相应的目标业务规则,业务规则用于表征属于相应待稽查属性的数据集的取值范围信息;
依据所述目标数据元以及所述目标业务规则,生成所述待稽查数据集的稽查任务。
其中,获取待稽查数据集的待稽查属性包括:
从包含所述待稽查数据集的数据表中获得所述待稽查属性;
在人机交互界面中显示所述待稽查属性,其中,所述人机交互界面还进一步包括关联数据元,所述关联数据元用于显示其对应的待稽查数据集有关联关系的与相应的数据元。
其中,依据所述目标属性信息,建立所述待稽查数据与目标数据元的关联关系包括:
当检测到所述待稽查数据集相应的关联数据元的关联按键被触发时,所述人机交互界面显示预先存储的各数据元;
从预先存储的各数据元中,确定所述待稽查数据集的待稽查属性相应的目标数据元;
确定所述待稽查数据集与所述目标数据元具有关联关系。
其中,每一数据元具有一标识ID,数据元的标识ID与其对应的业务规则的标识ID相同。
其中,依据所述目标数据元以及所述目标业务规则,生成所述待稽查数据集的稽查任务包括:
从预先设置的各业务规则中,获得标识ID与所述目标数据元的目标标识ID相同的所述目标业务规则;
依据所述待稽查数据集的数据列名称、所述目标标识ID以及所述目标业务规则生成所述稽查任务。
其中,依据所述目标数据元以及所述目标业务规则,生成所述待稽查数据集的稽查任务包括:
确定建立所述待稽查数据与目标数据元的关联关系的用户通信信息;
为所述待稽查数据集设置报警标志,所述报警标志用于指示当所述待稽查数据集不满足所述目标业务规则时,向具有所述用户通信信息的用户发送报警信号;
依据所述目标数据元、所述目标业务规则、所述用户通信信息以及所述报警标志,生成所述稽查任务。
一种数据质量的稽查任务生成装置,包括:
获取模块,用于获取待稽查数据集的待稽查属性,所述待稽查属性包括所述待稽查数据集的数据类型,和/或,数据类别;
建立模块,用于从预先设置的各数据元中获得与所述待稽查属性相应的目标数据元,并建立所述待稽查数据集与所述目标数据元的关联关系,数据元用于表征相应待稽查数据集需要满足的业务规则的标识信息;
确定模块,用于从预先设置的各数据元相应的业务规则中,确定所述目标数据元相应的目标业务规则,业务规则用于表征属于相应待稽查属性的数据集的取值范围信息;
生成模块,用于依据所述目标数据元以及所述目标业务规则,生成所述待稽查数据集的稽查任务。
其中,获取模块包括:
第一获取单元,用于从包含所述待稽查数据集的数据表中获得所述待稽查属性;
第一显示单元,用于在人机交互界面中显示所述待稽查属性,其中,所述人机交互界面还进一步包括关联数据元,所述关联数据元用于显示其对应的待稽查数据集有关联关系的与相应的数据元;
第二显示单元,用于当检测到所述待稽查数据集相应的关联数据元的关联按键被触发时,所述人机交互界面显示预先存储的各数据元。
其中,所述建立模块包括:
第一确定单元,用于从预先存储的各数据元中,确定所述待稽查数据集的待稽查属性相应的目标数据元;
第二确定单元,用于确定所述待稽查数据集与所述目标数据元具有关联关系。
其中,每一数据元具有一标识ID,数据元的标识ID与其对应的业务规则的标识ID相同。
其中,所述生成模块包括:
第二获取单元,用于从预先设置的各业务规则中,获得标识ID与所述目标数据元的目标标识ID相同的所述目标业务规则;
第一生成单元,用于依据所述待稽查数据集的数据列名称、所述目标标识ID以及所述目标业务规则生成所述稽查任务。
其中,所述生成模块包括:
第三确定单元,用于确定建立所述待稽查数据与目标数据元的关联关系的用户通信信息;
设置报警单元,用于为所述待稽查数据集设置报警标志,所述报警标志用于指示当所述待稽查数据集不满足所述目标业务规则时,向具有所述用户通信信息的用户发送报警信号;
第二生成单元,用于依据所述目标数据元、所述目标业务规则、所述用户通信信息以及所述报警标志,生成所述稽查任务。
经由上述的技术方案可知,与现有技术相比,本发明实施例提供了一种数据质量的稽查任务生成方法,获取待稽查数据集的待稽查属性;从预先设置的各数据元中获得与所述待稽查属性相应的目标数据元,并建立所述待稽查数据集与所述目标数据元的关联关系;从预先设置的各数据元相应的业务规则中,确定所述目标数据元相应的目标业务规则;依据所述目标数据元以及所述目标业务规则,生成所述待稽查数据集的稽查任务。本发明中对各待稽查属性相应的数据元仅设置一次相应的业务规则,无需重复多次设置,降低了冗余度;且仅需要建立所述待稽查数据集与目标数据元的关联关系,即可自动生成稽查任务,从而简化了稽查任务的设置过程。
进一步的,在人机交互界面展示有一个数据表中各数据集分别对应的待稽查属性以及关联按键,对于待稽查数据集,可以基于其对应的关联按键设置目标数据元,设置完毕目标数据元后,自动建立了待稽查数据集与所述目标数据元的关联关系,后续自动基于目标数据元以及目标数据元对应的目标业务规则,生成待稽查数据集的稽查任务,无需人为参与。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种数据质量稽查系统的结构示意图;
图2为本申请实施例提供的一种数据质量的稽查任务生成方法的流程示意图;
图3为本申请实施例提供的一种数据元的内容示意图;
图4为本申请实施例提供的一种数据元选择窗口的示意图;
图5为本申请实施例提供的一种数据质量的稽查任务生成装置的结构示意图;
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例提供的数据质量稽查规则生成方法可以应用于数据质量稽查系统,如图1所示,为本申请实施例提供的一种数据质量稽查系统的结构示意图,该数据质量稽查系统包括:规则生成单元11以及数据源单元12,其中:
本申请实施例提供的数据质量稽查规则生成方法对应数据质量稽查规则生成程序。规则生成单元11中安装有数据质量稽查规则生成程序。
数据源单元12存储有待稽查数据集,各待稽查数据集包括自身的待稽查属性。待稽查属性可以包括相应待稽查数据集的数据类型,和/或,数据类别。
数据源单元12可以包括数据库,数据库里存储有数据表,数据表包括数据列,数据列对应待稽查数据集,例如某一数据列为姓名,这一列包括张三、李四、王五、赵六,则该数据列对应的数据集包括张三、李四、王五、赵六。
用户可以打开规则生成单元11中的数据质量稽查规则生成程序,基于数据质量稽查规则生成程序,从数据源单元12中获取待稽查数据集的待稽查属性,从预先设置的各数据元中,获得待稽查属性相应的目标数据元,数据元用于表征相应待稽查数据集需要满足的业务规则的标识信息。然后依据预先设置的各数据元相应的业务规则中,确定目标数据元相应的目标业务规则,业务规则用于表征属于相应待稽查属性的数据集的取值范围信息。从而可以生成相应的稽查任务,然后将稽查任务发送至数据源单元12。
数据源单元12就可以依据稽查任务对待稽查数据集进行审核。
上述规则生成单元11和数据源单元12可以部署在同一电子设备,也可以部署于不同的电子设备中。本发明对此不作具体限制。
下面基于上述数据质量稽查系统,对本申请实施例提供的数据质量稽查规则生成方法进行说明。如图2所示,为本申请实施例提供的一种数据质量稽查规则生成方法的流程示意图,该方法包括:
步骤S201:获取待稽查数据集的待稽查属性,所述待稽查属性包括所述待稽查数据集的数据类型,和/或,数据类别。
本申请实施例中的数据类别包括数据列名称,对于不同应用场景,数据列名称不同,例如对于学校而言,数据类别可以包括学生的学号、姓名、学生的成绩、老师的工号、老师的工资、老师学历等等。对于公安机关而言,数据类别可以包括:公安监所事故事件类别代码、人的性别代码、婚姻状况代码、从业状况代码、世界各国和地区名称代码、政治面貌代码、职业分类代码、职务级别代码等等。
数据类型为可以:整型、布尔型、字符串型等等。
步骤S202:从预先设置的各数据元中获得与所述待稽查属性相应的目标数据元,并建立所述待稽查数据集与所述目标数据元的关联关系,数据元用于表征相应待稽查数据集需要满足的业务规则的标识信息。
在企业进行大数据治理的初期,由业务分析师和数据架构师调研、选择治理过程中,数据元需要遵守的标准规范,对于没有现成的标准规范的,可以依据历史数据和用户需求进行事先设计和定义,形成企业大数据治理标准数据元规范。
可以依据历史数据(例如,历史待稽查数据集、历史稽查任务)和用户需求进行机器学习,获得不同应用场景下的各数据元。以及各数据元对应的业务规则。可以理解的是,不同的用户需求,即不同的应用场景,数据元包含的信息不同,数据元相应的业务规则不同,下面以公安监所事故事件类别代码为例,对在规范中定义的数据元的内容进行说明,具体如图3所示。
数据元即相应待稽查数据集需要满足的业务规则的标识信息,该数据元可以包括:标识ID(例如DE00141)、中文名称(例如公安监所事故事件类别代码)、中文全拼(例如gong-an-jian-suo-shi-gu-shi-jian-lei-bie-dai-ma)、标识符(例如GAJSSGSJLBDM)、版本(例如1.0)、数据类型(此为数据元相应的业务规则的数据类型,例如字符型)、数据格式(例如C2)、业务规则(例如见表1)、提交机构(例如公安部监管所管理局)、主要起草人(例如张三、李四)、批准日期(例如2011年3月14)中的一个或多个。
可选的,数据元还可以包括:同义名称(例如说明:在公安监管场所发生的事故事件的类别代码)、对象类词(例如类别)、关系、表示词(例如代码)、计量单位、状态(例如标准)中的一个或多个。
步骤S203:从预先设置的各数据元相应的业务规则中,确定所述目标数据元相应的目标业务规则,业务规则用于表征属于相应待稽查属性的数据集的取值范围信息。
在本申请实施例提供的规则生成单元中,可以包括属性数据库、数据元数据库、业务规则数据库。
属性数据库用于存储从数据源单元中获得的待稽查数据集的待稽查属性。数据元数据库用于存储预先设置的各数据元。业务规则数据库用于存储预先设置的各数据元相应的业务规则。
业务规则即相应待稽查数据的取值需要遵从的业务规则。
例如对于人的性别而言,包括男、女、未知,不可能再有其他类型,假设男的代码为00、女的代码为01、未知的代码为10,则人的性别代码的数据类型为枚举类型,且只能为00、01、10中的任一个,即对于人的性别代码这一数据类别而言,其对应的数据元的业务规则包括:00、01、10。
对于复杂的数据类别,例如身份证号码,身份证号码的前6位为行政区划编码、第7位至第10位为出生年份、第11位至第12位为出生月份、第13和第14位为出生日;则身份证号码相应的业务规则可以如表1所示。
表1 身份证号码相应的业务规则包含的内容
校验对象取值规则可以是按字节顺序计算,以第一个字节作为首字符,最后一个字节作为末字符。
业务规则的部分类型可以如表2所示。
表2 业务规则的部分数据类型
取值范围的部分类型可以如表3所示。
表3 取值范围的部分类型及说明
GB/T 2659为世界各国和地区名称代码表。
再如表4为公安监所事故事件类别代码这一数据类别对应的部分业务规则。
表4 公安监所事故事件类别代码对应的部分业务规则
较优的,每一数据元具有一标识ID,数据元的标识ID与其对应的业务规则的标识ID相同。
步骤S204:依据所述目标数据元以及所述目标业务规则,生成所述待稽查数据集的稽查任务。
现有技术中,数据质量稽查任务一般都是由运维人员来完成,而运维人员对业务规则并不熟悉,从而难以把握业务规则的正确性,在配置数据质量稽查任务的过程中,还需要相应的业务人员或数据架构师来校验稽查任务的正确性,即稽查任务的生成需要多个人员之间的相互配合,容易出错,而本申请实施例中,由于不同待稽查属性的数据集设置相应的数据元,每一数据元相应的业务规则都是预先设置好的,在稽查任务生成过程中,只需建立待稽查数据集与目标数据元的关联关系,即可自动生成待稽查数据集的稽查任务,从而无需多个人员之间的相互配合,提高了准确率。
本申请实施例提供的数据质量稽查规则生成方法中,预先对不同待稽查属性设置相应的数据元,对每一数据元设置相应的业务规则;当需要对待稽查数据集进行稽查时,可以依据待稽查数据集的待稽查属性,建立待稽查数据集与目标数据元的关联关系;再从预先设置的各数据元相应的业务规则中,确定目标数据元相应的目标业务规则;最终依据目标数据元以及目标业务规则,生成所述待稽查数据的稽查任务。对各待稽查属性相应的数据元,仅设置一次相应的业务规则,无需重复多次设置,降低了冗余度;且仅需要建立待稽查数据集与目标数据元的关联关系,即可自动生成待稽查数据集的稽查任务,从而简化了数据质量稽查任务的设置方法。
本申请实施例还提供了一种数据质量的稽查任务生成方法中获取待稽查数据集的待稽查属性的一种实现方法,该方法包括:
从包含所述待稽查数据集的数据表中获得所述待稽查属性。在人机交互界面中显示所述待稽查属性,其中,所述人机交互界面还进一步包括关联数据元,所述关联数据元用于显示其对应的待稽查数据集有关联关系的与相应的数据元。
数据表可以存储在数据源单元12中。
如图4所示,为本发明实施例提供的一种人机交互界面的示意图。
假设包含待稽查数据集的数据表中记录有以下字段:sync_seq、sync_stat、zjid、maintext、managementlevel、corporationname、organizationcode、lastdate、createdate等字段,每一字段对应一待稽查数据集。
人机交互界面可以显示有:序号400、列名称401、列类型402、是否分键区403、列描述信息404、关联数据元405、用户通信信息406、报警标志407、待稽查数据集所属数据表的名称408等等。
人机交互界面可以仅包括列名称401、列类型402以及关联数据元405。人机交互界面包含的内容可以依据实际情况而定,本发明实施例对此不做具体限定。
列名称401用于表示每一待稽查数据集所在列的字段名称。
数据源单元12中可以存储有数据表中各待稽查数据集的待稽查属性,例如数据类型即列类型、是否区分键、列描述信息。可以从数据源单元12中获取这些待稽查属性,并显示在人机交互界面中。
列类型402用于表示每一待稽查数据集的数据类型。
是否分区键403用于对数据表进行分区的关键。
列描述信息404可以包括:用于表征该列是不是主键,和/或,该列的中文名称(例如,corporation name的中文名称为企业名称、organization code的中文名称为组织结构代码、management level的中文名称为管理等级),和/或,该列的创建或修改时间等等。
关联数据元405,每一待稽查数据集对应有一关联数据元。
图4中待稽查属性对应的待稽查数据集与位于同一行的关联数据元相对应。
关联数据元相应的关联按键的表现形式有多种,例如在各行与关联数据元405这一列的交叉位置处显示一虚拟关联按键,或,在各行与关联数据元405这一列的交叉位置处显示空白(如图4所示),或,在各行与关联数据元405这一列的交叉位置处显示输入框。用户在触发虚拟关联按键或空白处后,可以显示预先设置的各数据元;或者,用户可以在输入框中输入数据元的标识ID。
假设用户需要设置序号为3且列名称为zjid对应的待稽查数据集的数据元,则可以点击该行与关联数据元405这一列的交叉位置处。在显示出的预先设置的各数据元中(预先设置的各数据元可以数据列表的形式显示),用户可以基于待稽查数据集的待稽查属性选择相应的数据元,假设这一数据元的标识ID为DE00141,则数据元选择窗口可以显示该数据元的标识ID。或者显示该数据元的存储路径等。
关联按键用于建立与其对应的待稽查数据集与相应数据元的关联关系,由于数据元的标识IDDE00141与待稽查数据集的待稽查属性位于同一行,这样就建立了字段zjid与数据元DE00141的关联关系。
综上,从预先设置的各数据元中获得与所述待稽查属性相应的目标数据元,并建立所述待稽查数据集与所述目标数据元的关联关系包括:
当检测到所述待稽查数据集相应的关联数据元的关联按键被触发时,所述人机交互界面显示预先存储的各数据元;
从预先存储的各数据元中,确定所述待稽查数据集的待稽查属性相应的目标数据元;
确定所述待稽查数据集与所述目标数据元具有关联关系。
用户通信信息406,用于设置各待稽查数据集与相应数据元的关联关系的设置人员的联系方式。
图4中待稽查属性对应的待稽查数据集与位于同一行的用户通信信息相对应。
用户通信信息可以包括用户姓名、工号、部门名称、手机号码、电子邮箱、QQ号码、微信号等等。
现有技术中在数据质量稽查过程中,若发现待稽查数据集不满足业务规则,则由运维人员告知相,导致运维人员的工作量繁重且效率低。因此,本申请实施例巧妙的加入建立待稽查数据集与数据元的关联关系的用户通信信息,当待稽查数据集不满足相应业务规则时,向具有用户通信信息的人员发送报警信号,从而无需人为查找熟知该待稽查数据相应的业务规则的人员,提高了效率。
假设建立序号为3且列名称为zjid相应的待稽查数据集与数据元DE00141的关联关系的维护人员为张三,则可以点击该行与用户通信方式这一列的交叉位置处。然后输入张三的通信信息。或者在弹出的联系方式选择列表中,选择张三的通信信息。
假设建立序号为8且列名称为lastdate相应的待稽查数据集与数据元DE00141的关联关系的维护人员为李四,则可以点击该行与用户通信方式这一列的交叉位置处。然后输入李四的通信信息。或者在弹出的联系方式选择列表中,选择李四的通信信息。结果如图4所示。
报警标志407,用于设置每一待稽查数据集不符合其对应的业务规则时,是否进行报警。
图4中待稽查属性对应的待稽查数据集与位于同一行的报警标志相对应。
假设用户需要设置序号为8且列名称为lastdate对应的待稽查数据集的报警标志,则可以点击行与报警标志这一列的交叉位置处。然后输入是。或者在弹出的下拉菜单中,选择是。
在用户通过人机交互界面进行相应设置后,可以依据相应的信息生成稽查任务。下面对生成稽查任务的方法进行说明。
第一种生成稽查任务的方法。
本发明实施例中,每一数据元具有一标识ID,数据元的标识ID与其对应的业务规则的标识ID相同。待稽查数据集的待稽查属性中的数据类别包括数据列名称,依据所述目标数据元以及所述目标业务规则生成所述待稽查数据集的稽查任务包括:
从预先设置的各业务规则中,获得标识ID与所述目标数据元的目标标识ID相同的所述目标业务规则;
依据所述待稽查数据集的数据列名称、所述目标标识ID以及所述目标业务规则生成所述稽查任务。
第一种方法在待稽查数据集发生错误时,不能够及时通知相应人员。
第二种生成稽查任务的方法。
依据所述目标数据元以及所述目标业务规则,生成所述待稽查数据集的稽查任务包括:
确定建立所述待稽查数据与目标数据元的关联关系的用户通信信息;
为所述待稽查数据集设置报警标志,所述报警标志用于指示当所述待稽查数据集不满足所述目标业务规则时,向具有所述用户通信信息的用户发送报警信号;
依据所述目标数据元、所述目标业务规则、所述用户通信信息以及所述报警标志,生成所述稽查任务。
如图4中,序号为3且列名称为zjid对应的待稽查数据集的数据元的标识ID为DE00141;数据类型为bigint;其用户通信信息为张三的通信信息;且报警标志为是。假设序号为3且列名称为zjid的数据元相应的目标业务规则为表4中枚举出的各值。
则稽查任务可以如下所示:
zjid DE00141取值必须在表4中张三的通信信息是
当发现zjid字段中某一个或多个数据的取值不属于表4中任一值,则依据张三的通信信息向张三发送短信、语音电话、邮件、QQ信息或微信等等。
序号为8且列名称为lastdate对应的待稽查数据集的数据元的标识为DE00142;数据类型为DATETIME;其用户通信信息为李四的通信信息;且报警标志为是;假设序号为8对应的待稽查数据集的业务规则为20101022<value of record<2016112。
则稽查任务可以如下所示:
lastdate DE00142 20101022<value of record<2016112李四的通信信息是
可以理解的是,若数据源单元中仅存储有一个数据表,则稽查任务中可以不包括待稽查数据集的标识(待稽查数据集的标识可以为待稽查数据集所属数据表的名称);当数据源单元中包括多个数据表时,为了能够让数据源单元区分规则生成单元11生成的各稽查任务是针对于哪一数据表,则稽查任务还需要包含待稽查数据集的标识。
上述任一数据质量的稽查任务生成方法中,还可以包括:将所述稽查任务发送至所述数据源单元,以便所述数据源单元依据所述稽查任务稽查所述待稽查数据集。
本申请实施例还提供了一种与数据质量的稽查任务生成方法对应的数据质量的稽查任务生成装置,下面对数据质量的稽查任务生成装置包含的各模块和各单元进行说明,各模块和各单元的详细描述可参见数据质量的稽查任务生成方法中相应步骤的描述,这里不再赘述。
如图5所示,为本申请实施例提供的一种数据质量的稽查任务生成装置的结构示意图,该数据质量的稽查任务生成装置包括:获取模块51、建立模块52、确定模块53以及生成模块54,其中:
获取模块51,用于获取待稽查数据集的待稽查属性,所述待稽查属性包括所述待稽查数据集的数据类型,和/或,数据类别;
建立模块52,用于从预先设置的各数据元中获得与所述待稽查属性相应的目标数据元,并建立所述待稽查数据集与所述目标数据元的关联关系,数据元用于表征相应待稽查数据集需要满足的业务规则的标识信息;
确定模块53,用于从预先设置的各数据元相应的业务规则中,确定所述目标数据元相应的目标业务规则,业务规则用于表征属于相应待稽查属性的数据集的取值范围信息;
生成模块54,用于依据所述目标数据元以及所述目标业务规则,生成所述待稽查数据集的稽查任务。
可选的,获取模块包括:
第一获取单元,用于从包含所述待稽查数据集的数据表中获得所述待稽查属性;
第一显示单元,用于在人机交互界面中显示所述待稽查属性,其中,所述人机交互界面还进一步包括关联数据元,所述关联数据元用于显示其对应的待稽查数据集有关联关系的与相应的数据元;
第二显示单元,用于当检测到所述待稽查数据集相应的关联数据元的关联按键被触发时,所述人机交互界面显示预先存储的各数据元
可选的,所述建立模块包括:
第一确定单元,用于从预先存储的各数据元中,确定所述待稽查数据集的待稽查属性相应的目标数据元;
第二确定单元,用于确定所述待稽查数据集与所述目标数据元具有关联关系。
可选的,每一数据元具有一标识ID,数据元的标识ID与其对应的业务规则的标识ID相同。
可选的,所述生成模块54包括:
第二获取单元,用于从预先设置的各业务规则中,获得标识ID与所述目标数据元的目标标识ID相同的所述目标业务规则;
第一生成单元,用于依据所述待稽查数据集的数据列名称、所述目标标识ID以及所述目标业务规则生成所述稽查任务。
可选的,生成模块54包括:
第三确定单元,用于确定建立所述待稽查数据与目标数据元的关联关系的用户通信信息;
设置报警单元,用于为所述待稽查数据集设置报警标志,所述报警标志用于指示当所述待稽查数据集不满足所述目标业务规则时,向具有所述用户通信信息的用户发送报警信号;
第二生成单元,用于依据所述目标数据元、所述目标业务规则、所述用户通信信息以及所述报警标志,生成所述稽查任务。
如图6所示,为本申请实施例提供的一种电子设备的结构示意图,该规则电子设备包括:处理器61、通信接口62、存储器63和通信总线64;
其中处理器61、通信接口62、存储器63通过通信总线64完成相互间的通信;
可选的,通信接口62可以为通信模块的接口,如GSM(全球移动通信系统,GlobalSystem for Mobile Communication)模块的接口;
处理器61,用于执行程序;
存储器63,用于存放程序和数据;
程序可以包括程序代码,所述程序代码包括计算机操作指令;数据可以包括待稽查数据集的待稽查属性、各数据元、各数据元相应的业务规则。
处理器61可能是一个中央处理器CPU(Central Processing Unit),或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器63可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
其中,程序可具体用于:
获取待稽查数据集的待稽查属性,所述待稽查属性包括所述待稽查数据集的数据类型,和/或,数据类别;
从预先设置的各数据元中获得与所述待稽查属性相应的目标数据元,并建立所述待稽查数据集与所述目标数据元的关联关系,数据元用于表征相应待稽查数据集需要满足的业务规则的标识信息;
从预先设置的各数据元相应的业务规则中,确定所述目标数据元相应的目标业务规则,业务规则用于表征属于相应待稽查属性的数据集的取值范围信息;
依据所述目标数据元以及所述目标业务规则,生成所述待稽查数据集的稽查任务。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种获取数据对应关系的方法,其特征在于,包括:
获取待稽查数据集的待稽查属性;
展示人机交互界面,所述人机交互界面至少展示有所述待稽查数据集的所述待稽查属性以及所述待稽查数据集对应的关联按键;
若检测到针对所述待稽查数据集对应的关联按键被触发,获得所述待稽查数据集的待稽查属性对应的所述目标数据元;所述目标数据元用于表征所述待稽查数据集需要满足的业务规则;
设置所述待稽查数据集与所述目标数据元的对应关系。
2.根据权利要求1所述获取数据对应关系的方法,其特征在于,还包括:
从预先设置的各数据元相应的业务规则中,确定所述目标数据元相应的目标业务规则,所述目标业务规则用于表征所述待稽查数据集的取值范围信息。
3.根据权利要求2所述获取数据对应关系的方法,其特征在于,
若所述数据元包括枚举类型的字符,所述数据元对应的业务规则包括所述字符能够取到的各个数据;或,
若所述数据元包括数值类型的字符串,所述数据元对应的业务规则包括所述字符串的取值范围;或,
若所述数据元包括对应有多种数据类型的字符串,所述数据元对应的业务规则包括位于所述字符串中相应字节顺序的字符满足相应的取值范围。
4.根据权利要求2或3所述获取数据对应关系的方法,其特征在于,所述若检测到针对所述待稽查数据集对应的关联按键被触发,获得所述待稽查数据集的待稽查属性对应的所述目标数据元包括:
当检测到所述待稽查数据集对应的关联按键被触发,所述人机交互界面显示预先设置的各数据元;
从预先设置的各数据元中,确定所述待稽查数据集的待稽查属性相应的目标数据元。
5.根据权利要求4所述获取数据对应关系的方法,其特征在于,每一数据元具有一标识ID,数据元的标识ID与其对应的业务规则的标识ID相同。
6.根据权利要求5所述获取数据对应关系的方法,其特征在于,所述从预先设置的各数据元相应的业务规则中,确定所述目标数据元相应的目标业务规则包括:
从预先设置的各业务规则中,获得标识ID与所述目标数据元的标识ID相同的所述目标业务规则。
7.根据权利要求2、3、5或6所述获取数据对应关系的方法,其特征在于,还包括:
确定建立所述待稽查数据与目标数据元的关联关系的用户通信信息;
为所述待稽查数据集设置报警标志,所述报警标志用于指示当所述待稽查数据集不满足所述目标业务规则时,向具有所述用户通信信息的用户发送报警信号;
依据所述目标数据元、所述目标业务规则、所述用户通信信息以及所述报警标志,生成稽查任务。
8.一种获取数据对应关系的装置,其特征在于,包括:
获取模块,用于获取待稽查数据集的待稽查属性;
展示模块,用于展示人机交互界面,所述人机交互界面至少展示有所述待稽查数据集的所述待稽查属性以及所述待稽查数据集对应的关联按键;
获取模块,用于若检测到针对所述待稽查数据集对应的关联按键被触发,获得所述待稽查数据集的待稽查属性对应的所述目标数据元;所述目标数据元用于表征所述待稽查数据集需要满足的业务规则;
设置模块,用于设置所述待稽查数据集与所述目标数据元的对应关系。
9.一种电子设备,其特征在于,包括:
存储器,用于存储程序;
处理器,用于执行所述程序,所述程序用于执行:
获取待稽查数据集的待稽查属性;
展示人机交互界面,所述人机交互界面至少展示有所述待稽查数据集的所述待稽查属性以及所述待稽查数据集对应的关联按键;
若检测到针对所述待稽查数据集对应的关联按键被触发,获得所述待稽查数据集的待稽查属性对应的所述目标数据元;所述目标数据元用于表征所述待稽查数据集需要满足的业务规则;
设置所述待稽查数据集与所述目标数据元的对应关系。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1至7任一项所述的获取数据对应关系的方法中的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010994742.6A CN112115130A (zh) | 2017-04-25 | 2017-04-25 | 获取数据对应关系的方法、装置、设备及介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710278260.9A CN107092694B (zh) | 2017-04-25 | 2017-04-25 | 数据质量的稽查任务生成方法以及装置 |
CN202010994742.6A CN112115130A (zh) | 2017-04-25 | 2017-04-25 | 获取数据对应关系的方法、装置、设备及介质 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710278260.9A Division CN107092694B (zh) | 2017-04-25 | 2017-04-25 | 数据质量的稽查任务生成方法以及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112115130A true CN112115130A (zh) | 2020-12-22 |
Family
ID=59637075
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010994742.6A Pending CN112115130A (zh) | 2017-04-25 | 2017-04-25 | 获取数据对应关系的方法、装置、设备及介质 |
CN201710278260.9A Active CN107092694B (zh) | 2017-04-25 | 2017-04-25 | 数据质量的稽查任务生成方法以及装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710278260.9A Active CN107092694B (zh) | 2017-04-25 | 2017-04-25 | 数据质量的稽查任务生成方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN112115130A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114648316A (zh) * | 2022-05-18 | 2022-06-21 | 国网浙江省电力有限公司 | 基于稽查标签库的数字化处理方法及系统 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107958049B (zh) * | 2017-11-28 | 2021-09-14 | 航天科工智慧产业发展有限公司 | 一种数据质量稽查管理系统 |
CN109271377A (zh) * | 2018-08-10 | 2019-01-25 | 蜜小蜂智慧(北京)科技有限公司 | 一种数据质量检测方法及装置 |
CN110569234A (zh) * | 2019-07-30 | 2019-12-13 | 深圳市华傲数据技术有限公司 | 数据检验方法及装置、电子设备和计算机可读存储介质 |
CN111143335A (zh) * | 2019-11-13 | 2020-05-12 | 深圳市华傲数据技术有限公司 | 一种数据质量问题发现方法 |
CN111563074B (zh) * | 2020-04-28 | 2022-05-31 | 厦门市美亚柏科信息股份有限公司 | 一种基于多维标签的数据质量检测方法和系统 |
CN112395325A (zh) * | 2020-11-27 | 2021-02-23 | 广州光点信息科技有限公司 | 一种数据治理方法、系统、终端设备及存储介质 |
CN112508433A (zh) * | 2020-12-16 | 2021-03-16 | 广东电网有限责任公司惠州供电局 | 一种运维系统的数据稽查方法及装置 |
CN113377758A (zh) * | 2021-06-30 | 2021-09-10 | 数字郑州科技有限公司 | 一种数据质量稽核引擎及其稽核方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050204340A1 (en) * | 2004-03-10 | 2005-09-15 | Ruminer Michael D. | Attribute-based automated business rule identifier and methods of implementing same |
US20080126389A1 (en) * | 2006-11-27 | 2008-05-29 | Eyal Mush | Schema modeler for generating an efficient database schema |
KR20100058445A (ko) * | 2010-05-24 | 2010-06-03 | (주)위세아이텍 | 규칙기반 기술을 이용한 이종 메타데이터 자동 추출방법 및 시스템 |
CN103246753A (zh) * | 2013-05-30 | 2013-08-14 | 安徽皖通科技股份有限公司 | 一种根据数据库结构生成实体元数据模型的方法 |
CN103514514A (zh) * | 2013-09-23 | 2014-01-15 | 广州供电局有限公司 | 电力营销业务数据在线监测方法 |
CN103729713A (zh) * | 2013-11-06 | 2014-04-16 | 远光软件股份有限公司 | 稽核结果的展示配置方法及装置 |
CN104636484A (zh) * | 2015-02-16 | 2015-05-20 | 广东省公安厅 | 基于数据监控的监控任务生成方法和装置 |
CN105701626A (zh) * | 2016-03-03 | 2016-06-22 | 国网浙江省电力公司 | 一种电力营销稽查精益化管控多系统集成方法 |
CN106203852A (zh) * | 2016-07-13 | 2016-12-07 | 广东电网有限责任公司 | 在线稽查规则确定方法及装置、业务处理方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7464097B2 (en) * | 2002-08-16 | 2008-12-09 | Sap Ag | Managing data integrity using a filter condition |
CN101256588A (zh) * | 2008-03-18 | 2008-09-03 | 金蝶软件(中国)有限公司 | 设置默认数据筛选方案的方法及系统 |
CN101515289B (zh) * | 2009-03-25 | 2011-01-05 | 中国工商银行股份有限公司 | 一种对通用数据文件进行检查的装置及方法 |
US8463742B1 (en) * | 2010-09-17 | 2013-06-11 | Permabit Technology Corp. | Managing deduplication of stored data |
CN103699693B (zh) * | 2014-01-10 | 2015-08-19 | 中国南方电网有限责任公司 | 一种基于元数据的数据质量管理方法及系统 |
CN104766151A (zh) * | 2014-12-29 | 2015-07-08 | 国家电网公司 | 一种用于电力交易数据仓库的质量管控方法及其管控系统 |
-
2017
- 2017-04-25 CN CN202010994742.6A patent/CN112115130A/zh active Pending
- 2017-04-25 CN CN201710278260.9A patent/CN107092694B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050204340A1 (en) * | 2004-03-10 | 2005-09-15 | Ruminer Michael D. | Attribute-based automated business rule identifier and methods of implementing same |
US20080126389A1 (en) * | 2006-11-27 | 2008-05-29 | Eyal Mush | Schema modeler for generating an efficient database schema |
KR20100058445A (ko) * | 2010-05-24 | 2010-06-03 | (주)위세아이텍 | 규칙기반 기술을 이용한 이종 메타데이터 자동 추출방법 및 시스템 |
CN103246753A (zh) * | 2013-05-30 | 2013-08-14 | 安徽皖通科技股份有限公司 | 一种根据数据库结构生成实体元数据模型的方法 |
CN103514514A (zh) * | 2013-09-23 | 2014-01-15 | 广州供电局有限公司 | 电力营销业务数据在线监测方法 |
CN103729713A (zh) * | 2013-11-06 | 2014-04-16 | 远光软件股份有限公司 | 稽核结果的展示配置方法及装置 |
CN104636484A (zh) * | 2015-02-16 | 2015-05-20 | 广东省公安厅 | 基于数据监控的监控任务生成方法和装置 |
CN105701626A (zh) * | 2016-03-03 | 2016-06-22 | 国网浙江省电力公司 | 一种电力营销稽查精益化管控多系统集成方法 |
CN106203852A (zh) * | 2016-07-13 | 2016-12-07 | 广东电网有限责任公司 | 在线稽查规则确定方法及装置、业务处理方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114648316A (zh) * | 2022-05-18 | 2022-06-21 | 国网浙江省电力有限公司 | 基于稽查标签库的数字化处理方法及系统 |
CN114648316B (zh) * | 2022-05-18 | 2022-08-23 | 国网浙江省电力有限公司 | 基于稽查标签库的数字化处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107092694A (zh) | 2017-08-25 |
CN107092694B (zh) | 2020-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107092694B (zh) | 数据质量的稽查任务生成方法以及装置 | |
CN102662930B (zh) | 一种语料标注方法及装置 | |
US9218568B2 (en) | Disambiguating data using contextual and historical information | |
CN110275965B (zh) | 假新闻检测方法、电子装置及计算机可读存储介质 | |
CN112256762B (zh) | 基于产业地图的企业画像方法、系统、设备及介质 | |
CN106682150A (zh) | 一种信息处理的方法及装置 | |
CN110399448B (zh) | 中文地名地址搜索匹配方法、终端、计算机可读存储介质 | |
CN111259160A (zh) | 知识图谱构建方法、装置、设备及存储介质 | |
CN112836018A (zh) | 应急预案的处理方法及装置 | |
KR20150059208A (ko) | 소셜 웹 미디어의 이벤트 시공간 연관성 분석 장치 및 그 방법 | |
Schulze et al. | Digital dashboards visualizing public health data: a systematic review | |
Powell et al. | A born‐digital field‐to‐database solution for collections‐based research using collNotes and collBook | |
US20090228794A1 (en) | Business specification comprehension assistance system and method | |
CN114047854A (zh) | 用于文档处理的信息交互方法、装置、电子设备和存储介质 | |
CN113220875A (zh) | 基于行业标签的互联网信息分类方法、系统及电子设备 | |
CN107203525B (zh) | 数据库的处理方法和装置 | |
CN113934729A (zh) | 一种基于知识图谱的数据管理方法、相关设备及介质 | |
CN112380264A (zh) | 一种基于个人全生命周期的政策解析和匹配的方法及装置 | |
Ahmad et al. | Developing the modified accountability disclosure index for local governments | |
CN114116935B (zh) | 地理标志的检索方法及系统 | |
CN114548825B (zh) | 投诉工单失真检测方法、装置、设备及存储介质 | |
JP2018190113A (ja) | データ処理装置、データ処理システム、データ処理方法及びプログラム | |
US11776176B2 (en) | Visual representation of directional correlation of service health | |
JP2022014388A (ja) | 分析装置、分析方法、分析プログラム、分析システム及び端末装置 | |
CN112528112A (zh) | 数据收集及分析方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |