CN112231310A - 数据核验分类处理系统及方法 - Google Patents

Abstract

本发明公开了数据核验分类处理系统及方法，属于数据核验技术领域，要解决的技术问题为如何高效的进行数据核验并排查问题、完善数据。系统，包括：定时任务模块，用于进行定时核验任务配置、核验日志管理以及核验结果通知；数据校验规则模块，用于指定校验规则为数据校验提供依据，并用于展示校验结果；数据处理模块，用于进行数据推送、数据修复和数据问题标注，数据推送为在数据进行核验后将合格数据归入分析应用库中，数据修复为对不符合规则的数据进行处理，数据问题标注为对问题数据进行标记并说明数据问题原因。方法为通过上述系统进行数据校验，并对异常数据进行处理。

Description

数据核验分类处理系统及方法

技术领域

本发明涉及数据核验技术领域，具体地说是数据核验分类处理系统及方法。

背景技术

随着大数据时代的到来与发展，数据的价值越来越高，数据的应用范围越来越广，科研数据的管理与分析对科研发展有着重要的意义。其中包括但不限于项目、课题、论文、专利等科研成果的数据管理，分析形成科研成果报告文档等，可更加清晰的了解科研的现状及发展情况，对后续发展及制定相应目标具有重要的参考价值。

目前，科研成果的数据信息主要由各管理部门收集并逐级上报，由上级科研部门统一管理，在此过程中由于人为干预程度高，很多时候因各部门采集的信息不够完整，不同上报人对上报数据的规范理解不够统一，或各部门对上报数据的要求不够严格，造成最终上级管理部门得到的科研数据不完善、不够标准、存在错误，数据质量不能达到预期的情况，需要上级管理部门对上报数据进行再次核验或二次修改才可形成标准规范、应用于管理分析的科研数据。关于为满足数据是否可直接应用分析，上级部门对数据进行核验及发现问题的工作，人工执行效率低，耗时且难度大。

如何高效的进行数据核验并排查问题、完善数据，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供数据核验分类处理系统及方法，来解决如何高效的进行数据核验并排查问题、完善数据的问题。

第一方面，本发明提供一种数据核验分类处理系统，包括：

定时任务模块，所述定时任务模块用于进行定时核验任务配置、核验日志管理以及核验结果通知；

数据校验规则模块，所述数据校验规则模块用于指定校验规则为数据校验提供依据，并用于展示校验结果；

数据处理模块，所述数据处理模块用于进行数据推送、数据修复和数据问题标注，数据推送为在数据进行核验后将合格数据归入分析应用库中，数据修复为对不符合规则的数据进行处理，数据问题标注为对问题数据进行标记并说明数据问题原因。

作为优选，所述核验任务配置包括：根据实际数据的更新频率，对各类数据设定不同执行周期的定时核验任务，并通过管理页面查看核验任务状态以及核验任务更新情况。

作为优选，所述核验任务配置还包括临时手动开启单次执行数据核验任务。

作为优选，核验日志管理为记录每次定时任务执行的核验情况，包括核验任务的启动时间、任务名称、核验数据量、核验数据种类以及核验结果统计值。

作为优选，所述核验结果通知为通过对接短信平台接口，在每次定时核验结束后，将核验结果统计数值发送至负责人。

作为优选，所述数据校验规则模块包括：

数据种类单元，所述数据种类单元用于划分数据种类，数据种类包括但不限于项目、课题、机构、论文和专利；

校验规则单元，所述校验规则单元用于配置数据源并设定校验规则，所述数据源包括但不限于oracle、mysql、excel，所述校验规则根据各类数据的应用场景对于数据的不同要求而设置；

校验结果单元，所述校验结果用于展示校验结果。

作为优选，所述校验规则单元用于配置数据源，包括：

用于在程序的配置文件中配置一个或多个默认的数据源；

用于在检验管理页面，选择系统预制的数据源驱动，并填写对应的数据源连接信息来添加临时的数据源。

第二方面，本发明提供一种数据核验分类处理方法，通过如第一方面任一项所述的数据核验分类处理系统进行数据核验，并对异常数据进行分类处理，所述方法包括如下步骤：

配置数据校验规则；

配置定时核验任务，依据数据校验规则对数据进行核验，展示并输出校验结果，并记录核验任务的执行情况形成核验日志；

进行数据推送、数据修复和数据问题标注，数据推送为在数据进行核验后将合格数据归入分析应用库中，数据修复为对不符合规则的数据进行处理，数据问题标注为对问题数据进行标记并说明数据问题原因。

作为优选，配置数据校验规则，包括如下：

划分数据种类，数据种类包括但不限于项目、课题、机构、论文和专利；

配置数据源并设定校验规则，所述数据源包括但不限于oracle、mysql、excel，所述校验规则根据各类数据的应用场景对于数据的不同要求而设置。

作为优选，配置定时核验任务，包括：

根据实际数据的更新频率，对各类数据设定不同执行周期的定时核验任务，并通过管理页面查看核验任务状态以及核验任务更新情况；

临时手动开启单次执行数据核验任务。

本发明的数据核验分类处理系统及方法具有以下优点：基于制定的数据校验规则进行数据校验，可有效的减轻人工筛选的工作量，且更准确的发现数据的问题所在，同时还可以根据人工处理数据的经验，来逐步丰富数据核验的规则，以及自动完善数据的规则与方式，使得数据筛选分类、简单数据补充完善和数据问题的定位变得更简单。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

图1为实施例1数据核验分类处理系统的工作框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

本发明实施例提供数据核验分类处理系统及方法，用于解决如何高效的进行数据核验并排查问题、完善数据的技术问题。

实施例1：

本发明的一种数据核验分类处理系统，包括定时任务模块、数据校验规则模块以及数据处理模块，定时任务模块用于进行定时核验任务配置、核验日志管理以及核验结果通知；数据校验规则模块用于指定校验规则为数据校验提供依据，并用于展示校验结果；数据处理模块用于进行数据推送、数据修复和数据问题标注，数据推送为在数据进行核验后将合格数据归入分析应用库中，数据修复为对不符合规则的数据进行处理，数据问题标注为对问题数据进行标记并说明数据问题原因。

其中，核验任务配置是指根据实际数据的更新频率，对各类数据设定不同执行周期的定时核验任务，并在管理页面进行查看任务状态，更新情况等，也可临时手动开启单次执行某个数据核验的任务。核验日志管理即记录每次定时任务执行的核验情况，包括核验任务的启动时间、任务名称、核验数据量、核验数据种类、核验结果统计值等。核验结果通知是通过对接短信平台接口，在每次定时核验结束后，将部分重要的核验结果统计数值发送到负责人，以便及时去查看核验情况或处理不合规的数据。

另外数据核验方法还提供了启动核验任务的服务接口，采用restful架构的统一接口原则，使用标准port方式的HTTP方法。对部分实时性要求高的数据，在得到数据时，即可调用对应核验任务的开启接口，核验任务启动后，返回任务启动成功的信息。

数据校验规则模块包括数据种类单元、校验规则单元和校验结果单元，数据种类单元用于划分数据种类，数据种类划分为项目、课题、机构、论文和专利等；校验规则单元用于配置数据源并设定校验规则，数据源包括但不限于oracle、mysql、excel，校验规则根据各类数据的应用场景对于数据的不同要求而设置；校验结果用于展示校验结果，校验结果是根据校验规则对数据做出的分析结果，以直接输出校验数据的数据质量，便于对数据做出后续不同的处理。

数据校验支持的数据种类可自定义扩展，同时指出需校验数据的校验规则，并可针对数据的不同使用要求，制定不同校验强度的规则，以及不同规则的校验结果说明或校验结束的后续处理。

数据校验可配置不同数据源，支持oracle、mysql、excel文件多种数据源，同时支持数据源的动态修改，即可以在程序的配置文件中配置一个或多个默认的数据源，也可以在校验管理页面，选择系统预制的数据源驱动，并填写对应的数据源连接信息来添加临时的数据源，excel文件校验也可对默认指定的文件目录或对新有的excel文件通过页面上传来根据现有的数据校验规则进行校验。

数据校验结果有多种形式的展示，在数据校验页面可以简单的体现出数据校验结果，如可以看到各数据种类的不同数据质量的统计数值，不符合规则的数据异常情况，也可以看到不符合规则的数据筛选方式及筛选结果；

数据校验规则的制定，主要根据各类数据的应用场景对于数据的不同要求而设置，大致涉及项目数据、机构数据、课题数据、人员数据、论文数据、专利数据、Excel文件数据等。

项目数据，在对项目进行立项省份分析统计时，就需要项目的承担机构所在省份信息有效无误，那么以此就可制定校验规则为项目的承担机构不为空、承担机构的省份信息不为空且有效这种强规则，不符合这样规则的项目数据就需要重新完善处理后方可用于分析统计。类似校验项还有专项、负责人、项目类型等项目的数据项信息。不同级别的项目，项目经费构成也不一样，比如地方项目不应该有中央财政经费，那么就可以制定地方项目中央财政经费应为0或空的校验规则，但是此规则只作为数据校验用于数据标记反馈数据情况，以便后续人工去复核，不影响数据的直接应用分析。不同项目类型的项目数据也有不同的数据含义、不同的数据标准或者不同的数据项构成等，对此也应该有相应的校验规则。

机构数据，在对机构进行区域分析、坐标标记、分析展示时，就需要机构的所在地的区县信息及详细的地址信息，那么以此就可以制定校验规则为机构所在省市区信息、详细地址不能为空且有效的强规则和详细地址信息需标注到街道号的若规则，符合规则的可以直接应用，不符合的进行二次完善。类似机构数据的校验还有机构性质、联系电话等数据项信息。同时机构与项目的关联关系，也有对应的规则校验。

课题数据，在对课题的单类数据数据分析时，像课题的承担机构所在地省市区、课题专项、负责人等数据项信息都应保证不为空且有效；因课题数据与项目数据很多时候有关联关系，所以在部分项目和课题关联分析时，也应保证他们之间的关联关系，和数据之间的关系，比如部分项目的经费应该和下设课题的各项经费金额的总和一致，同时课题数据类似于项目，也有自己的承担机构、参研机构、负责人和参研人员等关系数据信息，也可制定相应的数据核验规则来保证课题数据的分析可用性。

人员数据，在对人员数据进行分析时，类似人员出生日期、性别、出生地、民族、证件号码这种基本属性信息，可设定非空；固定范围值:出生日期应小于当前日期且计算当前年龄应大于配置最小年龄值；固定格式：出生日期应规范为yyyy-mm—dd格式，身份证件号码应15位或18位；固定规则：身份证号码应符合正规公民身份证号码制度，能正确解析出该人员的部分信息，用此类校验规则来保证数据的可用性。对于人员的学历、学位、职称、联系电话等信息，可设定非空、有效范围值等校验规则。

论文数据，其中论文的完成人、完成机构、发表日期、论文类型等数据项，应该保证不能为空且有效。其中不同类型的论文也有各自的数据项信息，对此也需要根据论文的不同类型来制定不同的数据校验规则。

专利数据，其中专利的作者、发明人、申请号、法律状态、申请日期、公开日期等数据想信息，应该保证不能为空且有效，法律状态应为固定的某些值，申请日期不能大于当前日期等这些约束，据此来制定专利的相应数据校验规则。

Excel文件数据，在对excel数据进行核验时，处理对数据本身进行规则制定外，还需要对excel文件的格式，数据存放格式进行规则制定，即规定好excel数据文件的模版，数据需根据模版来存放，比如固定列应放固定的数据、固定的是单元格格式等，此项是excel文件的校验规则。

数据核验结果，根据各类型的数据核验规则，对数据进行核验，出具核验结果报告。核验结果可以直接让我们分出那些数据是可以直接用于分析使用的数据，那些是需要完善的数据，还有异常或错误的数据；也可以看到此次核验的数据各种合规、不合规的数据量统计与对比；还可以将不合规的数据进行导出，以便进行人工复核完善。

数据处理处理模块，包括数据推送、数据修复、数据问题标注。数据推送即在数据进行核验后，对符合数据规则，满足标准或可后期处理不影响该使用的数据作为合格数据归入到分析应用库。数据修复是根据明确规则或根据应用指定的规则，对不符合规则的数据进行处理，明确的规则处理，例如人员的出生日期、性别等，如果不此类数据项存在问题，则可根据人员身份证号码进行计算得出正确的信息；根据实际的数据关系或应用方面的规则处理，例如项目的立项年份如果存在问题，则可以根据项目编号进行计算得出，国家自然科学基金项目的负责人所在机构关系，则可以根据项目负责人、项目承担机构数据得出等。数据标注会对问题数据进行标记并说明数据问题原因，不符合哪项数据核验规则，以便人工维护时，可明确数据需要维护的数据项。

该系统使用面向对象编程的java开发语言，后台利用流行的springboot轻量级开发框架，前端使用简介灵活的bootstrap框架，持久层使用优秀的mybatis框架，来实现整个系统的构建和页面的样式设计。

本实施例数据核验分类处理系统，可应用于分析展示的标准，制定一系列的规则，根据此规则来校验数据质量的的方法，可以直接对数据进行筛选，分出不同应用质量的数据，并对数据质量低的数据进行分析，直观的看到数据的问题或错误，修复部分数据问题。提高人工去核验、排查问题、完善数据的效率。

实施例2：

本发明的数据核验分类处理方法，其特征在于通过实施例1公开的数据核验分类处理系统进行数据核验，并对异常数据进行分类处理，该方法包括如下步骤：

S100、配置数据校验规则；

S200、配置定时核验任务，依据数据校验规则对数据进行核验，展示并输出校验结果，并记录核验任务的执行情况形成核验日志；

S300、进行数据推送、数据修复和数据问题标注，数据推送为在数据进行核验后将合格数据归入分析应用库中，数据修复为对不符合规则的数据进行处理，数据问题标注为对问题数据进行标记并说明数据问题原因。

其中，配置数据校验规则，包括如下：

划分数据种类，数据种类包括但不限于项目、课题、机构、论文和专利；

配置数据源并设定校验规则，所述数据源包括但不限于oracle、mysql、excel，所述校验规则根据各类数据的应用场景对于数据的不同要求而设置。

配置定时核验任务，包括：

根据实际数据的更新频率，对各类数据设定不同执行周期的定时核验任务，并通过管理页面查看核验任务状态以及核验任务更新情况；

临时手动开启单次执行某个数据的核验任务。

本实施例的方法可筛选出高质量有效且可以直接用于分析统计的数据，并简单处理部分低质量的数据，标记出不可用或不完整的数据及问题数据的原因。

上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (10)

1.数据核验分类处理系统，其特征在于包括：

定时任务模块，所述定时任务模块用于进行定时核验任务配置、核验日志管理以及核验结果通知；

数据校验规则模块，所述数据校验规则模块用于指定校验规则为数据校验提供依据，并用于展示校验结果；

数据处理模块，所述数据处理模块用于进行数据推送、数据修复和数据问题标注，数据推送为在数据进行核验后将合格数据归入分析应用库中，数据修复为对不符合规则的数据进行处理，数据问题标注为对问题数据进行标记并说明数据问题原因。

2.根据权利要求1所述的数据核验分类处理系统，其特征在于所述核验任务配置包括：根据实际数据的更新频率，对各类数据设定不同执行周期的定时核验任务，并通过管理页面查看核验任务状态以及核验任务更新情况。

3.根据权利要求2所述的数据核验分类处理系统，其特征在于所述核验任务配置还包括临时手动开启单次执行数据核验任务。

4.根据权利要求1所述的数据核验分类处理系统，其特征在于核验日志管理为记录每次定时任务执行的核验情况，包括核验任务的启动时间、任务名称、核验数据量、核验数据种类以及核验结果统计值。

5.根据权利要求1所述的数据核验分类处理系统，其特征在于所述核验结果通知为通过对接短信平台接口，在每次定时核验结束后，将核验结果统计数值发送至负责人。

6.根据权利要求1所述的数据核验分类处理系统，其特征在于所述数据校验规则模块包括：

数据种类单元，所述数据种类单元用于划分数据种类，数据种类包括但不限于项目、课题、机构、论文和专利；

校验规则单元，所述校验规则单元用于配置数据源并设定校验规则，所述数据源包括但不限于oracle、mysql、excel，所述校验规则根据各类数据的应用场景对于数据的不同要求而设置；

校验结果单元，所述校验结果用于展示校验结果。

7.根据权利要求6所述的数据核验分类处理系统，其特征在于所述校验规则单元用于配置数据源，包括：

用于在程序的配置文件中配置一个或多个默认的数据源；

用于在检验管理页面，选择系统预制的数据源驱动，并填写对应的数据源连接信息来添加临时的数据源。

8.数据核验分类处理方法，其特征在于通过如权利要求1-7任一项所述的数据核验分类处理系统进行数据核验，并对异常数据进行分类处理，所述方法包括如下步骤：

配置数据校验规则；

配置定时核验任务，依据数据校验规则对数据进行核验，展示并输出校验结果，并记录核验任务的执行情况形成核验日志；

进行数据推送、数据修复和数据问题标注，数据推送为在数据进行核验后将合格数据归入分析应用库中，数据修复为对不符合规则的数据进行处理，数据问题标注为对问题数据进行标记并说明数据问题原因。

9.根据权利要求8所述的数据核验分类处理方法，其特征在于配置数据校验规则，包括如下：

划分数据种类，数据种类包括但不限于项目、课题、机构、论文和专利；

配置数据源并设定校验规则，所述数据源包括但不限于oracle、mysql、excel，所述校验规则根据各类数据的应用场景对于数据的不同要求而设置。

10.根据权利要求8或9所述的数据核验分类处理方法，其特征在于配置定时核验任务，包括：

根据实际数据的更新频率，对各类数据设定不同执行周期的定时核验任务，并通过管理页面查看核验任务状态以及核验任务更新情况；

临时手动开启单次执行数据核验任务。

Images