CN112988900A

CN112988900A - 一种基于多业务场景的数据填报与纠错方法及系统

Info

Publication number: CN112988900A
Application number: CN202110360625.9A
Authority: CN
Inventors: 王巧巧; 陈力捷; 谢建全; 王晓鹏; 张静怡; 张帆; 温长松
Original assignee: Guangdong Mechanical and Electrical College
Current assignee: Guangdong Mechanical and Electrical College
Priority date: 2021-04-02
Filing date: 2021-04-02
Publication date: 2021-06-18

Abstract

本发明属于数据采集分析领域，为基于多业务场景的数据填报与纠错方法及系统，其方法包括步骤：对业务场景进行分析，分析数据产生方式，确定数据填报与纠错的填报主体；根据业务场景的分析结果，判断是否有业务系统，然后确定数据采集方式；对于无业务系统的数据，采用数据填报的方式采集数据；对于有业务系统的数据，采用数据交换的方式采集数据；根据业务场景进行表单及流程的设计，在表单设计阶段，分析当前业务场景是否有佐证材料上传及相应的上传方式；在设置数据流程及对象阶段，分析当前业务数据填报及管理的对象，进行数据权限控制。本发明能对数据进行填报与纠错，满足高校各种数据采集的业务场景。

Description

一种基于多业务场景的数据填报与纠错方法及系统

技术领域

本发明属于数据采集与业务分析领域，尤其涉及一种基于多业务场景的数据填报与纠错方法及系统。

背景技术

数据在高校管理中的基础作用逐步显现，是智慧校园建设的根基，而数据是由业务部门在业务运行过程中产生的，因此数据的收集填报要符合高校具体的业务场景。目前数据收集历经Excel、“一表通”系统等方式，具有信息化手段较低、适应场景单一等缺点，无法将数据和多业务场景相融合，增加业务部门管理人员的工作量，提升管理信息化水平有限。为应对上述问题，研究出一套基于多业务场景的数据填报与纠错系统，本系统是在“一表通”基础上，在“一表通”原有表单及流程设计、数据交换、数据存储、权限管理等模块的基础上进行改造，使其适应高校数据采集的多业务场景，业务部门管理人员将原始数据通过数据填报与纠错系统完成数据采集工作，形成业务数据收集、管理、使用、质量提升的一个业务闭环，大大减少工作量，有效提升管理信息化水平。

发明内容

为解决现有技术所存在的技术问题，本发明提供一种基于多业务场景的数据填报与纠错方法及系统，以适应高校多业务场景的要求。

本发明方法采用以下技术方案来实现：一种基于多业务场景的数据填报与纠错方法，包括以下步骤：

对业务场景进行分析，分析数据产生方式，结合业务管理员的实际管理工作需求，确定数据填报与纠错的填报主体及流程。

根据业务场景是否有对应的业务系统，确定数据采集方式。对于无业务系统的数据，采用数据填报的方式采集数据；对于有业务系统的数据，采用数据交换的方式采集数据。

根据业务场景涉及的填报主体及流程，进行表单及流程的设计。在表单设计阶段，分析当前业务场景是否有佐证材料上传及相应的上传方式；在设置数据流程及对象阶段，分析当前业务数据填报及管理的对象，进行数据权限控制。

本发明系统采用以下技术方案来实现：一种基于多业务场景的数据填报与纠错系统，包括：

表单及流程设计模块，增加数据来源下拉框选择、表单数据读写模式控制、流程节点人员设置及变更功能，对数据填报主体权限进行分级管理，以及对数据进行填报与相应的纠错；

数据交换模块，通过数据交换平台的表对表、视图对表和源SQL语句关联转换，将数据从源数据库同步到异构目标数据库中；

数据存储模块，包括表单数据库、数据湖、数据仓库三个数据库，数据存储模块通过不同的数据填报主体对数据管理进行逻辑隔离；

权限管理模块，实现填报主体不同角色的分级管理和灵活变更。

在优先的实施例中，在表单数据库中，包括表单审批过程数据、审批不通过数据的存储表单管理表，以及审批通过后将数据写入设置的目标表；

将表单数据库的数据通过数据交换模块抽取到数据湖中；将数据湖中的数据进行清洗、转换后抽取到数据仓库中。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明在分析现有“一表通”数据填报与纠错的技术上，通过功能改造，可对所填报的数据进行纠错管理，能将数据与多业务场景相融合，使其可以适应高校多业务场景要求。

2、本发明在现有师生个人数据填报的基础上，增加业务管理员查看、业务管理员数据填报与纠错、业务管理员管理数据自动关联、填报数据与展示数据分离、分级权限数据自动关联、数据读写方式控制、多佐证材料批量上传等功能，满足高校各种数据采集的业务场景，形成业务数据收集、管理、使用、质量提升的一个业务闭环，减少管理工作量，有效提升管理信息化水平。

附图说明

图1为本发明一个实施例中数据填报与纠错方法的总体流程示意图；

图2为本发明一个实施例中的表单及流程设计示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例如图1、2所示，本实施例中数据填报与纠错方法，包括以下步骤：

S1、对业务场景进行分析，分析数据产生方式，结合业务管理员的实际管理工作需求，确定数据填报与纠错的填报主体(即填报用户)，如师生个人、业务管理员、二级学院业务管理员。

S2、根据业务场景是否有对应的业务系统，确定数据采集方式。

S3、对于无业务系统的数据，比如线下Excel数据，采用数据填报的方式采集数据。所采集的数据存入数据湖中，进行清洗、转换等数据交换处理后，再进入数据仓库。

采用数据填报的方式采集数据时，在设计表单之前，设置填报表单审批通过的目标数据库(为数据湖)及表名，填写数据库IP、端口、数据库名、数据库类型，并自定义表名，设置成功后，系统会在目标数据库中自动创建由自定义表名命名的数据表，用于存储审批通过的数据，同时自动增加一个填报主体(TBR)字段，存储数据填报主体的属性标识信息(例如学号/工号)，用于数据关联、管理。

进行数据纠错补录时，在设计表单之前，设置填报表单审批通过的目标数据库(为数据仓库)及表名，填写数据库IP、端口、数据库名、数据库类型、读取的表格及SQL语句，设置成功后，系统按照源表的结构和注释，自动创建表单。设置填报用户的权限SQL，并设置占位符(例如：“XGH”)，用当前填报用户的属性(学工号及关联的基本字段，该用户关联的其他属性，例如：班级、辅导员等)来填充占位符。通过权限SQL将当前填报主体的数据带出来。

同时根据业务数据性质，设置数据读写方式为只读和读写。例如：一卡通数据、图书借阅、报销凭证等不可纠错补录的业务数据设置为只读模式，可以查看数据，但不能纠错补录数据；科研项目、论文发表、竞赛活动等可纠错补录的业务数据设置为读写模式，可以查看和纠错补录数据。

S4、对于有业务系统的数据，比如人事系统的工作经历、学习经历等，则采用数据交换的方式采集数据。

S5、进行以上基本数据采集方式配置之后，根据业务场景进行表单及流程的设计。

S6、在表单设计阶段，分析当前业务场景是否需要上传佐证材料及相应的上传方式等。

(1)多个佐证材料批量上传功能，具体实现如下：

本发明增加了多佐证材料批量上传功能。衡量数据质量高低的一个重要依据就是佐证材料，例如发表一篇论文，需提交发票、期刊等电子文档进行佐证，并且一条数据涉及多个佐证(科研项目立项、结题、到账)，每次需要上传多条数据的业务场景，因此需要系统支持多个佐证材料的批量上传。

在表单及流程设计模块中增加佐证材料的上传功能：设置相应存储字段和命名规则。

佐证材料上传时，首先需将数据表数据先上传系统，然后将所有的佐证材料按照规则命名，打包上传进系统；系统解析命名后，将相应的佐证材料与已上传的数据进行关联对应。

在表单及流程设计模块中设计佐证材料字段时，设置佐证材料命名规则为目标字段名+组合识别码，中间使用下划线进行分割。例如：科研项目立项佐证命名为：LXZZ_XMBH_XMMC.PDF，其中LXZZ为目标字段，XMBH_XMMC为组合识别码，根据命名规则生成相应的文件名，将文件上传，系统自动通过文件名将文件与相应的数据进行关联对应，并存储在目标字段中。

(2)数据上传方式，包括在线页面填写和线下Excel导入，具体描述如下：

1)在线页面填写适合数据量较少、更改不频繁的场景。具体实现通过Web页面方式进行在线填写。

2)线下Excel导入适合全部业务场景，当数据量较小时建议使用在线网页方式。

每个表单增加导入、导出Excel数据和导出Excel模板功能。填报用户根据导出的Excel数据，对于新增、修改数据，只需将新增、修改增量数据写入Excel，然后上传Excel，完成数据新增、修改；对于要删除的数据，先导出Excel数据，然后去掉要删掉的数据，完成数据的删除，同时通过数据交换模块保留删除数据的版本。具体实现是在表单字段中添加字段识别码(SBM)，使用全局唯一标识进行填充，保证数据唯一性，通过字段识别码SBM自动识别新增、修改的数据。

S7、在设置数据流程及对象阶段，分析当前业务数据填报及管理的对象，进行数据权限控制。

本发明改造了数据权限控制功能，针对师生个人、业务管理员、二级学院业务管理员、同一个表单涉及多个部门的业务管理员填报等复杂的场景，数据安全要求权限最小化原则，即个人只能查看个人职权范围内的数据，并且会出现业务管理员进行变更的情况。使用传统的按照人员所在部门、班级等粗粒度的控制方式无法满足当前需求，需进行精细化管理，灵活变更。因此本发明在目标表中增加数据管理字段，即在表单中增加属性标签字段，当师生登录系统时，根据登录的Session中的师生工号，通过权限控制、SQL语句筛选出师生填报和管理的数据，具体实现方式如下：

(1)师生个人数据通过教职工工号、学生学号在目标表中用户个人数据的关联管理。

(2)业务管理员包括二级学院管理员增加管理员(GLY)属性标签字段，并且与流程节点进行绑定，当相关人员进行数据填报、审批时，自动将其学工号写入管理员(GLY)字段中，通过系统登录账户(教职工工号、学生学号)，进行筛选实现权限管理。当业务管理员进行变更，业务流程也将进行修改，在变更的同时会将原业务管理员的工号修改成现业务管理员的工号，实现数据管理的变更。

基于相同的发明构思，本实施例还提出基于多业务场景的数据填报与纠错系统，包括表单及流程设计模块、数据交换模块、数据存储模块、权限管理模块等；通过表单及流程设计模块根据业务场景设计表单及流程，汇集Excel等线下数据到数据湖；通过数据交换模块将数据湖中的数据进行标准化清洗、转换后形成统一、规范、标准化的数据存入数据存储模块，即数据仓库；通过权限管理模块实现填报主体不同角色的分级管理和灵活变更，通过数据纠错不断提高数据仓库的数据质量，具体模块描述如下：

(1)表单及流程设计模块：在原有数据填报与纠错页面、填报数据存储目标位置、表单填报对象设置、表单数据来源设置、流程设置的基础上，增加数据来源下拉框选择、表单数据读写模式、流程节点人员设置及变更等功能，对数据填报主体权限进行分级管理，以及对数据进行填报与相应的纠错。

(2)数据交换模块：通过数据交换平台的表对表、视图对表和源SQL语句关联转换等方式，将数据从源数据库同步到异构目标数据库中。

(3)数据存储模块：数据存储模块包括三个数据库，分别是表单数据库、数据湖、数据仓库，其中数据仓库是数据填报的核心数据库，三个数据库通过不同的数据填报主体对数据管理进行逻辑隔离。

表单数据库：在表单审批过程数据、审批不通过数据的存储表单管理表的基础上，增加审批通过后将数据写入设置的目标表中功能，具体是目标表可以设置存储在表单数据库或数据湖中，本实施例将表单通过审批后的数据写入目标表设置在表单数据库中，通过数据交换模块将数据抽取到数据湖。

数据湖：将表单数据库的数据通过数据交换模块抽取到数据湖中。

数据仓库：将数据湖中的数据进行清洗、转换、抽取到数据仓库中，为师生个人的师生个人数据中心、业务管理员的校级数据中心等前端数据展示应用提供数据来源。

总的来说，本实施例的数据存储模块在原有“一表通”数据展示和数据填报的内容都来源于表单数据库的基础上进行改造，使师生个人数据中心、校级数据中心展示的数据来源于数据仓库，通过“一表通”审批通过的数据写入目标表(数据湖)，审批不通过数据及审批过程数据则存储在表单数据库。

(4)权限管理模块：根据高校不同的业务场景，将业务权限设置师生个人、业务管理员、数据管理员、部门负责人、二级学院业务管理员等不同角色，在原有系统的基础上增加数据自动带出功能，根据角色的学号/工号将本人填报、管理的关联数据自动带出，实现分级管理和灵活变更。

师生个人：师生个人通过师生个人数据中心查看师生个人数据，进行师生个人数据的纠错补录。

业务管理员：业务管理员指业务部门具体业务的归口管理人员。例如：师生论文管理中的科技处管理人员，教师个人荣誉中的人事处管理人员，二级部门党员活动中组宣部管理人员，师生竞赛活动中的教务处管理人员等，负责具体业务管理、数据收集等工作。

二级学院业务管理员：对接业务管理员，负责本学院相关业务。例如：二级学院党员活动管理人员对接组宣部党员活动管理人员，负责二级学院具体业务管理、数据收集等职责，并将具体业务及数据与业务部门进行对接。

通过以上功能模块满足数据填报与纠错的业务场景如下：

场景1：师生进行个人相关数据的填报与纠错。例如：师生个人的基本信息、工作经历、学习经历、科研成果、教学成果、竞赛活动、图书借阅、一卡通消费等师生个人相关数据的填报与纠错。

师生个人相关的数据只进行核对展示查看，例如：图书借阅、一卡通信息。数据由数据交换模块从业务系统中采集、清洗，数据来源于数据仓库。

场景2：业务部门业务管理员进行部门级以上业务数据填报与纠错。例如：学校荣誉、服务器资源管理、电子资源管理、建筑物及建筑物房间管理等。

场景3：二级学院业务管理员管理的具体业务数据进行填报与纠错。例如：宿舍管理、毕业生去向信息等数据。一般由二级学院办公室主任填报。

场景4：业务管理员变更场景，例如：业务管理员由于工作调整等原因进行变换，管理和查看的数据范围也进行相关的变化。

场景5：业务管理员、二级部门业务管理员在进行数据填报与纠错时，出现同一个表单需要多个佐证材料批量上传等，以佐证表单数据是否有效的情况。例如：项目中立项佐证、中期考核佐证、验收佐证等，业务管理员线下已经收集到项目数据及佐证材料，如何将这些佐证批量上传，在数据填报与纠错系统中是一个空白，本发明通过表单附件上传管理来实现多佐证材料批量上传。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于多业务场景的数据填报与纠错方法，其特征在于，包括以下步骤：

对业务场景进行分析，分析数据产生方式，结合业务管理员的实际管理工作需求，确定数据填报与纠错的填报主体及流程；

根据业务场景是否有对应的业务系统，确定数据采集方式；对于无业务系统的数据，采用数据填报的方式采集数据；对于有业务系统的数据，采用数据交换的方式采集数据；

根据业务场景涉及的填报主体及流程，进行表单及流程的设计，在表单设计阶段，分析当前业务场景是否有佐证材料上传及相应的上传方式；在设置数据流程及对象阶段，分析当前业务数据填报及管理的对象，进行数据权限控制。

2.根据权利要求1所述的数据填报与纠错方法，其特征在于，填报主体包括师生个人、业务管理员及二级学院业务管理员。

3.根据权利要求1所述的数据填报与纠错方法，其特征在于，对于无业务系统的数据，采集的数据存入数据湖中，进行数据清洗、转换处理后，再进入数据仓库。

4.根据权利要求3所述的数据填报与纠错方法，其特征在于，采用数据填报的方式采集数据时，在设计表单之前，设置填报表单审批通过的目标数据库及表名，填写数据库IP、端口、数据库名、数据库类型，并自定义表名；在目标数据库中自动创建由自定义表名命名的数据表，用于存储审批通过的数据，同时自动增加一个填报主体字段，存储数据填报主体的属性标识信息，用于数据关联和管理。

5.根据权利要求1所述的数据填报与纠错方法，其特征在于，对于有业务系统的数据，采用数据交换的方式采集数据时，在设计表单之前，设置填报表单审批通过的目标数据库及表名，填写数据库IP、端口、数据库名、数据库类型、读取的表格及SQL语句；按照源表的结构和注释，自动创建表单；设置填报主体的权限SQL，并设置占位符，用当前填报主体的属性来填充占位符；通过权限SQL将当前填报主体的数据关联起来。

6.根据权利要求5所述的数据填报与纠错方法，其特征在于，根据业务数据性质，设置数据读写方式为只读和读写。

7.根据权利要求1所述的数据填报与纠错方法，其特征在于，佐证材料上传时，首先上传数据表数据，然后将所有的佐证材料按照规则命名，打包上传进系统；系统解析命名后，将相应的佐证材料与已上传的数据进行关联对应。

8.一种基于多业务场景的数据填报与纠错系统，其特征在于，包括：

表单及流程设计模块，增加数据来源下拉框选择、表单数据读写模式、流程节点人员设置及变更功能，对数据填报主体权限进行分级管理，以及对数据进行填报与相应的纠错；

9.根据权利要求8所述的数据填报与纠错系统，其特征在于，在表单数据库中，包括表单审批过程数据、审批不通过数据的存储表单管理表，以及审批通过后将数据写入设置的目标表；

将表单数据库的数据通过数据交换模块抽取到数据湖中；将数据湖中的数据进行清洗、转换、抽取到数据仓库中。