CN116781550A

CN116781550A - 数据采集的实现方法、系统及设备

Info

Publication number: CN116781550A
Application number: CN202311062032.XA
Authority: CN
Inventors: 李晖
Original assignee: Beijing Inco Electronics Co ltd
Current assignee: Beijing Inco Electronics Co ltd
Priority date: 2023-08-23
Filing date: 2023-08-23
Publication date: 2023-09-19

Abstract

本发明实施例提供了一种数据采集的实现方法、系统及设备。所述方法包括：以数据采集参数为指标，建立并修改数据采集任务，其中，与数据采集任务相对应的各项数据采集指标均可配置；以任务列表中显示的数据采集任务为单元，执行数据采集操作；对数据采集的结果数据进行图表展示。本发明实施例所提供的数据采集的实现方法、系统及设备实现了数据采集过程的全流程各节点都可配置。

Description

数据采集的实现方法、系统及设备

技术领域

本发明涉及数字采集与考核技术领域，具体涉及一种数据采集的实现方法、系统及设备。

背景技术

在当今数字化时代，各大院校日常管理中都存在着各种各样的数据采集、数据统计等方面的工作，数据量大且涉及部门较多。鉴于以上需求，发明一种数据采集的实现方法，具有多级管理、灵活配置的特点，可为各类采集业务提供信息化服务，为各职能部门提供数据检索与数据上报。

现有的数据采集系统存在如下问题：

1）采集范围单一，无法实现多业务并行管理；

2）填报限制性强，不能实现多人合作完成填报任务；

3）缺乏统筹管理，各环节数据无法有效共享，存在重复上报现象；

4）采集灵活度不高，不能快速实现紧急话数据采集功能发布；

5）数据后续可用性低，数据没有结构化管理，不便于后期数据统计与分析，无法进行数据高效率利用。

发明内容

本申请提供了一种数据采集的实现方法、系统及设备，实现了数据采集过程的全流程各节点都可配置。

鉴于上述问题，本申请提供了一种数据采集的实现方法、系统及设备。

第一方面，本申请提供了一种数据采集的实现方法，所述方法包括：

以数据采集参数为指标，建立并修改数据采集任务，其中，与数据采集任务相对应的各项数据采集指标均可配置；

以任务列表中显示的数据采集任务为单元，执行数据采集操作；

对数据采集的结果数据进行图表展示。

第二方面，本申请提供了一种数据采集的实现系统，所述系统包括：

建立单元，用于以数据采集参数为指标，建立并修改数据采集任务，其中，与数据采集任务相对应的各项数据采集指标均可配置；

执行单元，用于以任务列表中显示的数据采集任务为单元，执行数据采集操作；

展示单元，用于对数据采集的结果数据进行图表展示。

第三方面，本申请提供了一种电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现前文所述的一种数据采集的实现方法。

本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1、本发明所述的数据采集共享系统及方法，全流程可配置，支持配置表单填报数据、采集标准管理、数据采集任务管理、采集任务标准关联、采集任务分配、数据填报、审核流程、节点数据流入流出接口以及数据综合分析规则，通过全流程配置可适用各种政策调整以及不同高校的个性化需求。

2、本发明所述一种数据采集的实现方法，提供数据共享接口，实现了不同场景业务间数据共享和数据更新。

3、本发明所述一种数据采集的实现方法，数据共享模块为各职能部门和其他业务模块提供数据查询端口，支持配置各职能部门可开放的数据项。

4、本发明所述一种数据采集的实现方法，针对不同采集业务并行管理，如教育状态数据采集时，多部门同共完成的应用场景，实现细颗粒度控制采集任务、面向对象、采集目标等。

5、本发明所述一种数据采集的实现方法，消除了信息孤岛，提升了数据采集意义，系统采集信息支持对第三方平台开放查询接口，可有效利用采集数据，消除各业务环节的信息孤岛。

6、本发明解决了数据存储结构化不清晰的问题，可自动生成具有结构化性质的数据存储表，通过结构化管理，提供后续数据查询统计及向其他业务提供数据的可行性。

7、本发明解决了紧急采集工作的业务需求，可根据需求快速生成对应的采集功能，减少搭建周期，提高数据采集相关工作效率。

附图说明

图1为本发明实施例提供的数据采集的实现方法的流程图；

图2为本发明实施例提供的数据采集的实现方法的流程图；

图3为本发明实施例提供的数据采集的实现方法的流程图；

图4为本发明实施例提供的任务建立过程的流程图；

图5为本发明实施例提供的数据采集的实现方法的流程图；

图6为本发明实施例提供的数据采集的实现系统的结构图；

图7为本发明实施例提供的电子设备的结构图。

具体实施方式

本发明实施例提供一种全流程的数据采集的实现方法、系统及设备。采用本发明实施例提供的数据采集的实现方法、系统及设备之后，数据采集的全流程各节点都可配置，支持配置表单填报数据、采集标准管理、数据采集任务管理、采集任务标准关联、采集任务分配、数据填报、审核流程、节点数据流入流出接口以及数据综合分析规则，通过全流程配置可适用各种政策调整以及不同院校的个性化需求。

图1示出了数据采集的实现方法的流程图。参见图1，数据采集的实现方法包括如下步骤：

S11，以数据采集参数为指标，建立并修改数据采集任务，其中，与数据采集任务相对应的各项数据采集指标均可配置。

S12，以任务列表中显示的数据采集任务为单元，执行数据采集操作。

S13，对数据采集的结果数据进行图表展示。

由图1示出的数据采集的实现方法，所有的数据采集行为均以任务为单位进行建立、修改、触发，又由于每个数据采集任务均与可配置的具体指标相关联，使得每个数据采集任务均是全流程可配置。

由于数据采集流程是全流程可配置的，使得数据采集流程可以从多个不同的流程参数为切入点进行灵活配置，而且，在数据采集流程的不同阶段均可以进行参数的灵活配置，从而大大提高了数据采集流程的灵活性。

以任务为单位执行数据采集过程的另一个有点在于，不同的数据采集过程可以并行进行管理。也就是说，可以同时相互独立的运行管理不同的数据采集过程。

图2示出了数据采集的实现方法的流程图。参见图2，数据采集的实现方法包括如下步骤：

S21，选取采集涉及到的数据表和采集数据项，设置数据表的显示数据条件和参数，为每个采集项设置采集模式。

S22，以数据采集参数为指标，建立并修改数据采集任务，其中，与数据采集任务相对应的各项数据采集指标均可配置。

S23，以任务列表中显示的数据采集任务为单元，执行数据采集操作。

S24，对数据采集的结果数据进行图表展示。

相较于由图1示出的实施例，由图2示出的实施例的区别在于，在建立数据采集任务的步骤之前，多出了选取数据表，设置数据条件、参数，以及设置数据采集模式的步骤。也就是说，在建立采集任务之前，就对将要建立的采集任务的环境参数进行了配置，明确了数据采集任务的运行环境。

而且，在步骤S21中所设置的各种条件、参数，在后续的其他步骤的执行过程中，还可以进一步的进行修改，提高了整个数据采集流程的可配置性，真正实现了数据采集流程的全流程可配置。

图3示出了数据采集的实现方法的流程图。参见图3，数据采集的实现方法包括如下步骤：

S31，选取采集涉及到的数据表和采集数据项，设置数据表的显示数据条件和参数，为每个采集项设置采集模式。

S32，设置采集页面布局，编辑好的布局效果进行预览。

S33，维护数据采集过程中所用到的表单。

S34，以数据采集参数为指标，建立并修改数据采集任务，其中，与数据采集任务相对应的各项数据采集指标均可配置。

S35，以任务列表中显示的数据采集任务为单元，执行数据采集操作。

S36，对数据采集的结果数据进行图表展示。

与由图2示出的实施例相比，由图3示出的实施例的区别在于，增加了布局设置、布局效果预览及表单维护的操作步骤。

增加布局设置、布局效果预览的优点在于，可以对各个数据采集任务的页面布局进行美化，方便对各项数据采集任务进行相互独立的管理、调度。

数据采集过程中会调用各种不同的表单。比如，一个参数的设置数值的取值，需要参考参数历史设置值表单。再比如，一个数据采集流程的每天启动时间，需要与上个月的启动时间完全相同，等等。

而在系统中，这些表单数据需要定时的维护，才能保证数据采集任务的正常运行。这些维护操作可以有，类目管理、数据更新、表单样式更新等等。

增加表单管理操作的优势在于，使得表单数据的存放更加有序，并且表单中实际存储的表单数据更加贴合实际的数据采集需求。

图4为本发明实施例提供的任务建立过程的流程图。参见图4，以数据采集参数为指标，建立并修改数据采集任务，包括：

S41，创建新任务，填写任务基本信息，包括任务名称、所属年度、采集开始时间、采集结束时间、任务说明。

其中采集开始时间、采集结束时间为任务开关时间设置。

S42，针对已有的采集任务进行信息修改。

可修改任务名称、所属年度、采集开始时间、采集结束时间、任务说明等数据信息。

S43，为本项采集任务指定面向对象，可以分配人、分配单位、分配组。

组和单位为系统管理功能中人员分组和单位管理模块设置好的。

S44，为采集任务添加关联的采集表单。

通过上述的添加任务、修改、面向对象和关联表单的设置几个步骤的操作，完成了采集任务的综合管理，包括任务的添加、面向对像的设置、关联表单的设置。

图5为本发明实施例提供的数据采集的实现方法的流程图。图5示出的流程以学校进行日常教师授课情况数据采集为例，说明数据采集的实现方法的执行流程。参见图5，数据采集的实现方法包括如下步骤：

步骤1：采集维护

添加或修改《教师授课情况》数据表，为每个采集项设置采集模式（如输入、静态下拉、动态下拉），设置采集页面布局，编辑好的布局效果进行预览。支持添加采集表单、导入、编辑、设计、删除、预览、复制设计。

选取采集涉及到的数据表和采集数据项，设置数据表的显示数据条件和参数，为每个采集项设置采集模式（如输入、静态下拉、动态下拉），设置采集页面布局，编辑好的布局效果进行预览。维护数据采集过程中所用到的表单，支持添加采集表单、导入、编辑、设计、删除、预览、复制设计。

步骤2：采集任务/添加采集任务

编辑采集任务名称、设置采集任务时间开关、设置采集任务须知或填报说明等信息。

进行采集任务的综合管理，包括任务的添加、面向对像的设置、关联表单的设置。

添加任务：创建新任务，填写任务基本信息，包括任务名称、所属年度、采集开始时间、采集结束时间、任务说明等数据。其中采集开始时间、采集结束时间为任务开关时间设置。

面向对象：为本项采集任务指定面向对象，可以分配人、分配单位、分配组。（组和单位为系统管理功能中人员分组和单位管理模块设置好的。）

关联表单的设置：为采集任务添加关联的采集表单。

步骤3：采集任务/配置采集任务

选择相应的采集任务，为该任务设置面向对像、关联目标采集表单、设置具体的采集与审核规则。

修改：针对已有的采集任务进行信息修改，可修我改任务名称、所属年度、采集开始时间、采集结束时间、任务说明等数据信息。

步骤4：采集任务/分配采集任务

为采集任务进行任务分配，支持多级管理与审核，本功能按层级逐级向下进行，直到流转到最终数据填报环节。

步骤5：数据采集

显示任务下的采集信息和要求，采集人员进行数据填报维护。当全部采集信息提交后，该任务自动变为已完成。通过流程设置的审核顺序对采集数据进行审核核定，支持驳回重新采集。审核通过后，数据保存到数据仓库的基础数据层。

系统用户登录后，系统将按其任务分配的情况显示任务列表（即有任务分配到才会有显示，如被分配任务则无需填报）。显示任务下的采集信息和要求，采集人员进行数据填报维护。当全部采集信息提交后，该任务自动变为已完成。通过流程设置的审核顺序对采集数据进行审核核定，支持驳回重新采集。审核通过后，数据保存到数据仓库的基础数据层。

步骤6：数据统计

以各类图表的形式，进行日常教师授课情况结果展示。如饼状图、柱状图、线条图或多种结合，支持详细查看。

由本发明实施例提供的数据采集的实现方法还有如下的一些特点：

模块化结构设计：灵活组合，易于扩展升级，一种数据采集的实现方法各个子模块可灵活组合，实现用户个性化需求定制。支持未来校园的各类考核管理，并可进行独立配置考核流程。

指标层级：支持多级别灵活填加，指标项管理灵活，由指标头向下层层进行添加，每个指标项都可进行指标名称、指标说明、关联表单、分值或占比设置，方便灵活。

流程管理：指标任务分配，支持多级任务分配，可按指标体系进行逐级任务分配，在分配时可设置是否允许再分配，在分解任务填报工作的同时，完成层级的设置管理，快速完成采集填报审核任务。

图形导航：操作简单，免培训，易使用，系统所有功能采用了动态逐级向导的方式，实现直观自然的操作，简单明明了，方便使用。

平台安全、可靠：多重安全验证机制，数据传输和存储均采用先进的加密机制和严谨的通讯传输协议，保证数据的访问的安全。系统支持先进的SAN及刀片式服务器阵列等存储技术，保证系统数据安全可靠。

图6为本发明实施例提供的数据采集的实现系统的结构图。参见图6，数据采集的实现系统包括：建立单元64、执行单元65、展示单元66。

建立单元64用于以数据采集参数为指标，建立并修改数据采集任务，其中，与数据采集任务相对应的各项数据采集指标均可配置。

执行单元65用于以任务列表中显示的数据采集任务为单元，执行数据采集操作。

展示单元66用于对数据采集的结果数据进行图表展示。

在一些实施方式中，还包括：第一设置单元61。

第一设置单元61用于在以数据采集参数为指标，建立并修改数据采集任务之前，选取采集涉及到的数据表和采集数据项，设置数据表的显示数据条件和参数，为每个采集项设置采集模式。

在一些实施方式中，还包括：第二设置单元62。

第二设置单元62用于在以数据采集参数为指标，建立并修改数据采集任务之前，设置采集页面布局，编辑好的布局效果进行预览。

在一些实施方式中，还包括：维护单元63。

维护单元63用于在以数据采集参数为指标，建立并修改数据采集任务之前，维护数据采集过程中所用到的表单。

在一些实施方式中，建立单元64包括：创建模块、修改模块、指定模块、添加模块。

创建模块用于创建新任务，填写任务基本信息，包括任务名称、所属年度、采集开始时间、采集结束时间、任务说明等数据。

修改模块用于针对已有的采集任务进行信息修改。

指定模块用于为本项采集任务指定面向对象，可以分配人、分配单位、分配组。

添加模块为采集任务添加关联的采集表单。

在一些实施方式中，用来进行图表展示的图表包括：饼状图、柱状图、线条图。

在一些实施方式中，执行单元64包括：填报维护模块。

填报维护模块用于显示任务下的采集信息和要求，采集人员进行数据填报维护。

在一些实施方式中，全系统采用模块化结构设计，支持多级别灵活指标填加。

图7为本发明实施例提供的电子设备的结构示意图，示出了适于用来实现本发明实施方式的示例性电子设备的框图。图7显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图7所示，该电子设备包括处理器71、存储器72、输入装置73及输出装置74；电子设备中处理器71的数量可以是一个或多个，图7中以一个处理器71为例，电子设备中的处理器71、存储器72、输入装置73及输出装置74可以通过总线或其他方式连接，图7中以通过总线连接为例。

存储器72作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种数据采集的实现方法对应的程序指令/模块。处理器71通过运行存储在存储器72中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述一种数据采集的实现方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种数据采集的实现方法，其特征在于，包括：

对数据采集的结果数据进行图表展示。

2.根据权利要求1所述的方法，其特征在于，还包括：

在以数据采集参数为指标，建立并修改数据采集任务之前，选取采集涉及到的数据表和采集数据项，设置数据表的显示数据条件和参数，为每个采集项设置采集模式。

3.根据权利要求1所述的方法，其特征在于，还包括：

在以数据采集参数为指标，建立并修改数据采集任务之前，设置采集页面布局，编辑好的布局效果进行预览。

4.根据权利要求1所述的方法，其特征在于，还包括：

在以数据采集参数为指标，建立并修改数据采集任务之前，维护数据采集过程中所用到的表单。

5.根据权利要求1所述的方法，其特征在于，以数据采集参数为指标，建立并修改数据采集任务，包括：

创建新任务，填写任务基本信息，包括任务名称、所属年度、采集开始时间、采集结束时间、任务说明；

针对已有的采集任务进行信息修改；

为本项采集任务指定面向对象，可以分配人、分配单位、分配组；

为采集任务添加关联的采集表单。

6.根据权利要求1所述的方法，其特征在于，用来进行图表展示的图表包括：饼状图、柱状图、线条图。

7.根据权利要求1所述的方法，其特征在于，以任务列表中显示的数据采集任务为单元，执行数据采集操作，包括：

显示任务下的采集信息和要求，采集人员进行数据填报维护。

8.根据权利要求1所述的方法，其特征在于，全系统采用模块化结构设计，支持多级别灵活指标填加。

9.一种数据采集的实现系统，其特征在于，包括：

展示单元，用于对数据采集的结果数据进行图表展示。

10.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至8任意一项所述的一种数据采集的实现方法。