CN111538754A - 一种数据归集管理系统、方法、装置、设备和存储介质 - Google Patents

Abstract

本发明属于数据资源管理技术领域，尤其涉及一种数据归集管理系统、方法、装置、设备和存储介质。数据归集管理系统包括：文件模板数据归集模块，用于获取源数据源的目标数据字段，并将目标数据字段按照预设的数据归集文件模板进行归集；和/或共享交换数据归集模块，用于通过数据共享连接交换获取对应所述源数据源的源数据；和/或接口对接数据归集模块，用于通过数据归集接口服务获取所述源数据源的源数据。本发明提供的一种数据归集管理系统，具体以文件模板、共享交换、接口对接的方式实现数据归集，减少数据归集过程中人工维护成本，减少人工干预和出错的几率。

Description

一种数据归集管理系统、方法、装置、设备和存储介质

技术领域

本发明属于数据资源管理技术领域，尤其涉及一种数据归集管理系统、方法、装置、设备和存储介质。

背景技术

在政府的数字化转型的过程中，对政务数据资源进行盘点，摸清“数据家底”，统筹数据资源的管理和利用，对于提高政府的数据归集共享能力有着积极的作用。政务数据资源的归集共享需要基于数据目录对业务数据以符合共享条件的方式进行归集共享。

目前的政府部门的数据归集共享主要通过人工接口开发对接的方式实现。使用人工接口开发对接时，需要数据接收方安排人手写接口的方式接收接口提供方的接口数据，过程缺乏对接口调用的有效监控，导致重复投入人手维护这些接口，耗时耗力。

现有技术中，对于数据的归集共享需要人手投入多，线下人工干预的方式比较容易出错，容易造成数据断续和数据质量问题，给数据治理带来负担。

发明内容

本发明实施例的目的在于提供一种数据归集管理系统、方法、装置、设备和存储介质，旨在解决现有技术中对于数据的归集共享需要人手投入多，线下人工干预的方式比较容易出错。

本发明实施例是这样实现的，一种数据归集管理系统，包括：

文件模板数据归集模块，用于根据预设的数据目录与对应的源数据源建立数据对应关系，通过数据对应关系获取所述源数据源的目标数据字段，并将目标数据字段按照预设的数据归集文件模板进行归集，将归集后的数据进行存储和/或上传；和/或

共享交换数据归集模块，用于根据预设的数据目录与对应的源数据源建立数据共享连接，通过数据共享连接交换获取对应所述源数据源的源数据，将源数据进行存储和/或上传；和/或

接口对接数据归集模块，用于根据预设的数据目录与对应的源数据源建立数据归集接口服务，通过数据归集接口服务获取所述源数据源的源数据，将源数据进行存储和/或上传。

本发明实施例的另一目的在于提供一种数据归集管理方法，包括以下步骤：

根据预设的数据目录与对应的源数据源建立数据对应关系；

创建数据采集任务，所述数据采集任务至少包括选择源数据源、选择对应所述源数据源的目标数据字段以及选择数据归集文件模板；

执行所述数据采集任务，通过所述数据对应关系获取对应源数据源的目标数据字段，并将目标数据字段归集入所述数据归集文件模板，将归集后得到的数据归集文件上传客户端。

本发明实施例的另一目的在于提供一种数据归集管理装置，包括：

第三源数据源配置单元，用于根据预设的数据目录与对应的源数据源建立数据对应关系；

第二数据采集任务创建单元，用于创建数据采集任务，所述数据采集任务至少包括选择源数据源、选择对应所述源数据源的目标数据字段以及选择数据归集文件模板；

第二数据归集单元，用于执行所述数据采集任务，通过所述数据对应关系获取对应源数据源的目标数据字段，并将目标数据字段归集入所述数据归集文件模板，将归集后得到的数据归集文件上传客户端。

本发明实施例的另一目的在于提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述数据归集管理方法的步骤。

本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述数据归集管理方法的步骤。

本发明提供的一种数据归集管理系统可以满足数据资源归集时以多种归集方式进行数据归集处理的业务场景需求，具体以文件模板、共享交换、接口对接的方式实现，减少数据归集过程中人工维护成本，减少人工干预和出错的几率。

附图说明

图1为本发明实施例提供的数据归集管理系统的结构框图；

图2为本发明实施例提供的数据归集管理系统的工作流程图；

图3为本发明实施例提供的文件模板数据归集模块的结构框图；

图4为本发明实施例提供的共享交换数据归集模块的结构框图；

图5为本发明实施例提供的接口对接数据归集模块的结构框图；

图6为本发明实施例提供的数据归集管理方法的流程图；

图7为本发明实施例提供的另一数据归集管理方法的流程图；

图8为本发明实施例提供的数据归集管理装置的结构框图；

图9为本发明实施例提供的另一数据归集管理装置的结构框图；

图10为一个实施例中计算机设备的内部结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。

实施例一

如图1所示，为本发明实施例中提供的一种数据归集管理系统的结构框图，在一个实施例中，一种数据归集管理系统包括：

文件模板数据归集模块100，根据预设的数据目录与对应的源数据源建立数据对应关系，通过数据对应关系获取源数据源的目标数据字段，并将目标数据字段按照预设的数据归集文件模板进行归集，将归集后的数据进行存储和/或上传；和/或

共享交换数据归集模块200，用于根据预设的数据目录与对应的源数据源建立数据共享连接，通过数据共享连接交换获取对应源数据源的源数据，将源数据进行存储和/或上传；和/或

接口对接数据归集模块300，用于根据预设的数据目录与对应的源数据源建立数据归集接口服务，通过数据归集接口服务获取源数据源的源数据，将源数据进行存储和/或上传。

在本发明实施例中，源数据源主要是指数据归集管理的数据所涉及到的各种数据源，比如政务服务中的各种数据源，数据源是指数据的来源，是提供某种所需要数据的器件或原始媒体，具体包括网页、数据库、资源库等，在数据源中存储了所有建立数据库连接的信息，本领域技术人员可以理解的是，就像通过指定文件名称可以在文件系统中找到文件一样，通过提供正确的数据源名称，就可以找到相应的数据库连接。

在本发明实施例中，预设的数据目录是指需要进行归集管理的数据表，通常，在数据归集管理中，都是有指定需要进行收集和处理的数据，比如：xxx区接警报表、xxx申请记录，那么针对这类数据，其数据目录可以是简单的设计成“接警报表”、“申请记录”，本领域技术人员可以理解的是，上述仅作为事例说明，更多的数据目录本领域技术人员可以根据实际情况进行设计选择。

在本发明实施例中，预设的数据归集文件模板是指针对各类目标数据都预先设置其统计标准数据表格，方便进行归集和管理，数据归集文件模板具体包括填写的项目、项目填写的顺序、数据求解等，当然，本发明实施例中仅是作为示例进行说明，数据归集文件模板的具体包含内容本领域技术人员可以根据实际归集统计的数据以及管理的需要进行设计，在此不作进一步的详细举例。

在本发明实施例中，数据对应关系，可以理解为对应的数据连接，通过数据连接的对应关系可以访问特定数据库所需要的信息的集合，该集合包括源数据源名称和登录信息，数据对应关系存储在工程中，当用户执行需要访问数据库的操作时这些连接被激活，例如，SQL Server 数据库的数据对应关系由数据库的名称、数据库所驻留于的服务器的位置、用于访问该服务器的网络信息以及用户 ID 和密码组成。上述仅是作为数据对应关系的简单描述，其实际所采用的技术相当成熟，本领域技术人员可以根据上述描述或者本领域常用手段进行实现，在此不进一步的描述。

在本发明实施例中，数据共享就是让在不同地方使用不同计算机、不同软件、不同数据库的用户能够读取他人数据并进行各种操作运算和分析。数据共享能够实现不同平台之间的数据共享，因此能够快速的获取源数据，进行数据归集管理。

在本发明实施例中，数据接口对接主要是用于不同系统、不同平台、不同数据库之间进行数据交换的一种方式，其具体的实现方式在本领域中属于成熟技术，在此亦不进一步展开描述。

另外，如图2所示，本发明实施例中提供了一种数据归集管理系统的工作流程图，其中流程图仅作为理解本发明实施例技术方案的示例，其实际的流程步骤顺序并非严格限制。

进一步的，在本发明实施例中，如图3所示，为本发明实施例中提供的文件模板数据归集模块的结构框图，具体的，文件模板数据归集模块100包括：

第一源数据源配置单元110，用于根据预设的数据目录与对应的源数据源建立数据对应关系；

第一数据采集任务创建单元120，用于创建数据采集任务，数据采集任务至少包括选择源数据源、选择对应源数据源的目标数据字段以及选择数据归集文件模板；在本发明实施例中，数据采集任务主要是用于规定数据获取的目标内容，有针对性的获取数据，提高数据归集管理的准确性。

第一数据归集单元130，用于执行数据采集任务，通过数据对应关系获取源数据源的目标数据字段，并将目标数据字段归集入数据归集文件模板，将归集后得到的数据归集文件上传客户端。在本发明实施例中，将目标数据字段归集入数据归集文件模板的方式包括填充、复制粘贴等，当然，上述仅是作为举例解释说明，并非对统计方式的具体限定。

在本发明实施例中，如图3所示，文件模板数据归集模块100还包括：

第一数据扫描检查单元140，用于在第一数据归集单元130将数据归集文件上传客户端时，核对数据归集文件是否有数据异常，若存在异常，则发出整改信号和/或调整数据归集文件对应属于异常的信息。

具体的，扫描检查包括但不限于数据是否缺失、遗漏、格式错误等，如果出现相对的数据异常，可以通过将该数据作为异常结果数据进行处理，提醒进行数据修复、数据更正等。

在本发明实施例中，如图3所示，文件模板数据归集模块100还包括：

第一源数据源核对调整单元150，用于实时获取源数据源的属性信息，若源数据源的属性信息发生改变，实时更新数据采集任务，源数据源的属性信息包括但不限于源数据源名称、创建日期、所包含数据内容中的一种或几种的组合。

具体的，数据源可能会进行一些自行的改变，比如数据的修改、更新、自身系统的升级等，比如数据目录对应的源数据存在信息资源字段级别的变化，将在本系统中检测到该变化，并且可以通过修改数据采集任务予以调整，保证数据采集任务的顺畅衔接，保证数据质量。

在本发明实施例中，如图4所示，为本发明实施例中提供的共享交换数据归集模块的结构框图，具体的，共享交换数据归集模块200包括：

第二源数据源配置单元210，用于根据预设的数据目录与对应的源数据源建立数据共享连接；

数据交换任务创建单元220，用于创建数据交换任务，数据交换任务至少包括选择源数据源、选择对应源数据源的源数据、数据交换周期以及数据交换方式；具体的，比如，可以是创建数据交换任务，选择源数据源中需要交换的数据表，选择源数据，然后选择具体部门对应的以数据库方式共享的对应的需要归集数据的数据目录，系统将基于此数据目录自动在源数据源中创建目标表，然后匹配对应的源数据表，配置数据交换的周期、交换方式等配置项，从而完成数据交换任务的创建；和/或

数据交换单元230，用于执行数据交换任务，通过数据共享连接获取源数据源的源数据，并将源数据进行存储和/或上传；和/或

任务监控单元240，用于在数据交换单元执行数据交换任务时，检测任务执行是否顺畅，若出现任务故障，则进行标识和/或任务异常报警，任务故障至少包括数据读取故障和数据格式错乱故障中的一种或几种的组合。运行数据交换任务，同时监控数据交换任务的执行过程，若存在数据读、写等异常情况将会以告警方式通知到相应部门，同时标识出任务异常。

在本发明实施例中，如图5所示，为本发明实施例中提供的接口对接数据归集模块的结构框图，具体的，接口对接数据归集模块300包括：

数据接口配置单元310，用于根据预设的数据目录与对应的源数据源建立数据归集接口服务；

接口数据获取单元320，用于根据数据归集接口服务解析获取对应源数据源的源数据，并将源数据进行存储和/或上传；和/或

心跳监测单元330，用于在接口数据获取单元解析获取对应源数据源的源数据时，检测数据归集接口服务心跳是否正常，若出现心跳异常，则进行标识和/或心跳异常报警。

具体的，在本发明实施例中，数据所有方部门以接口方式准备好数据归集接口服务，同时将数据归集接口注册到数据网关；数据接收方部门（本系统）作为消费方从数据网关中获取相关的数据归集接口服务，并将解析结果数据落入数据存储的资源库中，数据网关将监控数据归集接口服务是否心跳正常，是否出现超时连接等异常情况，若出现异常，将会以告警方式通知到相应部门。

本发明提供的一种数据归集管理系统可以满足数据资源归集时以多种归集方式进行数据归集处理的业务场景需求，具体以文件模板、共享交换、接口对接的方式实现，减少数据归集过程中人工维护成本，减少人工干预和出错的几率。

实施例二

如图6所示，为本发明实施例中提供的一种数据归集管理方法的流程图，在一个实施例中，一种数据归集管理方法具体可以包括以下步骤：

步骤S602，根据预设的数据目录与对应的源数据源建立数据对应关系；其中，本系统与源数据源之间的数据对应关系可以是原来就已经进行了许可，然后在需要获取的数据的时候即时连接即可，也可以是在尚未获得数据对应关系许可的情况下，即时向源数据源发送许可请求，获的请求后进行数据对应关系。进行数据对应关系配置的时候，可以包括配置数据库连接方式，并测试连通性等，具体的数据对应关系操作和需求本领域技术人员可以根据实际需要进行设计，在此不进一步展开。

步骤S604，创建数据采集任务，数据采集任务至少包括选择源数据源、选择对应源数据源的目标数据字段以及选择数据归集文件模板；在本发明实施例中，数据采集任务主要是用于规定数据获取的目标内容，有针对性的获取数据，提高数据归集管理的准确性。

步骤S606，执行数据采集任务，通过数据对应关系获取对应源数据源的目标数据字段，并将目标数据字段归集入数据归集文件模板，将归集后得到的数据归集文件上传客户端。在本发明实施例中，将目标数据字段归集入数据归集文件模板的方式包括填充、复制粘贴等，当然，上述仅是作为举例解释说明，并非对统计方式的具体限定。

在一个实施例中，如图7所示，数据归集管理方法还可以包括以下步骤：

步骤S608，在将数据归集文件上传客户端时，核对数据归集文件是否有数据异常，若存在异常，则发出整改信号和/或调整数据归集文件对应属于异常的信息；具体的，核对包括但不限于数据是否缺失、遗漏、格式错误等，如果出现相对的数据异常，可以通过将该数据作为异常结果数据进行处理，提醒进行数据修复、数据更正等。

步骤S610，实时获取源数据源的属性信息，若源数据源的属性信息发生改变，实时更新数据采集任务，源数据源的属性信息包括但不限于源数据源名称、创建日期、所包含数据内容中的一种或几种的组合。具体的，数据源可能会进行一些自行的改变，比如数据的修改、更新、自身系统的升级等，比如数据目录对应的源数据存在信息资源字段级别的变化，将在本系统中检测到该变化，并且可以通过修改数据采集任务予以调整，保证数据采集任务的顺畅衔接，保证数据质量。

本发明提供的一种数据归集管理方法在数据资源归集时以文件模板数据统计的方式实现，减少数据归集过程中人工维护成本，减少人工干预和出错的几率，同时模板式的统计方式能够排出其他非必要数据的干扰，极大的提高了数据归集管理效率。

实施例三

如图8所示，为本发明实施例中提供的一种数据归集管理装置的结构框图，在一个实施例中，一种数据归集管理装置具体可以包括：

第三源数据源配置单元810，用于根据预设的数据目录与对应的源数据源建立数据对应关系；其中，本系统与源数据源之间的数据对应关系可以是原来就已经进行了许可，然后在需要获取的数据的时候即时连接即可，也可以是在尚未获得数据对应关系许可的情况下，即时向源数据源发送许可请求，获的请求后进行数据对应关系。进行数据对应关系配置的时候，可以包括配置数据库连接方式，并测试连通性等，具体的数据对应关系操作和需求本领域技术人员可以根据实际需要进行设计，在此不进一步展开。

第二数据采集任务创建单元820，用于创建数据采集任务，数据采集任务至少包括选择源数据源、选择对应源数据源的目标数据字段以及选择数据归集文件模板；在本发明实施例中，数据采集任务主要是用于规定数据获取的目标内容，有针对性的获取数据，提高数据归集管理的准确性。

第二数据归集单元830，用于执行数据采集任务，通过数据对应关系获取对应源数据源的目标数据字段，并将目标数据字段归集入数据归集文件模板，将归集后得到的数据归集文件上传客户端。在本发明实施例中，将目标数据字段归集入数据归集文件模板的方式包括填充、复制粘贴等，当然，上述仅是作为举例解释说明，并非对统计方式的具体限定。

在一个实施例中，如图9所示，数据归集管理装置还可以包括：

第二数据扫描检查单元840，用于在第二数据归集单元830将数据归集文件上传客户端时，核对数据归集文件是否有数据异常，若存在异常，则发出整改信号和/或调整数据归集文件对应属于异常的信息；具体的，核对包括但不限于数据是否缺失、遗漏、格式错误等，如果出现相对的数据异常，可以通过将该数据作为异常结果数据进行处理，提醒进行数据修复、数据更正等。

第二源数据源核对调整单元850，用于实时获取源数据源的属性信息，若源数据源的属性信息发生改变，实时更新数据采集任务，源数据源的属性信息包括但不限于源数据源名称、创建日期、所包含数据内容中的一种或几种的组合。具体的，数据源可能会进行一些自行的改变，比如数据的修改、更新、自身系统的升级等，比如数据目录对应的源数据存在信息资源字段级别的变化，将在本系统中检测到该变化，并且可以通过修改数据采集任务予以调整，保证数据采集任务的顺畅衔接，保证数据质量。

本发明提供的一种数据归集管理装置在数据资源归集时以文件模板数据统计的方式实现，减少数据归集过程中人工维护成本，减少人工干预和出错的几率，同时模板式的统计方式能够排出其他非必要数据的干扰，极大的提高了数据归集管理效率。

实施例四

在一个实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

根据预设的数据目录与对应的源数据源建立数据对应关系；

创建数据采集任务，数据采集任务至少包括选择源数据源、选择对应源数据源的目标数据字段以及选择数据归集文件模板；

执行数据采集任务，通过数据对应关系获取对应源数据源的目标数据字段，并将目标数据字段归集入数据归集文件模板，将归集后得到的数据归集文件上传客户端。

图10示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。还可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。如图10所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏 。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现数据归集管理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行数据归集管理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

实施例五

在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

根据预设的数据目录与对应的源数据源建立数据对应关系；

创建数据采集任务，数据采集任务至少包括选择源数据源、选择对应源数据源的目标数据字段以及选择数据归集文件模板；

执行数据采集任务，通过数据对应关系获取对应源数据源的目标数据字段，并将目标数据字段归集入数据归集文件模板，将归集后得到的数据归集文件上传客户端。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据归集管理系统，其特征在于，包括：

文件模板数据归集模块，用于根据预设的数据目录与对应的源数据源建立数据对应关系，通过数据对应关系获取所述源数据源的目标数据字段，并将目标数据字段按照预设的数据归集文件模板进行归集，将归集后的数据进行存储和/或上传；和/或

共享交换数据归集模块，用于根据预设的数据目录与对应的源数据源建立数据共享连接，通过数据共享连接交换获取对应所述源数据源的源数据，将源数据进行存储和/或上传；和/或

接口对接数据归集模块，用于根据预设的数据目录与对应的源数据源建立数据归集接口服务，通过数据归集接口服务获取所述源数据源的源数据，将源数据进行存储和/或上传。

2.根据权利要求1所述的数据归集管理系统，其特征在于，所述文件模板数据归集模块包括：

第一源数据源配置单元，用于根据预设的数据目录与对应的源数据源建立数据对应关系；

第一数据采集任务创建单元，用于创建数据采集任务，所述数据采集任务至少包括选择源数据源、选择对应所述源数据源的目标数据字段以及选择数据归集文件模板；

第一数据归集单元，用于执行所述数据采集任务，通过所述数据对应关系获取所述源数据源的目标数据字段，并将目标数据字段归集入所述数据归集文件模板，将归集后得到的数据归集文件上传客户端。

3.根据权利要求2所述的数据归集管理系统，其特征在于，所述文件模板数据归集模块还包括：

第一数据扫描检查单元，用于在所述第一数据归集单元将所述数据归集文件上传客户端时，核对所述数据归集文件是否有数据异常，若存在异常，则发出整改信号和/或调整所述数据归集文件对应属于异常的信息。

4.根据权利要求1所述的数据归集管理系统，其特征在于，所述文件模板数据归集模块还包括：

第一源数据源核对调整单元，用于实时获取源数据源的属性信息，若源数据源的属性信息发生改变，实时更新所述数据采集任务，源数据源的属性信息包括但不限于源数据源名称、创建日期、所包含数据内容中的一种或几种的组合。

5.根据权利要求1所述的数据归集管理系统，其特征在于，所述共享交换数据归集模块包括：

第二源数据源配置单元，用于根据预设的数据目录与对应的源数据源建立数据共享连接；

数据交换任务创建单元，用于创建数据交换任务，所述数据交换任务至少包括选择源数据源、选择对应所述源数据源的源数据、数据交换周期以及数据交换方式；

数据交换单元，用于执行所述数据交换任务，通过所述数据共享连接获取源数据源的源数据，并将源数据进行存储和/或上传；和/或

任务监控单元，用于在所述数据交换单元执行所述数据交换任务时，检测任务执行是否顺畅，若出现任务故障，则进行标识和/或任务异常报警，所述任务故障至少包括数据读取故障和数据格式错乱故障中的一种或几种的组合。

6.根据权利要求1所述的数据归集管理系统，其特征在于，所述接口对接数据归集模块包括：

数据接口配置单元，用于根据预设的数据目录与对应的源数据源建立数据归集接口服务；

接口数据获取单元，用于根据所述数据归集接口服务解析获取对应源数据源的源数据，并将源数据进行存储和/或上传；和/或

心跳监测单元，用于在所述接口数据获取单元解析获取对应源数据源的源数据时，检测数据归集接口服务心跳是否正常，若出现心跳异常，则进行标识和/或心跳异常报警。

7.一种数据归集管理方法，其特征在于，包括以下步骤：

根据预设的数据目录与对应的源数据源建立数据对应关系；

创建数据采集任务，所述数据采集任务至少包括选择源数据源、选择对应所述源数据源的目标数据字段以及选择数据归集文件模板；

执行所述数据采集任务，通过所述数据对应关系获取对应源数据源的目标数据字段，并将目标数据字段归集入所述数据归集文件模板，将归集后得到的数据归集文件上传客户端。

8.一种数据归集管理装置，其特征在于，包括：

第三源数据源配置单元，用于根据预设的数据目录与对应的源数据源建立数据对应关系；

第二数据采集任务创建单元，用于创建数据采集任务，所述数据采集任务至少包括选择源数据源、选择对应所述源数据源的目标数据字段以及选择数据归集文件模板；

第二数据归集单元，用于执行所述数据采集任务，通过所述数据对应关系获取对应源数据源的目标数据字段，并将目标数据字段归集入所述数据归集文件模板，将归集后得到的数据归集文件上传客户端。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求7中所述数据归集管理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求7中所述数据归集管理方法的步骤。

Images