CN114138762A - 数据加工方法、装置、存储介质以及终端 - Google Patents

Abstract

本申请公开了一种数据加工方法、装置、存储介质以及终端，首先确定目标业务对应的数据资源体系；再根据数据资源体系确定目标业务对应的数据来源系统，以及获取数据来源系统的数据来源信息；进一步采集数据来源系统的第一元数据，根据第一元数据创建目标数据库，以及存储目标数据至目标数据库；最后采集目标数据库的第二元数据，根据数据资源体系以及第二元数据对目标数据进行加工，生成目标业务的数据报表。由于在处理加工数据时，将集成数据、数据来源管理、接入数据、存储数据、加工数据等多个数据处理流程串联起来，这样数据加工方法适应性强，能够灵活调整，且保证了数据处理时不同流程之间的连贯性，提高数据加工效率和数据加工质量。

Description

数据加工方法、装置、存储介质以及终端

技术领域

本申请涉及数据集成加工技术领域，尤其涉及一种数据加工方法、装置、存储介质以及终端。

背景技术

随着时代的发展，各种信息逐渐以数据的形式进行表达和传递，但数据中包含了信息形式复杂，为了提取以及利用数据中的重要信息，往往需要对数据进行加工处理。

对于环境生态管理，通过对信息数据的加工处理能够很好地使工作人员快速获知各种生态环境相关情况，但目前生态环境数据的采集、存储、加工等操作都分别由不同的模块完成，在数据处理过程中会存在数据丢失、出错、重复等问题。

发明内容

本申请提供一种数据加工方法、装置、存储介质以及终端，可以解决相关技术中数据加工质量差、效率低的技术问题。

第一方面，本申请实施例提供一种数据加工方法，该方法包括：

确定目标业务对应的数据资源体系，以及初始化所述数据资源体系；

根据所述数据资源体系确定所述目标业务对应的数据来源系统，以及获取所述数据来源系统的数据来源信息；

根据所述数据来源信息采集所述数据来源系统的第一元数据，根据所述第一元数据创建目标数据库，以及存储所述数据来源系统中的目标数据至所述目标数据库；

采集所述目标数据库的第二元数据，根据所述数据资源体系以及所述第二元数据对所述目标数据进行加工，生成所述目标业务对应的数据报表。

第二方面，本申请实施例提供一种数据加工装置，该装置包括：

数据资源确定模块，用于确定目标业务对应的数据资源体系，以及初始化所述数据资源体系；

数据来源管理模块，用于根据所述数据资源体系确定所述目标业务对应的数据来源系统，以及获取所述数据来源系统的数据来源信息；

业务数据入库模块，用于根据所述数据来源信息采集所述数据来源系统的第一元数据，根据所述第一元数据创建目标数据库，以及存储所述数据来源系统中的目标数据至所述目标数据库；

数据加工模块，用于采集所述目标数据库的第二元数据，根据所述数据资源体系以及所述第二元数据对所述目标数据进行加工，生成所述目标业务对应的数据报表。

第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法的步骤。

第四方面，本申请实施例提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序适于由处理器加载并执行上述的方法的步骤。

本申请一些实施例提供的技术方案带来的有益效果至少包括：

本申请提供一种数据加工方法、装置、存储介质以及终端，首先确定目标业务对应的数据资源体系，以及初始化数据资源体系；再根据数据资源体系确定目标业务对应的数据来源系统，以及获取数据来源系统的数据来源信息；进一步根据数据来源信息采集数据来源系统的第一元数据，根据第一元数据创建目标数据库，以及存储数据来源系统中的目标数据至目标数据库；最后采集目标数据库的第二元数据，根据数据资源体系以及第二元数据对目标数据进行加工，生成目标业务对应的数据报表。由于在处理加工数据时，将集成数据、数据来源管理、接入数据、存储数据、加工数据等多个数据处理流程串联起来，这样数据加工方法适应性强，能够灵活调整，且保证了数据处理时不同流程之间的连贯性，提高数据加工效率和数据加工质量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据加工方法的示例性系统架构图；

图2为本申请实施例提供的一种数据加工方法的系统交互图；

图3为本申请实施例提供的一种数据加工方法的流程示意图；

图4为本申请另一实施例提供的一种数据加工方法的流程示意图；

图5为本申请实施例提供的一种数据加工系统的模块连接图；

图6为本申请实施例提供的一种数据加工装置的结构框图；

图7为本申请实施例提供的一种终端的结构示意图。

具体实施方式

为使得本申请的特征和优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

请参阅图1，图1为本申请实施例提供的一种数据加工方法的示例性系统架构图。

如图1所示，系统架构可以包括终端101、网络102和服务器103。网络102用于在终端101和服务器103之间提供通信链路的介质。网络102可以包括各种类型的有线通信链路或无线通信链路，例如：有线通信链路包括光纤、双绞线或同轴电缆的，无线通信链路包括蓝牙通信链路、无线保真(Wireless-Fidelity，Wi-Fi)通信链路或微波通信链路等。

终端101可以通过网络102与服务器103交互，以接收来自服务器103的消息或向服务器103发送消息，或者终端101可以通过网络102与服务器103交互，进而接收其他用户向服务器103发送的消息或者数据。终端101可以是硬件，也可以是软件。当终端101为硬件时，可以是各种电子设备，包括但不限于智能手表、智能手机、平板电脑、膝上型便携式计算机和台式计算机等。当终端101为软件时，可以是安装在上述所列举的电子设备中，其可以实现呈多个软件或软件模块(例如：用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不作具体限定。

服务器103可以是提供各种服务的业务服务器。需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。

应理解，图1中的终端、网络以及服务器的数目仅是示意性的，根据实现需要，可以是任意数量的终端、网络以及服务器。

请参阅图2，图2为本申请实施例提供的一种数据加工方法的系统交互图，可以理解的，本申请中交互的主体可以终端与数据来源系统，还可以是服务器与数据来源系统，下面以终端与数据来源系统为例，结合图1和图2介绍一种数据加工方法中系统交互过程。

S201、终端确定目标业务对应的数据资源体系，以及初始化数据资源体系。

可选地，确定目标业务对应的数据资源体系，包括：根据数据调研结果确定目标业务的集成数据，根据集成数据确定目标业务对应的各数据加工模板；根据各数据加工模板确定目标业务对应的数据资源体系。

S202、终端根据数据资源体系确定目标业务对应的数据来源系统，以及获取数据来源系统的数据来源信息。

可选地，数据来源信息至少包括数据来源系统对应的基本信息、归属信息、厂商信息、数据路径信息。

S203、终端根据数据来源信息采集数据来源系统的第一元数据，根据第一元数据创建目标数据库，以及存储数据来源系统中的目标数据至目标数据库。

可选地，存储数据来源系统中的目标数据至目标数据库，包括：根据数据资源体系采集数据来源系统中的目标数据；生成数据来源信息中的目标数据对应的存储任务，以及生成存储任务对应的监控任务；根据存储任务将目标数据存储至目标数据库，以及根据监控任务监控存储任务是否正常执行。

S204、终端采集目标数据库的第二元数据，根据数据资源体系以及第二元数据对目标数据进行加工，生成目标业务对应的数据报表。

可选地，根据数据资源体系以及第二元数据对目标数据进行加工，包括：根据数据资源体系配置目标业务对应的数据资源目录；根据第二元数据配置数据资源目录中的数据信息；根据数据信息配置目标业务的数据报表对应的查询排序条件。

可选地，生成目标业务对应的数据报表之后，还包括：生成与其他系统进行数据传输的服务接口，以及生成目标业务对应的初始化检索任务，初始化检索任务用于根据接收的指令对数据报表进行检索；生成数据质量校验任务，数据质量校验任务用于校验目标数据中出现的数据异常。

可选地，根据数据来源信息采集数据来源系统的第一元数据之后，还包括：对第一元数据进行异常检测，若第一元数据异常，则对第一元数据进行维护管理；和/或以及采集目标数据库的第二元数据之后，还包括：对第二元数据进行异常检测，若第二元数据异常，则对第二元数据进行维护管理。

在本申请实施例中，提供一种数据加工方法。首先确定目标业务对应的数据资源体系，以及初始化数据资源体系；再根据数据资源体系确定目标业务对应的数据来源系统，以及获取数据来源系统的数据来源信息；进一步根据数据来源信息采集数据来源系统的第一元数据，根据第一元数据创建目标数据库，以及存储数据来源系统中的目标数据至目标数据库；最后采集目标数据库的第二元数据，根据数据资源体系以及第二元数据对目标数据进行加工，生成目标业务对应的数据报表。由于在处理加工数据时，将集成数据、数据来源管理、接入数据、存储数据、加工数据等多个数据处理流程串联起来，这样的数据加工方法适应性强，能够灵活调整，且保证了数据处理时不同流程之间的连贯性，提高数据加工效率和数据加工质量。

由于在现有技术中，在面对大量数据进行处理加工以及应用时，一般由多个单独的系统分别处理相应部分，数据的采集、存储、加工等操作都分别由不同的模块完成，且在各种处理步骤中，人工参与的成分较大，数据在不同模块之间的交互容易出现差错，在数据处理过程中会存在数据丢失、出错、重复等问题，这就导致数据处理加工的效率低且质量差。

因此本申请实施例提供一种数据加工方法，以解决上述技术问题。

请参阅图3，图3为本申请实施例提供的一种数据加工方法的流程示意图。本申请实施例的执行主体可以是数据加工系统，也可以是系统中的服务器，还可以是系统中的任意终端。为方便描述，下面以执行主体是终端为例，介绍数据加工方法的具体执行过程。

如图3所示，数据加工方法至少可以包括：

S301、确定目标业务对应的数据资源体系，以及初始化数据资源体系。

可选地，随着近几年来大数据的发展，人们逐渐的通过数据获取需要的信息，而面对巨大、冗杂的数据，使得人们不容易从中筛选出有效信息，因此需要对于数据进行处理，使得各种数据的利用效率达到最大化。然而，在对数据进行处理加工时，往往需要经过数据采集、数据管理、数据存储、数据应用等多个步骤，而数据在多个步骤中进行变换时，容易出现遗漏、重复甚至出错的现象，因此使得多个步骤成为一个完整的过程，从数据采集、数据管理、数据加工等多方面基于对应的数据关系实现各步骤之间的连接，这样的数据加工方法适应性强，能够对多种不同类型的数据进行加工，也减少了人工参与成分，提高了数据加工效率和数据质量。

可选地，在对数据进行加工之前，首先可以根据目标业务明确需要对哪些数据进行处理，目标业务指当前需要处理的事务或需要达成的目标等，形式一般体现为系统化、具体化的任务，目标业务中包括了数据类型信息、数据来源信息、数据加工信息、以及最终希望达成的数据成果等指标，以指示出当前数据加工的数据对象以及数据相关信息。

可选地，根据目标业务可以确定出需要进行加工的数据信息，其中包括目标数据的类型、目标数据的数据表项、各数据表项之间的关系、目标数据的来源等，也即可以根据目标业务确定对应的数据资源体系，在确定数据资源体系之后，为了将数据资源体系作为后续数据加工的基础，需要对于数据资源体系进行初始化，就是把其中的相关数据设置为默认值，把该数据资源体系设置为默认状态，以确保数据资源体系的架构是完整的且其中没有无关数据，便于后续数据加工能够顺利进行。

S302、根据数据资源体系确定目标业务对应的数据来源系统，以及获取数据来源系统的数据来源信息。

可选地，根据目标业务确定对应的数据资源体系之后，数据资源体系的信息中包含了目标业务对应的数据来源系统信息，目标数据的来源系统记录了该目标数据的详细信息，至少包括类型、结构、属性、以及权重等能够详细描述目标数据以及目标数据信息的对应数据。在确定出数据来源系统之后，为了便于后续从数据来源系统获取目标业务对应的目标数据，需要首先确定出如何从数据来源系统中获取目标数据，因此需要获取数据来源系统的数据来源信息。

可选地，数据来源信息至少包括了数据来源系统对应的基本信息、归属信息、厂商信息、数据路径信息等重要信息，其中，数据来源系统的基本信息可以用于描述数据来源系统的主要数据类型、结构，根据归属信息可以明确数据来源系统中的数据归属设备以及设备对应的地址信息，厂商信息中包含了运维数据来源系统的厂商信息，数据路径信息包含了获取目标数据的路径以及相关密钥。容易理解的，上述数据来源信息中包含的具体信息以及信息的具体用处，均可以按照实际应用需求设置，本申请实施例对此不作限定。

可选地，与数据来源系统之间实现数据信息传输时，可以使用多种适配器以实现连接，其中适配器至少包括：KMX时序数据仓库适配器、KMX内容管理适配器、Kettle采集适配器、DB数据字典采集适配器、报表采集适配器和服务采集适配器。

S303、根据数据来源信息采集数据来源系统的第一元数据，根据第一元数据创建目标数据库，以及存储数据来源系统中的目标数据至目标数据库。

可选地，获取数据来源系统的数据来源信息之后，就可以根据数据来源信息采集数据来源系统中需要的目标数据。可以理解的，在采集目标数据之前，需要预先设置好采集到的目标文件的存储路径与存储位置，以便于后续对采集到的目标文件进行管理以及加工，那么就可以根据数据来源信息确定数据来源系统的第一元数据，元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(data about data)，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。

可选地，在采集到的数据来源系统的第一元数据之后，可以按照实际目标业务需求对第一元数据进行维护管理，针对目标业务与数据来源系统的差异对元数据的库表、字段等进行适应性调整，本申请对第一元数据是否进行维护调整，以及进行调整的方面、方法不作具体限定。

进一步地，由于元数据的形式一般为电子式目录，第一元数据能够准确的描述出数据来源系统的数据结构、数据库信息、数据之间的关联关系等，因此可以根据第一元数据创建目标数据库，用于存放从数据来源系统采集的目标数据，由于目标数据库是根据第一元数据创建的，保留了其中的各数据关联关系、数据结构、数据属性以及检索路径等信息，因此当目标数据存储至目标数据库时，就不会发生数据遗漏、混乱、无效等数据异常情况。在创建目标数据库之后，就可以从数据来源系统中采集目标业务对应的目标数据，并将目标数据存储在目标数据库中，以供后续进行加工处理。

S304、采集目标数据库的第二元数据，根据数据资源体系以及第二元数据对目标数据进行加工，生成目标业务对应的数据报表。

可选地，将目标数据存储到目标数据库中之后，就可以从目标数据库中直接调取需要处理的数据进行加工，因此需要采集目标数据库的第二元数据，这样可以根据第二元数据中的目标数据字段、库表等信息，对目标数据进行后续配置，以生成目标业务对应的数据报表。

可选地，在采集到的数据来源系统的第二元数据之后，可以按照实际目标业务需求对第二元数据进行维护管理，针对目标业务与数据来源系统的差异对元数据的库表、字段等进行适应性调整，本申请对第二元数据是否进行维护调整，以及进行调整的方面、方法不作具体限定。

进一步地，通过上述实施例的介绍可以知道，根据目标业务确定了对应的数据资源体系，那么在对目标数据进行配置时，就可以基于数据资源体系将对应的目标数据配置在相应位置，以生成最终的数据报表。

在本申请实施例中，提供一种数据加工方法。首先确定目标业务对应的数据资源体系，以及初始化数据资源体系；再根据数据资源体系确定目标业务对应的数据来源系统，以及获取数据来源系统的数据来源信息；进一步根据数据来源信息采集数据来源系统的第一元数据，根据第一元数据创建目标数据库，以及存储数据来源系统中的目标数据至目标数据库；最后采集目标数据库的第二元数据，根据数据资源体系以及第二元数据对目标数据进行加工，生成目标业务对应的数据报表。由于在处理加工数据时，将集成数据、数据来源管理、接入数据、存储数据、加工数据等多个数据处理流程串联起来，这样的数据加工方法适应性强，能够灵活调整，且保证了数据处理时不同流程之间的连贯性，提高数据加工效率和数据加工质量。

请参阅图4，图4为本申请另一实施例提供的一种数据加工方法的流程示意图。

如图4所示，数据加工方法至少可以包括：

S401、根据数据调研结果确定目标业务的集成数据，根据集成数据确定目标业务对应的各数据加工模板。

可选地，通过上述实施例的介绍，进行数据加工之前，需要先确定目标业务。其中，有多种方式可以实现确定目标业务，例如，可以将具体的任务需求确定为目标业务，也可以根据一些统计结果确定出相关的目标业务。在本申请实施例中，以通过调研统计的方式确定目标业务为例进行下述解释，可以通过相关数据调研结果中的数据来源系统清单、数据清单等，确定目标业务的集成范围和集成内容，通过数据调研结果还可以进一步确定出数据集成方式，也即根据数据调研结果确定目标业务的集成数据。

可选地，在确定目标业务的集成数据之后，由于在集成数据中包括了目标业务对应的目标数据的信息，因此可以根据集成数据确定出目标业务对应的各表项的信息，进而可以确定出目标业务对应的数据表项目录，如数据资源目录体系、数据集、数据集元数据、数据集信息项等多种目标业务所需的数据加工模板。

S402、根据各数据加工模板确定目标业务对应的数据资源体系，以及初始化数据资源体系。

可选地，确定目标业务对应的各数据加工模板后，可以通过对数据加工模板进行适应性调整，如调整命名、调整顺序、调整关联关系，进一步确定出目标业务对应的数据资源体系。通过上述实施例的介绍可以知道，在确定数据资源体系之后，为了将数据资源体系作为后续数据加工的基础，需要对于数据资源体系进行初始化，就是把其中的相关数据设置为默认值，把该数据资源体系设置为默认状态，以确保数据资源体系的架构是完整的且其中没有无关数据，便于后续数据加工能够顺利进行。

S403、根据数据资源体系确定目标业务对应的数据来源系统，以及获取数据来源系统的数据来源信息。

关于步骤S403，请参阅步骤S302中的详细记载，此处不再赘述。

S404、根据数据来源信息采集数据来源系统的第一元数据，根据第一元数据创建目标数据库。

关于步骤S404，请参阅步骤S303中的详细记载，此处不再赘述。

S405、根据数据资源体系采集数据来源系统中的目标数据。

可选地，通过上述实施例可以知道，根据数据来源系统的数据来源信息可以从数据来源系统中获取所需的目标数据，而目标业务对应的数据资源体系中包含了目标业务需要加工的目标数据信息，因此就可以根据数据来源信息进去数据来源系统，获取采集目标数据的权限与路径，再根据数据资源体系对目标数据进行采集。

S406、生成数据来源信息中的目标数据对应的存储任务，以及生成存储任务对应的监控任务。

可选地，从数据来源系统中采集目标数据之后，为了将其存储进已经创建好的目标数据库中，需要生成目标数据对应的存储任务，存储任务中至少包括需要存储的数据信息、数据存储路径信息、目标数据库信息等任务信息，同时，为了实时检测数据在存储时是否出现数据异常，可以在生成数据存储任务时，还生成存储任务对应的监控任务，用于监控数据在存储过程中是否发生遗漏、变化、错乱等异常情况，这样确保了数据完整性，便于相关工作人员及时对数据进行观测、调整，提高了数据加工效率。

可以理解的，存储任务和监控任务可以针对所有或部分被采集的目标数据，且存储任务和监控任务的设置方式可以是人为手动设置的，也可以是采集到的目标数据后自动生成的，还可以是根据某些预定条件自定义生成的本申请对存储以及监控的数据范围和任务设置方式不作具体限定。

S407、根据存储任务将目标数据存储至目标数据库，以及根据监控任务监控存储任务是否正常执行。

可选地，生成目标数据的存储任务和监控任务之后，可以根据存储任务将目标数据存储至目标数据库中，以及根据监控任务监控存储任务是否正常执行。若存储任务非正常执行，则可以对目标数据和/或存储任务进行调整，以保证后续数据加工正常进行。

S408、采集目标数据库的第二元数据。

可选地，将目标数据存储到目标数据库中之后，就可以从目标数据库中直接调取需要处理的数据进行加工，因此需要采集目标数据库的第二元数据，这样可以根据第二元数据中的目标数据字段、库表等信息，对目标数据进行后续配置，以生成目标业务对应的数据报表。

S409、根据数据资源体系配置目标业务对应的数据资源目录。

可选地，为了便于生成目标业务对应的数据报表，也即将目标数据按照目标业务需求配置在适合的目录下，以实现数据管理、数据检索、数据下载等操作，而数据资源目录又包括了目标业务对应的数据加工模板，那么可以在确定了目标业务的数据资源体系之后，根据数据资源体系配置目标业务对应的数据资源目录，结合目标业务实际需求进行目录分类适应性调整，删除其中多余的表项，增加其中未提供的表项，使得后续对目标数据进行配置时，可以不再重新配置目录。

S4010、根据第二元数据配置数据资源目录中的数据信息。

可选地，确定数据资源目录之后，还需要对数据进行配置，在数据配置时，可以依据具体的实际需求进行响应配置；也可以对用户使用需求进行调研，根据调研结果对应的用户查询需求、数据共享需求等进行数据配置。

可选地，通过上述实施例可以知道，第二元数据中包括了目标数据字段、库表等信息，基于第二元数据可以将目标数据配置对应的在数据资源目录中，以生成目标业务对应的数据报表。第二元数据中，至少包括了目标数据的数据集信息、数据集元数据信息、数据元信息等数据信息，那么可以根据其中的数据集信息进行数据集配置，基于数据加工模板，根据数据来源系统对应数据内容结合用户需求调整数据集，包括增删数据集，修改名称等；根据其中的数据集元数据信息进行数据集元数据配置，数据集元数据中包含了数据集属性信息，包括标识信息、数据覆盖时空范围、数据使用权限以及所属目录等，配置时可以根据目标数据和使用需求补充调整；以及根据数据元信息进行数据元配置，也即对数据集内容进行配置，将数据配置在数据集里的报表相应的指标或信息项位置中，配置的模板可根据实际需求调整。

S4011、根据数据信息配置目标业务的数据报表对应的查询排序条件。

可选地，配置数据资源目录中的数据信息后，就可以根据数据信息对报表检索相关任务进行配置，进行报表配置时，根据上述配置好的数据元，将每一个数据元关联采集的目标数据库的元数据，包括选库表、自动模糊匹配字段，建关联关系，配置报表对应的查询条件、排序条件，以生成数据报表。

S4012、生成目标业务对应的数据报表。

可选地，通过上述实施例的介绍可以知道，根据目标业务确定了对应的数据资源体系，那么在对目标数据进行配置时，就可以基于数据资源体系将对应的目标数据配置在相应位置，并配置出数据报表的查询条件以及排序条件，就可以直接生成最终的数据报表。

S4013、生成与其他系统进行数据传输的服务接口，以及生成目标业务对应的初始化检索任务。

可选地，考虑到实际情况中，为了方便用户使用不同端口均能获取需要的报表与数据，可以在生成目标业务对应的数据报表之后，将生成的报表，初始化到资源目录服务系统，便于用户浏览报表中的数据、查询数据、下载数据，以及生成与其他系统进行数据传输的服务接口，为其他交互系统提供数据接口调用服务，便于系统之间实现数据传输。基于此，可以直接生成检索初始化任务，将报表里的数据以明细数据的形式初始化到检索系统，供用户自定义搜索数据。其中，检索任务可以有固定的检索模板，例如在生态环境相关报表中，某地区月度树木生长率，某省年度空气污染情况等固定模板，也可以有用户自定义配置报表的数据项，例如用户通过勾选地区、项目、时间范围、影响因素等选项，根据选项进行对应的数据报表配置。本申请实施例对检索木板以及检索方式不作具体限定。

S4014、生成数据质量校验任务，数据质量校验任务用于校验目标数据中出现的数据异常。

可选地，在完成所有数据加工以及配置之后，还可以生成数据质量校验任务，实时校验报表中的数据集的数据更新及时性、与数据来源系统中数据库的数据一致性，及时发现报表中的数据异常，便于技术人员及时针对异常进行优化调整。

在本申请实施例中，提供一种数据加工方法。由于在处理加工数据时，将集成数据、数据来源管理、接入数据、存储数据、加工数据等多个数据处理流程串联起来，且在数据加工的全流程都实施数据监控，对数据进行实时观测、调整，确保了数据的完整性、准确性，并且生成了一系列应用配置，使得用户可以自定义浏览、检索、下载报表中的数据，这样的数据加工方法适应性强，能够灵活调整，且保证了数据处理时不同流程之间的连贯性，提高数据加工效率和数据加工质量。

请参阅图5，图5为本申请实施例提供的一种数据加工系统的模块连接图。

如图5所示，数据加工系统500包括：

需求调研模块510，用于获取目标业务的数据调研结果，以及获取用户需求调研分析结果；

数据资源确定模块520，用于确定目标业务对应的数据资源体系，以及初始化数据资源体系；

数据来源管理模块530，用于根据数据资源体系确定目标业务对应的数据来源系统，以及获取数据来源系统的数据来源信息；

业务数据入库模块540，用于根据数据来源信息采集数据来源系统的第一元数据，根据第一元数据创建目标数据库，以及存储数据来源系统中的目标数据至目标数据库；

数据加工模块550，用于采集目标数据库的第二元数据，根据数据资源体系以及第二元数据对目标数据进行加工，生成目标业务对应的数据报表。

产品应用模块560，用于整合匹配数据报表，以及入库目标业务对应的主题数据，根据主体数据调整目标业务对应的产品功能。

数据加工系统500中，各模块实现的功能与方法、各模块之间的数据传输关系均在上述实施例中有详细介绍，此处不再赘述。

请参阅图6，图6为本申请实施例提供的一种数据加工装置的结构框图。如图6所示，数据加工装置600包括：

数据资源确定模块610，用于确定目标业务对应的数据资源体系，以及初始化数据资源体系；

数据来源管理模块620，用于根据数据资源体系确定目标业务对应的数据来源系统，以及获取数据来源系统的数据来源信息；

业务数据入库模块630，用于根据数据来源信息采集数据来源系统的第一元数据，根据第一元数据创建目标数据库，以及存储数据来源系统中的目标数据至目标数据库；

数据加工模块640，用于采集目标数据库的第二元数据，根据数据资源体系以及第二元数据对目标数据进行加工，生成目标业务对应的数据报表。

可选地，数据资源确定模块610，还用于根据数据调研结果确定目标业务的集成数据，根据集成数据确定目标业务对应的各数据加工模板；根据各数据加工模板确定目标业务对应的数据资源体系。

可选地，业务数据入库模块630，还用于根据数据资源体系采集数据来源系统中的目标数据；生成数据来源信息中的目标数据对应的存储任务，以及生成存储任务对应的监控任务；根据存储任务将目标数据存储至目标数据库，以及根据监控任务监控存储任务是否正常执行。

可选地，数据加工模块640，还用于根据数据资源体系配置目标业务对应的数据资源目录；根据第二元数据配置数据资源目录中的数据信息；根据数据信息配置目标业务的数据报表对应的查询排序条件。

可选地，数据加工装置600，还包括应用配置模块，用于生成与其他系统进行数据传输的服务接口，以及生成目标业务对应的初始化检索任务，初始化检索任务用于根据接收的指令对数据报表进行检索；生成数据质量校验任务，数据质量校验任务用于校验目标数据中出现的数据异常。

可选地，数据加工装置600，还包括数据监控模块，用于对第一元数据进行异常检测，若第一元数据异常，则对第一元数据进行维护管理；和/或以及采集目标数据库的第二元数据之后，还包括：对第二元数据进行异常检测，若第二元数据异常，则对第二元数据进行维护管理。

可选地，数据来源信息至少包括数据来源系统对应的基本信息、归属信息、厂商信息、数据路径信息。

在本申请实施例中，提供一种数据加工装置，其中，数据资源确定模块，，用于确定目标业务对应的数据资源体系，以及初始化数据资源体系；数据来源管理模块，用于根据数据资源体系确定目标业务对应的数据来源系统，以及获取数据来源系统的数据来源信息；业务数据入库模块，用于根据数据来源信息采集数据来源系统的第一元数据，根据第一元数据创建目标数据库，以及存储数据来源系统中的目标数据至目标数据库；数据加工模块，用于采集目标数据库的第二元数据，根据数据资源体系以及第二元数据对目标数据进行加工，生成目标业务对应的数据报表。由于在处理加工数据时，将集成数据、数据来源管理、接入数据、存储数据、加工数据等多个数据处理流程串联起来，这样的数据加工方法适应性强，能够灵活调整，且保证了数据处理时不同流程之间的连贯性，提高数据加工效率和数据加工质量。

本申请实施例还提供了一种计算机存储介质，计算机存储介质可以存储有多条指令，指令适于由处理器加载并执行如上述实施例中的任一项的方法的步骤。

请参见图7，图7为本申请实施例提供的一种终端的结构示意图。如图7所示，终端700可以包括：至少一个终端处理器701，至少一个网络接口704，用户接口703，存储器705，至少一个通信总线702。

其中，通信总线702用于实现这些组件之间的连接通信。

其中，用户接口703可以包括显示屏(Display)、摄像头(Camera)，可选用户接口703还可以包括标准的有线接口、无线接口。

其中，网络接口704可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，终端处理器701可以包括一个或者多个处理核心。终端处理器701利用各种接口和线路连接整个终端700内的各个部分，通过运行或执行存储在存储器705内的指令、程序、代码集或指令集，以及调用存储在存储器705内的数据，执行终端700的各种功能和处理数据。可选的，终端处理器701可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。终端处理器701可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到终端处理器701中，单独通过一块芯片进行实现。

其中，存储器705可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选的，该存储器705包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器705可用于存储指令、程序、代码、代码集或指令集。存储器705可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器705可选的还可以是至少一个位于远离前述终端处理器701的存储装置。如图7所示，作为一种计算机存储介质的存储器705中可以包括操作系统、网络通信模块、用户接口模块以及数据加工程序。

在图7所示的终端700中，用户接口703主要用于为用户提供输入的接口，获取用户输入的数据；而终端处理器701可以用于调用存储器705中存储的数据加工程序，并具体执行以下操作：

确定目标业务对应的数据资源体系，以及初始化数据资源体系；

根据数据资源体系确定目标业务对应的数据来源系统，以及获取数据来源系统的数据来源信息；

根据数据来源信息采集数据来源系统的第一元数据，根据第一元数据创建目标数据库，以及存储数据来源系统中的目标数据至目标数据库；

采集目标数据库的第二元数据，根据数据资源体系以及第二元数据对目标数据进行加工，生成目标业务对应的数据报表。

在一些实施例中，终端处理器701在执行确定目标业务对应的数据资源体系时，具体执行以下步骤：根据数据调研结果确定目标业务的集成数据，根据集成数据确定目标业务对应的各数据加工模板；根据各数据加工模板确定目标业务对应的数据资源体系。

在一些实施例中，终端处理器701在执行存储数据来源系统中的目标数据至目标数据库时，具体执行以下步骤：根据数据资源体系采集数据来源系统中的目标数据；生成数据来源信息中的目标数据对应的存储任务，以及生成存储任务对应的监控任务；根据存储任务将目标数据存储至目标数据库，以及根据监控任务监控存储任务是否正常执行。

在一些实施例中，终端处理器701在执行根据数据资源体系以及第二元数据对目标数据进行加工时，具体执行以下步骤：根据数据资源体系配置目标业务对应的数据资源目录；根据第二元数据配置数据资源目录中的数据信息；根据数据信息配置目标业务的数据报表对应的查询排序条件。

在一些实施例中，终端处理器701在执行生成目标业务对应的数据报表之后，还具体执行以下步骤：生成与其他系统进行数据传输的服务接口，以及生成目标业务对应的初始化检索任务，初始化检索任务用于根据接收的指令对数据报表进行检索；生成数据质量校验任务，数据质量校验任务用于校验目标数据中出现的数据异常。

在一些实施例中，终端处理器701在执行根据数据来源信息采集数据来源系统的第一元数据之后，还具体执行以下步骤：对第一元数据进行异常检测，若第一元数据异常，则对第一元数据进行维护管理；和/或以及采集目标数据库的第二元数据之后，还包括：对第二元数据进行异常检测，若第二元数据异常，则对第二元数据进行维护管理。

可选地，数据来源信息至少包括数据来源系统对应的基本信息、归属信息、厂商信息、数据路径信息。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本申请所提供的一种数据加工方法、装置、存储介质以及终端的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据加工方法，其特征在于，所述方法包括：

确定目标业务对应的数据资源体系，以及初始化所述数据资源体系；

根据所述数据资源体系确定所述目标业务对应的数据来源系统，以及获取所述数据来源系统的数据来源信息；

根据所述数据来源信息采集所述数据来源系统的第一元数据，根据所述第一元数据创建目标数据库，以及存储所述数据来源系统中的目标数据至所述目标数据库；

采集所述目标数据库的第二元数据，根据所述数据资源体系以及所述第二元数据对所述目标数据进行加工，生成所述目标业务对应的数据报表。

2.根据权利要求1所述的方法，其特征在于，所述确定目标业务对应的数据资源体系，包括：

根据数据调研结果确定所述目标业务的集成数据，根据所述集成数据确定所述目标业务对应的各数据加工模板；

根据各数据加工模板确定所述目标业务对应的数据资源体系。

3.根据权利要求1或2所述的方法，其特征在于，所述存储所述数据来源系统中的目标数据至所述目标数据库，包括：

根据所述数据资源体系采集所述数据来源系统中的目标数据；

生成所述数据来源信息中的目标数据对应的存储任务，以及生成所述存储任务对应的监控任务；

根据所述存储任务将所述目标数据存储至所述目标数据库，以及根据所述监控任务监控所述存储任务是否正常执行。

4.根据权利要求1所述的方法，其特征在于，所述根据所述数据资源体系以及所述第二元数据对所述目标数据进行加工，包括：

根据所述数据资源体系配置所述目标业务对应的数据资源目录；

根据所述第二元数据配置所述数据资源目录中的数据信息；

根据所述数据信息配置所述目标业务的数据报表对应的查询排序条件。

5.根据权利要求4所述的方法，其特征在于，所述生成所述目标业务对应的数据报表之后，还包括：

生成与其他系统进行数据传输的服务接口，以及生成所述目标业务对应的初始化检索任务，所述初始化检索任务用于根据接收的指令对所述数据报表进行检索；

生成数据质量校验任务，所述数据质量校验任务用于校验所述目标数据中出现的数据异常。

6.根据权利要求1所述的方法，其特征在于，所述根据所述数据来源信息采集所述数据来源系统的第一元数据之后，还包括：

对所述第一元数据进行异常检测，若所述第一元数据异常，则对所述第一元数据进行维护管理；和/或

以及所述采集所述目标数据库的第二元数据之后，还包括：

对所述第二元数据进行异常检测，若所述第二元数据异常，则对所述第二元数据进行维护管理。

7.根据权利要求1所述的方法，其特征在于，所述数据来源信息至少包括所述数据来源系统对应的基本信息、归属信息、厂商信息、数据路径信息。

8.一种数据加工装置，其特征在于，所述装置包括：

数据资源确定模块，用于确定目标业务对应的数据资源体系，以及初始化所述数据资源体系；

数据来源管理模块，用于根据所述数据资源体系确定所述目标业务对应的数据来源系统，以及获取所述数据来源系统的数据来源信息；

业务数据入库模块，用于根据所述数据来源信息采集所述数据来源系统的第一元数据，根据所述第一元数据创建目标数据库，以及存储所述数据来源系统中的目标数据至所述目标数据库；

数据加工模块，用于采集所述目标数据库的第二元数据，根据所述数据资源体系以及所述第二元数据对所述目标数据进行加工，生成所述目标业务对应的数据报表。

9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～7任意一项的所述方法的步骤。

10.一种终端，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1～7任一项所述方法的步骤。

Images