CN102546730B - 数据处理方法、装置及系统 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置及系统。其中数据处理方法包括：云计算平台将获取的数据进行处理，并将处理后的数据发送至数据处理服务器；所述数据处理服务器将所述云计算平台处理后的数据传输到数据仓库中。本发明的数据处理方法、装置及系统，通过云计算平台对数据进行抽取、处理，数据处理服务器将处理后的数据传输到数据仓库中，提高数据处理量，实现了海量数据处理，并且不会对现有架构进行太多改动，保持云平台的相对独立性，易于改造。云计算平台成本低、投资小、利旧率高，可以缓解系统扩容压力，降低系统成本。

Description

数据处理方法、装置及系统

技术领域

本发明涉及一种业务支撑技术，尤其涉及一种数据处理方法、装置及系统。

背景技术

数据处理系统架构：包括接口机、ETL服务器和数据仓库。其中接口机收集多个数据源的数据，ETL服务器从接口机抽取数据并进行转换处理后，将数据加载到数据仓库。

ETL是Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。ETL服务器负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

ETL中转换(也称数据处理)是最重要的步骤。现有ETL产品主要是单机版、串行工具，不能处理现网海量数据；其性能、扩展性也有瓶颈，不能满足现网需求。因此大部分数据处理任务由数据仓库承担，ETL的应用模式逐步从ETL发展成为ETLT模式(分为库外和库内数据处理)。这样，就会造成数据仓库承担任务重，性能压力大；架构决定其扩展性有瓶颈，可能无法承担未来海量数据处理；扩容成本高，利旧率低。

发明内容

本发明的目的在于，提供一种数据处理方法、装置及系统，提高数据处理量，对网络改造小，可行性高，成本低。

为实现上述目的，根据本发明的一个方面，提供一种数据处理方法，数据处理方法，包括：

云计算平台将获取的数据进行处理，并将处理后的数据发送至数据处理服务器；

所述数据处理服务器将所述云计算平台处理后的数据传输到数据仓库中。

优选地，该方法还包括：

接口机将接收到数据的数据量与预设的阈值进行比较，当数据量大于预设的阈值时，通知所述云计算平台抽取数据或将数据发送到云计算平台，当数据量小于预设的阈值时，通知所述数据处理服务器抽取数据或将数据发送到数据处理服务器；

所述云计算平台对获取的数据进行处理，并将处理后的数据发送至数据处理服务器；

所述数据处理服务器对获取的数据进行处理，并传输到数据仓库中，并将所述云计算平台处理后的数据传输到数据仓库中。

其中，所述接口机根据接收到数据的校验文件确定该数据的数据量大小。

另外，所述接口机监控接收到的数据，并根据接收到数据的校验文件对所述数据进行文件级检查；当数据出现错误时，所述接口机通知数据源重传数据。

所述云计算平台对获取的数据进行处理之前还包括：所述云计算平台根据抽取数据中的校验文件对所述数据进行文件级检查；当出现错误时，重新从所述接口机抽取数据。

所述云计算平台对获取的数据进行处理之前还包括：所述云计算平台对所述数据进行记录级检查，生成记录检查报告，并将所述记录检查报告返回给所述接口机；当出现错误时，所述接口机通知数据源重传数据。

所述数据处理服务器对所述云计算平台处理后的数据进行传输之前还包括：所述数据处理服务器所述云计算平台处理后的数据进行文件级检查。

更优地，该方法还包括：数据仓库将需要云计算平台处理的任务发送给所述云计算平台；所述云计算平台对所述任务进行处理后，通过所述数据处理服务器传输到所述数据仓库。

为实现上述目的，根据本发明的另一个方面，提供一种数据处理系统，包括：云计算平台，将获取的数据进行处理，并将处理后的数据发送至数据处理服务器；所述数据处理服务器，用于对所述云计算平台处理后的数据进行传输。

为实现上述目的，根据本发明的另一个方面，提供一种数据处理服务器，包括：传输模块，用于接收云计算平台处理后的数据，并传输到数据仓库。优选地，数据处理服务器还包括：接收模块，用于从接口机获取数据；处理模块，用于对获取的数据进行处理；所述传输模块，用于将处理后的数据传输到数据仓库。

更优地，数据处理服务器还包括：检查模块，用于并对所述云计算平台处理后的数据进行文件级检查。

为实现上述目的，根据本发明的另一个方面，提供一种云计算平台，包括：接收模块，用于从接口机获取数据；处理模块，用于对获取的数据进行处理，并将处理后的数据发送给数据处理服务器。

优选地，所述接收模块，用于从接口机获取数据量大于预设的阈值的数据。

更优地，云计算平台还包括：文件检查模块，用于根据获取数据中的校验文件，对数据进行文件级检查；和/或记录检查模块，用于对数据进行记录级检查，并生成记录检查报告。

更优地，云计算平台还包括：任务处理模块，用于处理数据仓库发送的任务，并将处理后的任务发送给数据处理服务器。

本发明的数据处理方法、装置及系统，通过由云计算平台获取数据，并对数据进行处理，数据处理服务器将处理后的数据传输到数据仓库，提高数据处理量，实现了海量数据处理，并且不会对现有架构进行太多改动，保持云平台的相对独立性，易于改造。云计算平台成本低、投资小、利旧率高，可以缓解系统扩容压力，降低系统成本。

附图说明

图1是本发明数据处理方法实施例的流程图；

图2是本发明数据处理方法另一实施例的流程图；

图3是本发明数据处理系统实施例的结构图；

图4是本发明数据处理系统中云计算平台的结构图；

图5是本发明数据处理系统中数据处理服务器的结构图；

图6是本发明应用于一级经分系统中的结构示意图；

图7是本发明应用于二级经分系统中的结构示意图。

具体实施方式

本发明保留原有架构的连接不变，在接口机和数据处理服务器(可以为ETL服务器，也可以为其他进行大数据量处理的服务器)之间新增云计算平台(BC-ET)。利用云计算平台对于海量数据的处理能力较强的特性，通过云计算平台从接口机抽取数据，进行处理后，将数据传输到数据处理服务器，通过数据处理服务器将数据传输入库，以提高数据处理量，降低数据响应时间。以下结合附图对本发明进行详细说明。

方法实施例

如图1所示，本发明数据处理方法第一实施例包括以下步骤：

步骤102，接口机接收多个数据源的数据；

步骤104，云计算平台从接口机抽取数据，或由接口机将数据发送给云计算平台；

步骤106，云计算平台将获取的数据进行处理，处理后发送给数据处理服务器；

步骤108，数据处理服务器将处理后的数据传输到数据仓库。

本实施例中，云计算平台可以执行数据处理服务器的所有数据处理功能，包括：数据检查、清洗、转换、汇总、关联等等。

第一方法实施例中，通过由云计算平台获取数据，并对数据进行处理，数据处理服务器将处理后的数据传输到数据仓库，提高数据处理量，降低数据响应时间，实现了海量数据处理，并且不会对现有架构进行太多改动，保持云平台的相对独立性，易于改造。云计算平台成本低、投资小、利旧率高，可以缓解系统扩容压力，降低系统成本。

优选地，由于数据处理服务器对于小数据量数据处理速度较快，而云计算平台对于大数据量数据处理比较有优势，因此为提高数据处理的效率，如图2所示，本发明还提供一种数据处理方法实施例，第二方法实施例包括以下步骤：

步骤202，接口机接收多个数据源的数据；

步骤204，接口机根据数据中的校验文件确定数据量的大小，判断数据量是否大于预设的阈值；如果是，执行步骤206；如果否，执行步骤210；

步骤206，由云计算平台从接口机抽取数据或由接口机将数据发送给云计算平台；

步骤208，云计算平台对获取的数据进行处理，处理后发送给数据处理服务器；

步骤210，数据处理服务器从接口机抽取数据由接口机将数据发送给数据处理服务器；

步骤212，数据处理服务器对获取的数据进行处理；

步骤214，数据处理服务器将自身处理后的数据及云计算平台处理后的数据都传输到数据仓库。

第二方法实施例中，通过根据数据量的大小，分别由云计算平台和数据处理服务器获取数据并进行处理，在由数据处理服务器统一将处理后的数据传输到数据仓库中。本实施例除了具有第一方法实施例的优点外，进一步提高了数据处理效率。

上述方法实施例中，步骤102/202中，接口机监控其接收的数据，具体地，数据从数据源传输至接口机时，先传输数据文件到指定目录，最后再传输校验文件到该指定目录，接口机监控指定目录，根据校验文件是否存在来判断数据文件是否完成传输。

当数据接收完毕，接口机根据校验文件对该数据进行文件级检查，主要检查数据是否正确，检查数据文件个数、数据文件名、数据文件大小、数据日期、记录数、单行记录长度等信息。当数据出现错误时，接口机通知数据源重传数据，如果数据正确，则执行步骤104或步骤204。

步骤104或步骤206，云计算平台从接口机获取到数据后，还进一步对数据进行检查，主要包括文件级检查和/或记录级检查。其中，文件级检查主要根据校验文件检查检查数据文件个数、数据文件名、数据文件大小等信息。当数据出现错误时，云计算平台重新从接口机获取数据。

记录级检查主要根据设定的记录级检查规则检查数据记录的业务逻辑是否正确，包括：主键检查、非规范编码检查、数据类型及格式检查、数据值域检查等，生成记录检查报告返回给接口机。当出现错误时，接口机通知数据源重传数据。云计算平台对数据进行文件级检查和/或记录级检查后，如果数据没有问题，才继续对获取到的数据进行处理。

步骤108或步骤214，由于云计算平台处理完成后，也会将校验文件传输至数据处理服务器的指定目录。ETL平台在传输数据之前，数据处理服务器通过监控是否存在校验文件来判断云计算平台处理是否完成，数据才从云计算平台传输至数据处理服务器。

数据处理服务器进一步对数据进行文件级检查，该文件级检查与云计算服务器的文件级检查相同，检查通过后才进行传输。如果数据没有校验报告或文件级检查不正确，则通知云计算平台重新传输数据。

通过接口机、云计算平台及数据处理服务器对数据的检查，保证数据处理各个阶段的准确性。

更优地，为减轻数据仓库的处理压力，云计算平台承担原本由数据仓库处理的任务，如对数据进行清洗、转换、汇总、关联等。数据仓库将需要云计算平台处理的任务发送给云计算平台；云计算平台对所述任务进行处理后，通过所述数据处理服务器传输到所述数据仓库。

系统实施例

如图3所示，本发明数据处理系统实施例包括：

云计算平台34，云计算平台将获取到的数据进行处理，并将处理后的数据发送至数据处理服务器；

数据处理服务器36，用于将云计算平台处理后的数据传输到数据仓库38。

本系统还包括：接口机32，其中：

接口机32，用于接口机根据数据中的校验文件确定数据量的大小，判断数据量是否大于预设的阈值，当数据量大于预设的阈值时，通知所述云计算平台抽取数据或将数据发送到云计算平台，当数据量小于预设的阈值时，通知所述数据处理服务器抽取数据或将数据发送到数据处理服务器；

云计算平台34，用于从接口机获取数据进行处理，并将处理后的数据发送至数据处理服务器；

数据处理服务器36，用于对获取的数据进行处理后传输到数据仓库中，并将所述云计算平台处理后的数据传输到数据仓库38中。

本实施例的数据处理系统，通过云计算平台获取数据并对数据进行处理，数据处理服务器将处理后的数据传输到数据仓库，提高数据处理量，实现了海量并行数据处理，并且不会对现有架构进行太多改动，保持云平台的相对独立性，易于改造。云计算平台成本低、投资小、利旧率高，可以缓解系统扩容压力，降低系统成本。

另外，通过根据数据量的大小，分别由云计算平台和数据处理服务器获取数据并进行处理，在由数据处理服务器统一将处理后的数据传输到数据仓库中，除了具有上述优点外，进一步提高了数据处理效率。

更优地，为减轻数据仓库的处理压力，本系统中：数据仓库38，用于存储数据处理服务器传输的数据，将需要云计算平台34处理的任务发送给云计算平台34；云计算平台34，还用于对任务进行处理后，通过数据处理服务器36传输到数据仓库38。

装置实施例一

如图4所示，本发明云计算平台34实施例包括：接收模块341，用于从接口机获取的数据；处理模块342，用于对抽取的数据进行处理，并将处理后的数据发送给数据处理服务器。

本实施例的云计算平台获取数据并进行处理，数据处理服务器对处理后的数据进行传输，提高数据处理量，实现了海量并行数据处理，并且不会对现有架构进行太多改动，保持云平台的相对独立性，易于改造。云计算平台成本低、投资小、利旧率高，可以缓解系统扩容压力，降低系统成本。

其中，接收模341块，用于从接口机32获取数据量大于预设的阈值的数据。通过根据数据量的大小，分别由云计算平台和数据处理服务器获取数据并进行处理，在由数据处理服务器统一将处理后的数据传输到数据仓库中，除了具有上述优点外，进一步提高了数据处理效率。

本实施例的云计算平台还包括：文件检查模块343，用于根据获取数据中的校验文件，对数据进行文件级检查；和/或记录检查模块344，用于对数据进行记录级检查，并生成记录校验文件。通过对数据的检查，保证获取、处理数据的准确性。

另外，为减轻数据仓库的处理压力，本实施例的云计算平台还包括：任务处理模块345，用于处理由数据仓库38发送的任务，如对数据进行清洗、处理、汇总、关联等。

本实施例中，云计算平台对数据处理的具体方式在专利号为ZL200910077660.9，发明名称为“一种数据处理方法及其系统”的发明专利申请中详细说明，在此不再赘述。

装置实施例二

如图5所示，本发明数据处理服务器36实施例包括：

传输模块363，用于接收云计算平台34处理后的数据，并传输到数据仓库。

本实施例的数据处理服务器仅用于对处理后的数据进行传输，这样，提高了数据处理量，实现了海量并行数据处理，并且不会对现有架构进行太多改动，保持云平台的相对独立性，易于改造。云计算平台成本低、投资小、利旧率高，可以缓解系统扩容压力，降低系统成本。

优选地，本实施例数据处理服务器36还包括：

接收模块361，用于从接口机获取数据量小于预设阈值的数据；

处理模块362，用于对抽取的数据进行处理；

传输模块363，用于将处理后的数据进行传输。

优选实施例中，根据数据量的大小，分别由云计算平台和数据处理服务器获取数据并进行处理，在由数据处理服务器统一将处理后的数据传输到数据仓库中，除了具有上述优点外，进一步提高了数据处理效率。

本实施例数据处理服务器36还包括：检查模块364，用于对云计算平台34处理后的数据进行文件级检查，保证传输文件的准确性。

本发明的数据处理方法、装置和系统的具体应用实例如下所示。

如图6所示，对采用本发明的一级经分系统架构进行详细描述：

各地方级的数据源，通过广域网将数据传输到接口机；

接口机，通过分析接口文件，比较数据量大小与预设的阈值，当数据量大于预设的阈值时，如话单类和日志类数据，通知云计算平台抽取数据或将数据发送到云计算平台，当数据量小于预设的阈值时，通知ETL服务器抽取数据或将数据发送到ETL服务器；

云计算平台，从接口机抽取海量级数据及其校验文件，进行记录级检查和空值转换处理后，通过数据交换将数据传输给ETL服务器，并给接口机返回记录级校验报告；

ETL服务器，把云计算平台处理后的数据加载到数据仓库；

数据仓库，对数据做其他处理。

在一级经分系统中，云计算平台和接口机之间的交互包括：

◆接口机将数据和校验文件传输到云计算平台；

◆云计算平台对接口机上数据监控并进行文件级检查；

◆云计算平台将记录级校验报告放入接口机固定路径。

云计算平台和ETL服务器之间的交互包括：

◆ETL服务器判断云计算平台约定输出目录中是否有校验文件；

◆ETL服务器从云计算平台获取相应的数据和校验文件到其receive目录。

其中，云计算平台承担任务包括：

◆对获取到的数据的文件级校验；

◆原来在ETL服务器中进行的记录级检查、空值转换；

◆原来在数据仓库中进行的记录级检查等等。

如图7所示，对地方级的二级经分系统架构进行详细描述：

接口机，从多个数据源获取数据；比较数据量大小与预设的阈值；对于数据量小于预设的阈值的数据直接由ETL服务器获取，对于数据量大于预设的阈值的海量数据(如话单类和日志类接口)由云计算平台获取；

ETL服务器获取数据并进行数据处理后，加载到数据仓库；

云计算平台，进行数据处理，同时，对于部分复杂度高、运行时间长的数据仓库内的数据处理操作可以移置到云计算平台，数据仓库将需要处理的数据从数据仓库输出到云计算平台；云计算平台承担数据仓库外的数据处理和部分数据仓库内的数据处理功能，包括文件处理、临时数据表转换、基础表汇总、中间表汇总等，云计算平台位于经分接口机和ETL加载服务器之间；

云计算平台将处理后的结果数据输出给ETL服务器，并加载数据仓库。

应说明的是：以上实施例仅用以说明本发明而非限制，本发明也并不仅限于上述举例，一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围中。

Claims (14)

1.一种数据处理方法，其特征在于，包括：

接口机将接收到数据的数据量与预设的阈值进行比较，当数据量大于预设的阈值时，通知云计算平台抽取数据或将数据发送到云计算平台，当数据量小于预设的阈值时，通知数据处理服务器抽取数据或将数据发送到数据处理服务器；

所述云计算平台对获取的数据进行处理，并将处理后的数据发送至数据处理服务器；

所述数据处理服务器对获取的数据进行处理，并传输到数据仓库中，并将所述云计算平台处理后的数据传输到数据仓库中。

2.根据权利要求1所述的数据处理方法，其特征在于，

所述接口机根据接收到的数据的校验文件确定该数据的数据量大小。

3.根据权利要求1所述的数据处理方法，其特征在于，还包括：

所述接口机监控接收到的数据，并根据接收到数据的校验文件对所述数据进行文件级检查；

当数据出现错误时，所述接口机通知数据源重传数据。

4.根据权利要求1-3中任意一项所述的数据处理方法，其特征在于，所述云计算平台对获取的数据进行处理之前还包括：

所述云计算平台根据抽取数据中的校验文件对所述数据进行文件级检查；

当出现错误时，重新从所述接口机抽取数据。

5.根据权利要求1-3中任意一项所述的数据处理方法，其特征在于，所述云计算平台在对获取的数据进行处理之前还包括：

所述云计算平台对所述数据进行记录级检查，生成记录检查报告，并将所述记录检查报告返回给所述接口机；

当出现错误时，所述接口机通知数据源重传数据。

6.根据权利要求1-3任意一项所述的数据处理方法，其特征在于，所述数据处理服务器对所述云计算平台处理后的数据进行传输之前还包括：

所述数据处理服务器对所述云计算平台处理后的数据进行文件级检查。

7.根据权利要求1所述的数据处理方法，其特征在于，还包括：

数据仓库将需要云计算平台处理的任务发送给所述云计算平台；

所述云计算平台对所述任务进行处理后，通过所述数据处理服务器传输到所述数据仓库。

8.一种数据处理系统，其特征在于，包括：

接口机，用于将接收到数据的数据量与预设的阈值进行比较，当数据量大于预设的阈值时，通知云计算平台抽取数据或将数据发送到云计算平台，当数据量小于预设的阈值时，通知数据处理服务器抽取数据或将数据发送到数据处理服务器；

所述云计算平台，用于对获取的数据进行处理，并将处理后的数据发送至数据处理服务器；

所述数据处理服务器，用于对获取的数据进行处理后传输到数据仓库中，并将所述云计算平台处理后的数据传输到数据仓库中。

9.根据权利要求8所述的数据处理系统，其特征在于，还包括：数据仓库，用于存储数据处理服务器传输的数据，将需要云计算平台处理的任务发送给所述云计算平台；

所述云计算平台，还用于对所述任务进行处理后，通过所述数据处理服务器传输到所述数据仓库。

10.一种数据处理服务器，其特征在于，包括：

接收模块，用于当接口机将接收到数据的数据量与预设的阈值进行比较，当数据量小于预设的阈值时，从接口机获取数据；

处理模块，用于对获取的数据进行处理；

传输模块，用于将处理后的数据传输到数据仓库，

在接口机将接收到数据的数据量与预设的阈值进行比较，数据量大于预设的阈值时，接口机通知云计算平台抽取数据或将数据发送到所述云计算平台，所述云计算平台对获取的数据进行处理后，所述传输模块还用于接收所述云计算平台处理后的数据，并传输到数据仓库。

11.根据权利要求10所述的数据处理服务器，其特征在于，还包括：

检查模块，用于对所述云计算平台处理后的数据进行文件级检查。

12.一种云计算平台，其特征在于，包括：

接收模块，用于当接口机将接收到数据的数据量与预设的阈值进行比较，当数据量大于预设的阈值时，从接口机获取数据；如果数据量小于预设的阈值时，所述接口机通知数据处理服务器抽取数据或将数据发送到数据处理服务器，由所述数据处理服务器对获取的数据进行处理；

处理模块，用于对获取的数据进行处理，并将处理后的数据发送给数据处理服务器，由所述数据处理服务器传输到数据仓库中。

13.根据权利要求12所述的云计算平台，其特征在于，还包括：

文件检查模块，用于根据获取数据中的校验文件，对数据进行文件级检查；

和/或记录检查模块，用于对数据进行记录级检查，并生成记录检查报告。

14.根据权利要求12所述的云计算平台，其特征在于，还包括：任务处理模块，用于处理数据仓库发送的任务，并将处理后的任务发送给数据处理服务器。