CN113138772B - 数据处理平台的构建方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了数据处理平台的构建方法、装置、电子设备和存储介质，涉及计算机技术领域。该方法的一具体实施方式包括：接收配置文件和业务代码；根据配置文件确定数据处理平台的配置参数，配置参数包括数据处理平台所使用的框架类型；根据配置参数、业务代码和与框架类型对应的数据处理组件模板，生成数据处理组件，数据处理组件包括数据接入层组件、数据计算层组件和数据写入层组件；根据数据接入层组件、数据计算层组件和数据写入层组件，构建数据处理平台。该实施方式能够避免需要花费较多的精力在业务代码的部署上，导致工作人员花费大量的时间，降低数据实时加工框架的开发效率。

Description

数据处理平台的构建方法、装置、电子设备和存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理平台的构建方法、装置、电子设备和存储介质。

背景技术

大数据实时处理，在企业级的数据处理中的应用越来越广泛。通常情况下，开发者通过代码开发出数据实时处理平台，数据实时加工平台可以接入源数据，并对其进行对应业务处理后，输出处理结果。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

开发者在进行实时数据处理平台开发时，除了要开发对源数据进行业务处理的业务代码外，还需要花费较多的精力在业务代码的部署上。例如，业务代码开发完成后，还需要编写相应的数据接入方式、数据结果存储方式等代码，以完成数据实施加工框架的整体流程，这就会导致工作人员花费大量的时间，从而降低数据实时加工框架的开发效率。

发明内容

有鉴于此，本发明实施例提供一种数据处理平台的构建方法、装置、系统和存储介质，能够避免开发者除了要开发对业务数据进行业务处理的业务代码外，还需要花费较多的精力在业务代码的部署上，导致工作人员花费大量的时间，降低数据实时加工框架的开发效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理平台的构建方法。

本发明实施例的一种数据处理平台的构建方法包括：接收配置文件和业务代码；

根据所述配置文件确定数据处理平台的配置参数，所述配置参数包括数据处理平台所使用的框架类型；根据所述配置参数、所述业务代码和与所述框架类型对应的数据处理组件模板，生成数据处理组件，所述数据处理组件包括数据接入层组件、数据计算层组件和数据写入层组件；根据所述数据接入层组件、所述数据计算层组件和所述数据写入层组件，构建所述数据处理平台。

在一个实施例中，所述配置参数包括负载阈值和负载调整范围；

在所述通过所述数据加工组件和所述业务代码，构建所述数据处理平台之后，还包括：

通过所述数据接入层组件接入待处理数据；

通过所述数据计算层组件和所述数据写入层组件处理所述待处理数据，并获取所述待处理数据被处理时的负载状态；

根据所述负载阈值和所述负载调整范围，调整所述负载状态。

在又一个实施例中，所述配置参数包括存储位置信息，所述负载阈值包括计算层负载阈值，所述负载调整范围包括计算层负载调整范围；

所述通过所述数据计算层组件和所述数据写入层组件处理所述待处理数据，并获取所述待处理数据被处理时的负载状态，包括：

通过所述数据计算层组件处理所述待处理数据，得出处理结果，并获取所述待处理数据被处理时计算层的负载状态；

通过所述数据写入层组件，将所述处理结果写入与所述存储位置信息对应的存储位置；

所述根据所述负载阈值和所述负载调整范围，调整所述负载状态，包括：

根据所述计算层负载阈值和所述计算层的负载状态，判断所述数据计算层的负载是否需要调整；

若是，则根据计算层负载调整范围调整所述数据计算层的负载。

在又一个实施例中，所述配置参数包括存储位置信息，所述负载阈值包括写入层负载阈值，所述负载调整范围包括写入层负载调整范围；

所述通过所述数据计算层组件和所述数据写入层组件处理所述待处理数据，并获取所述待处理数据被处理时的负载状态，包括：

通过所述数据计算层组件处理所述待处理数据，得出处理结果；

通过所述数据写入层组件，将所述处理结果写入与所述存储位置信息对应的存储位置，并获取所述处理结果被处理时所述写入层的负载状态；

所述根据所述负载阈值和所述负载调整范围，调整所述负载状态，包括：

根据所述写入层负载阈值和所述写入层的负载状态，判断所述数据写入层的负载是否需要调整；

若是，则根据写入层负载调整范围调整所述数据写入层的负载。

在又一个实施例中，所述根据所述配置参数、所述业务代码和与所述框架类型对应的数据处理组件模板，生成数据处理组件，包括：

根据所述业务代码确定所述业务代码的目标类标识；

将所述数据处理组件模板中待替换参数替换为所述配置参数中对应参数，以及将所述数据处理组件待替换的类标识替换为所述目标类标识。

在又一个实施例中，所述根据所述数据接入层组件、所述数据计算层组件和所述数据写入层组件，构建所述数据处理平台，包括：

根据预设组件整合模板，通过所述数据接入层组件、所述数据计算层组件和所述数据写入层组件构建所述数据处理平台。

为实现上述目的，根据本发明的另一方面，提供了一种数据处理平台的构建装置。

本发明的一种数据处理平台的构建装置包括：接收单元，用于接收配置文件和业务代码；确定单元，用于根据所述配置文件确定数据处理平台的配置参数，所述配置参数包括数据处理平台所使用的框架类型；生成单元，用于根据所述配置参数、所述业务代码和与所述框架类型对应的数据处理组件模板，生成数据处理组件，所述数据处理组件包括数据接入层组件、数据计算层组件和数据写入层组件；构建单元，用于根据所述数据接入层组件、所述数据计算层组件和所述数据写入层组件，构建所述数据处理平台。

在一个实施例中，所述配置参数包括负载阈值和负载调整范围；所述装置还包括：

接入单元，用于通过所述数据接入层组件接入待处理数据；

获取单元，用于通过所述数据计算层组件和所述数据写入层组件处理所述待处理数据，并获取所述待处理数据被处理时的负载状态；

调整单元，用于根据所述负载阈值和所述负载调整范围，调整所述负载状态。

在又一个实施例中，所述配置参数包括存储位置信息，所述负载阈值包括计算层负载阈值，所述负载调整范围包括计算层负载调整范围；

所述获取单元，具体用于：

通过所述数据计算层组件处理所述待处理数据，得出处理结果，并获取所述待处理数据被处理时计算层的负载状态；

通过所述数据写入层组件，将所述处理结果写入与所述存储位置信息对应的存储位置；

所述调整单元，具体用于：

根据所述计算层负载阈值和所述计算层的负载状态，判断所述数据计算层的负载是否需要调整；

若是，则根据计算层负载调整范围调整所述数据计算层的负载。

在又一个实施例中，所述配置参数包括存储位置信息，所述负载阈值包括写入层负载阈值，所述负载调整范围包括写入层负载调整范围；

所述获取单元，具体用于：

通过所述数据计算层组件处理所述待处理数据，得出处理结果；

通过所述数据写入层组件，将所述处理结果写入与所述存储位置信息对应的存储位置，并获取所述处理结果被处理时所述写入层的负载状态；

所述调整单元，具体用于：

根据所述写入层负载阈值和所述写入层的负载状态，判断所述数据写入层的负载是否需要调整；

若是，则根据写入层负载调整范围调整所述数据写入层的负载。

在又一个实施例中，所述生成单元，具体用于：

根据所述业务代码确定所述业务代码的目标类标识；

将所述数据处理组件模板中待替换参数替换为所述配置参数中对应参数，以及将所述数据处理组件待替换的类标识替换为所述目标类标识。

在又一个实施例中，所述构建单元，具体用于：

根据预设组件整合模板，通过所述数据接入层组件、所述数据计算层组件和所述数据写入层组件构建所述数据处理平台。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种电子设备。

本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的数据处理平台的构建方法。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例提供的数据处理平台的构建方法。

上述发明中的一个实施例具有如下优点或有益效果：本发明实施例中，根据配置文件确定出配置参数，再根据数据处理组件模板、配置参数和业务代码可以生成数据处理组件，进而可以构建出数据处理平台。所以本发明实施例中，可以设置数据处理组件的模板，进而根据配置参数和业务代码生成数据处理组件，而不需要开发人员在对数据接入方式、数据结果存储方式等代码进行开发，从而降低开发者在开发时花费的时间，进而提高数据实时加工框架的开发效率。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据处理平台的构建方法的一种主要流程的示意图；

图2是根据本发明实施例的数据处理平台的构建系统的一种示意图；

图3是根据本发明实施例的数据处理平台的构建方法的又一种主要流程的示意图；

图4是根据本发明实施例的负载状态存储方式的一种的示意图；

图5是根据本发明实施例的负载状态调整方法的一种主要流程的示意图；

图6是根据本发明实施例的数据处理平台的构建装置的主要单元的示意图；

图7是本发明实施例可以应用于其中的一种示例性系统架构图；

图8是适于用来实现本发明实施例的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以互相组合。

本发明实施例中，数据处理平台可以用于对数据进行处理场景，例如，在企业级的大数据进行实时处理的场景。

本发明实施例提供了一种数据处理平台的构建方法，该方法可由终端设备执行，如图1所示，该方法可以包括以下步骤。

S101：接收配置文件和业务代码。

其中，配置文件和业务代码为开发人员开发的。业务代码表示对数据进行业务逻辑处理的代码。配置文件表示在数据处理过程中所需配置的参数信息。

S102：根据配置文件确定数据处理平台的配置参数。

其中，配置文件中包括各种需要的配置参数，例如，配置参数包括数据处理平台所使用的框架类型。

配置文件在解析后，可以得出用于配置确定数据处理平台的配置参数。框架类型表示实现数据处理平台所使用的框架类型，通常包括Storm、Flink、Spark Streaming等等，本发明实施例中，开发人员可以在配置文件中配置实现数据处理平台所使用的框架类型，然后基于配置的框架类型构建数据处理平台。

S103：根据配置参数、业务代码和与框架类型对应的数据处理组件模板，生成数据处理组件。

其中，数据处理组件包括数据接入层组件、数据计算层组件和数据写入层组件。

数据处理组件模板可以预先设置，并设置对应不同框架类型的数据处理组件模板。数据处理组件模板为将数据处理平台运行时除了对数据进行逻辑处理外的其他部分的功能集成，如数据接入方式、数据写入方式等等。对应每个框架类型的数据处理组件模板包括数据接入层组件、数据计算层组件和数据写入层组件。

本发明实施例的一种实施方式中，本步骤可以具体执行为：根据业务代码确定业务代码的目标类标识；将数据处理组件模板中待替换参数替换为配置参数中对应参数，以及将数据处理组件待替换的类标识替换为目标类标识。

数据处理组件中各种参数均可以设置为初始化值，在用于生成数据处理组件时，将各参数的初始化值替换为配置参数中的对应参数。配置文件中包括配置参数的标识和与标识对应的参数值，进而在生成数据处理组件时，可以根据配置参数的标识，将数据处理组件模板中与标识对应的初始化值替换为配置文件中与标识对应的参数值。业务代码中包括了业务代码的目标类标识，业务数据的处理是通过数据计算组件执行，在数据处理平台运行时数据计算层组件会通过业务代码的类标识代用业务代码，从而执行业务数据处理的逻辑，所以从业务代码中确定出目标类标识，在生成数据计算层组件时，将数据计算层组件中的类标识替换为目标类标识。

S104：根据数据接入层组件、数据计算层组件和数据写入层组件，构建数据处理平台。

其中，数据接入层组件用于接入待处理数据，数据计算层组件用于对待处理数据进行处理得出数据处理结果，数据写入层组件用于将数据处理的结果写入用于存储的位置。本步骤中可以通过数据接入层组件、数据计算层组件和数据写入层组件处理待处理数据的数据流向构建出数据处理平台的拓扑结构，进而构建出数据处理平台。

本发明实施例的一种实施方式中，本步骤可以具体执行为：根据预设组件整合模板，通过数据接入层组件、数据计算层组件和数据写入层组件构建数据处理平台。

本发明实施例中预先设置组件整合模板，通过组件整合模板可以将数据接入层组件、数据计算层组件和数据写入层组件整合串联，进而构建出数据处理平台。

本发明实施例中，根据配置文件确定出配置参数，再根据数据处理组件模板、配置参数和业务代码可以生成数据处理组件，进而可以构建出数据处理平台。所以本发明实施例中，可以设置数据处理组件的模板，进而根据配置参数和业务代码生成数据处理组件，而不需要开发人员在对数据接入方式、数据结果存储方式等代码进行开发，从而降低开发者在开发时花费的时间，进而提高数据实时加工框架的开发效率。

需要说明的是，本发明实施例，可以构建多个对应不同类型待处理数据的数据处理平台，对一种类型的待处理数据进行处理可以作为一个作业，不同的作业表示需要处理的待处理数据的类型不同。配置文件和业务代码为对同一种类型的待处理数据，也就是对应同一个作业，例如，报表数据的处理。由于属于同一个作业的待处理数据可以来自不同的消费者，所以一个作业的配置文件中可以包括多个消费者对应的配置参数，多个消费者对应的配置参数通过消费者编号区分。在构建数据处理平台后，根据待处理数据中包括的消费者编号确定对应配置参数，进而根据对应的配置参数进行处理。

结合图1实施例，本发明实施例中数据处理平台通过终端来构建，构建的过程可以如图2所示，图2为数据处理平台构建的一种系统示意图。如图2所示，终端可以包括作业解析模块、作业处理模块和实施集群。本发明实施例中作业表示一种类型待处理数据的处理，例如报表数据的处理。图2以对一种类型待处理数据的数据处理平台构建为例进行说明。

下面结合图1所示实施例、图2所示的构建数据处理平台的系统，对本发明实施例中构建一个作业对应数据处理平台的方法进行具体说明。本发明实施例提供了一种构建数据处理平台的方法，如图3所示，该方法包括以下步骤。

S301：解析和校验配置文件和业务代码。

其中，作业解析模块可以接收开发人员提交的配置文件和业务代码。

本发明实施例中可以引入pom文件，引入该pom文件之后，可以实现自动下载接入构建数据处理平台的系统所依赖的文件，基于这些文件来实现校验等过程。

本发明实施例中配置文件包括的配置参数可以如表1所示。在表1中，作用域于表示配置参数的标识名称，说明是表示对对应标识名称的解释说明。如表1所示，根据job.template和message.token可以确定出数据处理平台的框架类型和配置文件对应作业所包括待处理数据所属消费者编号。本发明实施例以message.token中只包括c0001为例进行说明，则对消费者编号为c0001的配置参数包括表1中除job.template和message.token外的各项参数。

表1

message.token表示作业需要处理数据的消费者编号集合，每一个编号表示此类型待处理数据所属消费者的编号，例如message.token可以包括c0001、c0002。className表示对应业务逻辑处理的类名，也就是对应业务代码的类标识。message.partition表示消息分区数，消息表示待处理数据，消息分区数可以表示待处理数据存储的分区数，消息会分成几个分区，即几个部分，不同的消息所具有的分区数是不同的，例如：kafka、mq中消息都是分区存在存储的。calParallelism表示数据计算层并行度，数据处理平台构建后通过计算层的多个实例并行对待处理数据进行处理，数据计算层的并行度表示计算层并行的实例个数。

cal_parallel_add_adjust表示计算组件自动扩容倍数，在判定计算层负载过大时需要增加计算层并行实例的个数，在增加计算层并行实例的个数后计算层并行实例的个数为cal_parallel_add_adjust和calParalleli sm的乘积；cal_parallel_minus_adjust表示计算组件自动缩容倍数，在判定计算层负载过小时需要减少计算层并行实例的个数，在减少计算层并行实例的个数后计算层并行实例的个数为cal_parallel_minus_adjust和calParallelism的乘积。spout_pending_add_adjust表示消费者对应的Sp out同时处理的数据量增加倍数，在判定计算层负载过大时需要增加消费者对应的Spout同时处理的数据量，在增加消费者对应的Spout同时处理的数据量后，消费者对应的Spout同时处理的数据量为spout_pending_add_adjust和spoutpending的乘积；spout_pending_minus_adjust表示消费者对应的Spout同时处理的数据量减少倍数，在判定计算层负载过小时需要减少消费者对应的Spout同时处理的数据量，在减少消费者对应的Spout同时处理的数据量后，消费者对应的Spout同时处理的数据量为spout_pending_minus_adjust和spoutpending的乘积。

db_ip_database_table表示数据存储介质的属性设置作用域，数据处理平台对消费者编号为c0001的待处理数据处理后得的处理结果，需要存储到存储介质中，则db_ip_database_table表示对存储处理结果的写入存储介质的属性设置，表1中在其之后的各项配置参数即为数据写入存储介质进行属性设置的参数。write_parallel_add_adjust表示写入组件自动扩容倍数，在判定写入层负载过大时需要增加写入层并行实例的个数，此时则根据write_parallel_add_adjust进行调整；write_parallel_minu s_adjust表示写入组件自动缩容倍数，在判定写入层负载过小时需要减少写入层并行实例的个数，此时则根据write_parallel_minus_adjust进行调整。

例如，以配置文件包括表1中所示的参数为例，设置配置参数的值具体如下所述。job.template的值为Storm、Flink、Spark等，message.to ken的值为m0001、m0002。对于message.token值为m0001的参数值设置为：className值为com.wl.data.process.messageProcess，message.partiti on值为1，spoutPending值为1000，hashFiled值为field1，calParallelism值为2，autoAdjustParallelism值为true，cal_avg_threshold_upper值为0.9，cal_avg_threshold_lower值为0.5，cal_report_frequency值为1s，cal_paral lel_add_adjust值为1.2，cal_parallel_minus_adjust值为0.8，spout_pendin g_add_adjust值为1.2，spout_pending_minus_adjust值为0.8。对于db_ip_database_table中参数值设置为，writeStore值为1000，dbProperty值为(“ip”:”数据存储IP”，“database”:”库名”，table”:”表名)，mer geFlag值为1000，commitTupleSize值为1000，commitDocSize值为500，commitTimeLength值为1s，autoAdjustWriteParallelism值为true，write_avg_threshold_upper值为0.9，write_avg_threshold_lower值为0.5，write_report_frequency值为1s，write_parallel_add_adjust值为1.2，write_parall el_minus_adjust值为0.8。通过解析即可得出各参数配置的参数值。

需要说明的是，表1为以message.token中只包括c0001为例进行说明，如果message.token中包括多个消费者编号，例如包括c0001和c0002，则配置文件中还需要包括与c0002对应的配置参数，即与c0002对应的、表1中除job.template和message.token外的其他配置参数。

本步骤中，接收业务代码后，可以根据配置文件中解析出的类标识校验业务代码中与类标识对应的类(className)是否存在，以及校验与类标识对应类是否实现了接口CommonProcess，该接口是通用业务处理接口，实现接口CommonProcess包括实现其中的方法，该方法为编写业务代码的方法，方法名可以为handleMessageForCal。

以Java校验为例，校验是否实现了接口类可以为：第一步，利用类的反射机制，根据实现类的类名获取实现类的Class对象A；第二步，利用类的反射机制，根据接口类的类名取接口类的Class对象B；第三步：调用方法B.isAssignableFrom(A)，此方法是Java提供方法，如果返回tru e代表实现类A已经实现了接口类B。

如果配置文件和业务代码均解析并校验成功，则作业解析模块可以将业务代码上传到用于存储的服务器，以及将配置文件上传到集群状态收集模块存储，并同时发送消息通知作业处理模块，以便作业处理模块执行后续流程。如果配置文件和业务代码解析或校验不成功，则通知开发者进行修改。

S302：前置解析配置文件和业务代码。

如图2所示，作业处理模块通过消息接收器来接收到作业解析模块发送的通知消息后，可以执行组件生成的过程。通知消息中可以包括作业的业务类型，以及存储业务代码的服务器地址和存储配置文件的地址。作业处理模块根据通知消息可以对作业进行业务分类，并根据存储业务代码的服务器的地址下载业务代码，以及从存储配置文件的地址下载配置文件。作业处理模块在下载业务代码后，对业务代码进行解析，得出对应的业务逻辑，以及作业处理模块下载配置文件后，对配置文件解析，得出配置参数可以进行缓存。配置文件可以为一个键值对类型的文本，对其解析后得到具体的键值对对象，可以加载到内存或缓存中使用。

S303：生成数据处理组件。

其中，根据配置文件中得出的框架类型，可以确定出与框架类型对应的组件模板类型，进而可以获取到与框架类型对应的组件模板，组件模板通常为本地存储，以便于组件的生成。例如，框架类型对应Storm类型的Storm组件模板，框架类型对应Flink类型的Flink组件模板，框架类型对应Spark类型的Spark Streaming组件模板，以及其他框架类型的组件模板，如图2所示为Other类型。

获取到与框架类型对应的组件模板后，可以把配置文件中的每个配置参数加载到数据处理组件相应的参数中，从而得出数据处理组件，即形成可执行的实例。同时将业务代码的目标类标识加载到数据计算层组件模板中。数据处理层组件模板包括数据接入层组件模板、数据写入层组件模板、数据计算层组件模板，在生成组件时可以通过执行对应的代码生成组件的过程。如图2所示，具体可以为：获取本地的数据接入层组件模板，然后生成数据接入层组件；获取本地的数据计算层组件模板，然后生成数据计算层组件；获取本地的数据写入层组件模板，然后生成数据写入层组件。

以框架类型为Storm为例，生成组件的过程可以具体为：通过build Spout(Stringstr)方法生成构建spout数据接入层组件需要的spoutInfo对象，以及通过buildSpout(SpoutInfo spoutInfo)方法生成spout数据接入层组件；通过buildCalBolt(String str,Spout spout)方法生成构建数据计算层组件需要的boltInfo对象，以及通过buildCalBolt(BoltInfo boltInfo)方法生成数据计算层bolt组件；通过buildWriteBolt(String str,BoltInfo cal Bolt)方法生成构建数据写入层组件需要的boltInfo对象，以及通过buildWriteBolt(BoltInfo boltInfo)方法生成数据写入层bolt组件。

S304：根据本地组件整合模板组合代码包。

在生成数据处理组件后，可以将各组件整合成完整的待处理数据的处理架构，得到组合代码包。

如图2所示，组件整合可以通过组件整合模板实现，通过调用本地预存储的组件整合模板将数据接入层组件、数据计算层组件和数据写入层组件整合，得到组合代码包。

以框架类型为Storm类型的组件整合为例，对组件的整合可以包括：通过调用getFinalSpout方法获取数据接入层spout实例，通过调用getFin alCalBolt方法获取数据计算层bolt实例，通过调用getFinalWriteBolt方法获取数据写入层bolt实例，通过调用buildTopology方法构建最终的任务拓扑图，得到组合代码包。

S305：将组合代码包上传实时集群，构建数据处理平台。

其中，对组件整合后的组合代码包上传到集群中，从而构建出数据处理平台。实时集群中包括对应各框架类型的集群，本步骤中根据框架类型将组件代码包上传到对应的集群中。

需要说明的是，实时集群中可以用于多个数据处理平台的构建和运行，例如，不同作业对应的数据处理平台。对每个数据处理平台，如果配置文件中包括多个消费者编号对应的配置参数，则可以处理来自多个消费者的待处理数据。每个数据处理平台通过集群中的实例进行数据处理，对属于每个消费者编号的待处理数据处理时，计算层和写入层也可以并行运行多个实例进行数据处理。

S306：判断是否需要负载调整；若是，则执行步骤S307；若否，则不调整。

数据处理平台构建的系统还可以包括负载收集模块，负载收集模块可以对实时集群中运行的实例进行负载状态监控和收集，这些实例为数据处理平台在运行时执行对应功能。每个作业对应数据处理平台在处理每个消费者编号的待处理数据运行时计算层和写入层均可以能使用包含多个数据计算层实例和多个数据写入层实例，这些实例可以根据该消费者编号对应的相关配置参数运行，如spoutpending、calParallelism等参数，分别用于实现对待处理数据的处理，以及将对待处理数据的处理结果写入存储位置存储介质中。在不同的时间，各实例所处理的数据量是不断变化的，实例的负载也会随之一起变化，最小可以为0，最大可以为1。

在数据处理平台对待处理数据进行处理过程中，由于数据接入层的待处理数据的数据量会有很多，并且待处理数据的数据量并不是固定的，有时会阶段性的达到峰值或谷低。如此随着接入的待处理数据的数量变化，数据计算层和数据写入层的负载状态也会阶段性的达到峰值或谷低，为了避免集群运行负载过高或过低则需要对集群的负载进行调整，以保证待处理数据的数据量达到峰值时可以及时处理，不出现数据积压，以及待处理数据的数据流在谷底时进行缩容，节约资源的使用。

为了能够实时调整负载状态，本发明实施例中可以以每个作业中消费者编码包括的每个实例为单位实时监控和收集各集群中实例的运行情况，在各数据处理平台运行时，每个work进程可以启动一个后台线程，以实时监控各实例的负载状态。本发明实施例，在收集到负载状态后，可以通过树形结构来记录收集的负载状态，具体可以如图4所示。

本发明实施例中以每个作业中每个消费者编号对应的负载调整为单位，所以在图4中，每个Job对应一个作业，Job编号1可以表示编号1的作业中各消费者编号所包括实例的负载状态，图4中只示出一个，图4中通过树状图结构记录各实例的负载状态。

本步骤中，在收集出各Job包括实例的负载状态后，可以计算出各Job中各消费者编号包括实例的负载平均值，然后将负载平均值与对应消费者编号的配置参数中相关参数进行比较，进而判断出负载状态是否需要调整。

每个消费者编号的配置参数中可以包括负载阈值，表示负载状态的正常范围，或者负载状态不需要调整的范围，即负载状态处于阈值范围内时可以判定不需要调整。负载调整包括对数据计算层负载的调整和数据写入层负载的调整，所以负载阈值可以包括计算层负载阈值和写入层负载阈值，如表1所示，消费者编号c0001的计算层负载阈值包括cal_avg_threshold_upper和cal_avg_threshold_lower，从而可以确定出计算层负载阈值的最大值和最小值，消费者编号c0001的写入层负载阈值包括write_avg_threshold_upper和write_avg_threshold_lower，从而可以确定出写入层负载阈值的最大值和最小值。

通过收集的各Job包括实例的负载状态，进而确定出各消费者编号对应的待处理数据被处理时的负载状态，即计算层负载状态，以及确定出各消费者编号对应的处理结果被处理时写入层的负载状态，即写入层负载状态，然后将各消费者编号的计算层负载状态与该消费者编号的计算层负载阈值比较，将各消费者编号的写入层负载状态与该消费者编号的写入层负载阈值比较，判断出是否需要调整负载状态。

S307：调整集群的负载状态。

在确定负载状态需要调整后，可本步骤对负载状态进行调整。

配置参数中库可以包括负载调整范围，则本步骤根据负载调整范围来调整负载状态。

每个消费者编号的配置参数中可以预先配置对于计算层的负载调整参数和对于写入层的负载调整参数。例如，如表1所示，消费者编号c0001的计算层的负载调整参数可以包括cal_parallel_add_adjust、cal_pa rallel_minus_adjust、spout_pending_add_adjust和spout_pending_minu s_adjust；消费者编号c0001的写入层的负载调整参数可以包括write_par allel_add_adjust和write_parallel_minus_adjust。

需要说明的是，本发明实施例中在判断出需要调整负载状态后，可以先提示需要进行负载调整，在接收到调整的指令后，再进行调整，以满足用户对负载状态的需求。

基于图1和图3所示实施例，本发明提供一种负载状态调整的方法。以框架类型为Storm类型，配置参数为表1所示，对消费者编号为c0001的负载状态调整为例进行说明，如图5所示，该方法包括以下步骤。

S501：获取计算层负载状态和写入层负载状态。

本步骤中通过监控和收集实时集群中消费者编号为c0001的各实例的负载状态，可以确定出消费者编号为c0001的计算层负载状态和写入层负载状态。

S502：计算计算层负载状态的平均值。

计算层可以包括多个实例，每个实例均对应一个负载状态，则根据获取的计算层各实例的负载状态可以计算出计算层负载状态的平均值。

S503：判断是否小于cal_avg_threshold_upper，且大于cal_avg_thre shold_lower，若是，则不调整；若否，则执行步骤S504。

在计算出计算层负载状态的平均值后，可以判断其是否小于cal_av g_threshold_upper，且大于cal_avg_threshold_lower。根据表1所示配置参数中cal_avg_threshold_upper和cal_avg_threshold_lower可以确定出计算层负载阈值，在本步骤判断可以确定计算层负载状态的平均值是否处于计算层负载阈值的范围内，如果是，则不需要进行计算层负载状态调整；如果不是，则需要进行计算层负载状态调整，执行步骤S504。

S504：调整计算层负载状态。

对于Storm类型的计算层负载状态的调整，可以通过调整任务并行度和调整吞吐量的方式实现。

在计算层负载状态的平均值不小于cal_avg_threshold_upper时，根据配置参数中包括的cal_parallel_add_adjust和spout_pending_add_adjust，可以实现对并行度和吞吐量的增加，进而实现待处理数据的可以及时处理，不出现数据积压。在计算层负载状态的平均值不大于cal_avg_th reshold_lower时，可以根据配置参数中包括的cal_parallel_minus_adjust和spout_pending_minus_adjust可以实现对并行度和吞吐量的降低，从而实现资源节约。

S505：计算写入层负载状态的平均值。

写入层可以包括多个实例，每个实例对应一个负载状态，则根据获取的写入层各实例的负载状态计算出写入层负载状态的平均值。

S506：判断是否小于write_avg_threshold_upper，且大于write_avg_threshold_lower，若是，则不调整；若否，则执行步骤S507。

在计算出写入层负载状态的平均值后，可以判断其是否小于write_avg_threshold_upper，且大于write_avg_threshold_lower。根据表1中配置参数中write_avg_threshold_upper和write_avg_threshold_lower可以确定出写入层负载阈值，在本步骤判断可以确定写入层负载状态的平均值是否处于写入层负载阈值的范围内，如果是，则不需要进行写入层负载状态调整；如果不是，则需要进行写入层负载状态调整，执行步骤S507。

S507：调整写入层负载状态。

对于写入层负载状态的调整，可以通过调整任务并行度的方式实现。

在写入层负载状态的平均值不小于write_avg_threshold_upper时，根据配置参数中包括的write_parallel_add_adjust，可以实现对任务并行度的增加，进而实现处理结果的可以及时写入，不出现数据积压。在写入层负载状态的平均值不大于write_avg_threshold_lower时，可以根据配置参数中包括write_parallel_minus_adjust，可以实现对任务并行度的降低，从而实现资源节约。

为了解决现有技术存在的问题，本发明实施例提供了一种数据处理平台的构建的装置600，如图6所示，该装置600包括：

接收单元601，用于接收配置文件和业务代码；

确定单元602，用于根据所述配置文件确定数据处理平台的配置参数，所述配置参数包括数据处理平台所使用的框架类型；

生成单元603，用于根据所述配置参数、所述业务代码和与所述框架类型对应的数据处理组件模板，生成数据处理组件，所述数据处理组件包括数据接入层组件、数据计算层组件和数据写入层组件；

构建单元604，用于根据所述数据接入层组件、所述数据计算层组件和所述数据写入层组件，构建所述数据处理平台。

应理解的是，实施本发明实施例的方式与实施图2所示实施例的方式相同，在此不再赘述。

本发明实施例的一种实现方式中，所述配置参数包括负载阈值和负载调整范围；所述装置还包括：

接入单元，用于通过所述数据接入层组件接入待处理数据；

获取单元，用于通过所述数据计算层组件和所述数据写入层组件处理所述待处理数据，并获取所述待处理数据被处理时的负载状态；

调整单元，用于根据所述负载阈值和所述负载调整范围，调整所述负载状态。

本发明实施例的又一种实现方式中，所述配置参数包括存储位置信息，所述负载阈值包括计算层负载阈值，所述负载调整范围包括计算层负载调整范围；

所述获取单元，具体用于：

通过所述数据计算层组件处理所述待处理数据，得出处理结果，并获取所述待处理数据被处理时计算层的负载状态；

通过所述数据写入层组件，将所述处理结果写入与所述存储位置信息对应的存储位置；

所述调整单元，具体用于：

根据所述计算层负载阈值和所述计算层的负载状态，判断所述数据计算层的负载是否需要调整；

若是，则根据计算层负载调整范围调整所述数据计算层的负载。

本发明实施例的又一种实现方式中，所述配置参数包括存储位置信息，所述负载阈值包括写入层负载阈值，所述负载调整范围包括写入层负载调整范围；

所述获取单元，具体用于：

通过所述数据计算层组件处理所述待处理数据，得出处理结果；

通过所述数据写入层组件，将所述处理结果写入与所述存储位置信息对应的存储位置，并获取所述处理结果被处理时所述写入层的负载状态；

所述调整单元，具体用于：

根据所述写入层负载阈值和所述写入层的负载状态，判断所述数据写入层的负载是否需要调整；

若是，则根据写入层负载调整范围调整所述数据写入层的负载。

本发明实施例的又一种实现方式中，所述生成单元603，具体用于：

根据所述业务代码确定所述业务代码的目标类标识；

将所述数据处理组件模板中待替换参数替换为所述配置参数中对应参数，以及将所述数据处理组件待替换的类标识替换为所述目标类标识。

本发明实施例的又一种实现方式中，所述构建单元604，具体用于：

根据预设组件整合模板，通过所述数据接入层组件、所述数据计算层组件和所述数据写入层组件构建所述数据处理平台。

应理解的是，实施本发明实施例的方式与实施图2所示实施例的方式相同，在此不再赘述。

本发明实施例中，根据配置文件确定出配置参数，再根据数据处理组件模板、配置参数和业务代码可以生成数据处理组件，进而可以构建出数据处理平台。所以本发明实施例中，可以设置数据处理组件的模板，进而根据配置参数和业务代码生成数据处理组件，而不需要开发人员在对数据接入方式、数据结果存储方式等代码进行开发，从而降低开发者在开发时花费的时间，进而提高数据实时加工框架的开发效率。

根据本发明的实施例，本发明还提供了一种电子设备和一种可读存储介质。

本发明的电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例所提供的数据处理平台的构建方法。

图7示出了可以应用本发明实施例的数据处理平台的构建方法或数据处理平台的构建装置的示例性系统架构700。

如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的数据处理平台的构建方法一般由服务器705执行，相应地，数据处理平台的构建装置一般设置于服务器705中。

应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图8，其示出了适于用来实现本发明实施例的计算机系统800的结构示意图。图8示出的计算机系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分，上述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元、确定单元、生成单元和构建单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，接收单元还可以被描述为“接收单元的功能的单元”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行本发明所提供的数据处理平台的构建方法。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种数据处理平台的构建方法，其特征在于，包括：

接收配置文件和业务代码；

根据所述配置文件确定数据处理平台的配置参数，所述配置参数包括数据处理平台所使用的框架类型；

根据所述配置参数、所述业务代码和与所述框架类型对应的数据处理组件模板，生成数据处理组件，所述数据处理组件包括数据接入层组件、数据计算层组件和数据写入层组件；

根据所述数据接入层组件、所述数据计算层组件和所述数据写入层组件，构建所述数据处理平台；

所述根据所述配置参数、所述业务代码和与所述框架类型对应的数据处理组件模板，生成数据处理组件，包括：

根据所述业务代码确定所述业务代码的目标类标识；

将所述数据处理组件模板中待替换参数替换为所述配置参数中对应参数，以及将所述数据处理组件待替换的类标识替换为所述目标类标识。

2.根据权利要求1所述的方法，其特征在于，所述配置参数包括负载阈值和负载调整范围；

在所述构建所述数据处理平台之后，还包括：

通过所述数据接入层组件接入待处理数据；

通过所述数据计算层组件和所述数据写入层组件处理所述待处理数据，并获取所述待处理数据被处理时的负载状态；

根据所述负载阈值和所述负载调整范围，调整所述负载状态。

3.根据权利要求2所述的方法，其特征在于，所述配置参数包括存储位置信息，所述负载阈值包括计算层负载阈值，所述负载调整范围包括计算层负载调整范围；

所述通过所述数据计算层组件和所述数据写入层组件处理所述待处理数据，并获取所述待处理数据被处理时的负载状态，包括：

通过所述数据计算层组件处理所述待处理数据，得出处理结果，并获取所述待处理数据被处理时计算层的负载状态；

通过所述数据写入层组件，将所述处理结果写入与所述存储位置信息对应的存储位置；

所述根据所述负载阈值和所述负载调整范围，调整所述负载状态，包括：

根据所述计算层负载阈值和所述计算层的负载状态，判断所述数据计算层的负载是否需要调整；

若是，则根据计算层负载调整范围调整所述数据计算层的负载。

4.根据权利要求2所述的方法，其特征在于，所述配置参数包括存储位置信息，所述负载阈值包括写入层负载阈值，所述负载调整范围包括写入层负载调整范围；

所述通过所述数据计算层组件和所述数据写入层组件处理所述待处理数据，并获取所述待处理数据被处理时的负载状态，包括：

通过所述数据计算层组件处理所述待处理数据，得出处理结果；

通过所述数据写入层组件，将所述处理结果写入与所述存储位置信息对应的存储位置，并获取所述处理结果被处理时所述写入层的负载状态；

所述根据所述负载阈值和所述负载调整范围，调整所述负载状态，包括：

根据所述写入层负载阈值和所述写入层的负载状态，判断所述数据写入层的负载是否需要调整；

若是，则根据写入层负载调整范围调整所述数据写入层的负载。

5.根据权利要求1所述的方法，其特征在于，所述根据所述数据接入层组件、所述数据计算层组件和所述数据写入层组件，构建所述数据处理平台，包括：

根据预设组件整合模板，通过所述数据接入层组件、所述数据计算层组件和所述数据写入层组件构建所述数据处理平台。

6.一种数据处理平台的构建装置，其特征在于，包括：

接收单元，用于接收配置文件和业务代码；

确定单元，用于根据所述配置文件确定数据处理平台的配置参数，所述配置参数包括数据处理平台所使用的框架类型；

生成单元，用于根据所述配置参数、所述业务代码和与所述框架类型对应的数据处理组件模板，生成数据处理组件，所述数据处理组件包括数据接入层组件、数据计算层组件和数据写入层组件；

构建单元，用于根据所述数据接入层组件、所述数据计算层组件和所述数据写入层组件，构建所述数据处理平台；

所述生成单元，具体用于：

根据所述业务代码确定所述业务代码的目标类标识；

将所述数据处理组件模板中待替换参数替换为所述配置参数中对应参数，以及将所述数据处理组件待替换的类标识替换为所述目标类标识。

7.根据权利要求6所述的装置，其特征在于，所述配置参数包括负载阈值和负载调整范围；所述装置还包括：

接入单元，用于通过所述数据接入层组件接入待处理数据；

获取单元，用于通过所述数据计算层组件和所述数据写入层组件处理所述待处理数据，并获取所述待处理数据被处理时的负载状态；

调整单元，用于根据所述负载阈值和所述负载调整范围，调整所述负载状态。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。