CN115826980B - 数据处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种数据处理方法、装置、存储介质及电子设备，该数据处理方法通过获取待处理的空气质量数据的数据处理任务；获取所述数据处理任务对应的一个或多个目标处理子任务，不同的目标处理子任务表征不同的数据处理过程；根据每个所述目标处理子任务通过指定代码框架生成目标脚本，所述目标脚本包括消息生产者的脚本和消息消费者的脚本，所述目标脚本用于通过所述消息生产者和所述消息消费者处理所述空气质量数据，能够通过指定代码框架生成该数据处理任务对应的目标脚本，从而能够有效提升该数据处理任务对应目标脚本的生成效率，缩短相应软件开发的耗时。

Description

数据处理方法、装置、存储介质及电子设备

技术领域

本公开涉及计算机技术领域，具体地，涉及一种数据处理方法、装置、存储介质及电子设备。

背景技术

空气质量预报预警的相关业务中，通常会涉及到大量的异构数据解析与预处理的工作，例如需要对气象、遥感、数值模拟、统计分析、来源解析等不同格式的数据进行处理，其中，气象数据、数值模拟和来源解析会有网格化的二进制文件，也有文本形式的txt(文本文档)文件；遥感数据有tiff(tag image file format，标签图像文件格式)、png(portablenetwork graphics，便携式网络图形)图片、gif(Graphics Interchange Format，图形交换格式)动态图、点位的文本数据、会商报告等。在业务工作中，数据的解析和可视化通常是必要的处理过程，对如此多的数据格式，无论是解析、结果合并还是数据融合，数据处理过程都会相当繁琐；编码人员在进行相关业务软件程序的开发过程中，由于关于空气质量数据的数据处理过程繁琐，因此会存在编码效率低，软件开发过程耗时较长的问题。

发明内容

本公开的目的是提供一种数据处理方法、装置、存储介质及电子设备。

为了实现上述目的，本公开第一方面提供一种数据处理方法，所述方法包括：

获取待处理的空气质量数据的数据处理任务；

获取所述数据处理任务对应的一个或多个目标处理子任务，不同的目标处理子任务表征不同的数据处理过程；

根据每个所述目标处理子任务通过指定代码框架生成目标脚本，所述目标脚本包括消息生产者的脚本和消息消费者的脚本，所述目标脚本用于通过所述消息生产者和所述消息消费者处理所述空气质量数据。

可选地，所述指定代码框架包括任务创建函数框架和任务处理函数框架，所述任务创建函数框架，用于生成消息生产者的脚本，所述任务处理函数框架，用于生成消息消费者的脚本；所述根据每个所述目标处理子任务通过指定代码框架生成目标脚本，包括：

通过预设接口获取每个所述目标处理子任务对应的任务创建代码和任务处理代码，其中，所述任务创建代码，用于生成所述目标处理子任务对应的任务信息，所述任务处理代码，用于根据所述任务信息执行所述目标处理子任务；

将所述任务创建代码嵌入所述任务创建函数框架，以得到所述目标处理子任务对应的消息生产者的脚本；

将所述任务处理代码嵌入所述任务处理函数框架，以得到所述目标处理子任务对应消息消费者的脚本；

根据所述消息生产者的脚本和所述消息消费者的脚本生成所述目标脚本。

可选地，所述根据所述消息生产者的脚本和所述消息消费者的脚本生成所述目标脚本，包括：

将所述消息生产者的脚本和所述消息消费者的脚本作为所述目标脚本。

可选地，所述指定代码框架还包括运行网络环境检查函数框架和/或异常收录函数框架，所述运行网络环境检查函数框架，用于生成实施网络环境检查的脚本，所述异常收录函数框架，用于生成实施异常收集的脚本；

所述根据每个所述目标处理子任务通过指定代码框架生成目标脚本，还包括：

通过所述预设接口获取每个所述目标处理子任务对应的运行环境检查代码和/或异常收集代码，所述运行环境检查代码用于检查任务处理过程所需的运行网络环境，所述异常收集代码，用于收集在运行消息生产者的脚本和所述消息消费者的脚本的过程中的异常状况，并将所述异常状况存于存入指定数据库；

将所述运行环境检查代码嵌入所述运行网络环境检查函数框架，以得到所述目标处理子任务对应的实施网络环境检查的脚本；

将所述异常收集代码嵌入所述异常收录函数框架，以得到所述目标处理子任务对应实施异常收集的脚本。

可选地，所述根据所述消息生产者的脚本和所述消息消费者的脚本生成所述目标脚本，包括：

将所述实施网络环境检查的脚本和/或实施异常收集的脚本，以及所述消息生产者的脚本和所述消息消费者的脚本作为所述目标处理子任务的待用脚本；

根据每个所述目标处理子任务的所述待用脚本生成目标脚本。

可选地，所述根据每个所述目标处理子任务的所述待用脚本生成目标脚本，包括：

在确定所述数据处理任务包括多个目标处理子任务的情况下，获取预设的分布式任务处理的接口调用代码；

将每个所述目标处理子任务的所述待用脚本和所述接口调用代码作为所述目标脚本。

可选地，所述预设接口包括预设代码输入界面，所述通过所述预设接口获取每个所述目标处理子任务对应的运行环境检查代码和/或异常收集代码，包括：

通过预设代码输入界面获取用户输入的所述运行环境检查代码和/或异常收集代码。

可选地，所述方法还包括：

响应于接收到预设运行指令，运行所述目标脚本，以创建消息生产者和消息消费者，并通过所述消息生产者和所述消息消费者处理所述空气质量数据。

本公开的第二方面提供一种数据处理装置，所述装置包括：

第一获取模块，被配置为获取待处理的空气质量数据的数据处理任务；

第二获取模块，被配置为获取所述数据处理任务对应的一个或多个目标处理子任务，不同的目标处理子任务表征不同的数据处理过程；

生成模块，被配置为根据每个所述目标处理子任务通过指定代码框架生成目标脚本，所述目标脚本包括消息生产者的脚本和消息消费者的脚本，所述目标脚本用于通过所述消息生产者和所述消息消费者处理所述空气质量数据。

可选地，所述指定代码框架包括任务创建函数框架和任务处理函数框架，所述任务创建函数框架，用于生成消息生产者的脚本，所述任务处理函数框架，用于生成消息消费者的脚本；所述生成模块，被配置为：

通过预设接口获取每个所述目标处理子任务对应的任务创建代码和任务处理代码，其中，所述任务创建代码，用于生成所述目标处理子任务对应的任务信息，所述任务处理代码，用于根据所述任务信息执行所述目标处理子任务；

将所述任务创建代码嵌入所述任务创建函数框架，以得到所述目标处理子任务对应的消息生产者的脚本；

将所述任务处理代码嵌入所述任务处理函数框架，以得到所述目标处理子任务对应消息消费者的脚本；

根据所述消息生产者的脚本和所述消息消费者的脚本生成所述目标脚本。

可选地，所述生成模块，被配置为：

将所述消息生产者的脚本和所述消息消费者的脚本作为所述目标脚本。

可选地，所述指定代码框架还包括运行网络环境检查函数框架和/或异常收录函数框架，所述运行网络环境检查函数框架，用于生成实施网络环境检查的脚本，所述异常收录函数框架，用于生成实施异常收集的脚本；

所述生成模块，被配置为：

通过所述预设接口获取每个所述目标处理子任务对应的运行环境检查代码和/或异常收集代码，所述运行环境检查代码用于检查任务处理过程所需的运行网络环境，所述异常收集代码，用于收集在运行消息生产者的脚本和所述消息消费者的脚本的过程中的异常状况，并将所述异常状况存于存入指定数据库；

将所述运行环境检查代码嵌入所述运行网络环境检查函数框架，以得到所述目标处理子任务对应的实施网络环境检查的脚本；

将所述异常收集代码嵌入所述异常收录函数框架，以得到所述目标处理子任务对应实施异常收集的脚本。

可选地，所述生成模块，被配置为：

将所述实施网络环境检查的脚本和/或实施异常收集的脚本，以及所述消息生产者的脚本和所述消息消费者的脚本作为所述目标处理子任务的待用脚本；

根据每个所述目标处理子任务的所述待用脚本生成目标脚本。

可选地，所述生成模块，被配置为：

在确定所述数据处理任务包括多个目标处理子任务的情况下，获取预设的分布式任务处理的接口调用代码；

将每个所述目标处理子任务的所述待用脚本和所述接口调用代码作为所述目标脚本。

可选地，所述预设接口包括预设代码输入界面，所述生成模块，被配置为：

通过预设代码输入界面获取用户输入的所述运行环境检查代码和/或异常收集代码。

可选地，所述装置还包括：

运行模块，被配置为响应于接收到预设运行指令，运行所述目标脚本，以创建消息生产者和消息消费者，并通过所述消息生产者和所述消息消费者处理所述空气质量数据。

本公开的第三方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上第一方面所述方法的步骤。

本公开的第四方面提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现以上第一方面所述方法的步骤。

上述技术方案，通过获取待处理的空气质量数据的数据处理任务；获取所述数据处理任务对应的一个或多个目标处理子任务，不同的目标处理子任务表征不同的数据处理过程；根据每个所述目标处理子任务通过指定代码框架生成目标脚本，所述目标脚本包括消息生产者的脚本和消息消费者的脚本，所述目标脚本用于通过所述消息生产者和所述消息消费者处理所述空气质量数据，能够通过指定代码框架生成该数据处理任务对应的目标脚本，从而能够有效提升该数据处理任务对应目标脚本的生成效率，缩短相应软件开发的耗时。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是本公开一示例性实施例示出的一种数据处理方法的流程图；

图2是本公开一示例性实施例示出的一种数据处理方法的示意图，

图3是本公开以示例性实施例示出的一种代码逻辑框架示意图；

图4是根据本公开图2所示实施例示出的一种数据处理方法的流程图；

图5是根据本公开图4所示实施例示出的一种数据处理方法的流程图；

图6是本公开另一示例性实施例示出的一种数据处理方法示意图；

图7是本公开一示例性实施例示出的一种数据处理装置的框图；

图8是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

在详细介绍本公开的具体实施方式之前，首先对本公开的应用场景进行以下说明，本公开可以应用于数据处理过程，尤其可以应用于空气质量数据的处理过程，其中，该空气质量数据可以包括气象数据、遥感数据、模拟数值和文本数据等，数据处理过程可以是数据入库、数据绘制图片、统计计算或数据融合等，目前在空气质量数据处理过程中通常存在以下问题：由于科研的空气质量数据的业务化处理较难，大多数数据的可视化都以单功能实现为主要的方向；由于对不同类型的分析数据进行提取需要不同的提取方式，所以会存在数据融合困难；经常需要对融合后的数据进行可视化展示，因此需要输出大量可视化数据，但在输出可视化数据的时候无法快速实现业务化的结果文件，因此需要人为的参与较多的数据处理工作，不利于提升数据效率，也不利于提升数据处理结果的准确性。为了提升数据处理效率，试图开发相应数据处理程序，实现数据自动线上处理，但是由于关于空气质量数据的数据处理过程繁琐，所以编码人员在进行相关业务软件程序的开发过程中，会存在编码效率低，程序编码耗时较长，软件开发过程耗时较多的问题。

为了解决以上技术问题，本公开提供了一种数据处理方法、装置、存储介质及电子设备，该数据处理方法通过获取待处理的空气质量数据的数据处理任务；获取该数据处理任务对应的一个或多个目标处理子任务，不同的目标处理子任务表征不同的数据处理过程；根据每个该目标处理子任务通过指定代码框架生成目标脚本，该目标脚本包括消息生产者的脚本和消息消费者的脚本，该目标脚本用于通过该消息生产者和该消息消费者处理该空气质量数据，能够通过指定代码框架生成该数据处理任务对应的目标脚本，从而能够有效提升该数据处理任务对应目标脚本的生成效率，缩短相应软件开发的耗时。

下面结合具体实施例对本公开的实施方式进行以下描述。

图1是本公开一示例性实施例示出的一种数据处理方法的流程图；如图1所示，该数据处理方法可以包括以下步骤：

步骤101，获取待处理的空气质量数据的数据处理任务。

其中，该空气质量数据可以是气象数据、遥感数据、模拟数值或文本数据中的一个或多个，该数据处理任务可以是数据入库、数据绘制图片、统计计算或数据融合等。

步骤102，获取该数据处理任务对应的一个或多个目标处理子任务，不同的目标处理子任务表征不同的数据处理过程。

其中，一个数据处理任务可以包括一个或多个目标处理子任务，每个目标处理子任务包括任务标识(例如任务名称、任务标识)，依赖数据以及任务条件等。

本步骤中，可以从预设数据库或者预设配置文件中获取该数据处理任务对应的目标处理子任务。该预设数据库或者预设配置文件中包括多个预设数据处理任务对应的数据处理子任务，实施过程中，可以从多个预设数据处理任务中搜索数据处理任务对应的当前预设数据处理任务，并将当前预设数据处理任务对应的数据处理子任务作为该数据处理任务对应的目标处理子任务。需说明的是，本步骤中可以把数据源到数据结果的过程称为一个数据处理过程，不同的目标处理子任务表征不同的数据处理过程。

示例地，在对空气质量的站点数据统计任务中，由于空气质量的原始数据是站点小时数据，拿到站点小时数据后，需要对城市小时、城市日均、站点日均等指标进行统计，还需要对省份小时、省份小时累计以及省份日均进行统计，因此数据处理任务通常可以包括城市小时计算入库、城市小时计算入库、城市日均计算入库、站点日均入库、站点小时累计计算入库、城市小时累计计算入库、省份小时计算入库、省份日均累计入库、省份小时累计计算入库等目标处理子任务，如表1所示：

表1

步骤103，根据每个该目标处理子任务通过指定代码框架生成目标脚本。

其中，该目标脚本包括消息生产者的脚本和消息消费者的脚本，该目标脚本用于通过该消息生产者和该消息消费者处理该空气质量数据。该指定代码框架，用于快速生成该目标脚本。

需要说明的是，消息(Message)是指在应用程序之间传送的数据，消息可以简单，例如可以只包含文本字符串，也可以更复杂，例如可以包含嵌入对象。在本公开中一个目标处理子任务为一个消息，MQ(Message Queue，消息队列)是一种应用程序间的通信方式，如图2所示，图2是本公开一示例性实施例示出的一种数据处理方法的示意图，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，在该图2中，消息生产者(或称消息发布者)只管把消息发布到MQ中(该MQ属于内存缓冲区中的数据)而不管谁来取，消息消费者(或称消息使用者)只管从MQ中取消息，在该消息生产者消费者通信方式中，消息生产者生产消息消费者需要的资料，消息消费者把资料做成产品，即得到数据处理结果，例如在数据统计任务中，得到数据统计结果，在数据可视化展示任务中生成数据对应的饼状图、柱形图等。

另外，还需说明的是，在空气质量监测数据的处理过程中，唯一的变量为时间，消息触发的触发条件是按照定时进行的，在触发条件相同的多个子任务中，可以在同一个条件下触发多个消息，如表1中的多个子任务都是在同一个时间进行执行的(即触发条件相同)，可以定时将任务信息入库或者以消息队列的方式实现，使用生产消费者模型实现任务的分布式处理，针对该生产消费者模型，基于Python的实现逻辑可以如图3所示，图3是本公开以示例性实施例示出的一种代码逻辑框架示意图，即通过create_task，task_process，check_base，以及get_task_log函数实现该数据处理过程。其中，create_task属于生产消费者模型中的消息生产者，用于根据子任务的任务触发条件创建任务消息，如当前时间为2022073100，创建一条stationhour_db_2022073100的任务消息，表示需要进行一次站点小时数据的入库任务，如站点小时绘制六项污染物的分布图，那么需要对每个污染物创建一个任务，创建任务的数量取决于步骤102中目标处理子任务的分配方案。task_process为任务的消费者，其编码实现整个数据的处理过程，比如，站点小时入库时需要计算各项污染物的IAQI(污染物分指数)，空气质量等级，首要污染物，同时将计算后的数据入库等一系列过程，并且若有依赖任务时需要再触发其他的子任务，如表中的站点小时数据计算完成后，需要计算城市小时、站点小时累计等子任务。check_basic为测试任务执行前的创建和消费时候的运行网络环境的检查，如在站点小时数据计算入库任务创建和处理前先检查数据库是否可以连接，get_task_log是获取任务创建、任务消费过程中的异常详情并实现错误信息的入库或者写入文件等，方便任务在异常报错后排查错误，在这里可自定义输出结果的内容和格式。

以上技术方案，能够从预设数据库或者预设配置文件中获取该数据处理任务对应的一个或多个目标处理子任务，能够通过指定代码框架生成该数据处理任务对应的目标脚本，从而能够有效提升该数据处理任务对应目标脚本的生成效率，缩短相应软件开发的耗时。

可选地，该指定代码框架包括任务创建函数框架和任务处理函数框架，该任务创建函数框架，用于生成消息生产者的脚本，该任务处理函数框架，用于生成消息消费者的脚本；图4是根据本公开图2所示实施例示出的一种数据处理方法的流程图；如图4所示，以上图1中步骤103所述的根据每个该目标处理子任务通过指定代码框架生成目标脚本，可以包括：

步骤1031，通过预设接口获取每个该目标处理子任务对应的任务创建代码和任务处理代码。

其中，该任务创建代码，用于生成该目标处理子任务对应的任务信息，该任务处理代码，用于根据该任务信息执行该目标处理子任务。

本步骤中，可以通过预设代码输入界面获取用户输入的该任务创建代码和任务处理代码。

步骤1032，将该任务创建代码嵌入该任务创建函数框架，以得到该目标处理子任务对应的消息生产者的脚本。

其中，该任务创建函数框架可以create_task的函数框架，该任务创建代码包括该create_task函数的执行对象。

步骤1033，将该任务处理代码嵌入该任务处理函数框架，以得到该目标处理子任务对应消息消费者的脚本。

其中，该任务创建函数框架可以task_process的函数框架，该任务创建代码包括该task_process函数的执行对象。

步骤1034，根据该消息生产者的脚本和该消息消费者的脚本生成该目标脚本。

本步骤中，可以将该消息生产者的脚本和该消息消费者的脚本作为该目标脚本。

以上技术方案，能够通过指定代码框架生成包括该消息生产者的脚本和该消息消费者的脚本的目标脚本，从而能够有效提升该数据处理任务对应目标脚本的生成效率，缩短相应软件开发的耗时。

可选地，该指定代码框架还包括运行网络环境检查函数框架和/或异常收录函数框架，该运行网络环境检查函数框架，用于生成实施网络环境检查的脚本，该异常收录函数框架，用于生成实施异常收集的脚本；

图5是根据本公开图4所示实施例示出的一种数据处理方法的流程图；以上图1中步骤103所述的根据每个该目标处理子任务通过指定代码框架生成目标脚本，还可以包括：

步骤1035，通过该预设接口获取每个该目标处理子任务对应的运行环境检查代码和/或异常收集代码。

其中，该运行环境检查代码用于检查任务处理过程所需的运行网络环境，该异常收集代码，用于收集在运行消息生产者的脚本和该消息消费者的脚本的过程中的异常状况，并将该异常状况存于存入指定数据库。

本步骤中，可以通过预设代码输入界面获取用户输入的该运行环境检查代码和/或异常收集代码。

示例地，运行环境检查代码可以用于在站点小时数据计算入库任务创建和处理前先检查数据库是否可以连接，网络状态是否正常，数据传输是否正常等。

步骤1036，将该运行环境检查代码嵌入该运行网络环境检查函数框架，以得到该目标处理子任务对应的实施网络环境检查的脚本。

其中，该运行网络环境检查函数框架可以是check_basic的函数框架，该运行环境检查代码包括该check_basic函数的执行对象。

步骤1037，将该异常收集代码嵌入该异常收录函数框架，以得到该目标处理子任务对应实施异常收集的脚本。

其中，该异常收录函数框架可以是get_task_log的函数框架，该异常收集代码包括该get_task_log函数的执行对象。

相应地，以上图4中步骤1034所述的根据该消息生产者的脚本和该消息消费者的脚本生成该目标脚本，可以包括：

步骤10341，将该实施网络环境检查的脚本和/或实施异常收集的脚本，以及该消息生产者的脚本和该消息消费者的脚本作为该目标处理子任务的待用脚本。

步骤10342，根据每个该目标处理子任务的该待用脚本生成目标脚本。

本步骤中，在确定该数据处理任务包括多个目标处理子任务的情况下，获取预设的分布式任务处理的接口调用代码；将每个该目标处理子任务的该待用脚本和该接口调用代码作为该目标脚本。

需要说明的是，该接口调用代码可以包括Celery的调用代码，该Celery是基于python开发的分布式异步消息任务队列，可以支持Redis(数据库)，RabbitMQ(任务队列)，MongoDB(分布式文件存储的数据库)等方式，如图6所示，图6是本公开另一示例性实施例示出的一种数据处理方法示意图，在该图6中，task.py中可以包括多个数据处理任务对应的多个目标处理子任务的待用脚本，task config.json中包括待运行的目标处理子任务的待用脚本，消息生产者(create_task和其执行对象)通过调用Celery提供的API(ApplicationProgramming Interface，应用程序编程接口)，函数或者装饰器而产生任务并交给任务队列处理，Celery中的任务调度器，会读取配置文件的内容，周期性地将配置中到期需要执行的任务发送给RabbitMQ。Celery中的消息代理，又称消息中间件，接受任务生产者发送过来的任务消息，存进队列再按序分发给任务消费者(task_process和其执行对象)，Celery中可以在多台服务器运行多个Worker来提高执行效率，其中，每个Worker上可以运行多个进程，这样可以分布式的多机、多进程处理，以加快任务的处理过程，减少业务化处理的时间耗费。

以上技术方案，能够运行网络环境检查函数框架生成实施网络环境检查的脚本，通过该异常收录函数框架用于生成实施异常收集的脚本，根据该实施网络环境检查的脚本和/或实施异常收集的脚本，以及该消息生产者的脚本和该消息消费者的脚本生成该目标处理子任务的目标脚本，能够有效提升该数据处理任务对应目标脚本的生成效率，缩短相应软件开发的耗时；并且能够通过分布式任务处理方式实现分布式的多机、多进程处理，从而能够有效提升计算机系统的数据处理效率，加快任务的处理过程，减少业务化处理的时间耗费。

可选地，该方法还包括：

响应于接收到预设运行指令，运行该目标脚本，以创建消息生产者和消息消费者，并通过该消息生产者和该消息消费者处理该空气质量数据。

以上技术方案，能够通过分布式任务处理方式实现分布式的多机、多进程处理，从而能够有效提升计算机系统的数据处理效率，加快任务的处理过程，减少业务化处理的时间耗费。

图7是本公开一示例性实施例示出的一种数据处理装置的框图，如图7所示，该装置可以包括：

第一获取模块701，被配置为获取待处理的空气质量数据的数据处理任务；

第二获取模块702，被配置为获取该数据处理任务对应的一个或多个目标处理子任务，不同的目标处理子任务表征不同的数据处理过程；

生成模块703，被配置为根据每个该目标处理子任务通过指定代码框架生成目标脚本，该目标脚本包括消息生产者的脚本和消息消费者的脚本，该目标脚本用于通过该消息生产者和该消息消费者处理该空气质量数据。

以上技术方案，能够从预设数据库或者预设配置文件中获取该数据处理任务对应的一个或多个目标处理子任务，能够通过指定代码框架生成该数据处理任务对应的目标脚本，从而能够有效提升该数据处理任务对应目标脚本的生成效率，缩短相应软件开发的耗时。

可选地，该指定代码框架包括任务创建函数框架和任务处理函数框架，该任务创建函数框架，用于生成消息生产者的脚本，该任务处理函数框架，用于生成消息消费者的脚本；该生成模块703，被配置为：

通过预设接口获取每个该目标处理子任务对应的任务创建代码和任务处理代码，其中，该任务创建代码，用于生成该目标处理子任务对应的任务信息，该任务处理代码，用于根据该任务信息执行该目标处理子任务；

将该任务创建代码嵌入该任务创建函数框架，以得到该目标处理子任务对应的消息生产者的脚本；

将该任务处理代码嵌入该任务处理函数框架，以得到该目标处理子任务对应消息消费者的脚本；

根据该消息生产者的脚本和该消息消费者的脚本生成该目标脚本。

可选地，该生成模块703，被配置为：

将该消息生产者的脚本和该消息消费者的脚本作为该目标脚本。

可选地，该指定代码框架还包括运行网络环境检查函数框架和/或异常收录函数框架，该运行网络环境检查函数框架，用于生成实施网络环境检查的脚本，该异常收录函数框架，用于生成实施异常收集的脚本；

该生成模块703，被配置为：

通过该预设接口获取每个该目标处理子任务对应的运行环境检查代码和/或异常收集代码，该运行环境检查代码用于检查任务处理过程所需的运行网络环境，该异常收集代码，用于收集在运行消息生产者的脚本和该消息消费者的脚本的过程中的异常状况，并将该异常状况存于存入指定数据库；

将该运行环境检查代码嵌入该运行网络环境检查函数框架，以得到该目标处理子任务对应的实施网络环境检查的脚本；

将该异常收集代码嵌入该异常收录函数框架，以得到该目标处理子任务对应实施异常收集的脚本。

可选地，该生成模块703，被配置为：

将该实施网络环境检查的脚本和/或实施异常收集的脚本，以及该消息生产者的脚本和该消息消费者的脚本作为该目标处理子任务的待用脚本；

根据每个该目标处理子任务的该待用脚本生成目标脚本。

可选地，该生成模块703，被配置为：

在确定该数据处理任务包括多个目标处理子任务的情况下，获取预设的分布式任务处理的接口调用代码；

将每个该目标处理子任务的该待用脚本和该接口调用代码作为该目标脚本。

可选地，该预设接口包括预设代码输入界面，该生成模块，被配置为：

通过预设代码输入界面获取用户输入的该运行环境检查代码和/或异常收集代码。

可选地，该装置还包括：

运行模块704，被配置为响应于接收到预设运行指令，运行该目标脚本，以创建消息生产者和消息消费者，并通过该消息生产者和该消息消费者处理该空气质量数据。

以上技术方案，能够运行网络环境检查函数框架生成实施网络环境检查的脚本，通过该异常收录函数框架用于生成实施异常收集的脚本，根据该实施网络环境检查的脚本和/或实施异常收集的脚本，以及该消息生产者的脚本和该消息消费者的脚本生成该目标处理子任务的目标脚本，能够有效提升该数据处理任务对应目标脚本的生成效率，缩短相应软件开发的耗时；并且能够通过分布式任务处理方式实现分布式的多机、多进程处理，从而能够有效提升计算机系统的数据处理效率，加快任务的处理过程，减少业务化处理的时间耗费。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种电子设备的框图。如图8所示，该电子设备800可以包括：处理器801，存储器802。该电子设备800还可以包括多媒体组件803，输入/输出(I/O)接口804，以及通信组件805中的一者或多者。

其中，处理器801用于控制该电子设备800的整体操作，以完成上述的数据处理方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该电子设备800的操作，这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的数据处理方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的数据处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由电子设备800的处理器801执行以完成上述的数据处理方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取待处理的空气质量数据的数据处理任务；

获取所述数据处理任务对应的一个或多个目标处理子任务，不同的目标处理子任务表征不同的数据处理过程；

根据每个所述目标处理子任务通过指定代码框架生成目标脚本，所述目标脚本包括消息生产者的脚本和消息消费者的脚本，所述目标脚本用于通过所述消息生产者和所述消息消费者处理所述空气质量数据；

所述指定代码框架包括任务创建函数框架和任务处理函数框架，所述任务创建函数框架，用于生成消息生产者的脚本，所述任务处理函数框架，用于生成消息消费者的脚本；所述根据每个所述目标处理子任务通过指定代码框架生成目标脚本，包括：

通过第一预设接口获取每个所述目标处理子任务对应的任务创建代码和任务处理代码，其中，所述任务创建代码，用于生成所述目标处理子任务对应的任务信息，所述任务处理代码，用于根据所述任务信息执行所述目标处理子任务；

将所述任务创建代码嵌入所述任务创建函数框架，以得到所述目标处理子任务对应的消息生产者的脚本；

将所述任务处理代码嵌入所述任务处理函数框架，以得到所述目标处理子任务对应消息消费者的脚本；

根据所述消息生产者的脚本和所述消息消费者的脚本生成所述目标脚本。

2.根据权利要求1所述的方法，其特征在于，所述根据所述消息生产者的脚本和所述消息消费者的脚本生成所述目标脚本，包括：

将所述消息生产者的脚本和所述消息消费者的脚本作为所述目标脚本。

3.根据权利要求1所述的方法，其特征在于，所述指定代码框架还包括运行网络环境检查函数框架和/或异常收录函数框架，所述运行网络环境检查函数框架，用于生成实施网络环境检查的脚本，所述异常收录函数框架，用于生成实施异常收集的脚本；

所述根据每个所述目标处理子任务通过指定代码框架生成目标脚本，还包括：

通过所述预设接口获取每个所述目标处理子任务对应的运行环境检查代码和/或异常收集代码，所述运行环境检查代码用于检查任务处理过程所需的运行网络环境，所述异常收集代码，用于收集在运行消息生产者的脚本和所述消息消费者的脚本的过程中的异常状况，并将所述异常状况存于存入指定数据库；

将所述运行环境检查代码嵌入所述运行网络环境检查函数框架，以得到所述目标处理子任务对应的实施网络环境检查的脚本；

将所述异常收集代码嵌入所述异常收录函数框架，以得到所述目标处理子任务对应实施异常收集的脚本。

4.根据权利要求3所述的方法，其特征在于，所述根据所述消息生产者的脚本和所述消息消费者的脚本生成所述目标脚本，包括：

将所述实施网络环境检查的脚本和/或实施异常收集的脚本，以及所述消息生产者的脚本和所述消息消费者的脚本作为所述目标处理子任务的待用脚本；

根据每个所述目标处理子任务的所述待用脚本生成目标脚本。

5.根据权利要求4所述的方法，其特征在于，所述根据每个所述目标处理子任务的所述待用脚本生成目标脚本，包括：

在确定所述数据处理任务包括多个目标处理子任务的情况下，获取预设的分布式任务处理的接口调用代码；

将每个所述目标处理子任务的所述待用脚本和所述接口调用代码作为所述目标脚本。

6.根据权利要求3所述的方法，其特征在于，所述预设接口包括预设代码输入界面，所述通过所述预设接口获取每个所述目标处理子任务对应的运行环境检查代码和/或异常收集代码，包括：

通过预设代码输入界面获取用户输入的所述运行环境检查代码和/或异常收集代码。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：

响应于接收到预设运行指令，运行所述目标脚本，以创建消息生产者和消息消费者，并通过所述消息生产者和所述消息消费者处理所述空气质量数据。

8.一种数据处理装置，其特征在于，所述装置包括：

第一获取模块，被配置为获取待处理的空气质量数据的数据处理任务；

第二获取模块，被配置为获取所述数据处理任务对应的一个或多个目标处理子任务，不同的目标处理子任务表征不同的数据处理过程；

生成模块，被配置为根据每个所述目标处理子任务通过指定代码框架生成目标脚本，所述目标脚本包括消息生产者的脚本和消息消费者的脚本，所述目标脚本用于通过所述消息生产者和所述消息消费者处理所述空气质量数据；

所述指定代码框架包括任务创建函数框架和任务处理函数框架，所述任务创建函数框架，用于生成消息生产者的脚本，所述任务处理函数框架，用于生成消息消费者的脚本；所述生成模块，被配置为：

通过预设接口获取每个所述目标处理子任务对应的任务创建代码和任务处理代码，其中，所述任务创建代码，用于生成所述目标处理子任务对应的任务信息，所述任务处理代码，用于根据所述任务信息执行所述目标处理子任务；

将所述任务创建代码嵌入所述任务创建函数框架，以得到所述目标处理子任务对应的消息生产者的脚本；

将所述任务处理代码嵌入所述任务处理函数框架，以得到所述目标处理子任务对应消息消费者的脚本；

根据所述消息生产者的脚本和所述消息消费者的脚本生成所述目标脚本。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。