CN114626546A - 一种大气污染源数据分析方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种大气污染源数据分析方法、装置、设备及存储介质。所述方法包括：基于大气污染源数据确定训练数据集和测试数据集；基于所述训练数据集对随机森林模型进行训练得到已训练模型；通过分布式计算框架，基于所述测试数据集和所述已训练模型确定目标模型；将待分析的大气污染源数据进行特征选取后得到的特征输入所述目标模型，得到分析结果，所述分析结果包括大气污染元素排放量。该方法中的目标模型可以直接集成在主流服务端应用，能够有效避免兼容问题，该方法还能够高效处理海量的大气污染源数据。

Description

一种大气污染源数据分析方法、装置、设备及存储介质

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种大气污染源数据分析 方法、装置、设备及存储介质。

背景技术

随着经济的飞速发展，大气污染问题愈加突出，大气污染源数据的高效分 析，可以帮助环境保护人员全面了解污染态势，合理制定污染防控策略。

在现有技术中，一般通过构建模型对大气污染源数据进行分析，该方法首 先训练出预测模型，然后通过适配接口将预测程序集成到应用系统中。

但是，该方法采用集中式计算方式，难以处理海量数据下的数据分析，存 在效率低、耗时长的问题；传统的机器学习框架构建出的模型需要通过特定的 适配工具集成到主流的服务端应用中，容易出现兼容性问题。

发明内容

本发明实施例提供了一种大气污染源数据分析方法、装置、设备及存储介 质，能够有效避免兼容问题，还能够高效处理海量的大气污染源数据。

第一方面，本发明实施例提供了一种大气污染源数据分析方法，包括：

基于大气污染源数据确定训练数据集和测试数据集；

基于所述训练数据集对随机森林模型进行训练得到已训练模型；

通过分布式计算框架，基于所述测试数据集和所述已训练模型确定目标模 型；

将待分析的大气污染源数据进行特征选取后得到的特征输入所述目标模型， 得到分析结果，所述分析结果包括大气污染元素排放量。

第二方面，本发明实施例还提供了一种大气污染源数据分析装置，包括：

第一确定模块，用于基于大气污染源数据确定训练数据集和测试数据集；

训练模型，用于基于所述训练数据集对随机森林模型进行训练得到已训练 模型；

第二确定模块，用于通过分布式计算框架，基于所述测试数据集和所述已 训练模型确定目标模型；

分析模型，用于将待分析的大气污染源数据进行特征选取后得到的特征输 入所述目标模型，得到分析结果，所述分析结果包括大气污染元素排放量。

第三方面，本发明实施例还提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个 处理器用于实现本发明任意实施例中所述的大气污染源数据分析方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有 计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的大气污 染源数据分析方法。

本发明实施例提供了一种大气污染源数据分析方法、装置、设备及存储介 质，首先基于大气污染源数据确定训练数据集和测试数据集；然后基于所述训 练数据集对随机森林模型进行训练得到已训练模型；之后通过分布式计算框架， 基于所述测试数据集和所述已训练模型确定目标模型；最后将待分析的大气污 染源数据进行特征选取后得到的特征输入所述目标模型，得到分析结果，所述 分析结果包括大气污染元素排放量。利用上述技术方案能够有效避免兼容问题， 还能够高效处理海量的大气污染源数据。

附图说明

图1为本发明实施例一所提供的一种大气污染源数据分析方法的流程示意 图；

图2为本发明实施例一所提供的一种随机森林模型的决策过程示意图；

图3为本发明实施例二所提供的一种大气污染源数据分析方法的流程示意 图；

图4为本发明实施例二所提供的一种大气污染源数据分析方法中的特征选 取流程示意图；

图5为本发明实施例二所提供的一种大气污染源数据分析方法中的模型训 练与模型测试的流程示意图；

图6为本发明实施例三所提供的一种大气污染源数据分析装置的结构示意 图；

图7为本发明实施例四所提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施 例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所 描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例，都应当属于本发明保护的范围。应当理解，本发明的方法实施 方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法 实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方 面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术 语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”； 术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示 “至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“目 标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应 该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实 施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包 括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如， 包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地 列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方 法、产品或设备固有的其它步骤或单元。

需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性 的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为 “一个或多个”。

本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说 明性的目的，而并不是用于对这些消息或信息的范围进行限制。

实施例一

图1为本发明实施例一所提供的一种大气污染源数据分析方法的流程示意 图，该方法可适用于通过大气污染源数据分析出大气污染元素的排放量的情况， 该方法可以由大气污染源数据分析装置来执行，其中该装置可由软件和/或硬件 实现，并一般集成在电子设备上，在本实施例中电子设备包括但不限于：计算 机等设备。

如图1所示，本发明实施例一提供的一种大气污染源数据分析，包括如下 步骤：

S110、基于大气污染源数据确定训练数据集和测试数据集。

在本实施例中，对大气污染源数据的获取方式不做具体限制，可以通过任 意一种方式获取大气污染源数据，示例性的，可以通过加载的方式获取大气污 染源数据，可以使用loadLibSVMFile()函数加载大气污染源数据集。

其中，训练数据集可以由多个特征构成，训练数据集用于模型训练。测试 数据集可以包括多个特征，测试数据集用于对模型的测试，以确定模型的预测 准确率。

在本实施例中，将大气污染源数据进行特征选取后，可以基于选取的特征 子集构建训练数据集和测试数据集。

具体的，所述基于大气污染源数据确定训练数据集和测试数据集，包括： 对大气污染源数据进行特征选取得到多组特征子集；将所述特征子集按照预设 比例分为训练数据集和测试数据集。

需要说明的是，大气污染源数据可以为libSVM格式的数据，需要将libSVM 格式的大气污染源数据转换为Spark中常用的弹性分布式数据后才能解析各个 特征。

在本实施例中，预设比例可以为预先设置的比例，示例性的，预设比例可 以为7:3，可以理解为将特征子集中的70％的数据组成训练数据集，将特征子集 中的30％的数据组成测试数据集。

进一步的，所述对大气污染源数据进行特征选取得到多组特征子集，包括： 将大气污染源数据转换为弹性分布式数据；通过预设机器学习库对所述弹性分 布式数据分别进行相关性分析以及特征筛选，得到多组特征子集。

在本实施例中，对大气污染源数据转换为弹性分布式数据的方式不做具体 限制。

其中，预设机器学习库可以为Spark MLlib，Spark MLlib是一个机器学习 库，由一些常用的机器学习算法和工具组成，包括回归、分类、协同过滤、降 维等，同时还包括一些优化原语和管道。

在本实施例中，可以使用预设机器学习库进行相关性分析确定特征子集的 范围，利用卡方选择器从该范围内筛选出特征子集。

进一步的，所述通过预设机器学习库对所述弹性分布式数据分别进行相关 性分析以及特征筛选，得到多组特征子集，包括：通过预设机器学习库中的地 图函数对所述弹性分布式数据进行解析得到多组特征，并返回多个向量类型的 数据，一个向量类型的数据包括一组特征和一个标签，所述标签表征大气污染 元素排放量的目标值；计算所有特征与所有标签的相关性；根据所述相关性确 定特征筛选的筛选范围；通过卡方选择器从所述筛选范围内筛选出多个向量类 型的目标数据；将所述向量类型的目标数据构成多组特征子集。

其中，目标值可以为预先设定的大气污染元素排放量的具体数值。

示例性的，通过map()函数进行遍历，以此解析各个特征并返回向量类型的 数据，例如一个向量类型的数据为(特征1，标签1)。

在本实施例中，不限定以何种方式计算特征与标签的相关性，示例性的， 可以通过调用Statistics库中的corr方法计算所有特征与标签的相关性。

在本实施例中，可以使用卡方选择器筛选特征子集，卡方选择器使用独立 性的卡方检验来决定选择哪些特征，卡方选择器基于特征的重要程度对其进行 排序，根据设置的参数选择出对目标值最有用的特征对应的向量类型的数据作 为目标数据。示例性的，筛选出的特征可以包括燃料类型、燃料使用量、燃料 硫分、燃料灰分，燃料挥发分，锅炉类型。其中，特征子集可以包括筛选出的 特征。

S120、基于所述训练数据集对随机森林模型进行训练得到已训练模型。

其中，随机森林模型是一种集成学习分类模型，依赖于决策树的投票选择 进行分类。集成学习是通过组合多个模型来解决单一的预测问题，它的工作原 理是生成多个分类器，各分类器独立地学习和预测，最后根据多个分类器的预 测结果做出判断。相比于单一的分类器，集成学习往往更具优势，通过对单一 分类器的预测结果进行整合，可以优化局部误差，令整体性能变得更高。在单 分类器领域，比较优秀的算法有支持向量机、决策树等，多分类器算法有随机 森林和Adaboost等。基于决策树的分类器存在过拟合问题，很难解决噪声等问 题，Adaboost虽然解决了过拟合问题，但训练耗时，容易被噪声数据影响，而随机森林模型可以有效解决上述问题。

在本实施例中，随机森林模型为已进行参数设置的机器学习模型。可以使 用Spark MLlib库中的随机森林模型对模型参数进行不断调整，最终将决策树的 个数设置为26，每棵决策树的最大深度设置为11，特征选择策略设置为“auto”， 此时，随机森林模型具有最理想的效果。

进一步的，基于所述训练数据集对随机森林模型进行训练得到已训练模型， 包括：根据所述训练数据集中的特征以及标签，通过预设的分类器训练方法对 随机森林模型中的分类器进行训练，得到已训练模型。

其中，分类器可以理解为决策树。预设的分类器训练方法可以为预先设置 的任意一种能够对分类器进行训练的方法，示例性的，可以使用RandomForest 类的trainClassifier方法进行模型的训练。

其中，训练完成后可以返回已训练模型，示例性的，已训练模型可以为RandomForestModel类型的模型。已训练模型可以提供predict()方法用于对测试 数据集进行预测。

图2为本发明实施例一所提供的一种随机森林模型的决策过程示意图，如 图2所示，D可以表示训练数据集，将训练数据集输入后通过随机化处理得到 k个训练数据D₁,D₂…D_k，根据训练数据包含的特征构建多棵决策树，预测时多 棵决策树进行投票，票数最多的结果可以为最终预测结果。

具体的，所述随机森模型的决策过程包括：基于决策树算法，根据所述训 练测试数据集中的特征构建预设数量个决策树；通过所述预设数量个决策树得 到多个决策树分类结果；通过所述预设数量个决策树对所述多个决策树分类结 果进行投票；将票数最多的决策树结果作为预测结果。

其中，预设数量可以为随机森林模型进行参数设置时设置的数值，在进行 参数设置之后即可确定决策树的数量。其中，一个决策树对应一个决策树分类 结果。

S130、通过分布式计算框架，基于所述测试数据集和所述已训练模型确定 目标模型。

其中，分布式计算是一种计算方法，和集中式计算是相对的。随着计算机 技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计 算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分， 分配给多台计算机进行处理，这样可以节约整体计算时间，大大提高计算效率。 优选的，分布式计算框架可以为Spark。

其中，Spark可以用来构建低延迟的数据分析程序，Spark是基于Hadoop 发展起来的，与Hadoop相比Spark的计算模式不局限于Map和Reduce操作， 提供了多种数据集操作，拥有更加灵活的编程模型；Spark使用内存进行计算， 计算的中间结果直接存放到内存中，速度快，迭代效率高；Spark基于数据库可 用性组(Database Availability Group，DAG)进行任务调度，便于追溯关系，容 错率高。

在本实施例中，Spark框架依赖于Hadoop大数据处理平台，底层应用运行 在Java虚拟机上，依托于编程语言强大的生态，可以与主流的平台实现无缝兼 容。其中，Hadoop是一个分布式计算框架，用户可以在不了解分布式底层细节 的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop 主要包括两个组件：分布式文件系统HDFS和计算框架MapReduce，HDFS用 于海量数据的存储，MapReduce为海量数据的计算提供了可行的方案。

其中，目标模型可以为预测准确率最高的模型，目标模型基于已训练模型 得到。

在本实施例中，基于测试数据集和已训练模型确定目标模型的过程可以为： 将测试数据集输入到已训练模型中，根据键值对确定模型的预测准确率，将预 测准确率达到预设准确率的模型确定为目标模型。

具体的，所述基于所述测试数据集和所述已训练模型确定目标模型，包括： 将所述测试数据集中的特征输入所述已训练模型得到多个预测值；将所述预测 值与实际值一一组合成多个键值对，所述键值对为弹性分布式数据形式；基于 所述多个键值对确定所述已训练模型的预测准确率；若所述预测准确率高于或 等于预设准确率，则将所述已训练模型作为目标模型，若所述预测准确率低于 所述预设准确率，则继续对所述已训练模型进行训练，直到所述已训练模型的 预测准确率高于或等于所述预设准确率。

其中，预测值可以理解为大气污染元素排放量的预测值，实际值可以理解 为大气污染元素排放量的真实值。

其中，基于键值对确定已训练模型的预测准确率可以包括：将一个键值对 中的预测值和实际值的比值作为一组特征的预测准确率，根据所有特征的预测 准确率确定模型的预测准确率。若预测值与实际值越相近，则表征该模型的预 测准确率越高。需要说明的是，键值对是以弹性分布式数据形式存在，因此， 需要对弹性分布式数据进行分析后才能得到预测准确率。

在本实施例中，已训练模型可以以文件的形式保存，再次使用时可以通过 调用load()方法加载即可。

S140、将待分析的大气污染源数据进行特征选取后得到的特征输入所述目 标模型，得到分析结果，所述分析结果包括大气污染元素排放量。

其中，对待大气污染源数据进行特征选取的过程此处不做赘述。示例性的， 大气污染元素可以包括PM2.5、SO2等。

在本实施例中，将待分析大气污染源数据进行特征选取后，将选取的特征 输入目标模型中，目标模型可以通过多个决策树对特征进行分析预测，得到待 分析大气污染源数据中大气污染元素的排放量。具体的决策过程此处不做赘述。

本发明实施例一提供的一种大气污染源数据分析方法，首先基于大气污染 源数据确定训练数据集和测试数据集；然后基于所述训练数据集对随机森林模 型进行训练得到已训练模型；之后通过分布式计算框架，基于所述测试数据集 和所述已训练模型确定目标模型；最终将待分析的大气污染源数据进行特征选 取后得到的特征输入所述目标模型，得到分析结果，所述分析结果包括大气污 染元素排放量。利用上述方法，能够有效避免兼容问题，还能够高效处理海量 的大气污染源数据。

实施例二

本发明实施例二在上述各实施例的技术方案的基础上，提供了一种具体的 实施方式。

图3为本发明实施例二所提供的一种大气污染源数据分析方法的流程示意 图，该方法基于分布式计算框架Spark完成，该框架依赖于Hadoop大数据处理 平台，底层应用运行在Java虚拟机上。如图3所示，该方法可以包括如下步骤：

步骤1、加载大气污染源数据。

步骤2、特征选取。

其中，本步骤包括：对大气污染源数据进行特征选取得到多组特征子集； 将所述特征子集按照预设比例分为训练数据集和测试数据集。

步骤3、构建随机森林模型。

步骤4、模型训练及构建预测模型。

其中，本步骤包括：基于分布式计算框架，通过训练数据集对随机森林模 型进行训练得到已训练模型，将测试数据输入已训练模型得到目标模型。

步骤5、分析预测。

其中，本步骤包括：将待分析的大气污染源数据进行特征选取后得到的特 征输入目标模型进行分析预测，得到分析结果。

图4为本发明实施例二所提供的一种大气污染源数据分析方法中的特征选 取流程示意图，如图4所示，对大气污染源数据集进行加载后将大气污染源数 据转换为弹性分布式数据，对所述弹性分布式数据分别进行相关性分析以及特 征筛选，输出多组特征子集。

图5为本发明实施例二所提供的一种大气污染源数据分析方法中的模型训 练与模型测试的流程示意图。如图5所示，该过程可以包括：模型参数调整即 将随机森林模型的参数进行调整；进行模型训练后，将已训练模型进行保存； 将测试数据集输入已训练模型进行测试得到预测结果。

本发明实施例二所提供的一种大气污染源数据分析方法，使用Spark框架 构建预测模型，可以满足海量数据下的数据处理与分析需求，解决了传统模型 耗时高、效率低的问题，为海量数据处理提供高可用解决方案；该方法底层应 用运行在Java虚拟机上，可以更好地与主流的服务端应用进行集成，降低接口 调用延迟。

实施例三

图6为本发明实施例三所提供的一种大气污染源数据分析装置的结构示意 图，该装置可适用于对大气污染源数据中的大气污染元素排放量进行分析的情 况，其中该装置可由软件和/或硬件实现，并一般集成在电子设备上。

如图6所示，该装置包括：第一确定模块110、训练模块120、第二确定模 块130以及分析模块140。

第一确定模块110，用于基于大气污染源数据确定训练数据集和测试数据 集；

训练模型120，用于基于所述训练数据集对随机森林模型进行训练得到已 训练模型；

第二确定模块130，用于通过分布式计算框架，基于所述测试数据集和所 述已训练模型确定目标模型；

分析模型140，用于将待分析的大气污染源数据进行特征选取后得到的特 征输入所述目标模型，得到分析结果，所述分析结果包括大气污染元素排放量。

在本实施例中，该装置首先通过第一确定模块110基于大气污染源数据确 定训练数据集和测试数据集；然后通过训练模型120基于所述训练数据集对随 机森林模型进行训练得到已训练模型；之后通过第二确定模块130用于通过分 布式计算框架，基于所述测试数据集和所述已训练模型确定目标模型；最后通 过分析模型140将待分析的大气污染源数据进行特征选取后得到的特征输入所 述目标模型，得到分析结果，所述分析结果包括大气污染元素排放量。

本实施例提供了一种大气污染源数据分析装置，能够高效处理海量的大气 污染源数据，以及有效避免兼容问题。

进一步的，第一确定模块110具体用于：对大气污染源数据进行特征选取 得到多组特征子集；将所述特征子集按照预设比例分为训练数据集和测试数据 集。

在上述优化的基础上，所述对大气污染源数据进行特征选取得到多组特征 子集，包括：将大气污染源数据转换为弹性分布式数据；通过预设机器学习库 对所述弹性分布式数据分别进行相关性分析以及特征筛选，得到多组特征子集。

基于上述技术方案，所述通过预设机器学习库对所述弹性分布式数据分别 进行相关性分析以及特征筛选，得到多组特征子集，包括：通过预设机器学习 库中的地图函数对所述弹性分布式数据进行解析得到多组特征，并返回多个向 量类型的数据，一个向量类型的数据包括一组特征和一个标签，所述标签表征 所述特征对应的大气污染元素排放量的目标值；计算所有特征与所有标签的相 关性；根据所述相关性确定特征筛选的筛选范围；通过卡方选择器从所述筛选 范围内筛选出多个向量类型的目标数据；将所述向量类型的目标数据构成多组 特征子集。

进一步的，所述随机森林模型为已进行参数设置的机器学习模型，训练模 块120具体用于：根据所述训练数据集中的特征以及标签，通过预设的分类器 训练方法对随机森林模型中的分类器进行训练，得到已训练模型。

进一步的，所述随机森模型的决策过程包括：基于决策树算法，根据所述 训练测试数据集中的特征构建预设数量个决策树；通过所述预设数量个决策树 得到多个决策树分类结果；通过所述预设数量个决策树对所述多个决策树分类 结果进行投票；将票数最多的决策树结果作为预测结果。

进一步的，第二确定模块130具体用于：将所述测试数据集中的特征输入 所述已训练模型得到多个预测值；将所述预测值与实际值一一组合成多个键值 对，所述键值对为弹性分布式数据形式；基于所述多个键值对确定所述已训练 模型的预测准确率；若所述预测准确率高于或等于预设准确率，则将所述已训 练模型作为目标模型，若所述预测准确率低于所述预设准确率，则继续对所述 已训练模型进行训练，直到所述已训练模型的预测准确率高于或等于所述预设 准确率

上述大气污染源数据分析装置可执行本发明任意实施例所提供的大气污染 源数据分析方法，具备执行方法相应的功能模块和有益效果。

实施例四

图7为本发明实施例四所提供的一种电子设备的结构示意图，图7示出了 可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示 各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数 字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设 备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电 话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示 的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接 的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中， 存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储 在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问 存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13 中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM12以 及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如 键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18， 例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发 机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电 信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处 理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、 各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、 数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理 器11执行上文所描述的各个方法和处理，例如一种大气污染源数据分析方法。

在一些实施例中，一种大气污染源数据分析方法可以被实现为计算机程序， 其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中， 计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或 安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时， 可以执行上文描述的大气污染源数据分析方法中的一个或多个步骤。备选地， 在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件) 而被配置为执行大气污染源数据分析方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、 集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准 产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计 算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括： 实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少 一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用 或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输 出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输 入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何 组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编 程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框 图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在 机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行 或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包 含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备 结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁 性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容 的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机 器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计 算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程 只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术， 该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管) 或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨 迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类 的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形 式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何 形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作 为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者 包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计 算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和 技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的 任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如， 通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、 广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通 常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服 务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器， 又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决 了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除 步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以 不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不 进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员 应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合 和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均 应包含在本发明保护范围之内。

Claims (10)

1.一种大气污染源数据分析方法，其特征在于，所述方法包括：

基于大气污染源数据确定训练数据集和测试数据集；

基于所述训练数据集对随机森林模型进行训练得到已训练模型；

通过分布式计算框架，基于所述测试数据集和所述已训练模型确定目标模型；

将待分析的大气污染源数据进行特征选取后得到的特征输入所述目标模型，得到分析结果，所述分析结果包括大气污染元素排放量。

2.根据权利要求1所述的方法，其特征在于，所述基于大气污染源数据确定训练数据集和测试数据集，包括：

对大气污染源数据进行特征选取得到多组特征子集；

将所述特征子集按照预设比例分为训练数据集和测试数据集。

3.根据权利要求2所述的方法，其特征在于，所述对大气污染源数据进行特征选取得到多组特征子集，包括：

将大气污染源数据转换为弹性分布式数据；

通过预设机器学习库对所述弹性分布式数据分别进行相关性分析以及特征筛选，得到多组特征子集。

4.根据权利要求3所述的方法，其特征在于，所述通过预设机器学习库对所述弹性分布式数据分别进行相关性分析以及特征筛选，得到多组特征子集，包括：

通过预设机器学习库中的地图函数对所述弹性分布式数据进行解析得到多组特征，并返回多个向量类型的数据，一个向量类型的数据包括一组特征和一个标签，所述标签表征所述特征对应的大气污染元素排放量的目标值；

计算所有特征与所有标签的相关性；

根据所述相关性确定特征筛选的筛选范围；

通过卡方选择器从所述筛选范围内筛选出多个向量类型的目标数据；

将所述向量类型的目标数据构成多组特征子集。

5.根据权利要求1所述的方法，其特征在于，所述随机森林模型为已进行参数设置的机器学习模型，所述基于所述训练数据集对随机森林模型进行训练得到已训练模型，包括：

根据所述训练数据集中的特征以及标签，通过预设的分类器训练方法对随机森林模型中的分类器进行训练，得到已训练模型。

6.根据权利要求5所述的方法，其特征在于，所述随机森模型的决策过程包括：

基于决策树算法，根据所述训练测试数据集中的特征构建预设数量个决策树；

通过所述预设数量个决策树得到多个决策树分类结果；

通过所述预设数量个决策树对所述多个决策树分类结果进行投票；

将票数最多的决策树结果作为预测结果。

7.根据权利要求1所述的方法，其特征在于，所述基于所述测试数据集和所述已训练模型确定目标模型，包括：

将所述测试数据集中的特征输入所述已训练模型得到多个预测值；

将所述预测值与实际值一一组合成多个键值对，所述键值对为弹性分布式数据形式；

基于所述多个键值对确定所述已训练模型的预测准确率；

若所述预测准确率高于或等于预设准确率，则将所述已训练模型作为目标模型，若所述预测准确率低于所述预设准确率，则继续对所述已训练模型进行训练，直到所述已训练模型的预测准确率高于或等于所述预设准确率。

8.一种大气污染源数据分析装置，其特征在于，所述装置包括：

第一确定模块，用于基于大气污染源数据确定训练数据集和测试数据集；

训练模型，用于基于所述训练数据集对随机森林模型进行训练得到已训练模型；

第二确定模块，用于通过分布式计算框架，基于所述测试数据集和所述已训练模型确定目标模型；

分析模型，用于将待分析的大气污染源数据进行特征选取后得到的特征输入所述目标模型，得到分析结果，所述分析结果包括大气污染元素排放量。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器用于执行权利要求1-7任一项所述的大气污染源数据分析方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的大气污染源数据分析方法。

Images