CN115292345A - 一种污染源数据解析方法、装置、设备以及存储介质 - Google Patents

Abstract

本发明公开了一种污染源数据解析方法、装置、设备以及存储介质。该方法包括：分别获取至少两个候选数采仪所采集的候选污染源数据；获取待处理的目标数采仪，并从所述候选污染源数据中筛选所述目标数采仪所采集的目标污染源数据；根据所述目标污染源数据中的监测因子，对所述目标污染源数据进行拆分得出待处理污染源数据，并根据所述待处理污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，对待处理污染源数据进行解析。本发明提供的方案，可以更全面的对污染源数据进行解析，有效提高数据处理速度。

Description

一种污染源数据解析方法、装置、设备以及存储介质

技术领域

本发明涉及大数据领域，尤其涉及一种污染源数据解析方法、装置、设备以及存储介质。

背景技术

随着污染源企业数量和污染源种类的逐年增加，导致污染源数据量呈现出爆炸式的增长，业务数据库中保留了大量无关数据，业务处理逻辑复杂、不清晰，效率低下。

如何对污染源数据进行解析，提高数据处理平台的工作效率，是目前亟待解决的问题。

发明内容

本发明提供了一种污染源数据解析方法、装置、设备以及存储介质，可以更全面的对污染源数据进行解析，有效提高数据处理速度。

根据本发明的一方面，提供了一种污染源数据解析方法，包括：

分别获取至少两个候选数采仪所采集的候选污染源数据；

获取待处理的目标数采仪，并从所述候选污染源数据中筛选所述目标数采仪所采集的目标污染源数据；

根据所述目标污染源数据中的监测因子，对所述目标污染源数据进行拆分得出待处理污染源数据，并根据所述待处理污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，对所述待处理污染源数据进行解析。

根据本发明的另一方面，提供了一种污染源数据解析装置，包括：

获取模块，用于分别获取至少两个候选数采仪所采集的候选污染源数据；

筛选模块，用于获取待处理的目标数采仪，并从所述候选污染源数据中筛选所述目标数采仪所采集的目标污染源数据；

解析模块，用于根据所述目标污染源数据中的监测因子，对所述目标污染源数据进行拆分得出待处理污染源数据，并根据所述待处理污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，对所述待处理污染源数据进行解析。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的污染源数据解析方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的污染源数据解析方法。

本发明实施例的技术方案，分别获取至少两个候选数采仪所采集的候选污染源数据，获取待处理的目标数采仪，并从候选污染源数据中筛选目标数采仪所采集的目标污染源数据，根据目标污染源数据中的监测因子，对目标污染源数据进行拆分得出待处理污染源数据，并根据待处理污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，对待处理污染源数据进行解析。通过指定目标数采仪的污染源数据，可以有效过滤不关注的污染源数据，通过考虑污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，可以对数据进行全面的解析，将有效数据发送到上层应用中，提升后续污染源应用对数据的统计处理效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种污染源数据解析方法的流程图；

图2是本发明实施例二提供的一种污染源数据解析方法的流程图；

图3A是本发明实施例三提供的一种污染源数据解析方法的流程图；

图3B是本发明实施例三提供的污染源数据解析系统的结构示意图；

图4是本发明实施例四提供的一种污染源数据解析装置的结构图；

图5是本发明实施例五提供的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“候选”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1是本发明实施例一提供的一种污染源数据解析方法的流程图，本实施例适用于对数采仪发送的污染源数据进行解析处理的情况，该方法可以由污染源数据解析装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于具有污染源数据解析功能的电子设备中，由污染源数据解析系统执行。如图1所示，该方法包括：

S101、分别获取至少两个候选数采仪所采集的候选污染源数据。

其中，数采仪是指配置于各监测点对污染源的相关数据进行采集的仪器。监测点是指数采仪所处的监测位点，一个监测点可以包括至少一个数采仪，各数采仪之间通过唯一编号区分，例如，1号数采仪属于A企业的第一点位(或排口)，2号数采仪属于A企业的第二点位或第二排口。

污染源数据至少可以包括数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息等信息。污染源数据的数据类型包括小时数据类型和天数据类型。小时数据类型是指数采仪以小时为单位采集一小时数据生成的污染源数据的类型。天数据类型是指数采仪以天为单位采集一天数据生成的污染源数据的类型。污染源类型包括废水污染源和废气污染源。不同污染源类型的污染源数据包含的监测因子不同，各监测因子具有唯一标识的编码。废水污染源监测因子有60余种，废水污染源数据的监测因子例如可以是氢离子浓度指数PH值、化学需氧量、氨氮含量。w01001可以为监测因子PH值的编号，w01018可以为监测因子化学需氧量的编号，w21003可以为监测因子氨氮的编号。废气污染源数据的监测因子例如可以是：烟尘、氧含量以及烟气温度。废气污染源监测因子有：a34013烟尘、a19001氧含量、a01012烟气温度等100余种。污染源数据中不同监测因子均包含有其对应的监测值。数据标记信息可以包括数据或数采仪异常标记、相应监测点企业是否停产标记以及人工修正数据标记等。

可选的，各候选数采仪可以实时地或间隔预设时间地向污染源数据解析系统发送采集到的污染源数据，具体的，候选数采仪可以采集预设时间段的数据并取平均值，生成污染源数据，例如在1号三点到四点这一小时中每隔十分钟对废水中氨氮监测因子的含量进行采集统计，将含量的平均值作为污染源数据中对应氨氮监测因子的监测值。

可选的，污染源数据解析系统可以利用网关，基于与各数采仪之间的通信协议，分别获取各候选数采仪所采集的候选污染源数据。

可选的，污染源解析系统还可以获取各候选数采仪的工况数据，即数采仪的运行状态信息，若数采仪运行异常，则可以将该数采仪采集的污染源数据标记为异常或质疑。

S102、获取待处理的目标数采仪，并从候选污染源数据中筛选目标数采仪所采集的目标污染源数据。

其中，目标数采仪是指候选数采仪中被关注的数采仪。目标污染源数据是指目标数采仪采集的污染源数据。

可选的，可以获取相关人员输入的对数采仪或管理的监测点的订阅信息，如订阅关注A企业监测点的1号数采仪和2号数采仪，则可以根据订阅信息中的目标数采仪编号，从候选数采仪中筛选出目标数采仪，即获取待处理的目标数采仪，进一步从候选污染源数据中筛选目标数采仪所采集的目标污染源数据。

S103、根据目标污染源数据中的监测因子，对目标污染源数据进行拆分得出待处理污染源数据，并根据待处理污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，对待处理污染源数据进行解析。

其中，待处理污染源数据的数量与监测因子的数量相同。每条待处理污染源数据包括一种监测因子。各监测因子具有唯一标识的编码。

可选的，可以根据各监测因子的唯一标识编码，统计目标污染源数据中监测因子的数量，针对每个监测因子，将目标污染源数据拆分为一条待处理污染源数据，即对目标污染源数据进行拆分得出待处理污染源数据。

可选的，确定待处理污染源数据之后，可以对每条待处理污染源数据，都基于其数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，根据预设的规则进行解析处理。

可选的，可以根据待处理污染源数据的数采仪编号、数采仪所属监测点以及数据采集时间，对待处理污染源数据进行解析，具体包括：基于消息摘要算法MD5，根据待处理污染源数据的数采仪编号、数采仪所属监测点以及数据采集时间，确定待处理污染源数据的真实加密值；获取预存的污染源数据的已有加密值，并将真实加密值与各已有加密值进行一致性比较，确定待处理污染源数据是否为新增数据，若否，则舍弃该条待处理污染源数据。

其中，消息摘要算法(Message-Digest Algorithm，MD5)是一种加密算法。真实加密值是指待处理污染源数据基于MD5算法加密之后得的加密值。已有加密值是指对已存储的污染源数据基于MD5算法加密之后得的加密值。

可选的，可以确定待处理污染源数据的数采仪编号、数采仪所属监测点对应的编号及数据采集时间，基于消息摘要算法MD5进行加密处理，生成加密代码，即确定待处理污染源数据的真实加密值。

可选的，可以从存储单元获取预存的污染源数据的已有加密值，进一步将真实加密值与各已有加密值进行一致性比较，若发现存在与真实加密值相同的已有加密值，则表明该条待处理污染源数据为已采集过的数据，即待处理污染源数据不是新增数据，可以舍弃该条待处理污染源数据；若发现不存在与真实加密值相同的已有加密值，则表明该条待处理污染源数据为未采集过的数据，即待处理污染源数据是新增数据，可以保留该条污染源数据后续发送至业务数据库进行存储。

可选的，可以根据待处理污染源数据的数采仪编号和数采仪所属监测点，对待处理污染源数据进行解析，具体包括：根据待处理污染源数据的数采仪编号，确定预存的数采仪编号库中是否存在相应的数采仪编号；若是，则确定数采仪所属监测点是否属于预存的管理监测点，若否，则将该条待处理污染源数据舍弃。

可选的，可以根据待处理污染源数据的数据标记信息，对待处理污染源数据进行解析，具体包括：确定各待处理污染源数据的数据标记信息中是否包含人工修正标记；若是，则根据人工修正标记，将人工修正的监测因子监测值的字段格式设置为仅允许人工修正格式，通过这样的方式，可以保证该条被人工修正过的数据在后续数采仪不断发送新数据的情况下都不再更新。

可选的，对目标污染源数据进行解析处理之后，可以将目标污染源数据和候选污染源数据进行整合，发送至业务数据库进行存储。

本发明实施例的技术方案，分别获取至少两个候选数采仪所采集的候选污染源数据，获取待处理的目标数采仪，并从候选污染源数据中筛选目标数采仪所采集的目标污染源数据，根据目标污染源数据中的监测因子，对目标污染源数据进行拆分得出待处理污染源数据，并根据待处理污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，对待处理污染源数据进行解析。通过指定目标数采仪的污染源数据，可以有效过滤不关注的污染源数据，通过考虑污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，可以对数据进行全面的解析，将有效数据发送到上层应用中，提升后续污染源应用对数据的统计处理效率。

可选的，可以根据待处理污染源数据的污染源类型、各监测因子对应的监测值、数据标记信息和数采仪所属监测点，对待处理污染源数据进行解析，具体包括：确定待处理污染源数据的数据标记信息是否包含停产标记，若是，则确定相应数采仪监测点所关联的企业是否存在停产记录；若是，则确定待处理污染源数据的污染源类型和各监测因子对应的监测值是否满足停产条件，若否，则在待处理污染源数据的数据标记信息中添加异常标记。

可选的，若确定待处理污染源数据的数据标记信息不包含停产标记，则可以不对该条待处理污染源数据执行操作，直接将其保存至业务数据库中。

可选的，若确定待处理污染源数据的数据标记信息包含停产标记，则可以获取相应数采仪监测点所关联的企业相关记录，确定是否存在该企业的停产记录，若不存在停产记录，则表明数据标记有误。若存在停产记录，则确定待处理污染源数据的污染源类型和各监测因子对应的监测值是否满足停产条件，示例性的，若企业停产，则其对应的监测点各数采仪采集不同污染源类型中各监测因子对应的监测值应该满足预设的阈值条件，例如可以是低于或高于预设阈值，即停产条件可以为污染源类型和各监测因子对应的监测值低于或高于一定阈值。

可选的，若满足停产条件，则表明该条待处理污染源数据无误，则可以不对该条待处理污染源数据执行操作，直接将其保存至业务数据库中；若不满足停产条件，则表明该条待处理污染源数据的监测因子的监测值有误，可以在待处理污染源数据的数据标记信息中添加异常标记。

实施例二

图2是本发明实施例二提供的一种污染源数据解析方法的流程图，本实施例在上述实施例的基础上，进一步对根据待处理污染源数据的污染源类型、各监测因子对应的监测值、以及数据标记信息，对待处理污染源数据进行解析的过程进行详细的解释说明，如图2所示，该方法包括：

S201、分别获取至少两个候选数采仪所采集的候选污染源数据。

S202、获取待处理的目标数采仪，并从候选污染源数据中筛选目标数采仪所采集的目标污染源数据。

S203、若待处理污染源数据的污染源类型为废气污染源，则从各监测因子对应的监测值中确定烧结监测因子的实测值和折算值。

其中，烧结监测因子是指废气污染源数据中需要烧结的监测因子。实测值是指数采仪对烧结监测因子实际监测值。折算值是指根据预设的计算规则对实测值进行折算得到的监测因子的检查值。

可选的，可以基于预设的匹配算法，直接对待处理污染源数据的字段进行匹配，确定烧结监测因子监测值中的实测值和折算值；也可以将待处理污染源数据输入预先训练好的模型，输出烧结监测因子监测值中的实测值和折算值。

S204、根据数据标记信息，确定烧结监测因子是否烧结，若是，则以烧结监测因子的实测值作为该烧结监测因子的最终监测值。

可选的，可以对待处理污染源数据的数据标记信息进行处理，确定其中是否包含对烧结监测因子是否烧结的标记信息，若是，则根据该标记信息，确定烧结监测因子是否烧结；也可以在相关人员在污染源数据解析系统中手动添加对应污染源数据的标记信息后，根据手动添加的烧结监测因子是否烧结的标记信息，确定烧结监测因子是否烧结。

可选的，若确定烧结监测因子已烧结，则认为此时污染源中污染物的含量比较纯粹，可以取实测值作为烧结监测因子的最终值，即保留烧结监测因子的实测值；若确定烧结监测因子未烧结，则可以取折算值作为烧结监测因子的最终值，即保留烧结监测因子的折算值。

示例性的，某企业监测点“废碱焚烧排口”，它的废气污染物监测因子“氮氧化物(a21002)”实测值为：118.8mg/m3，折算值为：90.1mg/m3，监测点配置的是否烧结值为“否”，那么系统将会取折算值90.1mg/m3为污染物含量的最终值。

S205、确定保留的烧结监测因子的实测值是否处于正常值范围，若否，则在待处理污染源数据的数据标记信息中添加异常标记。

其中，异常标记也可以是质疑标记，若正常值的范围为多个，则可以预设实测值在不同的非正常范围时，对应添加质疑标记还是异常标记。

可选的，可以根据经验，预先为各烧结监测因子均设置对应的正常值范围，进一步确定保留的烧结监测因子的实测值是否处于正常值范围，若是，则不对该条待处理污染源数据执行操作，直接将其保存至业务数据库中，若否，则在待处理污染源数据的数据标记信息中添加异常标记。

示例性的，某企业监测点“废碱焚烧排口”，它的废气污染物监测因子“氮氧化物(a21002)”最终值为折算值90.1mg/m3，那么根据监测因子配置的超标上限(如300mg/m3)，因为该值没有超过此上限，故该污染物监测因子数值未超标，在正常值范围内。若污染源监测因子含量超标，则对该条数据进行异常标记和质疑标记。

本发明实施例的技术方案，给出了待处理污染源数据的污染源类型为废气污染源时，根据待处理污染源数据的污染源类型、各监测因子对应的监测值、以及数据标记信息，对待处理污染源数据进行解析的一种可实施方式，提高了污染源数据解析的丰富性。

可选的，可以根据待处理污染源数据的污染源类型和各监测因子对应的监测值，对待处理污染源数据进行解析，具体包括：若待处理污染源数据的污染源类型为废水污染源，则确定待处理污染源数据监测因子中氢离子浓度指数PH值、化学需氧量以及氨氮含量的监测值；确定氢离子浓度指数PH值、化学需氧量以及氨氮含量的监测值是否处于正常值范围，若否，则在待处理污染源数据的数据标记信息中添加异常标记。

需要说明的是，通过这样的方式，给出了待处理污染源数据的污染源类型为废水污染源时，根据待处理污染源数据的污染源类型和各监测因子对应的监测值，对待处理污染源数据进行解析的一种可实施方式，提高了污染源数据解析的丰富性。

实施例三

图3A是本发明实施例三提供的一种污染源数据解析方法的流程图，图3B是本发明实施例三提供的污染源数据解析系统的结构示意图。本实施例在上述实施例的基础上，进一步对分别获取至少两个候选数采仪所采集的候选污染源数据之后的过程进行详细的解释说明，如图3A所示，该方法包括：

S301、分别获取至少两个候选数采仪所采集的候选污染源数据。

S302、利用网关对各候选污染源数据进行循环冗余CRC校验。

其中，循环冗余校验(Cyclic Redundancy Check，CRC)是对数据的完整度、准确度以及安全性进行的校验。

可选的，候选数采仪采集候选污染源数据后可以基于CRC校验，计算CRC值，在候选污染源数据中添加对应的数据段并发送至污染源解析系统的网关，污染源解析系统利用网关分别获取至少两个候选数采仪所采集的候选污染源数据之后，可以利用网关，根据CRC值，基于CRC校验进行反向解析，根据解析结果，对候选污染源数据进行校验，即对污染源原始数据进行CRC校验，确定数据是否有数据被篡改，是否完整或是否有数据缺失，若校验通过，则认为该候选污染源数据无误，继续执行后续解析操作，若校验未通过，则删除该条候选污染源数据。

S303、若校验通过，则获取待处理的目标数采仪，并从候选污染源数据中筛选目标数采仪所采集的目标污染源数据。

S304、根据目标污染源数据中的监测因子，对目标污染源数据进行拆分得出待处理污染源数据，并根据待处理污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，对待处理污染源数据进行解析。

优选的，参见图3B，本发明实施例提供一种污染源数据解析系统，可以从数采仪获取候选污染源数据并进行解析，具体的，污染源数据解析系统包括：网关(数据中心)、SSDB(9801)数据库、云平台、SSDB(9803)数据库、在线数据解析模块以及污染源应用。

可选的，网关可以获取候选数采仪的用户名和密码，基于预存的数采仪的注册信息、候选数采仪的用户名和密码，对候选数采仪进行鉴权，确定数采仪是否在监管范围内，若是，则可以利用网关，执行发明实施例S302的步骤，对各候选污染源数据进行循环冗余CRC校验。根据与各数采仪之间不同的通信协议，将鉴权和校验通过的污染源数据进行组合，将组合生成的污染源数据发送至SSDB(9801)数据库进行存储。

可选的，SSDB(9801)数据库可以认为是一种缓存数据库，类似于远程字典服务Redis。云平台在监测到SSDB(9801)数据库有数据新增时，可以从SSDB(9801)数据库获取鉴权和校验通过的污染源数据，根据最新的通信协议和系统配置，将数据解析成JSON(JavaScript Object Notation,JS对象简谱)格式的数据包，云平台进一步获取用户的订阅信息，如用户关注废水污染源数据还是废气污染源数据，或关注某一台数采仪采集的污染源数据，或关注某一监测点的数采仪采集的污染源数据，然后根据订阅情况筛选JSON数据包，将筛选后的数据(也是JSON包)存储在SSDB(9803)数据库(即从候选污染源数据中筛选目标数采仪所采集的目标污染源数据)。

可选的，在线数据解析模块若监测到SSDB(9803)存入了新的数据(即目标污染源数据)，则可以执行本发明上述实施例S103所述的操作，对污染源数据进行解析，并将解析后的数据存储在业务数据库或发送至相关的污染源应用，具体的，在线解析模块可以将每条解析好的污染源数据插入预存的固化表并发送至污染源应用，由污染源应用通过后台定时运行固化程序，把固化表里的数据读取出来，进行计算、统计和分析。其中，固化表的设置是由于实时上报至在线解析模块的污染源数据比较多，因此把一些信息存到固化表。

本发明实施例的技术方案，给出了污染源数据解析系统获取候选数采仪发送的数据，利用网关、SSDB(9801)数据库、云平台、SSDB(9803)数据库以及在线数据解析模块对污染源数据进行解析处理，并发送至污染源应用进行后续处理的一种可实施方式，可以提供一种一站式污染源数据处理方案，将污染源数据鉴权、校验、分发和解析等步骤集成分布在多层次的系统组件中，便于系统后续实现多种定制化需求，另外，将数据进行筛选再解析，可以过滤不关心的数据，将有效数据发送到上层污染源应用中，可以有效提高数据处理的有效率。

实施例四

图4是本发明实施例四提供的一种污染源数据解析装置的结构图，本发明实施例所提供的一种污染源数据解析装置可执行本发明任一实施例所提供的一种污染源数据解析方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置包括：

获取模块401，用于分别获取至少两个候选数采仪所采集的候选污染源数据；

筛选模块402，用于获取待处理的目标数采仪，并从所述候选污染源数据中筛选所述目标数采仪所采集的目标污染源数据；

解析模块403，用于根据所述目标污染源数据中的监测因子，对所述目标污染源数据进行拆分得出待处理污染源数据，并根据所述待处理污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，对所述待处理污染源数据进行解析。

本发明实施例的技术方案，分别获取至少两个候选数采仪所采集的候选污染源数据，获取待处理的目标数采仪，并从候选污染源数据中筛选目标数采仪所采集的目标污染源数据，根据目标污染源数据中的监测因子，对目标污染源数据进行拆分得出待处理污染源数据，并根据待处理污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，对待处理污染源数据进行解析。通过指定目标数采仪的污染源数据，可以有效过滤不关注的污染源数据，通过考虑污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，可以对数据进行全面的解析，便于后续污染源应用对数据的统计处理。

进一步的，解析模块403可以包括：

第一解析单元，用于根据所述待处理污染源数据的污染源类型、各监测因子对应的监测值、以及数据标记信息，对所述待处理污染源数据进行解析；第一解析单元具体用于：若所述待处理污染源数据的污染源类型为废气污染源，则从各监测因子对应的监测值中确定烧结监测因子的实测值和折算值；

根据数据标记信息，确定所述烧结监测因子是否烧结，若是，则以所述烧结监测因子的实测值作为该烧结监测因子的最终监测值；

确定所述最终监测值是否处于正常值范围，若否，则在所述待处理污染源数据的数据标记信息中添加异常标记。

进一步的，解析模块403还可以包括：

第二解析单元，用于根据所述待处理污染源数据的污染源类型和各监测因子对应的监测值，对所述待处理污染源数据进行解析；第二解析单元具体用于：若所述待处理污染源数据的污染源类型为废水污染源，则确定所述待处理污染源数据监测因子中氢离子浓度指数PH值、化学需氧量以及氨氮含量的监测值；

确定氢离子浓度指数PH值、化学需氧量以及氨氮含量的监测值是否处于正常值范围，若否，则在所述待处理污染源数据的数据标记信息中添加异常标记。

进一步的，解析模块403还包括：

第三解析单元，用于根据所述待处理污染源数据的数采仪编号、数采仪所属监测点以及数据采集时间，对所述待处理污染源数据进行解析；第三解析单元具体用于：基于消息摘要算法MD5，根据所述待处理污染源数据的数采仪编号、数采仪所属监测点以及数据采集时间，确定待处理污染源数据的真实加密值；

获取预存的污染源数据的已有加密值，并将所述真实加密值与各已有加密值进行一致性比较，确定所述待处理污染源数据是否为新增数据，若否，则舍弃该条待处理污染源数据。

进一步的，解析模块403还包括：

第四解析单元，用于根据所述待处理污染源数据的污染源类型、各监测因子对应的监测值、数据标记信息和数采仪所属监测点，对所述待处理污染源数据进行解析；第四解析单元具体用于：确定所述待处理污染源数据的数据标记信息是否包含停产标记，若是，则确定相应数采仪监测点所关联的企业是否存在停产记录；

若是，则确定待处理污染源数据的污染源类型和各监测因子对应的监测值是否满足停产条件，若否，则在所述待处理污染源数据的数据标记信息中添加异常标记。

进一步的，解析模块403还包括：

第五解析模块，用于根据所述待处理污染源数据的数采仪编号和数采仪所属监测点，对所述待处理污染源数据进行解析；第五解析模块具体用于：根据所述待处理污染源数据的数采仪编号，确定预存的数采仪编号库中是否存在相应的数采仪编号；

若是，则确定数采仪所属监测点是否属于预存的管理监测点，若否，则将该条待处理污染源数据舍弃。

进一步的，上述装置还包括：校验模块，用于分别获取至少两个候选数采仪所采集的候选污染源数据之后，利用网关对各候选污染源数据进行循环冗余CRC校验，若校验通过，则获取待处理的目标数采仪。

实施例五

图5是本发明实施例五提供的电子设备的结构示意图。图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如污染源数据解析方法。

在一些实施例中，污染源数据解析方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的污染源数据解析方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行污染源数据解析方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种污染源数据解析方法，其特征在于，包括：

分别获取至少两个候选数采仪所采集的候选污染源数据；

获取待处理的目标数采仪，并从所述候选污染源数据中筛选所述目标数采仪所采集的目标污染源数据；

根据所述目标污染源数据中的监测因子，对所述目标污染源数据进行拆分得出待处理污染源数据，并根据所述待处理污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，对所述待处理污染源数据进行解析。

2.根据权利要求1所述的方法，其特征在于，根据所述待处理污染源数据的污染源类型、各监测因子对应的监测值、以及数据标记信息，对所述待处理污染源数据进行解析，包括：

若所述待处理污染源数据的污染源类型为废气污染源，则从各监测因子对应的监测值中确定烧结监测因子的实测值和折算值；

根据数据标记信息，确定所述烧结监测因子是否烧结，若是，则以所述烧结监测因子的实测值作为该烧结监测因子的最终监测值；

确定所述最终监测值是否处于正常值范围，若否，则在所述待处理污染源数据的数据标记信息中添加异常标记。

3.根据权利要求2所述的方法，其特征在于，根据所述待处理污染源数据的污染源类型和各监测因子对应的监测值，对所述待处理污染源数据进行解析，包括：

若所述待处理污染源数据的污染源类型为废水污染源，则确定所述待处理污染源数据监测因子中氢离子浓度指数PH值、化学需氧量以及氨氮含量的监测值；

确定氢离子浓度指数PH值、化学需氧量以及氨氮含量的监测值是否处于正常值范围，若否，则在所述待处理污染源数据的数据标记信息中添加异常标记。

4.根据权利要求1-3中任一项所述的方法，其特征在于，根据所述待处理污染源数据的数采仪编号、数采仪所属监测点以及数据采集时间，对所述待处理污染源数据进行解析，还包括：

基于消息摘要算法MD5，根据所述待处理污染源数据的数采仪编号、数采仪所属监测点以及数据采集时间，确定待处理污染源数据的真实加密值；

获取预存的污染源数据的已有加密值，并将所述真实加密值与各已有加密值进行一致性比较，确定所述待处理污染源数据是否为新增数据，若否，则舍弃该条待处理污染源数据。

5.根据权利要求1-4中任一项所述的方法，其特征在于，根据所述待处理污染源数据的污染源类型、各监测因子对应的监测值、数据标记信息和数采仪所属监测点，对所述待处理污染源数据进行解析，包括：

确定所述待处理污染源数据的数据标记信息是否包含停产标记，若是，则确定相应数采仪监测点所关联的企业是否存在停产记录；

若是，则确定待处理污染源数据的污染源类型和各监测因子对应的监测值是否满足停产条件，若否，则在所述待处理污染源数据的数据标记信息中添加异常标记。

6.根据权利要求1所述的方法，其特征在于，根据所述待处理污染源数据的数采仪编号和数采仪所属监测点，对所述待处理污染源数据进行解析，包括：

根据所述待处理污染源数据的数采仪编号，确定预存的数采仪编号库中是否存在相应的数采仪编号；

若是，则确定数采仪所属监测点是否属于预存的管理监测点，若否，则将该条待处理污染源数据舍弃。

7.根据权利要求1所述的方法，其特征在于，分别获取至少两个候选数采仪所采集的候选污染源数据之后，还包括：

利用网关对各候选污染源数据进行循环冗余CRC校验，若校验通过，则获取待处理的目标数采仪。

8.一种污染源数据解析装置，其特征在于，包括：

获取模块，用于分别获取至少两个候选数采仪所采集的候选污染源数据；

筛选模块，用于获取待处理的目标数采仪，并从所述候选污染源数据中筛选所述目标数采仪所采集的目标污染源数据；

解析模块，用于根据所述目标污染源数据中的监测因子，对所述目标污染源数据进行拆分得出待处理污染源数据，并根据所述待处理污染源数据的数据类型、污染源类型、各监测因子对应的监测值、数采仪编号、数采仪所属监测点、数据采集时间以及数据标记信息，对所述待处理污染源数据进行解析。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的污染源数据解析方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的污染源数据解析方法。

Images