CN114691723A - 工业数据处理方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种工业数据处理方法、装置、设备及介质，所述方法包括：获取多个工业设备发送的包括时间戳的设备源数据；从配置文件中查找每个所述设备源数据各自对应的第一处理逻辑；不同设备源数据对应的第一处理逻辑均用于指向预设数据格式结构；基于查找到的第一处理逻辑，分别对各个设备源数据进行第一维度处理，获得经处理的中间数据；基获取的第二处理逻辑和每个中间数据对应的时间戳，对各所述中间数据进行第二维度处理，生成数据处理结果。从而降低了数据处理计算量，适配于多样化的工业场景下的数据处理。

Description

工业数据处理方法、装置、设备及介质

技术领域

本申请涉及工业技术领域，尤其涉及一种工业数据处理方法、装置、设备及介质。

背景技术

在互联网领域，普遍采用通用算法(例如MapReduce等)来进行大数据处理。然而，在工业领域，由于各厂商制造的工业设备类型多样，且设备操作频繁，需要处理的数据量较大，同时数据专业性较强，对实时性要求较高，传统的通用算法无法有效处理针对工业领域中不同厂商设备对应的大数据。

发明内容

基于此，本申请目的在于提供一种工业数据处理方法、装置、设备及介质，以解决以上至少一种技术问题。所述技术方案如下：

一方面，本申请提供了一种工业数据处理方法，包括：

获取多个工业设备发送的设备源数据，所述设备源数据包括时间戳；

从配置文件中查找每个所述设备源数据各自对应的第一处理逻辑；不同设备源数据对应的第一处理逻辑均用于指向预设数据格式结构；

基于查找到的第一处理逻辑，分别对各个设备源数据进行第一维度处理，获得经处理的中间数据；所述中间数据继承所述设备源数据的时间戳；

基于获取的数据处理指标信息以及每个中间数据对应的属性信息，获得各个所述中间数据对应的第二处理逻辑；

基于所述第二处理逻辑和每个所述中间数据对应的时间戳，对各所述中间数据进行第二维度处理，生成数据处理结果。

在一些实施方式中，所述方法还包括：

从所述第一处理逻辑中读取存储位置信息，基于所述存储位置信息创建数据输出实例；

基于所述数据输出实例对应的调用接口，将所述数据处理结果实时输出至目标存储位置，所述目标存储位置记录所述数据处理结果对应的时间戳。

在一些实施方式中，所述方法还包括：

响应于数据查询请求，生成数据查询指令；所述数据查询请求包括请求时间信息和数据类型信息，所述数据查询指令用于指示获取与所述请求时间信息和所述数据类型信息相匹配的目标查询数据；

基于所述数据查询指令，从所述目标存储位置中查找目标查询数据。

在一些实施方式中，所述基于查找到的第一处理逻辑，分别对各个设备源数据进行第一维度处理，获得经处理的中间数据包括：

对查找到的第一处理逻辑进行优化处理，获得经优化的第一处理逻辑；所述优化处理包括排序处理和去重处理中至少一种；

基于所述经优化的第一处理逻辑，按序分别对各个设备源数据进行第一维度处理，获得经处理的中间数据。

在一些实施方式中，所述从配置文件中查找每个设备源数据各自对应的第一处理逻辑包括：

在配置文件中，查找是否存在与各个设备源数据对应的设备标识信息相匹配的第一处理逻辑；

在查找结果指示存在的情况下，返回查找结果对应的第一处理逻辑；

在查找结果指示不存在的情况下，生成处理逻辑配置指令；所述处理逻辑配置指令包括不存在第一处理逻辑所对应的设备源数据的目标设备标识信息；

获取基于所述处理逻辑配置指令所确定的扩展处理逻辑，并将所述扩展处理逻辑作为所述目标设备标识信息对应的第一处理逻辑进行返回，所述扩展处理逻辑存储在所述配置文件中。

在一些实施方式中，所述基于获取的数据处理指标信息以及每个中间数据对应的属性信息，获得各个所述中间数据对应的第二处理逻辑包括：

基于获取的数据处理指标信息以及每个中间数据对应的属性信息，确定各个所述中间数据对应的多个目标处理子逻辑、以及各目标处理子逻辑之间的关系；

基于所述各目标处理子逻辑之间的关系，分别将所述各目标处理子逻辑进行链接，构成各个所述中间数据对应的第二处理逻辑，不同类型的中间数据对应的第二处理逻辑不同。

另一方面，本申请还提供了一种工业数据处理装置，包括：

输入模块，用于获取多个工业设备发送的设备源数据，所述设备源数据包括时间戳；

第一处理模块，用于从配置文件中查找每个所述设备源数据各自对应的第一处理逻辑；不同设备源数据对应的第一处理逻辑均用于指向预设数据格式结构；以及用于基于查找到的第一处理逻辑，分别对各个设备源数据进行第一维度处理，获得经处理的中间数据；所述中间数据继承所述设备源数据的时间戳；

第二处理模块，用于基于获取的数据处理指标信息以及每个中间数据对应的属性信息，获得各个所述中间数据对应的第二处理逻辑；以及用于基于所述第二处理逻辑和每个所述中间数据对应的时间戳，对各所述中间数据进行第二维度处理，生成数据处理结果。

在一些实施方式中，所述装置还包括：

输出模块，用于从所述第一处理逻辑中读取存储位置信息，基于所述存储位置信息创建数据输出实例；以及基于所述数据输出实例对应的调用接口，将所述数据处理结果实时输出至目标存储位置，所述目标存储位置记录所述数据处理结果对应的时间戳。

另一方面，本申请还提供一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如上述任一所述的工业数据处理方法。

另一方面，本申请还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述任一所述的工业数据处理方法。

本申请提供的一种工业数据处理方法、装置、设备及介质，通过获取多个工业设备发送的设备源数据，所述设备源数据包括时间戳；从配置文件中查找每个所述设备源数据各自对应的第一处理逻辑；不同设备源数据对应的第一处理逻辑均用于指向预设数据格式结构；基于查找到的第一处理逻辑，分别对各个设备源数据进行第一维度处理，获得经处理的中间数据；所述中间数据继承所述设备源数据的时间戳；基于获取的数据处理指标信息以及每个中间数据对应的属性信息，获得各个所述中间数据对应的第二处理逻辑；基于所述第二处理逻辑和每个所述中间数据对应的时间戳，对各所述中间数据进行第二维度处理，生成数据处理结果。如此，本申请专门针对工业领域产生的时序数据进行优化处理，对于不同厂商制造的工业设备类型多样等问题所带来的工业数据处理难度大进行了抽象建模，通过获取特定的第一处理逻辑和第二处理逻辑，先后分别对各设备源数据进行不同层次的处理，不仅降低了数据处理计算量，而且无特定的数据源，适配于多样化的工业场景。此外，在需要处理新的设备数据的情况下，无需重新编写代码即可快速实现，提高了工业数据处理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本申请实施例提供的一种工业数据处理方法的实施环境示意图；

图2是本申请实施例提供的一种工业数据处理方法的流程示意图；

图3是本申请实施例提供的另一种工业数据处理方法的部分流程示意图；

图4是本申请实施例提供的另一种工业数据处理方法的部分流程示意图；

图5是本申请实施例提供的一种工业数据处理装置的框图。

图6是本申请实施例提供的另一种工业数据处理装置的框图。

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。显然，所描述的实施例仅仅是本申请一个实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

此处所称的“一个实施例”或“实施例”是指可包含于本申请至少一个实现方式中的特定特征、结构或特性。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本申请实施例中涉及的一种工业数据处理方法、装置、设备及介质进行详细描述。

请参阅图1，其示出了本申请实施例提供的实施环境示意图。本申请提供的工业数据处理方法，可以应用于如图1所示的数据处理系统101。数据处理系统101通过获取各种工业设备所采集的设备源数据，并将获取到的设备源数据进行数据处理，实现对工业数据的处理。数据处理系统101可以包终端和服务器中至少一种，其中，终端可以包括但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和智能可穿戴设备，服务器可以是独立的服务器、服务器集群或云服务器等。

图2是本申请实施例中提供的一种工业数据处理方法的流程图。以该方法应用于上述数据处理系统为例进行说明，该方法可以由软件和/或硬件的方式实现，请参见图2，该方法可以包括：

S201，获取多个工业设备发送的设备源数据；所述设备源数据包括时间戳。

其中，工业设备可以包括但不限于工业采集设备、工业检测设备、工业加工设备等。设备源数据可以是工业设备所采集的初始设备数据。

该设备源数据可以包括时间戳，其中，时间戳可以是设备源数据的产生时间，例如设备采集时间等。该设备源数据可以是时序数据。可选地，该设备源数据还可以包括设备标识信息、设备地址信息中至少一种。其中，该设备标识信息可以反映工业设备的设备型号、制作厂商等信息，通过该设备标识信息可以唯一确定对应的工业设备。该设备地址信息用于反映工业设备所处的地理位置，例如具体的车间、工位等。

可选地，数据处理系统可以读取配置文件，根据配置文件内容进行内容解析，获得预先配置的通信协议，例如MQTT协议和restful协议等，以及获取输入的设备源数据的数据位置信息；通过该通信协议和数据位置信息建立与各工业设备之间的通信连接，在建立连接之后，实时获取工业设备上报的设备源数据，实现对设备源数据的连接。数据处理系统还维护与设备源数据之间的连接信息，当与设备源数据的连接断开后进行自动重连，防止数据丢失。在其他实施方式，还可以按照预设处理周期，获取工业设备的设备源数据以进行后续的数据处理。

S202，从配置文件中查找每个所述设备源数据各自对应的第一处理逻辑。

其中，不同设备源数据对应的第一处理逻辑均用于指向预设数据格式结构。该预设数据格式结构是指相同的数据格式。

可选地，对于不同的厂商所制备的工业设备上报的设备源数据通常具有私有数据格式。示例性的，设备源数据可以是json格式、yaml格式、xml格式等。不同的工业设备可以对应不同的第一处理逻辑。

该第一处理逻辑可以是直接编写在配置文件中，在工业数据处理系统的程序启动时即可从配置文件中读取一次，提高数据处理效率。配置文件中可以除了存储第一处理逻辑之外，还可以记录有设备标识信息与第一处理逻辑之间的映射关系。数据处理系统通过各个设备源数据对应的设备标识信息，从配置文件中所记录的映射关系中查找与每个设备源数据各自匹配的第一处理逻辑，之后根据各自的第一处理逻辑分别对对应的设备源数据进行相应处理，以将各设备源数据处理成预设数据格式结构的数据。

在一些实施方式中，可以对设备源数据的设备标识信息进行检测，若检测到配置文件中存在命中的设备标识信息，则将基于该设备源数据对应的设备标识信息，从配置文件中进行查找对应的第一处理逻辑。若检测到配置文件中不存在命中的设备标识信息，可以生成相应的提示信息，以便于及时进行相应的处理。当然，在实际应用中，可以仅采集已经事先配置处理逻辑的工业设备对应的设备源数据，如此，采集的设备源数据分别具有对应的第一处理逻辑。

在另一些实施方式中，所述从配置文件中查找每个设备源数据各自对应的第一处理逻辑可以包括：

在配置文件中，查找是否存在与各个设备源数据对应的设备标识信息相匹配的第一处理逻辑；

在查找结果指示存在的情况下，返回查找结果对应的第一处理逻辑；

在查找结果指示不存在的情况下，生成处理逻辑配置指令；所述处理逻辑配置指令包括不存在第一处理逻辑所对应的设备源数据的目标设备标识信息；

获取基于所述处理逻辑配置指令所确定的扩展处理逻辑，并将所述扩展处理逻辑作为所述目标设备标识信息对应的第一处理逻辑进行返回，所述扩展处理逻辑存储在所述配置文件中。

可选地，数据处理系统在配置文件中，查找是否存在与各个设备源数据对应的设备标识信息相匹配的第一处理逻辑。若查找结果指示存在相应的第一处理逻辑的情况下，返回查找结果对的第一处理逻辑，并将查询的第一处理逻辑与相应的设备源数据进行绑定。若查找结果指示至少一个不存在相应的第一处理逻辑的情况下，可以生成处理逻辑配置指令，该处理逻辑配置指令包括不存在第一处理逻辑所对应的设备源数据的目标设备标识信息。接着，配置人员可以配置该处理逻辑配置指令所指示的扩展处理逻辑，并将该扩展处理逻辑作为目标设备标识信息对应的第一处理逻辑进行返回。配置的扩展处理逻辑可以存储在配置文件中。

上述实施例，通过在查找结果指示不存在的情况下，生成处理逻辑配置指令；并将获取基于该处理逻辑配置指令所确定的扩展处理逻辑，作为目标设备标识信息对应的第一处理逻辑进行返回，从而，针对新数据结构的处理需求的情况下，无需重新编写代码，即可快速实现针对新的工业设备的数据处理，提高工业数据处理效率。

S203，基于查找到的第一处理逻辑，分别对各个设备源数据进行第一维度处理，获得经处理的中间数据；所述中间数据继承所述设备源数据的时间戳。

其中，第一维度处理包括用于表示将设备源数据处理为具有预设数据格式结构的中间数据对应的处理。示例性的，第一维度处理可以包括但不限于有效性处理、字段级处理、字节级处理等至少一种。

可选地，数据处理系统可以根据查找到的第一处理逻辑，确定每种设备源数据对应的有效性筛选逻辑，进而通过调用该有效性筛选逻辑对应的接口，分别对各设备源数据进行差异化有效性检查，剔除设备源数据中的非法数据和无效数据，并将经过有效性筛选逻辑处理的设备源数据进行归一化处理，获得具有预设数据格式结构的中间数据，该中间数据继承设备源数据的时间戳。

在一些实施方式中，在每个设备源数据对应多个第一处理逻辑的情况下，所述基于查找到的第一处理逻辑，分别对各个设备源数据进行第一维度处理，获得经处理的中间数据包括：

对查找到的第一处理逻辑进行优化处理，获得经优化的第一处理逻辑；所述优化处理包括排序处理和去重处理中至少一种；

基于所述经优化的第一处理逻辑，按序分别对各个设备源数据进行第一维度处理，获得经处理的中间数据。

可选地，在确定某个设备源数据包括多个第一处理逻辑之后，可以对多个第一处理逻辑进行逻辑层面的优化处理，该优化处理包括但不限于排序处理和去重处理中至少一种。示例性的，对于设备标识信息A，其对应的第一处理逻辑包括逻辑1、逻辑2、逻辑3和逻辑4，可以对这些逻辑依次进行去重处理，以及根据逻辑执行优先级顺序进行排序处理等，最终经优化处理后的执行顺序可以为逻辑2-逻辑4-逻辑1(即删除重复逻辑3)。

数据处理系统在获取经优化的第一处理逻辑之后，可以基于经优化的第一处理逻辑中各逻辑先后顺序，按序分别对各个设备源数据进行第一维度处理，获得经处理的中间数据。示例性的，第一维度处理可以包括但不限于有效性处理、字段级处理、字节级处理等至少一种。

可选地，数据处理系统可以根据经优化的第一处理逻辑，确定每种设备源数据对应的有效性筛选逻辑，进而通过调用该有效性筛选逻辑对应的接口，分别对各设备源数据进行差异化有效性检查，剔除设备源数据中的非法数据和无效数据。例如，设备源数据为空；或数据存在上下限，超出上下限认定为无效数据；设备源数据应为整数，出现非整数则认定为无效数据等。接着，将经过有效性筛选逻辑处理的设备源数据进行归一化处理，获得具有预设数据格式结构的中间数据，该中间数据继承设备源数据的时间戳。

上述实施例，通过对第一处理逻辑进行优化处理，减少了数据处理计算量，进一步提高数据处理效率。

S204，基于获取的数据处理指标信息以及每个中间数据对应的属性信息，获得各个所述中间数据对应的第二处理逻辑。

其中，数据处理指标信息可以表征工业设备所获取设备源数据的指标情况。该数据处理指标信息可以包括温度、压力、压强、液位、流速等至少一种。中间数据对应的属性信息反映中间数据的数据属性，例如时间属性、速度属性、温度属性、压力属性等。第二处理逻辑可以理解为一系列表达式，其包括但不限于条件运算逻辑、函数运算逻辑、数学运算逻辑等至少一种。其中，数学运算逻辑可以包括但不限于计算最大值、最小值、平均值等。

在一些实施方式中，数据处理系统可以定期从规则引擎同步第二处理逻辑，并缓存在本地。这些第二处理逻辑可以通过规则引擎在可视化管理界面进行配置，以减少开发的工作量。数据处理系统获取到数据处理指标信息之后，可以基于该数据处理指标信息和每个中间数据的属性信息，在本地查找与各个中间数据匹配的第二处理逻辑。具体的，可以根据设备源数据对应的设备标识信息从数据处理算子库中查询适配的处理算子，其中数据处理算子库中可以包括转换算子、过滤算子、截取算子、映射算子。接着，在可视化管理界面通过依次拖拽从数据处理算子库中查询的处理算子，并将按照处理逻辑进行链式连接以构成第二处理逻辑，例如构成转换算子→映射算子→截取算子的第二处理逻辑。

需要说明的是，该数据处理指标信息可以是一个或多个，当数据处理指标信息为多个时，对应的第二处理逻辑可以为多个。当数据处理指标信息为一个时，通过各中间数据可以通过各自的第二处理逻辑，来共同实现该数据处理过程，例如，对于数据处理指标信息B，各中间数据均无法直接独立计算得到该数据处理指标信息B，需要分别对各中间数据进行逻辑处理来共同计算得到该数据处理指标信息B。

在另一些实施方式中，所述基于获取的数据处理指标信息以及每个中间数据对应的属性信息，获得各个所述中间数据对应的第二处理逻辑包括：

基于获取的数据处理指标信息以及每个中间数据对应的属性信息，确定各个所述中间数据对应的多个目标处理子逻辑、以及各目标处理子逻辑之间的关系；

基于所述各目标处理子逻辑之间的关系，分别将所述各目标处理子逻辑进行链接，构成各个所述中间数据对应的第二处理逻辑，不同类型的中间数据对应的第二处理逻辑不同。

可选地，数据处理系统根据获取的数据处理指标信息以及每个中间数据对应的属性信息，确定各个所述中间数据对应的多个目标处理子逻辑、以及各目标处理子逻辑之间的关系，该关系用于反映目标处理子逻辑之间的逻辑关系。接着，基于所述各目标处理子逻辑之间的关系，分别将所述各目标处理子逻辑进行链接，实现多个目标处理子逻辑之间通过链式处理，构成各个所述中间数据对应的第二处理逻辑，该第二处理逻辑可以是逻辑树结构，不同类型的中间数据对应的第二处理逻辑不同。

S205，基于所述第二处理逻辑和每个所述中间数据对应的时间戳，对各所述中间数据进行第二维度处理，生成数据处理结果。

可选地，数据处理系统可以根据第二处理逻辑以及每个中间数据对应的时间戳，分别对各中间数据进行第二维度处理，接着可以对处理的结果进行过滤处理，获得数据处理结果。其中，第二处理逻辑可以包括但不限于条件运算逻辑、函数运算逻辑、数学运算逻辑等至少一种；对应的，第二维度处理可以包括条件运算处理、数学运算处理、函数运算处理等至少一种。

示例性的，数据处理系统获得统一的中间数据之后，可以按照第二处理逻辑和每个中间数据对应的时间戳进行第二维度处理，比如计算出同一个车间所有型号的PLC上报的温度测点的值。接着，可以对计算得到的温度值中不超过温度阈值的数据进行过滤处理，以获得最终的数据处理结果，也即最终的数据处理结果中仅保留超过温度范围阈值的数据，而对于处于正常温度范围的温度值可以不作任何处理并直接丢弃。

本申请专门针对工业领域产生的时序数据进行优化处理，对于不同厂商制造的工业设备类型多样等问题所带来的工业数据处理难度大进行了抽象建模，通过获取特定的第一处理逻辑和第二处理逻辑，先后分别对各设备源数据进行不同层次的处理，不仅降低了数据处理计算量，而且通过对常见的工业消息总线协议以及通用的标准协议格式数据做了适配，转换为预设数据格式的数据做后续处理，在第一数据处理阶段，也只是与厂商设备结合，不用关心设备具体的应用业务种类，故而无特定的数据源的概念，而是将各类数据根据第二处理逻辑进行转化处理，适配于多样化的工业场景。此外，在需要处理新的设备数据的情况下，无需重新编写代码即可快速实现，提高了工业数据处理效率。

在一些实施方式中，如图3所示，所述方法还包括：

S301，从所述第一处理逻辑中读取存储位置信息，基于所述存储位置信息创建数据输出实例；

S302，基于所述数据输出实例对应的调用接口，将所述数据处理结果实时输出至目标存储位置，所述目标存储位置记录所述数据处理结果对应的时间戳。

可选地，数据处理系统可以对第一处理逻辑进行解析，并读取数据处理结果对应的存储位置信息，该存储位置信息可以是目标存储位置的URL地址、目标存储位置的名称等。接着，基于该存储位置信息创建数据输出实例，该数据输出实例用于定义数据输出目的地，该数据输出实例可以包括数据库连接，或者消息队列，或者unix管道等至少一种。接着，通过该数据输出实例对应的调用接口，将数据处理结果实时输出至目标存储位置，并在该目标存储位置记录数据处理结果对应的时间戳，以便于后续使用。

示例性的，以目标存储位置包括时序数据库为例，可以将数据处理结果按照时间戳顺序写入到该时序数据库中，每个时间点为一条记录。如此，相比于传统的key-value数据库或者关系数据库对数据进行存储，利用时序数据库来存储工业数据，能够满足按时序进行快速查询数据的需求。

在一些实施方式中，如图4所示，所述方法还包括：

S401，响应于数据查询请求，生成数据查询指令；所述数据查询请求包括请求时间信息和数据类型信息，所述数据查询指令用于指示获取与所述请求时间信息和所述数据类型信息相匹配的目标查询数据；

S402，基于所述数据查询指令，从所述目标存储位置中查找目标查询数据。

其中，请求时间信息是反映设备源数据的获取时间，也即需求数据的时间戳。数据类型信息可以反映需求数据的属性类型，例如温度数据、压力数据、流速数据等至少一种。

可选地，管理员可以在数据查询界面中确定待查询数据条件，例如，该待查询请求时间信息为“近24小时”，数据类型信息为“温度数据”。接着，通过触发数据查询控件来生成数据查询请求，数据处理系统基于该数据查询请求生成数据查询指令，并基于该数据查询指令，从目标存储位置中查询是否存在符合需求的数据处理结果。由于目标存储位置中存储的数据处理结果中携带设备源数据的原生时间戳，故而，能够快速实现工业数据的时序查询。

为了便于理解，下面结合场景给出一个实施方式的说明。

假设本公开提供的数据处理系统配置了数据源有MQTT和restful协议，工厂流水线上存在西门子和三菱两个厂家的PLC，西门子PLC的数据会1秒1次发到MQTT，三菱PLC的数据会5秒1次发到restful服务器，则本公开提供的数据处理系统能同时接收西门子和三菱PLC上报的设备源数据。

假设西门子PLC上报的数据为json格式，其他包含data字段。三菱PLC上报的数据为二进制数据，我们只需要其中前10个字节的数据，本系统会根据配置的第一处理逻辑分别对各自上传的设备源数据进行筛选，例如，通过数据处理系统中的第一处理模块只取出西门子PLC上报内容的data字段部分和三菱PLC上报内容的前10个字节，统一成本系统的中间数据格式，并交给交给第二处理模块进行处理。本系统可以根据配置智能筛选出有用的数据部分，对于各个厂家各自不同的数据格式采用了一致的筛选逻辑，保证了一致性。当需要接入一款新的PLC时，只需要在配置文件中定义一套新的第一处理逻辑即可，无需修改程序代码，广泛适配了工业领域的应用场景。

第二处理模块获得统一后的中间数据后，按照第二处理逻辑进行数据转换处理，比如计算出同一个车间所有型号的PLC上报的温度测点的值，对于正常范围的值则可以不做任何处理直接丢弃，只保留超过阈值的数据。

在输出模块定义输出到时序数据库时，经过第二处理模块后的数据处理结果会按照时间顺序写入到时序数据库中，每一个时间点为一条记录，方便管理人员查询，例如只需要查询最近24小时内温度过高的数据。由于数据原生就带有时间戳，按时序查询会非常迅速。

下述为本申请装置实施例，可以用于执行本申请上述方法实施例。对于本申请装置实施例中未披露的细节和有益效果，请参照本申请方法实施例。

请参考图5，其示出了本申请实施例提供的一种工业数据处理装置的框图。该工业数据处理装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该工业数据处理装置可以包括：

输入模块510，用于获取多个工业设备发送的设备源数据，所述设备源数据包括时间戳；

第一处理模块520，用于从配置文件中查找每个所述设备源数据各自对应的第一处理逻辑；不同设备源数据对应的第一处理逻辑均用于指向预设数据格式结构；以及用于基于查找到的第一处理逻辑，分别对各个设备源数据进行第一维度处理，获得经处理的中间数据；所述中间数据继承所述设备源数据的时间戳；

第二处理模块530，用于基于获取的数据处理指标信息以及每个中间数据对应的属性信息，获得各个所述中间数据对应的第二处理逻辑；以及用于基于所述第二处理逻辑和每个所述中间数据对应的时间戳，对各所述中间数据进行第二维度处理，生成数据处理结果。

在一些实施方式中，如图6所示，所述装置还包括：

输出模块540，用于从所述第一处理逻辑中读取存储位置信息，基于所述存储位置信息创建数据输出实例；以及基于所述数据输出实例对应的调用接口，将所述数据处理结果实时输出至目标存储位置，所述目标存储位置记录所述数据处理结果对应的时间戳。

在一些实施方式中，所述装置还包括：

查询模块，用于响应于数据查询请求，生成数据查询指令；所述数据查询请求包括请求时间信息和数据类型信息，所述数据查询指令用于指示获取与所述请求时间信息和所述数据类型信息相匹配的目标查询数据；以及基于所述数据查询指令，从所述目标存储位置中查找目标查询数据。

在一些实施方式中，所述第一处理模块具体用于：

对查找到的第一处理逻辑进行优化处理，获得经优化的第一处理逻辑；所述优化处理包括排序处理和去重处理中至少一种；

基于所述经优化的第一处理逻辑，按序分别对各个设备源数据进行第一维度处理，获得经处理的中间数据。

在一些实施方式中，所述第一处理模块还具体用于：

在配置文件中，查找是否存在与各个设备源数据对应的设备标识信息相匹配的第一处理逻辑；

在查找结果指示存在的情况下，返回查找结果对应的第一处理逻辑；

在查找结果指示不存在的情况下，生成处理逻辑配置指令；所述处理逻辑配置指令包括不存在第一处理逻辑所对应的设备源数据的目标设备标识信息；

获取基于所述处理逻辑配置指令所确定的扩展处理逻辑，并将所述扩展处理逻辑作为所述目标设备标识信息对应的第一处理逻辑进行返回，所述扩展处理逻辑存储在所述配置文件中。

在一些实施方式中，所述第二处理模块具体用于：

基于获取的数据处理指标信息以及每个中间数据对应的属性信息，确定各个所述中间数据对应的多个目标处理子逻辑、以及各目标处理子逻辑之间的关系；

基于所述各目标处理子逻辑之间的关系，分别将所述各目标处理子逻辑进行链接，构成各个所述中间数据对应的第二处理逻辑，不同类型的中间数据对应的第二处理逻辑不同。

对于本申请系统实施例中未披露的细节和有益效果，请参照本申请上述实施例。

本申请还提供一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如上述任一所述的工业数据处理方法。

本申请还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述任一所述的工业数据处理方法。

在一些实施例中，该计算机设备(未图示)可以包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种工业数据处理方法。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。

Claims (10)

1.一种工业数据处理方法，其特征在于，包括：

获取多个工业设备发送的设备源数据，所述设备源数据包括时间戳；

从配置文件中查找每个所述设备源数据各自对应的第一处理逻辑；不同设备源数据对应的第一处理逻辑均用于指向预设数据格式结构；

基于查找到的第一处理逻辑，分别对各个设备源数据进行第一维度处理，获得经处理的中间数据；所述中间数据继承所述设备源数据的时间戳；

基于获取的数据处理指标信息以及每个中间数据对应的属性信息，获得各个所述中间数据对应的第二处理逻辑；

基于所述第二处理逻辑和每个所述中间数据对应的时间戳，对各所述中间数据进行第二维度处理，生成数据处理结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从所述第一处理逻辑中读取存储位置信息，基于所述存储位置信息创建数据输出实例；

基于所述数据输出实例对应的调用接口，将所述数据处理结果实时输出至目标存储位置，所述目标存储位置记录所述数据处理结果对应的时间戳。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

响应于数据查询请求，生成数据查询指令；所述数据查询请求包括请求时间信息和数据类型信息，所述数据查询指令用于指示获取与所述请求时间信息和所述数据类型信息相匹配的目标查询数据；

基于所述数据查询指令，从所述目标存储位置中查找目标查询数据。

4.根据权利要求1-3任一所述的方法，其特征在于，所述基于查找到的第一处理逻辑，分别对各个设备源数据进行第一维度处理，获得经处理的中间数据包括：

对查找到的第一处理逻辑进行优化处理，获得经优化的第一处理逻辑；所述优化处理包括排序处理和去重处理中至少一种；

基于所述经优化的第一处理逻辑，按序分别对各个设备源数据进行第一维度处理，获得经处理的中间数据。

5.根据权利要求1-3任一所述的方法，其特征在于，所述从配置文件中查找每个设备源数据各自对应的第一处理逻辑包括：

在配置文件中，查找是否存在与各个设备源数据对应的设备标识信息相匹配的第一处理逻辑；

在查找结果指示存在的情况下，返回查找结果对应的第一处理逻辑；

在查找结果指示不存在的情况下，生成处理逻辑配置指令；所述处理逻辑配置指令包括不存在第一处理逻辑所对应的设备源数据的目标设备标识信息；

获取基于所述处理逻辑配置指令所确定的扩展处理逻辑，并将所述扩展处理逻辑作为所述目标设备标识信息对应的第一处理逻辑进行返回，所述扩展处理逻辑存储在所述配置文件中。

6.根据权利要求1-3任一所述的方法，其特征在于，所述基于获取的数据处理指标信息以及每个中间数据对应的属性信息，获得各个所述中间数据对应的第二处理逻辑包括：

基于获取的数据处理指标信息以及每个中间数据对应的属性信息，确定各个所述中间数据对应的多个目标处理子逻辑、以及各目标处理子逻辑之间的关系；

基于所述各目标处理子逻辑之间的关系，分别将所述各目标处理子逻辑进行链接，构成各个所述中间数据对应的第二处理逻辑，不同类型的中间数据对应的第二处理逻辑不同。

7.一种工业数据处理装置，其特征在于，包括：

输入模块，用于获取多个工业设备发送的设备源数据，所述设备源数据包括时间戳；

第一处理模块，用于从配置文件中查找每个所述设备源数据各自对应的第一处理逻辑；不同设备源数据对应的第一处理逻辑均用于指向预设数据格式结构；以及用于基于查找到的第一处理逻辑，分别对各个设备源数据进行第一维度处理，获得经处理的中间数据；所述中间数据继承所述设备源数据的时间戳；

第二处理模块，用于基于获取的数据处理指标信息以及每个中间数据对应的属性信息，获得各个所述中间数据对应的第二处理逻辑；以及用于基于所述第二处理逻辑和每个所述中间数据对应的时间戳，对各所述中间数据进行第二维度处理，生成数据处理结果。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

输出模块，用于从所述第一处理逻辑中读取存储位置信息，基于所述存储位置信息创建数据输出实例；以及基于所述数据输出实例对应的调用接口，将所述数据处理结果实时输出至目标存储位置，所述目标存储位置记录所述数据处理结果对应的时间戳。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行以实现如权利要求1-7任一所述的工业数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-7任一所述的工业数据处理方法。

Images