CN112565457A - 一种通用物联网数据处理系统 - Google Patents

Abstract

本发明提供一种通用物联网数据处理系统，包括：数据采集模块，用于采集设备上的数据信息，并将所采集到的数据信息进行封装处理后生成原始数据并发送至数据处理模块；数据处理模块，用于对原始数据进行解析、汇聚、计算处理后得到最终数据并上传至云平台模块云平台模块，用于接收并存储最终数据；其中，数据采集模块、数据处理模块、云平台模块上预先加载有预设格式的配置文件。通过本发明，能够通过配置式的方式支持新设备的接入，避免了大量定制开发工作，同时能够统一多种传感器数据的处理，提高物联网系统的工作效率。

Description

一种通用物联网数据处理系统

技术领域

本发明涉及物联网数据处理领域，特别涉及一种通用物联网数据处理系统。

背景技术

目前，在物联网领域，传感器作为底层设备，一般采取从串行接口(如RS485、CAN)，其对外交互的数据格式多为原始的字节流拼接而成。而在云端(服务器)，需要采用解析后的结构化数据。传感器产生的数据也需要经过多轮计算，才可以供应用使用。当前多采用定制开发的形式，针对不同的传感器数据进行处理。

如此一来，不仅因为定制开发的形式导致了大量的人工成本的投入，同时也极大地降低了物联网环境的拓展速度。

发明内容

本发明目的之一在于提供了一种通用物联网数据处理系统。用以解决现有物联网数据处理不够统一、不够高效的问题。

本发明实施例提供的一种通用物联网数据处理系统，包括：

预先在数据采集传感器、数据传输节点、云平台上加载预设格式的配置文件；

数据采集模块，由多个加载配置文件后的数据采集传感器构成，用于采集设备上的数据信息，并将所采集到的数据信息基于所加载的配置文件进行封装处理后生成统一格式的原始数据并发送至数据处理模块；

数据处理模块，由多个基于配置文件将数据传输节点改造成的处理节点构成，用于对所述原始数据按照所加载的配置文件内的处理规则进行解析、汇聚、计算处理后得到最终数据并上传至云平台模块；

所述云平台模块，用于接收并存储所述最终数据。

优选的，所述数据采集模块包括：

数据采集单元，用于通过传感器采集设备上的数据信息；

数据封装单元，用于对所述数据信息进行封装处理并生成原始数据；

原始数据传输单元，用于将所述原始数据传输至数据处理模块；

其中，所述数据封装单元包括：

ID标识封装子单元，用于产生并为所述数据信息打上全局唯一的数据ID；

源目的标识封装子单元，用于为所述数据信息打上源地址信息、目的地址信息；

时间戳标识封装子单元，用于为所述数据信息打上时间戳信息；

原始数据生成子单元，根据打上数据ID、源地址信息、目的地址信息、时间戳信息后的数据信息生成原始数据。

优选的，所述数据处理模块由多种处理子模块构成，所述处理子模块根据预先所加载配置文件类型分为：

Compute处理子模块，由多个Compute处理节点构成，所述Compute处理节点用于对其中的计算类数据进行处理，并在处理完成后推送至消息队列处理子模块；

Raw byte处理子模块，由多个Raw byte处理节点构成，所述Raw byte处理节点用于对原始数据进行解析和反序列化处理，并在处理完成后推送至消息队列处理子模块；

Protobuf处理子模块，由多个Protobuf处理节点构成，所述Protobuf处理节点用于对proto文件进行动态加载并进行protobuf解析后进行protobuf序列化处理，并在处理完成后推送至消息队列处理子模块；

消息队列处理子模块，由多个消息队列处理节点构成，所述消息队列处理节点用于对所接收的数据进行队列分配处理；

其中，所述Compute处理节点、Raw byte处理节点、Protobuf处理节点、消息队列处理节点在对所接收的数据进行处理后为数据打上时间戳信息。

优选的，所述消息队列处理节点包括：

处理情况判断单元，用于对所接收的数据进行处理情况判断，确定所接收的数据还未经过的处理流程；

最终数据生成单元，用于在确定所接收的数据已经过所有的处理流程后，根据所接收的数据生成最终数据，并发送至所述云平台模块；

处理节点选择单元，用于根据所接收的数据还未经过的处理流程，选择下一个处理子模块的类型，并根据预先存储在所述消息队列处理节点内部的附近处理节点的地址信息，选择相应处理子模块类型的其中一个处理节点将所接收的数据发送到该处理节点。

优选的，所述Compute处理节点包括：

计算规则加载单元，用于根据所述计算类数据加载计算规则，并将所加载的计算规则和所述计算类数据发送至数据流计算处理单元，或将计算规则和所述计算类数据发送至待解析数据订阅单元；

待解析数据订阅单元，用于根据计算规则，将所述计算类数据保存为字节数据并进行反序列化处理后推送至所述消息队列处理子模块，或将所述计算类数据保存为结构化数据发送至数据流计算处理单元；

数据流计算处理单元，用于根据计算规则对结构化数据或计算类数据进行计算处理并经过protobuf序列化处理后推送至所述消息队列处理子模块。

优选的，所述待解析数据订阅单元包括：

字节数据保存子单元，用于根据所述计算规则，将同种类型的计算类数据进行归类并保存为字节数据；

结构化数据保存子单元，用于根据所述计算规则，将同一源地址所产生的计算类数据进行归类并保存为结构化数据。

优选的，所述数据流计算处理单元包括：

实时计算子单元，用于根据所述计算规则加载单元所发送的所述计算规则对所述计算类数据进行简单的函数计算后发送至protobuf序列化处理子单元；

多数据计算子单元，用于根据所述待解析数据订阅单元所发送的所述计算规则对所述结构化数据进行队列缓存和数据汇聚，并在数据汇聚结束后对其进行多数据计算后得到融合数据或过滤数据并发送至protobuf序列化处理子单元；

protobuf序列化处理子单元，用于将所接收的数据进行protobuf序列化处理后推送至所述消息队列处理子模块。

优选的，所述多数据计算包括：

多数据并联计算，通过对所述结构化数据进行数据挖掘，再根据可用数据进行数据融合计算最终得到融合数据；

多数据串联计算，通过对所述结构化数据按照时间窗口的形式进行平滑滤波计算最终得到过滤数据。

优选的，所述多数据并联计算具体步骤包括：

步骤1，数据一致性检验，利用数据探测技术中的分布图法对结构化数据进行异常数据剔除，得到最优数据集；

步骤2，计算出传感器的支持度，对于最优数据集中第i个传感器所测得的数据X_i和第j个传感器所测得的数据X_j服从高斯分布，以其概率分布曲线P_i(x)作为传感器i的特性函数，P_j(x)作为传感器j的特性函数，x_i记为数据X_i的一次测量值，x_j记为数据X_j的一次测量值，σ_i记为数据X_i的方差，σ_j记为数据X_j的方差，引进置信距离测度d_ij：

其中，d_ij为第i个传感器所测数据与第j个传感器所测数据之间的置信距离测度；

若最优数据集中有m个数据，则由置信距离测度d_ij(i，j＝1,2,…,m)构成置信矩阵D_m：

给出融合上限θ_ij，令关系系数r_ij有：

其中，当r_ij＝1时表示第i个传感器支持第j个传感器，r_ij＝0时表示第i个传感器不支持第j个传感器，当r_ij＝1且r_ji＝1时表示第i个传感器和第j个传感器相互支持；

根据关系系数r_ij得到关系矩阵；

其中，R_m中第i列的数值之和为第i个传感器被其他传感器的支持度；

步骤3，对数据进行融合得到融合数据，根据预先设定的支持度阈值，筛选支持度大于支持度阈值的传感器，对于所筛选出的n个传感器，根据每个传感器实时测量到的数据计算出的数据方差大小，动态为各个传感器分配权重值，对于第i个传感器分配的权重值Q_i(i＝1,2，…，n)，各传感器所测得的数据方差越小则权重值分配得越大，且n个传感器所分配的权重值之和等于1，Q_i的计算公式如下：

其中，i，k＝1,2,…,n，σ_i为第i个传感器所测得数据的方差值；

根据各个传感器分配得权重值和每个传感器所测得的数据得到融合数据，计算公式如下：

其中Q_i(i＝1,2，…，n)为第i个传感器分配的权重值，O为融合数据。

优选的，所述数据处理模块还包括处理排队优化子模块；

所述处理排队优化子模块包括：

节点状态监测单元，用于对所述Compute处理节点、所述Raw byte处理节点、所述Protobuf处理节点、所述消息队列处理节点的运行状态进行监测，所述运行状态包括待运行状态、运行中状态、暂停运行状态、运行失败状态，并将监测结果发送至所述消息队列处理子模块；

队列状态监测单元，用于对述Compute处理节点、所述Raw byte处理节点、所述Protobuf处理节点、所述消息队列处理节点的待处理数据的队列进行监测，得到处理节点上待处理数据的数量；

优先级分配单元，用于根据预先建立的传感器的优先权重，将该传感器的数据按照权重大小进行优先级分配，得到优先处理队列；

排队优化单元，用于根据优先处理队列，基于处理节点上待处理数据的数量，将优先处理队列中的数据依次分发到待处理数据数量最少的处理节点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种通用物联网数据处理系统的结构示意图；

图2为本发明实施例中数据处理模块的结构示意图；

图3为本发明实施例中数据流计算处理单元的数据处理流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提供了一种通用物联网数据处理系统，如图1所示，包括：

预先在数据采集传感器、数据传输节点、云平台上加载预设格式的配置文件；

数据采集模块，由多个加载配置文件后的数据采集传感器构成，用于采集设备上的数据信息，并将所采集到的数据信息基于所加载的配置文件进行封装处理后生成统一格式的原始数据并发送至数据处理模块；

数据处理模块，由多个基于配置文件将数据传输节点改造成的处理节点构成，用于对所述原始数据按照所加载的配置文件内的处理规则进行解析、汇聚、计算处理后得到最终数据并上传至云平台模块；

所述云平台模块，用于接收并存储所述最终数据。

例如，当数据采集模块中的某个传感器从某台设备或某个采集点上采集到数据后，对采集到的数据进行封装，同时采集工作依然在进行当中；在进行封装时，将这个传感器所对应的设备地址和数据需要到达的目的地址添加到数据当中，同时根据预先加载的配置文件上的规则为该数据产生全局唯一的ID标识，并将ID标识也加入数据，在封装完成后，为数据加盖时间戳信息并发送给数据处理模块。数据处理模块为多个处理节点相互连接所构成的中间网络，并且每个处理节点上都加载有配置文件，根据所加载的配置文件对处理节点进行分工，比如第一类处理节点专用于进行处理工作1，第二类处理节点专用于进行处理工作2等等，每个处理节点在对数据进行处理后都会为数据加盖时间戳，并在加盖后将处理后的数据发送至其中的消息队列处理节点，由消息队列处理节点对数据的处理情况进行判断，将未处理完成的数据发送至下一个处理节点，直至完成所有的包括解析、汇聚、计算处理等工作，在判断数据已经进行过所有的处理工作后将数据封装成最终数据，并选择发送至云平台模块的最短路径进行发送。

上述技术方案的工作原理为：预先在各个传感器、处理节点、云平台上加载预设格式的配置文件，统一传输协议。传感器采集到数据后将数据封装发送给处理节点，处理节点根据加载的配置文件进行分工，对原始数据进行解析、汇聚、计算处理后得到最终数据进行封装并上传至云平台，云平台根据最终数据上的封装对最终数据进行分类存储。

上述技术方案的有益效果为：通过配置文件的加载，支持对各种设备的接入，避免了大量定制开发工作，提高了代码复用率，使不同类型的传感器使用相同的执行逻辑，提升了系统的稳定性和可靠性，支持多种传感器数据的处理，降低了运维成本。通过中间的处理节点同时实现了原始数据解析，数据处理和协议转换的功能，提供物联网数据处理一站式服务。通过处理节点的分工，使每个处理节点仅加载关于工作的程序，降低了内存的占用的同时使节点的配置优势最大化。

在一个优选实施例中，所述数据采集模块包括：

数据采集单元，用于通过传感器采集设备上的数据信息；

数据封装单元，用于对所述数据信息进行封装处理并生成原始数据；

原始数据传输单元，用于将所述原始数据传输至数据处理模块；

其中，所述数据封装单元包括：

ID标识封装子单元，用于产生并为所述数据信息打上全局唯一的数据ID；

源目的标识封装子单元，用于为所述数据信息打上源地址信息、目的地址信息；

时间戳标识封装子单元，用于为所述数据信息打上时间戳信息；

原始数据生成子单元，根据打上数据ID、源地址信息、目的地址信息、时间戳信息后的数据信息生成原始数据。

上述技术方案的工作原理和有益效果为：通过数据采集单元的传感器采集数据信息，数据封装单元将数据信息加上唯一的数据ID、源地址信息、目的地址信息、再打上时间戳后封装传输至数据处理模块。通过打上的数据ID能够保证数据的有效性，有效避免外部上传的恶意数据致使系统出现故障；通过源地址和时间戳信息，方便云平台对数据的分类存储。

在一个优选实施例中，所述数据处理模块由多种处理子模块构成，所述处理子模块根据预先所加载配置文件类型分为：

Compute处理子模块，由多个Compute处理节点构成，所述Compute处理节点用于对其中的计算类数据进行处理，并在处理完成后推送至消息队列处理子模块；

Raw byte处理子模块，由多个Raw byte处理节点构成，所述Raw byte处理节点用于对原始数据进行解析和反序列化处理，并在处理完成后推送至消息队列处理子模块；

Protobuf处理子模块，由多个Protobuf处理节点构成，所述Protobuf处理节点用于对proto文件进行动态加载并进行protobuf解析后进行protobuf序列化处理，并在处理完成后推送至消息队列处理子模块；

消息队列处理子模块，由多个消息队列处理节点构成，所述消息队列处理节点用于对所接收的数据进行队列分配处理；

其中，所述Compute处理节点、Raw byte处理节点、Protobuf处理节点、消息队列处理节点在对所接收的数据进行处理后为数据打上时间戳信息。

上述技术方案的工作原理和有益效果为:将数据处理节点分类成多种处理处理节点，并将每一种处理节点归类至相应的处理子模块当中，每种处理节点仅处理自己相关的工作，其中较为特别地处理节点为消息队列处理节点，其他种类的处理节点在按照自己的工作内容将数据进行处理后，都会将数据传输到消息队列处理子模块当中，由消息队列处理子模块分配数据的流向。每个处理节点在对数据进行处理后都会为数据打上时间戳信息。其中的Compute处理节点专门用于对其中的计算类数据进行处理，Raw byte处理节点专用于对原始数据进行解析和反序列化处理，Protobuf处理节点专用于对proto文件进行动态加载并进行protobuf解析后进行protobuf序列化处理。通过中间的处理节点同时实现了原始数据解析，数据处理和协议转换的功能，提供物联网数据处理一站式服务。过处理节点的分工，使每个处理节点仅加载关于工作的程序，降低了内存的占用的同时使节点的配置优势最大化。通过打上的时间戳，能够让系统了解数据的处理速度，便于对数据的传输路径、传输速度、处理速度进行优化，提高系统的工作效率。

在一个优选实施例中，所述消息队列处理节点包括：

处理情况判断单元，用于对所接收的数据进行处理情况判断，确定所接收的数据还未经过的处理流程；

最终数据生成单元，用于在确定所接收的数据已经过所有的处理流程后，根据所接收的数据生成最终数据，并发送至所述云平台模块；

处理节点选择单元，用于根据所接收的数据还未经过的处理流程，选择下一个处理子模块的类型，并根据预先存储在所述消息队列处理节点内部的附近处理节点的地址信息，选择相应处理子模块类型的其中一个处理节点将所接收的数据发送到该处理节点。

上述技术方案的工作原理和有益效果为：消息队列处理子模块通过处理情况判断单元对数据的处理情况进行判断，确定数据未完成的处理步骤，以方便对数据的流向作出选择。通过最终数据生成单元，将处理完成后的数据封装成最终数据并发送至云平台模块，在最终数据经过其他处理节点时，其他处理节点在确认其为最终数据后不再对其进行中间处理，利于对处理结果的快速上传。通过处理子模块选择单元，根据预先存储在所述消息队列处理子模块内部的附近处理子模块信息，选择相应类型的其中一个处理子模块并将所接收的数据发送到该处理子模块，利于对传输的路径进行快速选择。

在一个优选实施例中，所述Compute处理子模块包括：

计算规则加载单元，用于根据所述计算类数据加载计算规则，并将所加载的计算规则和所述计算类数据发送至数据流计算处理单元，或将计算规则和所述计算类数据发送至待解析数据订阅单元；

待解析数据订阅单元，用于根据计算规则，将所述计算类数据保存为字节数据并进行反序列化处理后推送至所述消息队列处理子模块，或将所述计算类数据保存为结构化数据发送至数据流计算处理单元；

数据流计算处理单元，用于根据计算规则对结构化数据或计算类数据进行计算处理并经过protobuf序列化处理后推送至所述消息队列处理子模块。

上述技术方案的工作原理和有益效果为：Compute处理子模块通过计算规则加载单元确定数据的计算规则，根据数据的具体内容，选择将简单的数据和其对应的计算规则直接发送给数据流计算处理单元进行普通的函数计算，对于需要进行多数据融合计算的复杂数据，将复杂数据和其计算规则发送至待解析数据订阅单元，若数据较为零散，数据订阅单元则将其保存为字节数据经反序列化后发送至消息队列处理子模块，若数据较为集中，数据订阅单元则将数据保存为结构化数据并将结构化数据与计算规则发送至数据流计算处理单元，数据流计算处理单元根据计算规则对结构化数据或计算类数据进行计算处理并经过protobuf序列化处理后推送至所述消息队列处理子模块。通过上述方式可以对不同的数据格式和数据内容选择不同的计算规则，能够适用于对多种类型数据的处理。通过protobuf序列化处理能够提高数据在各种设备上的兼容性。

在一个优选实施例中，所述待解析数据订阅单元包括：

字节数据保存子单元，用于根据所述计算规则，将同种类型的计算类数据进行归类并保存为字节数据；

结构化数据保存子单元，用于根据所述计算规则，将同一源地址所产生的计算类数据进行归类并保存为结构化数据。

上述技术方案的工作原理和有益效果为：通过字节数据保存子单元根据所述计算规则，将同种类型的计算类数据进行归类并保存为字节数据，实现了对同种类型的计算数据进行归类，通过结构化数据保存子单元根据所述计算规则，实现了将同一源地址所产生的计算类数据进行归类并保存为结构化数据。

在一个优选实施例中，所述数据流计算处理单元包括：

实时计算子单元，用于根据所述计算规则加载单元所发送的所述计算规则对所述计算类数据进行简单的函数计算后发送至protobuf序列化处理子单元；

多数据计算子单元，用于根据所述待解析数据订阅单元所发送的所述计算规则对所述结构化数据进行队列缓存和数据汇聚，并在数据汇聚结束后对其进行多数据计算后得到融合数据或过滤数据并发送至protobuf序列化处理子单元；

protobuf序列化处理子单元，用于将所接收的数据进行protobuf序列化处理后推送至所述消息队列处理子模块。

上述技术方案的工作原理和有益效果为：通过实时计算子单元对简单的没有前后关联的数据进行简单的函数计算，通过多数据计算子单元实现对数据的融合计算和数据过滤，通过protobuf对数据进行protobuf序列化处理。实现了对不同种数据的不同处理方式，同样的protobuf序列化处理极大地提高了数据序列化和反序列化的速度，同时提高了数据的兼容性。

在一个优选实施例中，所述多数据计算包括：

多数据并联计算，通过对所述结构化数据进行数据挖掘，再根据可用数据进行数据融合计算最终得到融合数据。

多数据串联计算，通过对所述结构化数据按照时间窗口的形式进行平滑滤波计算最终得到过滤数据。

上述技术方案的工作原理和有益效果为：对不同来源的多个结构化数据进行数据挖掘和数据融合，提高了数据得可靠性。通过对同一来源的多个结构化数据进行平滑滤波计算，提供了对单一来源数据的异常数据的剔除方式。

在一个优选实施例中，所述多数据并联计算具体步骤包括：

步骤1，数据一致性检验，利用数据探测技术中的分布图法对结构化数据进行异常数据剔除，得到最优数据集；

步骤2，计算出传感器的支持度，对于最优数据集中第i个传感器所测得的数据X_i和第j个传感器所测得的数据X_j服从高斯分布，以其概率分布曲线P_i(x)作为传感器i的特性函数，P_j(x)作为传感器j的特性函数，x_i记为数据X_i的一次测量值，x_j记为数据X_j的一次测量值，σ_i记为数据X_i的方差，σ_j记为数据X_j的方差，引进置信距离测度d_ij：

其中，d_ij为第i个传感器所测数据与第j个传感器所测数据之间的置信距离测度；

若最优数据集中有m个数据，则由置信距离测度d_ij(i，j＝1,2,…,m)构成置信矩阵D_m：

给出融合上限θ_ij，令关系系数r_ij有：

其中，当r_ij＝1时表示第i个传感器支持第j个传感器，r_ij＝0时表示第i个传感器不支持第j个传感器，当r_ij＝1且r_ji＝1时表示第i个传感器和第j个传感器相互支持；

根据关系系数r_ij得到关系矩阵；

其中，R_m中第i列的数值之和为第i个传感器被其他传感器的支持度；

步骤3，对数据进行融合得到融合数据，根据预先设定的支持度阈值，筛选支持度大于支持度阈值的传感器，对于所筛选出的n个传感器，根据每个传感器实时测量到的数据计算出的数据方差大小，动态为各个传感器分配权重值，对于第i个传感器分配的权重值Q_i(i＝1,2，…，n)，各传感器所测得的数据方差越小则权重值分配得越大，且n个传感器所分配的权重值之和等于1，Q_i的计算公式如下：

其中，i，k＝1,2,…,n，σ_i为第i个传感器所测得数据的方差值；

根据各个传感器分配得权重值和每个传感器所测得的数据得到融合数据，计算公式如下：

其中Q_i(i＝1,2，…，n)为第i个传感器分配的权重值，O为融合数据。

上述技术方案的工作原理和有益效果为：通过利用数据探测技术中的分布图法对结构化数据进行异常数据剔除，实现对数据的初步挖掘。通过对汇聚后的结构化数据进行传感器支持度计算，筛选出高可靠传感器的数据进行融合计算，最终得到融合数据。上述方法避免了其中的异常数据对结果的影响，通过支持度避免了异常传感器对数据结果的影响，通过融合计算中对各个传感器动态分配权重值的方法，提高了数据融合手段的灵活性和融合数据的可靠性。

在一个优选实施例中，所述数据处理模块还包括处理排队优化子模块；

所述处理排队优化子模块包括：

节点状态监测单元，用于对所述Compute处理节点、所述Raw byte处理节点、所述Protobuf处理节点、所述消息队列处理节点的运行状态进行监测，所述运行状态包括待运行状态、运行中状态、暂停运行状态、运行失败状态，并将监测结果发送至所述消息队列处理子模块；

队列状态监测单元，用于对述Compute处理节点、所述Raw byte处理节点、所述Protobuf处理节点、所述消息队列处理节点的待处理数据的队列进行监测，得到处理节点上待处理数据的数量；

优先级分配单元，用于根据预先建立的传感器的优先权重，将该传感器的数据按照权重大小进行优先级分配，得到优先处理队列；

排队优化单元，用于根据优先处理队列，基于处理节点上待处理数据的数量，将优先处理队列中的数据依次分发到待处理数据数量最少的处理节点。

上述技术方案的工作原理和有益效果为：通过处理排队优化子模块对数据处理模块的处理顺序进行排序优化，其中节点监测单元对Compute处理节点、Raw byte处理节点、Protobuf处理节点、消息队列处理节点的运行状态进行监测，运行状态包括待运行状态、运行中状态、暂停运行状态、运行失败状态，并将监测结果发送至消息队列处理子模块，消息队列处理子模块可根据节点的处理状态对处理节点的选择进行优化。监测单元Compute处理节点、Raw byte处理节点、Protobuf处理节点、消息队列处理节点的待处理数据的队列进行监测，得到处理节点上待处理数据的数量，根据预先建立的传感器的优先权重，将该传感器的数据按照权重大小进行优先级分配得到优先处理队列，再基于处理节点上待处理数据的数量，将优先处理队列中的数据按先后顺序进行最快处理路径选择，并将选择结果发送到消息队列处理子模块，供消息队列处理子模块进行参考并选择。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种通用物联网数据处理系统，其特征在于，包括：

预先在数据采集传感器、数据传输节点、云平台上加载预设格式的配置文件；

数据采集模块，由多个加载配置文件后的数据采集传感器构成，用于采集设备上的数据信息，并将所采集到的数据信息基于所加载的配置文件进行封装处理后生成统一格式的原始数据并发送至数据处理模块；

数据处理模块，由多个基于配置文件将数据传输节点改造成的处理节点构成，用于对所述原始数据按照所加载的配置文件内的处理规则进行解析、汇聚、计算处理后得到最终数据并上传至云平台模块；

所述云平台模块，用于接收并存储所述最终数据。

2.根据权利要求1所述的一种通用物联网数据处理系统，其特征在于，所述数据采集模块包括：

数据采集单元，用于通过传感器采集设备上的数据信息；

数据封装单元，用于对所述数据信息进行封装处理并生成原始数据；

原始数据传输单元，用于将所述原始数据传输至数据处理模块；

其中，所述数据封装单元包括：

ID标识封装子单元，用于产生并为所述数据信息打上全局唯一的数据ID；

源目的标识封装子单元，用于为所述数据信息打上源地址信息、目的地址信息；

时间戳标识封装子单元，用于为所述数据信息打上时间戳信息；

原始数据生成子单元，根据打上数据ID、源地址信息、目的地址信息、时间戳信息后的数据信息生成原始数据。

3.根据权利要求1所述的一种通用物联网数据处理系统，其特征在于，所述数据处理模块由多种处理子模块构成，所述处理子模块根据预先所加载配置文件类型分为：

Compute处理子模块，由多个Compute处理节点构成，所述Compute处理节点用于对其中的计算类数据进行处理，并在处理完成后推送至消息队列处理子模块；

Raw byte处理子模块，由多个Raw byte处理节点构成，所述Raw byte处理节点用于对原始数据进行解析和反序列化处理，并在处理完成后推送至消息队列处理子模块；

Protobuf处理子模块，由多个Protobuf处理节点构成，所述Protobuf处理节点用于对proto文件进行动态加载并进行protobuf解析后进行protobuf序列化处理，并在处理完成后推送至消息队列处理子模块；

消息队列处理子模块，由多个消息队列处理节点构成，所述消息队列处理节点用于对所接收的数据进行队列分配处理；

其中，所述Compute处理节点、Raw byte处理节点、Protobuf处理节点、消息队列处理节点在对所接收的数据进行处理后为数据打上时间戳信息。

4.根据权利要求3所述的一种通用物联网数据处理系统，其特征在于，所述消息队列处理节点包括：

处理情况判断单元，用于对所接收的数据进行处理情况判断，确定所接收的数据还未经过的处理流程；

最终数据生成单元，用于在确定所接收的数据已经过所有的处理流程后，根据所接收的数据生成最终数据，并发送至所述云平台模块；

处理节点选择单元，用于根据所接收的数据还未经过的处理流程，选择下一个处理子模块的类型，并根据预先存储在所述消息队列处理节点内部的附近处理节点的地址信息，选择相应处理子模块类型的其中一个处理节点将所接收的数据发送到该处理节点。

5.根据权利要求3所述的一种通用物联网数据处理系统，其特征在于，所述Compute处理节点包括：

计算规则加载单元，用于根据所述计算类数据加载计算规则，并将所加载的计算规则和所述计算类数据发送至数据流计算处理单元，或将计算规则和所述计算类数据发送至待解析数据订阅单元；

待解析数据订阅单元，用于根据计算规则，将所述计算类数据保存为字节数据并进行反序列化处理后推送至所述消息队列处理子模块，或将所述计算类数据保存为结构化数据发送至数据流计算处理单元；

数据流计算处理单元，用于根据计算规则对结构化数据或计算类数据进行计算处理并经过protobuf序列化处理后推送至所述消息队列处理子模块。

6.根据权利要求5所述的一种通用物联网数据处理系统，其特征在于，所述待解析数据订阅单元包括：

字节数据保存子单元，用于根据所述计算规则，将同种类型的计算类数据进行归类并保存为字节数据；

结构化数据保存子单元，用于根据所述计算规则，将同一源地址所产生的计算类数据进行归类并保存为结构化数据。

7.据权利要求5所述的一种通用物联网数据处理系统，其特征在于，所述数据流计算处理单元包括：

实时计算子单元，用于根据所述计算规则加载单元所发送的所述计算规则对所述计算类数据进行简单的函数计算后发送至protobuf序列化处理子单元；

多数据计算子单元，用于根据所述待解析数据订阅单元所发送的所述计算规则对所述结构化数据进行队列缓存和数据汇聚，并在数据汇聚结束后对其进行多数据计算后得到融合数据或过滤数据并发送至protobuf序列化处理子单元；

protobuf序列化处理子单元，用于将所接收的数据进行protobuf序列化处理后推送至所述消息队列处理子模块。

8.根据权利要求7所述的一种通用物联网数据处理系统，其特征在于，所述多数据计算包括：

多数据并联计算，通过对所述结构化数据进行数据挖掘，再根据可用数据进行数据融合计算最终得到融合数据；

多数据串联计算，通过对所述结构化数据按照时间窗口的形式进行平滑滤波计算最终得到过滤数据。

9.根据权利要求8所述的一种通用物联网数据处理系统，其特征在于，所述多数据并联计算具体步骤包括：

步骤1，数据一致性检验，利用数据探测技术中的分布图法对结构化数据进行异常数据剔除，得到最优数据集；

步骤2，计算出传感器的支持度，对于最优数据集中第i个传感器所测得的数据X_i和第j个传感器所测得的数据X_j服从高斯分布，以其概率分布曲线P_i(x)作为传感器i的特性函数，P_j(x)作为传感器j的特性函数，x_i记为数据X_i的一次测量值，x_j记为数据X_j的一次测量值，σ_i记为数据X_i的方差，σ_j记为数据X_j的方差，引进置信距离测度d_ij：

其中，d_ij为第i个传感器所测数据与第j个传感器所测数据之间的置信距离测度；

若最优数据集中有m个数据，则由置信距离测度d_ij(i，j＝1,2,…,m)构成置信矩阵D_m：

给出融合上限θ_ij，令关系系数r_ij有：

其中，当r_ij＝1时表示第i个传感器支持第j个传感器，r_ij＝0时表示第i个传感器不支持第j个传感器，当r_ij＝1且r_ji＝1时表示第i个传感器和第j个传感器相互支持；

根据关系系数r_ij得到关系矩阵；

其中，R_m中第i列的数值之和为第i个传感器被其他传感器的支持度；

步骤3，对数据进行融合得到融合数据，根据预先设定的支持度阈值，筛选支持度大于支持度阈值的传感器，对于所筛选出的n个传感器，根据每个传感器实时测量到的数据计算出的数据方差大小，动态为各个传感器分配权重值，对于第i个传感器分配的权重值Q_i(i＝1,2，…，n)，各传感器所测得的数据方差越小则权重值分配得越大，且n个传感器所分配的权重值之和等于1，Q_i的计算公式如下：

其中，i，k＝1,2,…,n，σ_i为第i个传感器所测得数据的方差值；

根据各个传感器分配得权重值和每个传感器所测得的数据得到融合数据，计算公式如下：

其中Q_i(i＝1,2，…，n)为第i个传感器分配的权重值，O为融合数据。

10.根据权利要求3所述的一种通用物联网数据处理系统，其特征在于，所述数据处理模块还包括处理排队优化子模块；

所述处理排队优化子模块包括：

节点状态监测单元，用于对所述Compute处理节点、所述Raw byte处理节点、所述Protobuf处理节点、所述消息队列处理节点的运行状态进行监测，所述运行状态包括待运行状态、运行中状态、暂停运行状态、运行失败状态，并将监测结果发送至所述消息队列处理子模块；

队列状态监测单元，用于对述Compute处理节点、所述Raw byte处理节点、所述Protobuf处理节点、所述消息队列处理节点的待处理数据的队列进行监测，得到处理节点上待处理数据的数量；

优先级分配单元，用于根据预先建立的传感器的优先权重，将该传感器的数据按照权重大小进行优先级分配，得到优先处理队列；

排队优化单元，用于根据优先处理队列，基于处理节点上待处理数据的数量，将优先处理队列中的数据依次分发到待处理数据数量最少的处理节点。

Images