CN112468541B - 基于物联网的数据处理方法、装置及系统 - Google Patents

Abstract

本发明涉及基于物联网的数据处理方法、装置和系统。所述系统包括：设备集群，用于在新增设备接入设备集群时生成新增设备对应的新增设备数据，并将新增设备数据发送至数据分发平台；数据分发平台，用于接收新增设备数据，并对新增设备数据进行解析，得到新增设备数据对应的特征信息和待分发数据；按预设数据分发规则将特征信息与下游数据消费设备进行匹配，以确定待分发数据对应的下游数据消费设备，并按预设分发规则将待分发数据分发至对应的下游数据消费设备；下游数据消费设备，用于接收并解析待分发数据，在确定需要反馈回执信息时发送回执信息。本发明实现了数据的准确分发，降低对系统资源的占用，降低转发延时，增加吞吐量。

Description

基于物联网的数据处理方法、装置及系统

技术领域

本发明涉及物联网技术领域，尤其涉及一种基于物联网的数据处理方法、装置以及系统。

背景技术

当前，随着云计算、大数据、物联网技术的迅猛发展，越来越多的设备能够被接入物联网。在物联网设备爆发式增长形势下，种类丰富的设备每时每刻都在产生大量的数据。在这样的环境下，如何实现合理的数据分发，成为亟待解决的问题。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种基于物联网的数据处理方法及装置，以及基于物联网的数据处理系统，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的第一方面，提供一种基于物联网的数据处理系统，包括：

设备集群，用于在新增设备接入所述设备集群时生成所述新增设备对应的新增设备数据，并将所述新增设备数据发送至数据分发平台；

数据分发平台，用于接收所述新增设备数据，并对所述新增设备数据进行解析，得到所述新增设备数据对应的特征信息和待分发数据；按预设数据分发规则将所述特征信息与下游数据消费设备进行匹配，以确定所述待分发数据对应的所述下游数据消费设备，并按预设分发规则将所述待分发数据分发至对应的所述下游数据消费设备；

下游数据消费设备，用于接收并解析所述待分发数据，并在确定需要反馈回执信息时，向所述数据分发平台发送回执信息。

根据本发明的第二方面，提供一种基于物联网的数据处理方法，包括：

接收设备集群生成的新增设备数据；其中，所述新增设备数据为新增设备接入所述设备集群时生成的所述新增设备对应的新增设备数据；

解析所述新增设备数据，以获取所述新增设备数据对应的特征信息和待分发数据；

按预设数据分发规则将所述特征信息与下游数据消费设备进行匹配，以确定所述待分发数据对应的所述下游数据消费设备，并将所述待分发数据分发至对应的所述下游数据消费设备。

根据本发明的第三方面，提供一种基于物联网的数据处理装置，包括：

数据接收模块，用于接收设备集群生成的新增设备数据；其中，所述新增设备数据为新增设备接入所述设备集群时生成的所述新增设备对应的新增设备数据；

数据解析模块，用于解析所述新增设备数据，以获取所述新增设备数据对应的特征信息和待分发数据；

数据分发模块，用于按预设数据分发规则将所述特征信息与下游数据消费设备进行匹配，以确定所述待分发数据对应的所述下游数据消费设备，并将所述待分发数据分发至对应的所述下游数据消费设备。

本发明的实施例的技术方案中所提供的系统及方法，新增设备可以灵活接入设备集群；对于数据分发平台来说，可以灵活接入多个设备接入集群。通过设置相对灵活的设备匹配规则和数据分发规则，可以使得新增设备加入设备集群后，可以将新增设备数据能够及时、准确的分发至对应的下游数据消费设备；并能够降低对系统资源的占用，降低转发延时，且有效的增加吞吐量。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本发明示例性实施例中一种基于物联网的数据处理系统的架构示意图；

图2示意性示出本发明示例性实施例中一种基于物联网的数据处理方法的流程示意图；

图3示意性示出本发明示例性实施例中一种基于物联网的数据处理装置的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下面，参考附图及实施例，将对本示例实施方式中的基于物联网的数据处理系统及方法进行更详细的说明。

参考图1所示，本示例实施方式中提供的一种基于物联网的数据处系统中。其中，系统可以基于Linux操作系统，包括：数据分发平台101，该数据分发平台101可以是一个独立的数据分发平台，或者是多个子数据分发平台构成的数据分发平台集合。在系统上游，该数据分发平台101可以对应接入一个或多个设备集群102。对于各设备集群102来说，可以包含一个或多个设备104。在系统下游，数据分发平台可以连接多个下游数据消费设备103。举例来说，数据消费设备可以是用于对数据进行整合和处理的数据采集平台、数据推动平台、实时数据分析平台等。对于上述的各数据平台，还可以向下游连接用户终端，将处理后的数据发送至用户终端的应用程序中，供用户使用数据。

具体来说，上述的设备集群可以用于在新增设备接入所述设备集群时生成所述新增设备对应的新增设备数据，并将所述新增设备数据发送至数据分发平台。上述的数据分发平台可以用于接收所述新增设备数据，并对所述新增设备数据进行解析，得到所述新增设备数据对应的特征信息和待分发数据；按预设数据分发规则将所述特征信息与下游数据消费设备进行匹配，以确定所述待分发数据对应的所述下游数据消费设备，并按预设分发规则将所述待分发数据分发至对应的所述下游数据消费设备。上述的下游数据消费设备可以用于接收并解析所述待分发数据，并在确定需要反馈回执信息时，向所述数据分发平台发送回执信息。

下面，参考图2所示，对基于物联网的数据处理方法进行详细说明。

在步骤S1中，接收设备集群生成的新增设备数据；其中，所述新增设备数据为新增设备接入所述设备集群时生成的所述新增设备对应的新增设备数据。

本示例实施方式中，对设备集群来说，在新增物联网设备上电，以电连接的方式接入设备集群时，新增设备可以配置长连接的方式接入设备集群，实现长连接保活，保证新增设备活跃。同时，可以由新增设备，或者对应的设备集群自身触发向数据分发平台发送对应的新增设备数据。举例来说，可以以报文的形式发送数据；例如，新增设备数据包括：设备激活信息、设备配网通知信息、设备心跳信息、设备上下线信息、设备数据上报信息、设备控制请求信息以及设备控制响应信息中的任意一项或任意多项的组合。对于数据分发平台而言，可以实时的接收各设备集群发送的新增设备数据。或者，数据分发平台也可以实时的接收各设备集群反馈的其他类型的设备信息。例如，设备运行信息、日志信息等。

在步骤S2中，解析所述新增设备数据，以获取所述新增设备数据对应的特征信息和待分发数据。

本示例实施方式中，对于数据分发平台而言，在接收到报文后可以进行解析，得到报文对应的特征信息和待分发数据。例如，特征信息可以是消息类型、设备类型、子设备类型组成的三元组形式的特征信息。待分发数据可以是具体的数据内容。本发明对数据内容的具体形式和内容不作特殊限定。

在步骤S3中，按预设数据分发规则将所述特征信息与下游数据消费设备进行匹配，以确定所述待分发数据对应的所述下游数据消费设备，并将所述待分发数据分发至对应的所述下游数据消费设备。

在本示例性实施方式中，对于数据分发平台而言，可以依据预设的数据分发规则依次精准匹配设备消息类型、设备类型和子设备类型。匹配成功则将数据流发送至匹配结果中的下游数据消费设备。否则，若匹配失败，匹配默认规则，然后分发数据至默认下游数据消费设备。该下游数据消费设备可以是数据采集平台、数据推送平台、实时数据分析平台等。举例来说，设备类型可以使用预设编码进行标识，例如，10000代表RM，10001代表SP2，10002代表RM2，10016代表SP mini等等。设备消息类型可以分为两类：一是需要下游数据消费组件ACK设备。另一类是不需要ACK设备。

此外，对于数据分发平台来说，可以通过多中数据分发模式接入下游数据消费设备。例如，设备数据循环遍历分发至下游数据消费组件的循环遍历模式；以及设备数据分发至随机选择一个下游数据消费组件的随机分发模式。其中随机选择算法可以使用CRC32生成随机数方式，或者其他算法。具体的，在数据分发时，可以利用Linux系统的reuseport服务来执行，极致发挥数据分发功能，实现高性能的数据分发。

基于上述内容，在本发明的其他示例性实施方式中，上述的方法还可以包括：所述下游数据消费设备接收所述待分发数据后，对所述待分发数据进行解析以确定是否需要反馈回执信息；并在确定需要反馈回执信息时，向所述数据分发平台发送回执信息。

具体来说，对于下游数据消费设备而言，下游数据消费设备在接收到数据之后，依据消息类型含义决定是否需要ACK(反馈回执)。有ACK需要的，则向数据分发平台反馈回执信息，再由数据分发平台将反馈回执信息推送至设备接入集群，设备接入集群再将反馈回执信息推送至设备。若无ACK设备数据，设备数据分发至下游数据消费组件即结束。

另外，在本示例性实施方式中，还可以对数据分发规则进行实时的修改和更新，且修改数据分发规则无需重启数据分发平台规则即可生效。具体来说，更新数据分发规则后，可以使用操作系统Shell发送信号USR2至进程即可使数据分发规则生效。实现数据分发平台热加载数据分发规则。此外，还可以利用多SOCKET负载均衡实现数据接收和发送，降低数据读写延时，提高吞吐量。

本发明的方法，通过设置将所述特征信息与下游数据消费设备进行匹配，实现精准的匹配分发。依次按照设备消息类型，设备类型，子设备类型三元组匹配分发数据，保证数据流向的精准性。并且，实现零改动扩展新消息分发。在设备新增消息类型时，数据分发平台无需改动，仅添加分发规则即可接入下游数据消费组件服务。并且能实现热更新数据分发规则，在修改设备分发规则时，数据分发平台无需重启即可生效，快捷便利；具体可以使用操作系统用户信号USR2实现。并且，本方案能够实现系统资源占用少，转发延时低，吞吐量大等特性。例如，对于2C4G规格物理机，每秒10w数据转发量，系统资源使用量CPU为90％，Memory为10％。

进一步的，参考图3所示，提供一种基于物联网的数据处理装置30，可以包括：

数据接收模块301，可以用于接收设备集群生成的新增设备数据；其中，所述新增设备数据为新增设备接入所述设备集群时生成的所述新增设备对应的新增设备数据。

数据解析模块302，可以用于解析所述新增设备数据，以获取所述新增设备数据对应的特征信息和待分发数据。

数据分发模块303，可以用于按预设数据分发规则将所述特征信息与下游数据消费设备进行匹配，以确定所述待分发数据对应的所述下游数据消费设备，并将所述待分发数据分发至对应的所述下游数据消费设备。

上述的基于物联网的数据处理装置中各模块的具体细节已经在对应的基于物联网的数据处理方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。

需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。

Claims (9)

1.一种基于物联网的数据处理系统，其特征在于，包括：

设备集群，用于在新增设备接入所述设备集群时生成所述新增设备对应的新增设备数据，并将所述新增设备数据发送至数据分发平台；

数据分发平台，用于接收所述新增设备数据，并对所述新增设备数据进行解析，得到所述新增设备数据对应的特征信息和待分发数据；按预设数据分发规则将所述特征信息与下游数据消费设备进行匹配，以确定所述待分发数据对应的所述下游数据消费设备，并按预设分发规则将所述待分发数据分发至对应的所述下游数据消费设备；其中，所述特征信息包括设备消息类型、设备类型以及子设备类型；

下游数据消费设备，用于接收并解析所述待分发数据，并在确定需要反馈回执信息时，向所述数据分发平台发送回执信息。

2.根据权利要求1所述系统，其特征在于，所述数据分发平台对应一个或多个所述设备集群。

3.一种基于物联网的数据处理方法，其特征在于，包括：

接收设备集群生成的新增设备数据；其中，所述新增设备数据为新增设备接入所述设备集群时生成的所述新增设备对应的新增设备数据；

解析所述新增设备数据，以获取所述新增设备数据对应的特征信息和待分发数据；其中，所述特征信息包括设备消息类型、设备类型以及子设备类型；

按预设数据分发规则将所述特征信息与下游数据消费设备进行匹配，以确定所述待分发数据对应的所述下游数据消费设备，并将所述待分发数据分发至对应的所述下游数据消费设备。

4.根据权利要求3所述的数据处理方法，其特征在于，所述新增设备接入所述设备集群时，所述方法还包括：

配置所述新增设备与所述设备集群保持长连接状态。

5.根据权利要求3所述的数据处理方法，其特征在于，所述新增设备数据包括：设备激活信息、设备配网通知信息、设备心跳信息、设备上下线信息、设备数据上报信息、设备控制请求信息以及设备控制响应信息中的任意一项或任意多项的组合。

6.根据权利要求3所述的数据处理方法，其特征在于，所述方法还包括：

所述下游数据消费设备接收所述待分发数据后，对所述待分发数据进行解析以确定是否需要反馈回执信息；并在确定需要反馈回执信息时，向所述数据分发平台发送回执信息。

7.根据权利要求3所述的数据处理方法，其特征在于，按预设的数据分发规则将所述特征信息与下游消费设备进行匹配包括：

在匹配失败时，则按预设规则将所述待分发数据分发至对应的下游消费设备。

8.根据权利要求3所述的数据处理方法，其特征在于，所述预设数据分发规则包括：循环遍历分发模式，或随机分发模式。

9.一种基于物联网的数据处理装置，其特征在于，包括：

数据接收模块，用于接收设备集群生成的新增设备数据；其中，所述新增设备数据为新增设备接入所述设备集群时生成的所述新增设备对应的新增设备数据；

数据解析模块，用于解析所述新增设备数据，以获取所述新增设备数据对应的特征信息和待分发数据；其中，所述特征信息包括设备消息类型、设备类型以及子设备类型；

数据分发模块，用于按预设数据分发规则将所述特征信息与下游数据消费设备进行匹配，以确定所述待分发数据对应的所述下游数据消费设备，并将所述待分发数据分发至对应的所述下游数据消费设备。

Images