CN112291302B - 物联网设备行为数据分析方法与处理系统 - Google Patents

Abstract

本公开提供一种物联网设备行为数据分析方法与处理系统，物联网设备行为数据通过设备行为数据处理信息形式体现，设备行为数据处理信息基于物联网数据处理平台中的一个处理模块在处理一个设备行为数据的过程中产生的信息而生成，存储在数据库中，至少包括处理模块标识符、设备标识符、数据标识符、数据到达时间、数据发送时间，方法包括：根据设备行为数据处理信息生成数据处理平台中多个处理模块的处理性能信息；根据设备行为数据处理信息生成任务处理链路异常信息。本公开实施例可以根据物联网数据处理平台中各处理模块的数据处理过程信息生成多个处理模块的处理性能信息和任务处理链路异常信息，有效提高物联网的运维和故障排除效率。

Description

物联网设备行为数据分析方法与处理系统

背景技术

物联网数据处理平台是服务于物联网行业的管理平台，硬件设备接入物联网数据处理平台后，会向平台上报自身的设备行为数据。保障设备行为数据能够从设备端正常上报到平台以及平台内部具有重要意义。

相关技术中，为了分析设备行为数据能够正常在设备端和物联网数据处理平台之间进行传输，通常采用全链路黑盒测试或者添加统计日志的白盒测试。全链路黑盒测试得到的性能分析数据粒度比较粗，只能获得平台层面的性能数据，无法细化到模块级别以进行平台优化或者问题排查。添加统计日志的白盒测试受设计者主观影响较强，开发效率低，常需要反复修改或者讲解，极大降低了使用效率和使用便捷度。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种物联网设备行为数据分析方法和物联网设备行为数据处理系统，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的物联网数据处理平台中设备行为数据的处理过程统计困难、不够细化等问题。

根据本公开实施例的第一方面，提供一种物联网设备行为数据分析方法，所述物联网设备行为数据通过设备行为数据处理信息形式体现，所述设备行为数据处理信息基于物联网数据处理平台中的一个处理模块在处理一个设备行为数据的过程中产生的信息而生成，存储在数据库中，所述设备行为数据处理信息至少包括处理模块标识符、设备标识符、数据标识符、数据到达时间、数据发送时间，所述方法包括：根据所述设备行为数据处理信息生成所述数据处理平台中多个所述处理模块的处理性能信息；根据所述设备行为数据处理信息生成任务处理链路异常信息。

在本公开的一个示例性实施例中，所述根据所述设备行为数据处理信息生成所述数据处理平台中多个所述处理模块的处理性能信息包括：获取目标处理模块对应的多个第一设备行为数据处理信息；根据所述多个第一设备行为数据处理信息对应的所述数据到达时间和所述数据发送时间确定每个所述第一设备行为数据处理信息对应的数据处理时间；根据所述多个第一设备行为数据处理信息对应的所述数据处理时间的平均值确定所述目标处理模块的平均数据处理时间。

在本公开的一个示例性实施例中，所述根据所述设备行为数据处理信息生成所述数据处理平台中多个所述处理模块的处理性能信息包括：获取多个所述处理模块对应的平均数据处理时间；根据多类任务对应的所述处理模块以及每个所述处理模块的平均数据处理时间，确定所述数据处理平台对所述多类任务中每类任务的平均处理时间。

在本公开的一个示例性实施例中，所述根据所述设备行为数据处理信息生成所述数据处理平台中多个所述处理模块的处理性能信息包括：确定一个目标任务种类对应的多个目标设备行为数据；确定一个所述目标设备行为数据对应的多个第二设备行为数据处理信息；根据每个所述第二设备行为数据处理信息对应的所述数据到达时间和所述数据发送时间确定每个所述第二设备行为数据处理信息对应的数据处理时间；根据所述目标设备行为数据对应的多个所述第二设备行为数据处理信息对应的数据处理时间之和确定所述目标设备行为数据对应的总处理时间；根据所述多个目标设备行为数据对应的多个所述总处理时间确定所述目标任务种类对应的平均处理时间。

在本公开的一个示例性实施例中，所述任务处理链路异常信息包括目标设备行为数据被处理过程中处理时间超过预设值的异常模块，所述根据所述设备行为数据处理信息生成任务处理链路异常信息包括：确定所述目标设备行为数据对应的多个第二设备行为数据处理信息；根据每个所述第二设备行为数据处理信息对应的所述数据到达时间和所述数据发送时间确定每个所述第二设备行为数据处理信息对应的数据处理时间；根据用于处理所述目标设备行为数据的多个所述处理模块对应的数据处理时间，确定所述目标设备行为数据被处理过程中处理时间超过预设值的异常模块。

在本公开的一个示例性实施例中，所述任务处理链路异常信息包括目标设备行为数据被处理过程中任务处理失败的异常处理模块，所述根据所述设备行为数据处理信息生成任务处理链路异常信息包括：确定所述目标设备行为数据对应的多个第二设备行为数据处理信息；确定所述目标设备行为数据对应的多个目标处理模块及所述多个目标处理模块的连接方式；根据所述多个目标处理模块确定所述多个第二设备行为数据处理信息中是否缺少与至少一个所述目标处理模块对应的第二设备行为数据处理信息；在缺少与至少一个所述目标处理模块对应的第二设备行为数据处理信息时，根据缺失的第二设备行为数据处理信息及所述多个目标处理模块的连接方式在所述目标处理模块中确定任务处理失败的异常处理模块。

在本公开的一个示例性实施例中，所述任务处理链路异常信息包括目标设备的故障定位信息，所述根据所述设备行为数据处理信息生成任务处理链路异常信息包括：获取出现故障的目标设备对应的多个目标设备行为数据；获取所述目标设备行为数据对应的第二设备行为数据处理信息；根据所述目标设备行为数据对应的第二设备行为数据处理信息确定所述目标设备行为数据被处理过程中存在的任务处理失败或处理时间超过预设值的异常处理模块；根据所述目标设备的多个所述目标设备行为数据对应的所述异常处理模块确定所述目标设备的故障定位信息。

根据本公开的第二方面，提供一种物联网设备行为数据处理系统，包括：多个设备；数据处理平台，与所述多个设备通讯连接；数据库；监控模块，连接所述数据处理平台和所述数据库，用于获取所述数据处理平台中多个处理模块的设备行为数据处理信息并将所述设备行为数据处理信息发送到所述数据库，所述设备行为数据处理信息用于记录一个所述处理模块处理一个来自所述设备的设备行为数据的过程中产生的信息，所述设备行为数据处理信息至少处理模块标识符、设备标识符、数据标识符、数据到达时间、数据发送时间；分析模块，连接所述数据库，用于执行如上任一项所述的方法。

在本公开的一个示例性实施例中，所述监控模块包括：多个监控单元，每个所述监控单元对应一个所述处理模块，所述监控单元用于根据所述处理模块处理一个所述设备行为数据的过程生成所述设备行为数据处理信息；转发单元，与所述数据库通讯连接，用于接收来自所述多个监控单元的所述设备行为数据处理信息并将所述设备行为数据处理信息发送到所述数据库，所述转发单元包括暂存所述设备行为数据处理信息的物理硬盘；传递单元，连接于所述多个监控单元和所述转发单元，用于将多个监控单元生成的所述设备行为数据处理信息传递到所述转发单元。

在本公开的一个示例性实施例中，所述多个处理模块分别被部署在多个物理服务器中，每个所述物理服务器上设置有一个所述监控模块。

在本公开的一个示例性实施例中，所述多个处理模块的种类包括网关模块和业务模块。

本公开实施例通过根据基于物联网数据处理平台中的每个处理模块的数据处理过程生成的设备行为数据处理信息，生成物联网数据处理平台的处理性能信息和任务处理链路异常信息，可以使物联网数据处理平台的管理粒度更加精细，为排查任务处理过程中出现的故障提供高效的帮助，有效提高物联网的管理精细度和运维效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开示例性实施例中物联网设备行为数据处理系统的示意图。

图2是本公开一个实施例中监控模块的示意图。

图3A和图3B是物联网设备行为数据处理系统的部署方式的示意图。

图4是本公开实施例中物联网设备行为数据分析方法的流程图。

图5是本公开一个实施例中步骤S41的子流程图。

图6是本公开另一个实施例中步骤S41的子流程图。

图7是本公开再一个实施例中步骤S41的子流程图。

图8是本公开一个实施例中步骤S42的子流程图。

图9是本公开另一个实施例中步骤S42的子流程图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下面结合附图对本公开示例实施方式进行详细说明。

本公开实施例提供的物联网设备行为数据分析方法可以通过图1所示的物联网设备行为数据处理系统来实现。

图1是本公开示例性实施例中物联网设备行为数据处理系统的示意图。

参考图1，物联网设备行为数据处理系统100可以包括：

设备域11，包括多个设备111，该多个设备111包括多个种类的硬件设备；

数据处理平台12，与设备域11中的多个设备111通讯连接，包括多个处理模块121，用于处理该多个设备111传输的设备行为数据；

数据库13；

监控模块14，连接数据处理平台12和数据库13，用于获取数据处理平台12中多个处理模块121的设备行为数据处理信息并将设备行为数据处理信息发送到数据库13；

分析模块15，连接数据库13，用于执行本公开实施例提供的物联网设备行为数据分析方法，根据数据库13中的设备行为数据处理信息生成数据处理平台12中多个处理模块121的处理性能信息或者任务处理链路异常信息。

图2是本公开一个实施例中监控模块的示意图。

参考图2，在一个实施例200中，监控模块24可以包括：

多个监控单元241，每个监控单元241对应一个处理模块121，监控单元241用于根据处理模块121处理一个设备行为数据的过程生成设备行为数据处理信息；

转发单元242，与数据库13通讯连接，用于接收来自多个监控单元241的设备行为数据处理信息并将设备行为数据处理信息发送到数据库13，转发单元242包括暂存设备行为数据处理信息的物理硬盘；

传递单元243，连接于多个监控单元241和转发单元242，用于将多个监控单元241生成的设备行为数据处理信息传递到转发单元242。

在本公开实施例中，监控单元241生成的设备行为数据处理信息用于记录一个处理模块121处理一个来自设备111的设备行为数据的过程中产生的信息，设备行为数据处理信息至少包括处理模块标识符、设备标识符、数据标识符、数据到达时间、数据发送时间。

其中，处理模块标识符即处理该设备行为数据的处理模块121的标识符；设备标识符是发送该设备行为数据的设备111的设备ID(IDentity)，记录在设备行为数据中；数据标识符例如可以为该设备行为数据的UUID(Universally Unique Identifier，通用唯一识别码)；数据到达时间可以为处理模块121接收到设备行为数据的系统时间；数据发送时间可以为处理模块121对设备行为数据执行完当前处理模块的业务逻辑后，将输出数据转发到下一个处理模块的系统时间。其中，UUID是一种软件建构的标准，其目的是让分布式系统中的所有元素都能有唯一的辨识信息。

在其他一些实施例中，还可以在设备行为数据处理信息中添加扩展字段，记录更多信息，例如记录与设备类型相关的标识业务属性(例如温度、湿度、水位等)。在一个实施例中，可以通过“六元组”的方式记录设备行为数据处理信息，六元组可以由<设备ID，模块标识，UUID，接收时间，发送时间，扩展字段>组成，其中设备ID为设备标识符，模块标识为模块标识符，UUID为数据标识符，接收时间为数据到达时间，发送时间为数据发送时间，扩展字段可以自定义。设备ID、模块标识、UUID、接收时间、发送时间为必填字段，扩展字段为选填字段。

监控单元241例如可以通过在数据处理平台12的各处理模块121处新增的统计逻辑实现，该统计逻辑与各处理模块121的原有逻辑相互独立。在硬件配置上，监控单元241可以与对应的处理模块121部署在同一硬盘上，作为与处理模块121平等的或内置于处理模块121的逻辑存在。

监控单元241可以在发现对应的处理模块121接收到一个设备行为数据时，将当前系统时间记录为数据接收时间，将数据接收时间、该设备行为数据的设备ID和UUID存储在处理模块121的内存中，然后，在处理模块121执行完业务逻辑、将输出的设备行为数据转发给当前任务种类对应的下一个处理模块时记录数据发送时间，将该数据发送时间存储在处理模块121的内存中。

在一些实施例中，还可以将扩展字段的内容存储在处理模块121的内存中。扩展字段一般留空，开发人员可以在发现设备行为存在问题需要进一步排查时，自行编写监控单元241的代码逻辑，以设置监控单元241将需要定位问题的debug(排查)信息记录到扩展字段。问题被解决后，又可以通过代码逻辑变更设置监控单元241重新置空扩展字段。

监控单元241在获取到数据发送时间，或者，在获取到扩展字段的预设内容后，可以自动根据已存储的内容生成预设格式的设备行为数据处理信息，该预设格式例如为上述的六元组。该六元组形式的设备行为数据处理信息也可以被称为“数据文件”。

传递单元243实时扫描各监控单元241对应的缓存区域，在发现一个缓存区域存在设备行为数据处理信息(数据文件)时，将该设备行为数据处理信息搬运到转发单元242进行存储。在一个实施例中，转发单元242包括物理硬盘，该物理硬盘例如为部署监控模块14的物理介质的硬盘，传递单元243可以直接将设备行为数据处理信息存储到该物理硬盘。在一个实施例中，当监控模块14中的转发单元242与数据处理平台12的部分或全部处理模块121被部署在同一个物理服务器上时，该物理硬盘为该物理服务器的物理硬盘。

相对于相关技术中直接将监控数据发送到分析端，将设备行为数据处理信息暂存到本地物理硬盘，可以极大提高存储速度，避免传输失败导致的数据丢失。同时，也为接下来转发单元242合理利用网络资源、集中将设备行为数据处理信息发送到数据库13提供了支持。

转发单元242定时扫描本地物理硬盘，在发现存在新的设备行为数据处理信息(数据文件)时，将该设备行为数据处理信息通过网络发送到数据库13；如果没有发现新的设备行为数据处理信息，则在下一个扫描周期重复扫描动作。转发单元242的扫描逻辑和发送逻辑均可以根据实际情况自行设置，扫描周期例如可以为10s。

在一些实施例中，转发单元242的发送逻辑例如可以为监控网络流量，在网络流量低于预设值(即不忙碌)时发送设备行为数据处理信息，而在网络流量高于该预设值(即忙碌)时，执行等待动作，在下一个扫描周期时再次判断网络流量，直至网络流量低于预设值时发送设备行为数据处理信息。

通过使用物理硬盘和数据库协同存储设备行为数据处理信息，可以在网络链路传输拥堵时，通过异步发送逻辑推迟数据发送时间，将网络资源留给业务执行任务，避免监控过程挤占网络资源，影响正常业务处理。此外，可以设置物理硬盘在一定时间内保留已发送的设备行为数据处理信息，从而保证即使传输过程中设备行为数据处理信息丢失，也可以通过物理硬盘重新找回设备行为数据处理信息，有效提高数据链路传输的可靠性。

在本公开实施例中，数据处理平台12为逻辑上的描述，在物理实体上，数据处理平台12上的多个处理模块121可以分布在多台物理服务器中。处理模块121的种类例如可以包括网关模块和业务模块，网关模块用于将设备行为数据从一台物理服务器上的数据输入接口传递到后续的一或多个业务模块；业务模块用于执行各类数据处理功能，具体功能可以由本领域技术人员根据实际情况自行设置。可以理解的是，当数据处理平台12分布在多台物理服务器中时，每台物理服务器均可以设置一个网关模块、一或多个业务模块以及一个监控模块。

图3A和图3B是物联网设备行为数据处理系统的部署方式的示意图。

参考图3A，数据处理平台12通过一台物理服务器(物理服务器A)实现。物理服务器A中设置有一个网关模块121A、两个业务模块121B以及一个监控模块14，监控模块14同时连接网关模块121A和两个业务模块121B，通过三个监控单元(未示出)采集网关模块121A和两个业务模块121B的信息并生成设备行为数据处理信息，暂存到物理硬盘后发送到数据库13。

参考图3B，数据处理平台12通过两台物理服务器(物理服务器A和物理服务器B)实现，此时监控模块14通过两个部分(14A和14B)实现。物理服务器A中设置有一个网关模块121A、一个业务模块121B以及一个监控模块14A，监控模块14A同时连接网关模块121A和业务模块121B，通过两个监控单元(未示出)采集网关模块121A和业务模块121B的信息并生成设备行为数据处理信息，暂存到物理硬盘后发送到数据库13。物理服务器B中同样设置有一个网关模块121C、一个业务模块121D以及一个监控模块14B，监控模块14B同时连接网关模块121C和业务模块121D，通过两个监控单元(未示出)采集网关模块121C和业务模块121D的信息并生成设备行为数据处理信息，暂存到物理硬盘后发送到数据库13。

在上述实施例中，监控模块14A和监控模块14B均为图1或图2所示实施例中监控模块14或监控模块24的一部分。

可以理解的是，图3A和图3B中所示的业务模块的数量仅为示例，在实际情况中，物理服务器的总数、业务模块的总数、每台物理服务器中业务模块的数量可以由本领域技术人员根据实际情况自行设置。

在本公开实施例中，数据库13例如可以通过常用工具存储设备行为数据处理信息，该常用工具例如可以为开源的分布式存储ElasticSearch。数据库13存储来自监控模块14的设备行为数据分析信息，供分析模块15进行调用和数据处理以输出多个处理模块121的处理性能信息以及任务处理链路异常信息。分析模块15属于一种逻辑功能模块，可以与数据库13或者数据处理平台12被部署在同一物理服务器上，也可以被部署在其他独立的具有计算功能的硬件载体上，本公开对此不作特殊限制。

分析模块15可以用于执行本公开实施例提供的物联网设备行为数据分析方法。

图4是本公开实施例中物联网设备行为数据分析方法的流程图。

参考图4，物联网设备行为数据分析方法400基于对物联网设备行为数据的处理来实现。物联网设备行为数据通过设备行为数据处理信息形式体现，设备行为数据处理信息基于物联网数据处理平台中的一个处理模块在处理一个设备行为数据的过程中产生的信息而生成，存储在数据库中，设备行为数据处理信息至少包括处理模块标识符、设备标识符、数据标识符、数据到达时间、数据发送时间。图4所示的设备行为数据处理信息即图1～图3所示实施例中的设备行为数据处理信息。

参考图4，物联网设备行为数据分析方法400可以包括：

步骤S41，根据设备行为数据处理信息生成数据处理平台中多个处理模块的处理性能信息；

步骤S42，根据设备行为数据处理信息生成任务处理链路异常信息。

在图4所示方法中，步骤S41、步骤S42中的任意一个或全部既可以通过设置定时触发或通过事件触发自动完成，也可以通过设置响应外部指令受用户控制完成。

在一个实施例中，处理性能信息例如包括物联网数据处理平台中的目标处理模块的平均数据处理时间。

图5是本公开一个实施例中步骤S41的子流程图。

参考图5，在获取目标处理模块的平均数据处理时间任务中，分析模块15可以设置为执行以下流程以实现步骤S41：

步骤S51，获取目标处理模块对应的多个第一设备行为数据处理信息；

步骤S52，根据多个第一设备行为数据处理信息对应的数据到达时间和数据发送时间确定每个第一设备行为数据处理信息对应的数据处理时间；

步骤S53，根据多个第一设备行为数据处理信息对应的数据处理时间的平均值确定目标处理模块的平均数据处理时间。

首先，分析模块15可以在多个处理模块21中确定一个目标处理模块，然后，在步骤S51中根据目标处理模块的模块标识符从数据库13调用目标处理模块对应的全部第一设备行为数据处理信息。由于设备行为数据处理信息均包括模块标识符，因此本步骤仅需通过模块标识符对数据库13存储的全部设备行为数据处理信息进行筛选即可。

在一些实施例中，还可以设置时间条件来筛选第一设备行为数据处理信息，放弃数据发送时间早于预设时间点的设备行为数据处理信息，以便于就近期数据进行分析，提高分析准确度。

在步骤S52，可以计算每个第一设备行为数据处理信息对应的数据处理时间，然后在步骤S53对这些第一设备行为数据处理信息的数据处理时间进行取平均值计算，以确定目标处理模块处理设备行为数据的平均数据处理时间。平均数据处理时间可以用来衡量处理模块的处理效率，作为性能分析的参考数据，如果一个处理模块的平均数据处理时间超出预期，则代表该处理模块的性能需要进行优化。

进一步地，可以通过多个处理模块的平均数据处理时间确定数据处理平台12的整体性能指标，即获取多个处理模块对应的平均数据处理时间，然后根据多类任务对应的处理模块以及每个处理模块的平均数据处理时间，确定数据处理平台12对多类任务中每类任务的平均处理时间。例如，处理A类任务时需要调用a、b、c三个处理模块，则可以将a、b、c三个处理模块的平均数据处理时间相加，以得到数据处理平台12处理A类任务的平均处理时间。

图6是本公开另一个实施例中步骤S41的子流程图。

参考图6，在另一个实施例中，步骤S41用于确定数据处理平台的整体性能指标，分析模块15可以设置为执行以下步骤以实现步骤S41：

步骤S61，确定一个目标任务类别对应的多个目标处理模块；

步骤S62，在该目标任务类别对应的多个目标处理模块中选择一个未统计的目标处理模块；

步骤S63，获取被选目标处理模块对应的多个第一设备行为数据处理信息；

步骤S64，根据多个第一设备行为数据处理信息对应的数据到达时间和数据发送时间确定每个第一设备行为数据处理信息对应的数据处理时间；

步骤S65，根据多个第一设备行为数据处理信息对应的数据处理时间的平均值确定目标处理模块的平均数据处理时间；

步骤S66，确定是否还有未统计的目标处理模块，如果是，返回步骤S62，如果否，进入步骤S67；

步骤S67，对多个目标处理模块的平均数据处理时间求和，以确定数据处理平台处理目标任务类别的任务的平均处理时间。

多次重复步骤S61～步骤S67，每次统计一个任务类别对应的平均处理时间，即可确定数据处理平台12对多类任务中每类任务的平均处理时间。

本公开实施例中，确定数据处理平台12处理一类任务的平均处理时间还可以有其他方式。

图7是本公开再一个实施例中步骤S41的子流程图。

参考图7，在另一个实施例中，分析模块15可以设置为执行以下步骤以实现步骤S41：

步骤S71，确定一个目标任务种类对应的多个目标设备行为数据；

步骤S72，确定一个目标设备行为数据对应的多个第二设备行为数据处理信息；

步骤S73，根据每个第二设备行为数据处理信息对应的数据到达时间和数据发送时间确定每个第二设备行为数据处理信息对应的数据处理时间；

步骤S74，根据目标设备行为数据对应的多个第二设备行为数据处理信息对应的数据处理时间之和确定目标设备行为数据对应的总处理时间；

步骤S75，根据多个目标设备行为数据对应的多个总处理时间确定目标任务种类对应的平均处理时间。

在步骤S71，可以确定目标任务种类对应的多个目标设备行为数据(即任务)的数据标识符(UUID)，进而可以在步骤S72根据该数据标识符在全部设备行为数据处理信息中进行筛选，以确定目标任务种类对应的多个第二设备行为数据处理信息。接下来，在步骤S73确定每个第二设备行为数据处理信息对应的数据处理时间，再在步骤S74计算目标设备行为数据被处理过程中，在各处理模块121处经历的总的数据处理时间，即总处理时间。确定一个任务(目标设备行为数据)对应的总处理时间后，可以在步骤S75根据属于同一个目标任务种类的多个任务对应的总处理时间的平均值或者加权平均值确定数据处理平台12处理该目标任务种类的任务的平均处理时间。

多次重复步骤S71～步骤S75，每次计算一个任务种类的任务的平均处理时间，可以确定数据处理平台12对多类任务的平均处理时间。

图5～图7所示实施例可以在以下场景中得到应用：

多个设备111和数据处理平台12对接后，需要对数据处理平台12进行性能分析。先启动所有设备111，使设备111正常工作，上报设备行为数据。一段时间(预设时间)后，分析模块15从数据库13获取设备行为数据处理信息，使用图5～图7所示实施例分别计算出各个处理模块的平均数据处理时间和数据处理平台12对各类任务的平均处理时间，汇总后作为性能分析的参考数据。

分析模块15除了可以执行步骤S41输出数据处理平台12的模块性能数据和整体性能数据，还可以执行步骤S42以提供数据链路异常排查功能，即提供任务处理链路异常信息。在一个实施例中，任务处理链路异常信息包括目标设备行为数据被处理过程中的异常模块。

图8是本公开一个实施例中步骤S42的子流程图。

参考图8，当发现一个任务的处理时间超过预设值时，可以判断该任务的处理过程出现了异常，为了排查该任务在哪个处理模块的处理过程中出现了异常，分析模块15可以设置为执行以下流程以实现步骤S42：

步骤S81，确定目标设备行为数据对应的多个第二设备行为数据处理信息；

步骤S82，根据每个第二设备行为数据处理信息对应的数据到达时间和数据发送时间确定每个第二设备行为数据处理信息对应的数据处理时间；

步骤S83，根据用于处理目标设备行为数据的多个处理模块对应的数据处理时间，确定目标设备行为数据被处理过程中的异常模块。

在步骤S81，首先可以确定异常任务(设备行为数据)的数据标识符(UUID)，从而在全部设备行为数据处理信息中使用该UUID进行筛选，以确定该异常任务对应的多个第二设备行为数据处理信息。其中，该异常任务例如可以为数据延迟(处理总时长超过预设值)的任务，其表现为该异常任务的设备行为数据在被设备上报后(可以通过设备端的反馈得知)，需要等待较长时间(超过该预设值的时间)才能在数据库13中查找到该任务的数据标识符对应的设备行为数据处理信息。

在步骤S82确定每个第二设备行为数据处理信息对应的数据处理时间后，可以根据该多个第二设备行为数据处理信息中的模块标识符确定处理该异常任务的各处理模块对应的数据处理时间，然后，可以在步骤S83通过多种方式判断各处理模块在处理该异常任务时的处理时间是否异常。

例如，可以首先确定与该异常任务属于同一任务种类的多个任务，例如任务A、任务B、任务C，然后确定处理该类任务的处理模块1～n，n为大于等于1的整数。

接下来根据任务A、任务B、任务C的数据标识符(UUID)以及处理模块1～n的模块标识符确定任务A、任务B、任务C对应的设备行为数据处理信息，并根据处理模块1～n的模块标识符确定这些设备行为数据处理信息与处理模块1～n的对应关系。

最后，根据设备行为数据处理信息中的数据接收时间和数据发送时间确定处理模块1对任务A、任务B、任务C对应的设备行为数据处理信息的三个处理时间，从而根据这三个处理时间的平均值确定处理模块1对该类任务的平均数据处理时间。将处理模块1对上述异常任务的处理时间与该平均处理时间进行比较，如果差值超出预设范围(例如5％)，则判断异常任务在处理模块1处产生了异常，将处理模块1确定为待排查的异常模块。如果上述差值没有超出预设范围，则重复以上操作计算处理模块2对该类任务的平均处理时间，并与处理模块2对上述异常任务的处理时间进行比较。以此类推，即可排查出在异常任务的处理过程中，究竟是哪一个或几个处理模块出现了异常导致异常任务的处理时间超时。

在本公开实施例中，除了可以使用设备行为数据处理信息排查执行时间超时的异常任务在哪些处理模块处出现异常，还可以使用设备行为数据处理信息排查执行失败的任务在哪个环节出现执行失败。

图9是本公开另一个实施例中步骤S42的子流程图。

参考图9，当发现一个任务处理失败(即在较长预设时间后仍无法在数据库15中读取到代表任务执行完毕的设备行为数据处理信息)时，为了排查该任务在哪个处理模块的处理过程中出现了处理失败，分析模块15可以设置为执行以下流程以实现步骤S42：

步骤S91，确定目标设备行为数据对应的多个第二设备行为数据处理信息；

步骤S92，确定目标设备行为数据对应的多个目标处理模块及多个目标处理模块的连接方式；

步骤S93，根据多个目标处理模块确定多个第二设备行为数据处理信息中是否缺少与至少一个目标处理模块对应的第二设备行为数据处理信息；

步骤S94，在缺少与至少一个目标处理模块对应的第二设备行为数据处理信息时，根据缺失的第二设备行为数据处理信息及多个目标处理模块的连接方式在目标处理模块中确定任务处理失败的异常处理模块。

在图9所示实施例中，首先可以根据执行失败的任务(即目标设备行为数据)对应的数据标识符(UUID)确定本次执行过程涉及的全部设备行为数据处理信息为第二设备行为数据处理信息。然后，可以确定涉及该任务执行的多个目标处理模块，并根据该多个目标处理模块的模块标识符在第二设备行为数据处理信息中确定对应的设备行为数据处理信息。如果在该多个第二设备行为数据处理信息中没有查到一或多个目标处理模块的模块标识符，则说明存在缺失的第二设备行为数据处理信息。接下来，可以确定缺失的一或多个第二设备行为数据处理信息对应的处理模块。

可以理解的是，数据处理平台12中的处理模块的连接关系在不同种类的数据处理任务中可以有不同形态，对不同任务类型的任务(设备行为数据)，涉及到的处理模块以及处理模块的连接方式不完全相同。

因此，可以根据缺失的第二设备行为数据处理信息对应的目标处理模块在处理该任务时的连接关系，确定在任务处理链路(即连接关系)中第一个发生第二设备行为数据处理信息缺失现象的处理模块，并将该处理模块列为待检修模块。

通过图8或图9实施例，可以在出现异常任务时及时对任务处理链路进行排查，有效提高异常任务的排查效率和排查准确度。

对于设备级别的问题，例如发现某个设备出现异常，也可以套用图8或图9实施例对该设备对应的全部任务进行排查，找到异常任务，进一步找到异常的处理模块。

例如，可以首先根据异常设备的设备标识符在全部设备行为数据处理信息中进行筛选。然后，将筛选出来的设备行为数据处理信息按数据识别符(设备行为数据/任务)进行分类，以获得每个任务对应的设备行为数据处理信息。接下来，根据数据到达时间和数据发送时间对每个任务对应的设备行为数据处理信息确定在各处理模块的处理时间。最后，根据一个任务在各处理模块的处理时间是否超出对应处理模块对同类任务的平均处理时间(图8所示实施例)确定是否存在处理超时的处理模块，根据处理该任务的处理模块确定是否存在缺失设备行为数据处理信息的处理模块，从而定位到任务处理失败的处理模块(图9所示实施例)。

通过以上方式，可以对异常设备进行基于处理模块粒度的细致分析，进而准确定位到是哪个异常的处理模块对哪个任务的处理发生异常，导致该设备出现异常。在一个实施例中，也可以通过以上方式构建出一个设备行为数据从目标设备到数据处理平台过程中经历的一条完整的数据链路，作为设备的行为地图。

综上所述，本公开实施例对于物联网设备上报到物联网数据处理平台的设备行为数据，提出了一种通过构建完整的数据链路以进行设备行为分析的方法。该方法整体上基于本公开实施例提出的六元组的数据结构，并结合连接物联网数据处理平台的监控模块(数据统计逻辑)和数据库，共同组成了一条能够表达设备行为数据的数据链路。在实际场景中，通过本方法可以实现基于该数据链路进行设备行为数据分析，帮助物联网数据处理平台的管理人员分析平台性能、排查平台问题，有效提高物联网数据处理平台的维护效率。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和构思由权利要求指出。

Claims (11)

1.一种物联网设备行为数据分析方法，其特征在于，所述物联网设备行为数据通过设备行为数据处理信息形式体现，所述设备行为数据处理信息基于物联网数据处理平台中的一个处理模块在处理一个设备行为数据的过程中产生的信息而生成，存储在数据库中，所述设备行为数据处理信息至少包括处理模块标识符、设备标识符、数据标识符、数据到达时间、数据发送时间，所述方法包括：

根据所述设备行为数据处理信息生成所述数据处理平台中多个所述处理模块的处理性能信息，所述处理性能信息包括所述处理模块的平均数据处理时间和所述数据处理平台对各类任务的平均处理时间；

根据所述设备行为数据处理信息生成任务处理链路异常信息，所述任务处理链路异常信息包括任务处理失败或处理时间超过预设值的异常处理模块。

2.如权利要求1所述的方法，其特征在于，所述根据所述设备行为数据处理信息生成所述数据处理平台中多个所述处理模块的处理性能信息包括：

获取目标处理模块对应的多个第一设备行为数据处理信息；

根据所述多个第一设备行为数据处理信息对应的所述数据到达时间和所述数据发送时间确定每个所述第一设备行为数据处理信息对应的数据处理时间；

根据所述多个第一设备行为数据处理信息对应的所述数据处理时间的平均值确定所述目标处理模块的平均数据处理时间。

3.如权利要求2所述的方法，其特征在于，所述根据所述设备行为数据处理信息生成所述数据处理平台中多个所述处理模块的处理性能信息包括：

获取多个所述处理模块对应的平均数据处理时间；

根据多类任务对应的所述处理模块以及每个所述处理模块的平均数据处理时间，确定所述数据处理平台对所述多类任务中每类任务的平均处理时间。

4.如权利要求1所述的方法，其特征在于，所述根据所述设备行为数据处理信息生成所述数据处理平台中多个所述处理模块的处理性能信息包括：

确定一个目标任务种类对应的多个目标设备行为数据；

确定一个所述目标设备行为数据对应的多个第二设备行为数据处理信息；

根据每个所述第二设备行为数据处理信息对应的所述数据到达时间和所述数据发送时间确定每个所述第二设备行为数据处理信息对应的数据处理时间；

根据所述目标设备行为数据对应的多个所述第二设备行为数据处理信息对应的数据处理时间之和确定所述目标设备行为数据对应的总处理时间；

根据所述多个目标设备行为数据对应的多个所述总处理时间确定所述目标任务种类对应的平均处理时间。

5.如权利要求1所述的方法，其特征在于，所述任务处理链路异常信息包括目标设备行为数据被处理过程中处理时间超过预设值的异常模块，所述根据所述设备行为数据处理信息生成任务处理链路异常信息包括：

确定所述目标设备行为数据对应的多个第二设备行为数据处理信息；

根据每个所述第二设备行为数据处理信息对应的所述数据到达时间和所述数据发送时间确定每个所述第二设备行为数据处理信息对应的数据处理时间；

根据用于处理所述目标设备行为数据的多个所述处理模块对应的数据处理时间，确定所述目标设备行为数据被处理过程中处理时间超过预设值的异常模块。

6.如权利要求1所述的方法，其特征在于，所述任务处理链路异常信息包括目标设备行为数据被处理过程中任务处理失败的异常处理模块，所述根据所述设备行为数据处理信息生成任务处理链路异常信息包括：

确定所述目标设备行为数据对应的多个第二设备行为数据处理信息；

确定所述目标设备行为数据对应的多个目标处理模块及所述多个目标处理模块的连接方式；

根据所述多个目标处理模块确定所述多个第二设备行为数据处理信息中是否缺少与至少一个所述目标处理模块对应的第二设备行为数据处理信息；

在缺少与至少一个所述目标处理模块对应的第二设备行为数据处理信息时，根据缺失的第二设备行为数据处理信息及所述多个目标处理模块的连接方式在所述目标处理模块中确定任务处理失败的异常处理模块。

7.如权利要求5或6所述的方法，其特征在于，所述任务处理链路异常信息包括目标设备的故障定位信息，所述根据所述设备行为数据处理信息生成任务处理链路异常信息包括：

获取出现故障的目标设备对应的多个目标设备行为数据；

获取所述目标设备行为数据对应的第二设备行为数据处理信息；

根据所述目标设备行为数据对应的第二设备行为数据处理信息确定所述目标设备行为数据被处理过程中存在的任务处理失败或处理时间超过预设值的异常处理模块；

根据所述目标设备的多个所述目标设备行为数据对应的所述异常处理模块确定所述目标设备的故障定位信息。

8.一种物联网设备行为数据处理系统，其特征在于，包括：

多个设备；

数据处理平台，与所述多个设备通讯连接；

数据库；

监控模块，连接所述数据处理平台和所述数据库，用于获取所述数据处理平台中多个处理模块的设备行为数据处理信息并将所述设备行为数据处理信息发送到所述数据库，所述设备行为数据处理信息用于记录一个所述处理模块处理一个来自所述设备的设备行为数据的过程中产生的信息，所述设备行为数据处理信息至少处理模块标识符、设备标识符、数据标识符、数据到达时间、数据发送时间；

分析模块，连接所述数据库，用于执行如权利要求1～7任一项所述的设备行为数据分析方法。

9.如权利要求8所述的系统，其特征在于，所述监控模块包括：

多个监控单元，每个所述监控单元对应一个所述处理模块，所述监控单元用于根据所述处理模块处理一个所述设备行为数据的过程生成所述设备行为数据处理信息；

转发单元，与所述数据库通讯连接，用于接收来自所述多个监控单元的所述设备行为数据处理信息并将所述设备行为数据处理信息发送到所述数据库，所述转发单元包括暂存所述设备行为数据处理信息的物理硬盘；

传递单元，连接于所述多个监控单元和所述转发单元，用于将多个监控单元生成的所述设备行为数据处理信息传递到所述转发单元。

10.如权利要求8所述的系统，其特征在于，所述多个处理模块分别被部署在多个物理服务器中，每个所述物理服务器上设置有一个所述监控模块。

11.如权利要求8所述的系统，其特征在于，所述多个处理模块的种类包括网关模块和业务模块。

Images