CN115296976B - 物联网设备故障检测方法、装置、设备及存储介质 - Google Patents
物联网设备故障检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115296976B CN115296976B CN202210745259.3A CN202210745259A CN115296976B CN 115296976 B CN115296976 B CN 115296976B CN 202210745259 A CN202210745259 A CN 202210745259A CN 115296976 B CN115296976 B CN 115296976B
- Authority
- CN
- China
- Prior art keywords
- internet
- equipment
- things
- fault
- event attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012216 screening Methods 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 230000006855 networking Effects 0.000 claims 2
- 230000005856 abnormality Effects 0.000 abstract description 14
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005111 flow chemistry technique Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 108700028369 Alleles Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种物联网设备故障检测方法、装置、设备及存储介质，通过获取当前时间窗口中各物联网设备的设备数据；解析各物联网设备的设备数据获取各物联网设备至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个Bitmap数据结构中，任一Bitmap数据结构的每一位对应一个物联网设备同一种事件属性的状态值，状态值为0或1；根据预设故障筛选规则对至少两个事件属性的Bitmap数据结构进行位运算，根据结果进行故障设备检测和/或故障原因分析。通过Bitmap数据结构维护各物联网设备各事件属性的状态值并配合位运算，节约存储空间，显著提高故障检测和分析效率，以第一时间感知物联网设备的异常。
Description
技术领域
本发明属于物联网技术领域，具体涉及一种物联网设备故障检测方法、装置、设备及存储介质。
背景技术
随着物联网(Internet of things，IoT)智能设备越来越普及，如果物联网中某个设备发生闪退、不可用、可用性差等故障，会导致用户会对产品失去信心，严重的会引起市场占用率降低，所以对于设备运行健康的监控越来越显重要，尤其当设备发生异常时，能否第一时间感知并迅速定位和解决问题，直接决定了后续的产品退推广。
现有技术中通常会持续采集物联网设备的设备数据，包括设备事件的相关信息如发生时间、设备标识、事件类型以及相关属性和维度等，并按照设备标识维度进行数据存储到数据库中，当需要检测某个时间窗口内的异常设备时，需要通过SQL语句查询数据库进行分析。
现有技术中，通过SQL语句查询数据库，需要进行大量连接(join)操作，包括根据设备标识的等值连接、时间戳的非等值连接，随着数据规模越来越大，对海量数据进行连接操作的成本非常高，效率较低，延迟性也非常高，无法实时对各物联网设备进行故障监控和分析。
发明内容
本发明提供一种物联网设备故障检测方法、装置、设备及存储介质，以提高对物联网设备的故障检测和分析的效率，降低成本。
本发明的第一方面是提供一种物联网设备故障检测方法，所述方法包括：
获取当前时间窗口中各物联网设备的设备数据；
对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，其中任一Bitmap数据结构的每一位对应一个物联网设备同一种事件属性的状态值，所述状态值为0或1；
根据预设故障筛选规则，对至少两个事件属性的Bitmap数据结构进行位运算，根据位运算结果进行故障设备检测和/或故障原因分析。
在一种可能的设计中，所述根据预设故障筛选规则，对至少两个事件属性的Bitmap数据结构进行位运算，包括：
根据预设故障筛选规则，确定至少一种事件属性组合，每一事件属性组合包括至少两个目标事件属性；
对任一种事件属性组合包括的各目标事件属性的Bitmap数据结构中相同物联网设备对应的位进行按位与运算。
在一种可能的设计中，所述根据位运算结果进行故障设备检测，包括：
对于任一种事件属性组合，将按位与运算结果中结果值为1对应的物联网设备确定为故障设备。
在一种可能的设计中，所述根据位运算结果进行故障原因分析，包括：
对于相同的故障表现，获取每一种事件属性组合按位与运算结果中结果值为1对应的物联网设备的数量；
确定数量最多的事件属性组合，根据数量最多的事件属性组合包括的各目标事件属性确定导致所述故障表现的原因。
在一种可能的设计中，所述将按位与运算结果中结果值为1对应的物联网设备确定为故障设备后，还包括：
根据预设的物联网设备标识与Bitmap数据结构中对应位的映射关系，获取所述故障设备的标识信息；
根据所述事件属性组合中包括的各目标事件属性以及所述故障设备的标识信息，生成故障设备信息，并输出所述故障设备信息。
在一种可能的设计中，所述将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，包括：
从各物联网设备的设备数据中获取物联网设备标识；
根据预设的物联网设备标识与Bitmap数据结构中对应位的映射关系，将各物联网设备同一种事件属性的状态值存储至一个Bitmap数据结构中。
在一种可能的设计中，所述对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，包括：
通过Flink流处理集群系统，采用状态函数对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备的至少两种事件属性的状态值更新到对应的Bitmap数据结构中的对应位。
本发明的第二方面是提供一种物联网设备故障检测装置，包括：
获取模块，用于获取当前时间窗口中各物联网设备的设备数据；
处理模块，用于对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，其中任一Bitmap数据结构的每一位对应一个物联网设备同一种事件属性的状态值，所述状态值为0或1；
检测模块，用于根据预设故障筛选规则，对至少两个事件属性的Bitmap数据结构进行位运算，根据位运算结果进行故障设备检测和/或故障原因分析。
本发明的第三方面是提供一种物联网设备故障检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现如第一方面所述的方法。
本发明的第四方面是提供一种计算机可读存储介质，其上存储有计算机程序；
所述计算机程序被处理器执行时实现如第一方面所述的方法。
本发明的第五方面是提供一种计算机程序产品，包括计算机程序；
所述计算机程序被处理器执行时实现如第一方面所述的方法。
本发明提供的物联网设备故障检测方法、装置、设备及存储介质，通过获取当前时间窗口中各物联网设备的设备数据；对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，其中任一Bitmap数据结构的每一位对应一个物联网设备同一种事件属性的状态值，状态值为0或1；根据预设故障筛选规则，对至少两个事件属性的Bitmap数据结构进行位运算，根据位运算结果进行故障设备检测和/或故障原因分析。本发明通过Bitmap数据结构维护各物联网设备各事件属性的状态值，并配合位运算，可大大节约存储空间，降低成本，显著提高故障检测和分析的效率，以第一时间感知物联网设备的异常，能够快速提供给运营支撑系统。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1a为本发明一实施例提供的物联网设备故障检测方法的场景示意图；
图1b为本发明另实施例提供的物联网设备故障检测方法的场景示意图；
图2为本发明一实施例提供的物联网设备故障检测方法流程图；
图3为本发明另一实施例提供的物联网设备故障检测方法流程图；
图4为本发明另一实施例提供的物联网设备故障检测方法流程图；
图5为本发明另一实施例提供的物联网设备故障检测方法流程图；
图6为本发明另一实施例提供的物联网设备故障检测方法流程图；
图7为本发明实施例提供的物联网设备故障检测装置的结构图；
图8为本发明实施例提供的物联网设备故障检测设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
物联网(Internet of things，IoT)即“万物相连的互联网”，是互联网基础上的延伸和扩展的网络，将各种信息传感设备与互联网结合起来而形成的一个巨大网络，实现在任何时间、任何地点，人、机、物的互联互通。
随着物联网(Internet of things，IoT)智能设备越来越普及，如果物联网中某个设备发生闪退、不可用、可用性差等故障，会导致用户会对产品失去信心，严重的会引起市场占用率降低，所以对于设备运行健康的监控越来越显重要，尤其当设备发生异常时，能否第一时间感知并迅速定位和解决问题，直接决定了后续的产品退推广。
现有技术中通常会持续采集物联网设备的设备数据，包括设备事件的相关信息如发生时间、设备标识、事件类型以及相关属性和维度等，并按照设备标识维度进行数据存储到数据库中(例如Hive表)，当需要检测某个时间窗口内的异常设备时，需要通过SQL语句查询数据库进行分析。
现有技术中，通过SQL语句查询数据库，需要进行大量连接(join)操作，包括根据设备标识的等值连接、时间戳的非等值连接，随着数据规模越来越大，对海量数据进行连接操作的成本非常高，效率较低，延迟性也非常高，无法实时对各物联网设备进行故障监控和分析。
为了解决上述技术问题，本发明实施例考虑应用Bitmap(位图)数据结构维护各物联网设备各事件属性的状态值，可大大节约数据存储空间，并且配合位运算，可显著提高故障检测和分析的效率，以第一时间感知物联网设备的异常，能够快速提供给运营支撑系统。具体的，可获取当前时间窗口中各物联网设备的设备数据；对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，其中任一Bitmap数据结构的每一位对应一个物联网设备同一种事件属性的状态值，状态值为0或1；根据预设故障筛选规则，对至少两个事件属性的Bitmap数据结构进行位运算，根据位运算结果进行故障设备检测和/或故障原因分析。
本发明提供的物联网设备故障检测方法可适用于如图1a所示的系统中，包括物联网设备集合11以及服务器12，其中物联网设备集合11中各物联网设备将其设备数据发送给服务器12，服务器12可执行上述物联网设备故障检测方法，采用Bitmap数据结构维护各物联网设备各事件属性的状态值，并通过位运算进行故障设备检测和/或故障原因分析。
在一种可选方式中，如图1b所示，服务器12包括Kafka消息系统服务器121、Flink流处理集群系统服务器122，Elasticsearch(ES)搜索服务器123；将采集到的物联网系统中的各物联网设备的设备数据先存储到Kafka消息系统服务器121；通过Flink流处理集群系统服务器122，采用状态函数对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备的至少两种事件属性的状态值更新到对应的Bitmap数据结构中的对应位，Flink流处理集群系统服务器122还可对至少两个事件属性的Bitmap数据结构进行位运算，根据位运算结果进行故障设备检测和/或故障原因分析，最后将故障设备信息输出给ES搜索服务器123，供维护人员对故障设备信息进行搜索和查看。
下面结合具体实施例对物联网设备故障检测过程进行详细解释和说明。
图2为本发明实施例提供的物联网设备故障检测方法流程图。本实施例提供了一种物联网设备故障检测方法，其执行主体可以为服务器等电子设备，该方法具体步骤如下：
S201、获取当前时间窗口中各物联网设备的设备数据。
在本实施例中，可周期性的采集物联网系统中的各物联网设备的设备数据，例如每1分钟采集一次，其中设备数据包括但不限于物联网设备所发生的事件(如上线、离线、绑定)的相关信息，例如发生时间、设备ID、事件类型以及相关属性和维度，还可包括物联网设备的一些状态信息，例如网络异常、配网异常、温度湿度(对于冰箱、空调等物联网设备)，可在物联网设备中预先埋点，通过埋点采集设备数据。进一步的，可将时间划分为预定时长的时间窗口，例如每5分钟确定为一个时间窗口，可对每个时间窗口中采集到的物联网设备的设备数据进行下述处理，以检测时间窗口内的故障设备，分析时间窗口内的故障原因。
可选的，可将采集到的物联网系统中的各物联网设备的设备数据先存储到消息系统中，如Kafka消息系统，再从消息系统中以时间窗口为单位消费各物联网设备的设备数据，其中Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理动作流数据。
S202、对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，其中任一Bitmap数据结构的每一位对应一个物联网设备同一种事件属性的状态值，所述状态值为0或1。
在本实施例中，由于各物联网设备的设备数据通常是JSON报文格式或其他格式的字符串，需要对其进行解析，提取其中的各种事件属性的状态值，举例来讲，对于物联网设备所发生的事件，将每一种事件是否发生作为一种事件属性，例如，某一物联网设备发生上线事件，则上线事件对应的事件属性的状态值记为1，某一物联网设备发生绑定事件，则绑定事件对应的事件属性的状态值记为1；对于物联网设备的一些状态信息，同样也可作为一种事件属性，例如某一物联网设备出现网络异常，则将网络异常对应的事件属性的状态值记为1，某一物联网设备出现绑定失败，则将绑定失败对应的事件属性的状态值记为1，对于冰箱、空调等物联网设备温度超过预设阈值，将温度异常对应的事件属性的状态值记为1等等。由于一个时间窗口内的每一物联网设备的设备数据可能不止一条，每条设备数据也可能包括不止一个事件或状态信息，因此对于每一物联网设备可获取至少两种事件属性的状态值。
对于任一种事件属性，可将各物联网设备的该事件属性的状态值存储至一个Bitmap数据结构中，其中Bitmap数据结构是通过bit(比特)位来标识某个元素对应的值(支持0、1两种状态)，简单而言，Bitmap本身就是一个bit数组，相对于采用字符串存储可极大的节约存储空间。
举例来讲，假设有8个物联网设备，在一个时间窗口中，设备1、设备3发生上线事件，则上线事件对应的事件属性的状态值记为1，Bitmap数据结构如下所示：
再如，在该时间窗口中，设备3出现网络异常，则网络异常对应的事件属性的状态值记为1，Bitmap数据结构如下所示：
任一种事件属性的Bitmap数据结构的bit位数可与物网络设备的数量相同，使得的每一个物网络设备的该事件属性的状态值都能够记录在Bitmap数据结构中。
可选的，对于不同种事件属性的Bitmap数据结构，相同的bit位可表示同一物联网设备，以便于下述步骤中对Bitmap数据结构进行位运算。因此需要维护各物联网设备与Bitmap数据结构中对应位的映射关系，本实施例中可预先确定物联网设备标识(ID)与Bitmap数据结构中对应位的映射关系，若物联网设备标识(ID)为字符型，可映射为整形(int)，还需要维护字符型设备标识与整形设备标识之间的映射关系。
在上述实施例的基础上，如图3所示，在将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中时，具体可包括：
S301、从各物联网设备的设备数据中获取物联网设备标识；
S302、根据预设的物联网设备标识与Bitmap数据结构中对应位的映射关系，将各物联网设备同一种事件属性的状态值存储至一个Bitmap数据结构中。
在本实施例中，对于获取到的各物联网设备的各事件属性的状态值，若需要存到Bitmap数据结构的对应bit位上，对于任一物联网设备的各事件属性的状态值，需要先从各物联网设备的设备数据中获取物联网设备标识，然后根据物联网设备标识与Bitmap数据结构中对应位的映射关系确定Bitmap数据结构中该物联网设备对应bit位，将该物联网设备的事件属性的状态值存储到该bit位处。需要说明的是，可以将某一时间周期内各物联网设备同一种事件属性的状态值存储至一个Bitmap数据结构中，在后续时间周期中根据新采集的各物联网设备的设备数据来更新Bitmap数据结构中的事件属性的状态值。
在上述任一实施例的基础上，可通过Flink流处理集群系统，采用状态函数对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备的至少两种事件属性的状态值更新到对应的Bitmap数据结构中的对应位。
其中，Flink是一种开源流处理框架，其核心是用Java语言和Scala语言编写的分布式流数据流引擎。Flink中状态是由算子的子任务来创建和管理的，一个算子子任务接收输入流(当前时间周期内各物联网设备的设备数据)获取对应的状态(事件属性的状态值)，根据新的计算结果更新状态(更新Bitmap数据结构中的对应)。其中，Keyed State(键控状态)是KeyedStream(键控流)上的状态。输入流可按照物联网设备标识为Key进行了KeyBy分组，形成一个KeyedStream，数据流中所有具有相同物联网设备标识的数据共享一个状态(事件属性的状态值)，可以访问和更新这个状态。一个算子子任务可以处理一到多个Key，两种Key分别对应自己的状态。此外，还可进行状态的横向扩展(维护和更新不同事件属性的状态值)，主要是指修改Flink应用的并行度，确切的说，每个算子的并行实例数或算子子任务数发生了变化，应用需要关停或启动一些算子子任务，某份在原来某个算子子任务上的状态数据需要平滑更新到新的算子子任务上，所以Flink的状态函数算子方法是很方便扩容的。此外，还可通过Trigger触发器配置时间窗口，并触发对时间窗口内的各物联网设备的设备数据进行处理。
Flink流处理集群系统，可与Kafka消息系统交互和偏移量的维护，开启Checkpoint(检查点)功能，保证数据的精确一次消费。本实施例可利用Flink的精确一次消费的语义，保证了数据的一致性、可靠性、实时性。
更多的，采用Flink流处理集群系统维护状态为较成熟的技术，此处不再赘述，本实施例中应用成熟的Flink流处理集群系统维护和更新各物联网设备的至少两种事件属性的状态值，改进之处在于是将各物联网设备的至少两种事件属性的状态值更新到对应的Bitmap数据结构中的对应位。
S203、根据预设故障筛选规则，对至少两个事件属性的Bitmap数据结构进行位运算，根据位运算结果进行故障设备检测和/或故障原因分析。
在本实施例中，由于存在两种以上的事件属性，因此可能由不同事件导致设备故障，或者设备故障表现出不同的状态信息，或者设备故障存在不同的前提，可以预先配置预设故障筛选规则，例如筛选上线且网络异常的物联网设备；再如筛选发生绑定事件、且网络异常、且绑定失败的物联网设备；因此需要根据预先配置预设故障筛选规则，对相关事件属性的Bitmap数据结构进行位运算，来进行故障设备检测和/或故障原因分析，节省了扫描数据库表的时间和去重的时间，效率上得到极大的提高。其中Bitmap数据结构可支持包括但不限于与(AND)、或(OR)、与非(ANDNOT)等位运算，可根据预设故障筛选规则选择合适的位运算。
本实施例提供的物联网设备故障检测方法，通过获取当前时间窗口中各物联网设备的设备数据；对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，其中任一Bitmap数据结构的每一位对应一个物联网设备同一种事件属性的状态值，状态值为0或1；根据预设故障筛选规则，对至少两个事件属性的Bitmap数据结构进行位运算，根据位运算结果进行故障设备检测和/或故障原因分析。本实施例通过Bitmap数据结构维护各物联网设备各事件属性的状态值，并配合位运算，可大大节约存储空间，显著提高故障检测和分析的效率，以第一时间感知物联网设备的异常，能够快速提供给运营支撑系统。
在一种可选实施例中，如图4所示，S203具体可包括：
S401、根据预设故障筛选规则，确定至少一种事件属性组合，每一事件属性组合包括至少两个目标事件属性；
S402、对任一种事件属性组合包括的各目标事件属性的Bitmap数据结构中相同物联网设备对应的位进行按位与运算。
在本实施例中，可根据预先配置预设故障筛选规则确定相关事件属性，构成事件属性组合，例如筛选上线且网络异常的物联网设备，事件属性组合包括上线事件对应的事件属性、以及网络异常对应的事件属性；再如筛选发生绑定事件、且网络异常、且绑定失败的物联网设备，事件属性组合包括绑定事件对应的事件属性、以及网络异常对应的事件属性、以及绑定失败对应的事件属性。
对于任一种事件属性组合，可将包括的各目标事件属性的Bitmap数据结构中相同物联网设备对应的位进行按位与运算，以筛选上线且网络异常的物联网设备为例，可对上线事件对应的事件属性、以及网络异常对应的事件属性的Bitmap数据结构中相同物联网设备对应的位进行按位与运算。
作为示例，上线事件对应的事件属性的Bitmap数据结构如下：
网络异常对应的事件属性的Bitmap数据结构如下：
对上线事件对应的事件属性、以及网络异常对应的事件属性的Bitmap数据结构中相同物联网设备对应的位进行按位与运算，结果如下：
进一步的，将按位与运算结果中结果值为1对应的物联网设备确定为故障设备，由此，可确定设备3为上线且网络异常的物联网设备。对于其他的事件属性组合进行按位与运算的过程与此类似，当然进行其他的位运算原理也与此类似，此处不再赘述。
在另一种可选实施例中，在上述实施例的基础上，如图5所示，具体还可包括：
S501、对于相同的故障表现，获取每一种事件属性组合按位与运算结果中结果值为1对应的物联网设备的数量；
S502、确定数量最多的事件属性组合，根据数量最多的事件属性组合包括的各目标事件属性确定导致所述故障表现的原因。
在本实施例中，还可基于Bitmap数据结构分析主要故障原因，由于可相同的故障表现能由于不同的原因导致，因此可针对该故障表现配置不同的事件属性组合，例如对于绑定失败的故障，可能由于网络异常导致，也可能由于设备离线导致，或者其他原因等，因此可对每一种可能的故障原因配置事件属性组合，再针对每种事件属性组合包括的各目标事件属性的Bitmap数据结构中相同物联网设备对应的位进行按位与运算，统计每一种事件属性组合按位与运算结果中结果值为1对应的物联网设备的数量，数量越多，则说明该种事件属性组合对应的故障原因引起故障的物联网设备的数量越多，根据数量最多的事件属性组合包括的各目标事件属性确定导致故障表现的原因，从而实现对主要故障原因的分析。
作为上述实施例的进一步改进，如图6所示，在将按位与运算结果中结果值为1对应的物联网设备确定为故障设备后，还包括：
S601、根据预设的物联网设备标识与Bitmap数据结构中对应位的映射关系，获取所述故障设备的标识信息；
S602、根据所述事件属性组合中包括的各目标事件属性以及所述故障设备的标识信息，生成故障设备信息，并输出所述故障设备信息。
在本实施例中，通过位运算后得到的结果是一个bit数组，而该bit数组所表示信息不可视，因此需要对位运算结果进行可视化，转化为可读的故障设备信息，例如具体是哪个设备发生了哪些事件、产生了哪些故障、哪些事件或状态信息导致故障等等。具体的，可先确定按位与运算结果中结果值为1对应的哪一个物联网设备，可根据预设的物联网设备标识与Bitmap数据结构中对应位的映射关系，获取结果值为1的bit位对应的物联网设备标识，也即故障设备的标识信息，进而根据事件属性组合中包括的各目标事件属性以及故障设备的标识信息生成故障设备信息，例如，物联网设备3发生上线事件且网络异常。进一步可输出故障设备信息，以供维护人员查看。本实施例中可采用Elasticsearch(ES)搜索服务器对故障设备信息进行搜索和查看；或者将故障设备信息发送给维护人员的终端。
图7为本发明实施例提供的物联网设备故障检测装置的结构图。本实施例提供的物联网设备故障检测装置可以执行物联网设备故障检测方法实施例提供的处理流程，如图7所示，所述物联网设备故障检测装置700包括获取模块701、处理模块702、检测模块703。
获取模块701，用于获取当前时间窗口中各物联网设备的设备数据；
处理模块702，用于对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，其中任一Bitmap数据结构的每一位对应一个物联网设备同一种事件属性的状态值，所述状态值为0或1；
检测模块703，用于根据预设故障筛选规则，对至少两个事件属性的Bitmap数据结构进行位运算，根据位运算结果进行故障设备检测和/或故障原因分析。
在本发明的一个或多个实施例中，所述处理模块702在根据预设故障筛选规则，对至少两个事件属性的Bitmap数据结构进行位运算时，用于：
根据预设故障筛选规则，确定至少一种事件属性组合，每一事件属性组合包括至少两个目标事件属性；
对任一种事件属性组合包括的各目标事件属性的Bitmap数据结构中相同物联网设备对应的位进行按位与运算。
在本发明的一个或多个实施例中，所述检测模块703在根据位运算结果进行故障设备检测时，用于：
对于任一种事件属性组合，将按位与运算结果中结果值为1对应的物联网设备确定为故障设备。
在本发明的一个或多个实施例中，所述检测模块703在根据位运算结果进行故障原因分析时，用于：
对于相同的故障表现，获取每一种事件属性组合按位与运算结果中结果值为1对应的物联网设备的数量；
确定数量最多的事件属性组合，根据数量最多的事件属性组合包括的各目标事件属性确定导致所述故障表现的原因。
在本发明的一个或多个实施例中，所述检测模块703在将按位与运算结果中结果值为1对应的物联网设备确定为故障设备后，还用于：
根据预设的物联网设备标识与Bitmap数据结构中对应位的映射关系，获取所述故障设备的标识信息；
根据所述事件属性组合中包括的各目标事件属性以及所述故障设备的标识信息，生成故障设备信息，并输出所述故障设备信息。
在本发明的一个或多个实施例中，所述处理模块702在将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中时，用于：
从各物联网设备的设备数据中获取物联网设备标识；
根据预设的物联网设备标识与Bitmap数据结构中对应位的映射关系，将各物联网设备同一种事件属性的状态值存储至一个Bitmap数据结构中。
在本发明的一个或多个实施例中，其特征在于，所述处理模块702在对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中时，用于：
通过Flink流处理集群系统，采用状态函数对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备的至少两种事件属性的状态值更新到对应的Bitmap数据结构中的对应位。
本发明实施例提供的物联网设备故障检测装置可以具体用于执行上述的方法实施例，具体功能此处不再赘述。
图8为本发明实施例提供的物联网设备故障检测设备的结构示意图。本发明实施例提供的物联网设备故障检测设备可以执行物联网设备故障检测方法实施例提供的处理流程，如图8所示，物联网设备故障检测设备80包括存储器81、处理器82、计算机程序；其中，计算机程序存储在存储器81中，并被配置为由处理器82执行以上实施例所述的物联网设备故障检测方法。此外，物联网设备故障检测设备80还可具有通讯接口83，用于接收控制指令。
图8所示实施例的物联网设备故障检测设备可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
另外，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的物联网设备故障检测方法。
另外，本实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的物联网设备故障检测方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种物联网设备故障检测方法，其特征在于，包括：
获取当前时间窗口中各物联网设备的设备数据；
对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，其中任一Bitmap数据结构的每一位对应一个物联网设备同一种事件属性的状态值，所述状态值为0或1；
根据预设故障筛选规则，对至少两个事件属性的Bitmap数据结构进行位运算，根据位运算结果进行故障设备检测和/或故障原因分析；
所述根据预设故障筛选规则，对至少两个事件属性的Bitmap数据结构进行位运算，包括：
根据预设故障筛选规则，确定至少一种事件属性组合，每一事件属性组合包括至少两个目标事件属性；
对任一种事件属性组合包括的各目标事件属性的Bitmap数据结构中相同物联网设备对应的位进行按位与运算。
2.根据权利要求1所述的方法，其特征在于，所述根据位运算结果进行故障设备检测，包括：
对于任一种事件属性组合，将按位与运算结果中结果值为1对应的物联网设备确定为故障设备。
3.根据权利要求1所述的方法，其特征在于，所述根据位运算结果进行故障原因分析，包括：
对于相同的故障表现，获取每一种事件属性组合按位与运算结果中结果值为1对应的物联网设备的数量；
确定数量最多的事件属性组合，根据数量最多的事件属性组合包括的各目标事件属性确定导致所述故障表现的原因。
4.根据权利要求2任一项所述的方法，其特征在于，所述将按位与运算结果中结果值为1对应的物联网设备确定为故障设备后，还包括：
根据预设的物联网设备标识与Bitmap数据结构中对应位的映射关系，获取所述故障设备的标识信息；
根据所述事件属性组合中包括的各目标事件属性以及所述故障设备的标识信息，生成故障设备信息，并输出所述故障设备信息。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，包括：
从各物联网设备的设备数据中获取物联网设备标识；
根据预设的物联网设备标识与Bitmap数据结构中对应位的映射关系，将各物联网设备同一种事件属性的状态值存储至一个Bitmap数据结构中。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，包括：
通过Flink流处理集群系统，采用状态函数对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备的至少两种事件属性的状态值更新到对应的Bitmap数据结构中的对应位。
7.一种物联网设备故障检测装置，其特征在于，包括：
获取模块，用于获取当前时间窗口中各物联网设备的设备数据；
处理模块，用于对各物联网设备的设备数据进行解析，获取各物联网设备的至少两种事件属性的状态值，并将各物联网设备同一种事件属性的状态值存储至一个位图Bitmap数据结构中，其中任一Bitmap数据结构的每一位对应一个物联网设备同一种事件属性的状态值，所述状态值为0或1；
检测模块，用于根据预设故障筛选规则，对至少两个事件属性的Bitmap数据结构进行位运算，根据位运算结果进行故障设备检测和/或故障原因分析；
所述检测模块，具体用于根据预设故障筛选规则，确定至少一种事件属性组合，每一事件属性组合包括至少两个目标事件属性；
对任一种事件属性组合包括的各目标事件属性的Bitmap数据结构中相同物联网设备对应的位进行按位与运算。
8.一种物联网设备故障检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于运行所述存储器中存储的计算机程序以实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；
所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210745259.3A CN115296976B (zh) | 2022-06-28 | 2022-06-28 | 物联网设备故障检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210745259.3A CN115296976B (zh) | 2022-06-28 | 2022-06-28 | 物联网设备故障检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115296976A CN115296976A (zh) | 2022-11-04 |
| CN115296976B true CN115296976B (zh) | 2024-03-22 |
Family
ID=83820286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210745259.3A Active CN115296976B (zh) | 2022-06-28 | 2022-06-28 | 物联网设备故障检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115296976B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109981617A (zh) * | 2019-03-12 | 2019-07-05 | 深圳市智物联网络有限公司 | 一种物联网设备监控方法、系统及电子设备和存储介质 |
| CN110336698A (zh) * | 2019-07-05 | 2019-10-15 | 精英数智科技股份有限公司 | 一种故障数据分析方法、服务器及存储介质 |
| CN110365703A (zh) * | 2019-07-30 | 2019-10-22 | 国家电网有限公司 | 物联网终端异常状态检测方法、装置及终端设备 |
| CN111865493A (zh) * | 2020-06-19 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 数据处理方法及相关设备 |
| CN113765715A (zh) * | 2016-12-30 | 2021-12-07 | 英特尔公司 | 用于iot装置的分散式数据存储和处理 |
| CN113783931A (zh) * | 2021-08-02 | 2021-12-10 | 中企云链（北京）金融信息服务有限公司 | 一种物联网数据聚合、分析方法 |
| CN113792154A (zh) * | 2021-08-30 | 2021-12-14 | 北京百度网讯科技有限公司 | 故障关联关系的确定方法、装置、电子设备及存储介质 |
| CN114626440A (zh) * | 2022-02-21 | 2022-06-14 | 国网安徽省电力有限公司亳州供电公司 | 一种监控信号的对象化分析方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10541892B2 (en) * | 2016-01-13 | 2020-01-21 | Ricoh Company, Ltd. | System and method for monitoring, sensing and analytics of collaboration devices |
-
2022
- 2022-06-28 CN CN202210745259.3A patent/CN115296976B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113765715A (zh) * | 2016-12-30 | 2021-12-07 | 英特尔公司 | 用于iot装置的分散式数据存储和处理 |
| CN109981617A (zh) * | 2019-03-12 | 2019-07-05 | 深圳市智物联网络有限公司 | 一种物联网设备监控方法、系统及电子设备和存储介质 |
| CN110336698A (zh) * | 2019-07-05 | 2019-10-15 | 精英数智科技股份有限公司 | 一种故障数据分析方法、服务器及存储介质 |
| CN110365703A (zh) * | 2019-07-30 | 2019-10-22 | 国家电网有限公司 | 物联网终端异常状态检测方法、装置及终端设备 |
| CN111865493A (zh) * | 2020-06-19 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 数据处理方法及相关设备 |
| CN113783931A (zh) * | 2021-08-02 | 2021-12-10 | 中企云链（北京）金融信息服务有限公司 | 一种物联网数据聚合、分析方法 |
| CN113792154A (zh) * | 2021-08-30 | 2021-12-14 | 北京百度网讯科技有限公司 | 故障关联关系的确定方法、装置、电子设备及存储介质 |
| CN114626440A (zh) * | 2022-02-21 | 2022-06-14 | 国网安徽省电力有限公司亳州供电公司 | 一种监控信号的对象化分析方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115296976A (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209131B (zh) | 一种基于机器学习确定异构系统的故障的方法和系统 | |
| US10678669B2 (en) | Field content based pattern generation for heterogeneous logs | |
| US10469307B2 (en) | Predicting computer network equipment failure | |
| Lou et al. | Mining dependency in distributed systems through unstructured logs analysis | |
| CN108234170B (zh) | 一种服务器集群的监控方法和装置 | |
| US6792456B1 (en) | Systems and methods for authoring and executing operational policies that use event rates | |
| EP1405187B1 (en) | Method and system for correlating and determining root causes of system and enterprise events | |
| US20190179691A1 (en) | Log-based computer failure diagnosis | |
| WO2021174694A1 (zh) | 基于数据中心的运维监控方法、装置、设备及存储介质 | |
| JP2022118108A (ja) | ログ監査方法、装置、電子機器、媒体およびコンピュータプログラム | |
| CN107229556A (zh) | 基于elastic组件的日志分析系统 | |
| CN103324565B (zh) | 日志监控方法 | |
| CN114757468B (zh) | 一种面向流程挖掘中流程执行异常的根源分析方法 | |
| CN111259073A (zh) | 基于日志、流量和业务访问的业务系统运行状态智能研判系统 | |
| CN113420032A (zh) | 一种日志的分类存储方法及装置 | |
| US10915510B2 (en) | Method and apparatus of collecting and reporting database application incompatibilities | |
| CN104967532A (zh) | Toc技术运维系统及应用方法 | |
| CN115296976B (zh) | 物联网设备故障检测方法、装置、设备及存储介质 | |
| CN115190046B (zh) | 一种服务器集群的检测方法、检测装置及计算设备 | |
| CN111176950A (zh) | 一种监控服务器集群的网卡的方法和设备 | |
| CN108183821B (zh) | 一种面向电网业务的应用性能获取方法及装置 | |
| US11755453B1 (en) | Performing iterative entity discovery and instrumentation | |
| CN111654410B (zh) | 网关请求监控方法、装置、设备及介质 | |
| CN110633311B (zh) | 一种数据处理方法、装置及存储介质 | |
| CN114422324B (zh) | 一种告警信息的处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |