CN113783931B - 一种物联网数据聚合、分析方法 - Google Patents

一种物联网数据聚合、分析方法 Download PDF

Info

Publication number
CN113783931B
CN113783931B CN202110880355.4A CN202110880355A CN113783931B CN 113783931 B CN113783931 B CN 113783931B CN 202110880355 A CN202110880355 A CN 202110880355A CN 113783931 B CN113783931 B CN 113783931B
Authority
CN
China
Prior art keywords
data
internet
things
equipment
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110880355.4A
Other languages
English (en)
Other versions
CN113783931A (zh
Inventor
姜勇
饶正荣
侯代兵
钱明超
张硕丰
朱迪
吴晓飞
胡杰磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongqi Scc Beijing Finance Information Service Co ltd
Original Assignee
Zhongqi Scc Beijing Finance Information Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongqi Scc Beijing Finance Information Service Co ltd filed Critical Zhongqi Scc Beijing Finance Information Service Co ltd
Priority to CN202110880355.4A priority Critical patent/CN113783931B/zh
Publication of CN113783931A publication Critical patent/CN113783931A/zh
Application granted granted Critical
Publication of CN113783931B publication Critical patent/CN113783931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Computer And Data Communications (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

本发明公开了一种物联网数据聚合、分析方法，包括：制定特征规则，确定特征值；收集物联网设备行为数据；制定分类规则；提取特征值，进行分类；将分类好的特征值发送到Kafka中；将特征值分类后通过Flink进行数据解析、聚合处理；通过Flink读取Hbase系统中的实时动态数据，进行物联网设备状态分析，判断设备实时状态，预测故障，并预警通知并推送至显示器实时展示。本发明进行数据分析、清洗，提高了对数据实时查询和深度分析的效率；把不同的类型的数据进行统一规范化的收集，并通过不同分组对数据进行定制化隔离，做到数据处理的隔离性和峰值数据的承载性；可以用于设备预警、性能分析、故障预测多样化服务；解决在线水平扩展问题以及高并发问题。

Description

一种物联网数据聚合、分析方法
技术领域
本发明内容涉及物联网技术领域，尤其涉及一种物联网数据聚合、分析方法。
背景技术
物联网中存在海量的设备，其产生的数据量也规模巨大，云计算技术的推广普及和云基础设施及平台的建设，使得这些海量终端的实时动态管理以及智能分析变得可能。
通用物联网平台的出现将大大降低开发物联网应用的门槛，传统的物联网应用开发将转向平台，而随着近几年机器学习技术的发展，通过对海量设备数据进行分析，进而挖掘出数据背后潜在的商业价值。
大数据技术的兴起使得企业可以灵活高效的使用自己的业务数据，从数据中抽取出更多重要的价值，但是在物联网环境下，通用物联网平台已经解决了部分设备接入的问题，对于物联网设备数据分析的实时计算也有较高的要求；同时现有物联网运营管理平台，大多数都是基于特定的物联网终端的特性，垂直化的单业务管理平台，只能服务于特定的业务场景，当物联网终端类型变更后，运营平台需要进行对应功能的开发与逻辑变更，开发时间长，耦合性强，业务类型单一，分析效率低。
在这种情况下，如何能统一管理不同类型不同商家不同通讯协议的物联网终端、有效地分析物联网中的设备行为数据成为亟需解决的问题。
发明内容
本发明内容所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种物联网数据聚合、分析方法，解决了当前物联网终端设备管理的复杂性、通讯协议的不规则性、数据分析效率低的问题，实时分析终端数据，并对终端数据进行归类分组。
本发明内容的目的及解决的技术问题是采用以下技术方案来实现的：
一种物联网数据聚合、分析方法，包括：
S1：制定特征规则，确定特征值：通过MQ、HTTP、HTTPS协议中的一种对接物联网设备，将物联网设备数据转换为Json格式，并通过指定的字段来表示设备行为数据，将所述设备行为数据向MQTT服务器发送；
S2：收集物联网设备行为数据：构建数据分析中心，进行数据归类，通过统一的网关收集物联网设备行为数据，数据分析中心接收到统一格式的物联网设备行为数据后，通过验证电子签名信息鉴权，将数据转发至Kafka消息队列；
S3:制定分类规则：按照物联网设备Json数据中的不同字段，采用Flink计算引擎制定分类规则；
S4：提取特征值，进行分类：通过Flink从Kafka中提取特征值，将特征值解析成为设备行为数据，将解析的数据存入到Hive中，将物联网设备行为数据根据制定的分类规则，以指定字段进行分类，将分类好的特征值发送到Kafka中；
S5：通过job任务实时消费Kafka中不同组事件，获取数据执行请求，请求后获取实时数据，将特征值分类后通过Flink进行数据解析、聚合处理：
识别解析后特征值中的位置信息、温度信息，根据预先设置的电子围栏预警数据、温度预警值进行预警消息通知；
将解析后的特征值中的油耗数据、设备启停数据聚合，根据物联网设备ID标识和索引标识进行存储，计算实时数据存储到Hbase系统中；
将解析后的特征值中的设备基本信息、转速、负载、工况数据根据物联网设备ID标识进行存储，并将实时数据存储到Hbase系统中；
S6：通过Flink读取Hbase系统中的实时动态数据，进行物联网设备状态分析，判断设备实时状态，如果设备的特征值，既定时间内，一直超过正常指标，则预警通知设备负责人，预测故障，并推送至显示器实时展示。
优选的，所述步骤S1中，将物联网设备数据按照Json格式指定的字段来表示设备行为数据，将所述设备行为数据向MQTT发送包括：对物联网设备建立基于rpc协议的通信链路，从物联网设备获取原始数据，进行格式转换后发送至MQTT服务器中。
优选的，所述步骤S2中，收集物联网设备行为数据，构建数据分析中心时，基于ThingsBoard搭建MQTT协议接收数据，使用统一的标准物联网协议，所述物联网协议根据使用情况自定。
优选的，所述步骤S2中，收集物联网设备行为数据的方式为主动方式或被动方式，所述主动方式获取数据是通信协议周期性或临时性的从物联网设备获取数据；所述被动方式获取数据是物联网设备主动上传数据到通信协议，传输至消息队列。
优选的，所述步骤S4中，分类规则根据定位信息、油耗信息、负载信息、震动信息、温度信息、性能信息、故障信息中的一种或者多种制定。
优选的，所述步骤S4中，通过Hive接收Flink处理的数据，进行结构化数据存储，输出物联网设备的业务数据。
优选的，所述步骤S5中，根据预先设置的电子围栏预警数据进行预警消息通知包括：先将物联网设备添加到一个设定好的电子围栏中，当Flink解析到的设备的定位相关行为数据时，与设定好的电子围栏进行比对,如果物联网设备超出了围栏，则消息预警通知设备负责人；
根据预先设置的温度预警值进行预警消息通知包括：依据不同型号的物联网设备，进行额定温度初始化，当物联网设备的行为数据高于此物联网设备对应的额定温度时，则消息预警通知设备负责人。
优选的，所述步骤S5中，将解析后的特征值中的油耗数据根据物联网设备ID标识和索引标识进行存储，计算实时数据存储到Hbase系统中，还包括根据预设时间周期的颗粒度计算设备的实时油耗，并将计算好的数据存入到Hbase系统中。
优选的，所述步骤S5中，将解析后的特征值中的设备启停数据根据物联网设备ID标识和索引标识进行存储，计算实时数据存储到Hbase系统中，还包括通过设备启停数据判断当前设备是否处于工作、怠速、故障、停机状态，统计每种状态的持续时长，存储到Hbase系统中。
优选的，所述步骤S6中，通过Flink读取Hbase系统中的实时动态数据后，统计数据信息，所述数据信息包括但不限于工作中的设备数量、空闲的设备数量、故障的设备数量、设备的地理位置、设备工作状态、设备预警的数量数据。本发明的有益效果包括：根据索引标识和物联网设备ID标识对应的数据，准确查找到对应数据进行分类存储，进行数据清洗，提高了对数据实时查询和深度分析的效率，对接物联网业务系统生态圈，完成业务数据的进一步输出处理；把不同的类型的数据进行统一规范化的收集，并通过不同分组对数据进行定制化隔离，以做到数据处理的隔离性和峰值数据的承载性；
可以用于设备的围栏预警、温度预警、设备状态异常预警、设备性能分析、设备故障预测、设备功耗状态及设备多样化服务等；
通过统一物联网协议将不同的物联网终端兼容适配，实现了系统的扩展性、灵活性、可恢复性以及可以保证物联网特殊业务属性的要求，解决在线水平扩展问题以及高并发问题。
附图说明
图1为一种物联网数据聚合、分析方法的步骤流程图。
具体实施方式
下面结合附图对本发明内容的技术方案做进一步的详细说明。显然，所描述的实施例仅仅是本发明内容一部分实施例，而不是全部的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明内容保护的范围。
应当理解，尽管这里可以使用术语第一、第二、第三等描述各个元件、组件和/或部分，但这些元件、组件和/或部分不受这些术语限制。
如图1所示，一种物联网数据聚合、分析方法，包括：
S1：制定特征规则，确定特征值：通过MQ、HTTP、HTTPS协议中的一种对接物联网设备，将物联网设备数据转换为Json格式，并通过指定的字段来表示设备行为数据，将所述设备行为数据向MQTT服务器发送；
在一个实施例中，将物联网设备数据按照Json格式指定的字段来表示设备行为数据，将所述设备行为数据向MQTT发送包括：对物联网设备建立基于rpc协议的通信链路，从物联网设备获取原始数据，进行格式转换后发送至MQTT服务器中。
S2：收集物联网设备行为数据：构建数据分析中心，进行数据归类，通过统一的网关收集物联网设备行为数据，数据分析中心接收到统一格式的物联网设备行为数据后，通过验证电子签名信息鉴权，将数据转发至Kafka消息队列；在一个实施例中，收集物联网设备行为数据，构建数据分析中心时，基于ThingsBoard搭建MQTT协议接收数据，使用统一的标准物联网协议，所述物联网协议根据使用情况自定。
基于ThingsBoard搭建的MQTT接收数据，可以在数据接收阶段，实现可视化展示设备和资产的管理，并可以使用标准的物联网协议(MQTT，CoAP和HTTP),因为ThingsBoard可以兼容更多的协议，而且还可以自定协议。当物联网平台接收到信息后，先通过鉴权，再将数据发送Kafka中。
在一个实施例中，收集物联网设备行为数据的方式为主动方式或被动方式，所述主动方式获取数据是通信协议周期性或临时性的从物联网设备获取数据；所述被动方式获取数据是物联网设备主动上传数据到通信协议，传输至消息队列。S3:制定分类规则：按照物联网设备Json数据中的不同字段，采用Flink计算引擎制定分类规则；
S4：提取特征值，进行分类：通过Flink从Kafka中提取特征值，将特征值解析成为设备行为数据，将解析的数据存入到Hive中，将物联网设备行为数据根据制定的分类规则，以指定字段进行分类，将分类号的特征值发送到Kafka中；
在一个实施例中，分类规则根据定位信息、油耗信息、负载信息、震动信息、温度信息、性能信息、故障信息中的一种或者多种制定；
在一个实施例中，通过Hive接收Flink处理的数据，进行结构化数据存储，输出物联网设备的业务数据。
S5：通过job任务实时消费Kafka中不同组事件，获取数据执行请求，请求后获取实时数据，将特征值分类后通过Flink进行数据解析、聚合处理：
识别解析后特征值中的位置信息、温度信息，根据预先设置的电子围栏预警数据、温度预警值进行预警消息通知；
将解析后的特征值中的油耗数据、设备启停数据聚合，根据物联网设备ID标识和索引标识进行存储，计算实时数据存储到Hbase系统中；
将解析后的特征值中的转速、负载、工况数据根据物联网设备ID标识进行存储，并将实时数据存储到Hbase系统中；
在一个实施例中，根据预先设置的电子围栏预警数据进行预警消息通知包括：先将物联网设备添加到一个设定好的电子围栏中，当Flink解析到的设备的定位相关行为数据时，与设定好的电子围栏进行比对,如果物联网设备超出了围栏，则消息预警通知设备负责人；
根据预先设置的温度预警值进行预警消息通知包括：依据不同型号的物联网设备，进行额定温度初始化，当物联网设备的行为数据高于此物联网设备对应的额定温度时，则消息预警通知设备负责人。
在一个实施例中，将解析后的特征值中的油耗数据根据物联网设备ID标识和索引标识进行存储，计算实时数据存储到Hbase系统中，还包括根据预设时间周期的颗粒度计算设备的实时油耗，并将计算好的数据存入到Hbase系统中。
在一个实施例中，将解析后的特征值中的设备启停数据根据物联网设备ID标识和索引标识进行存储，计算实时数据存储到Hbase系统中，还包括通过设备启停数据判断当前设备是否处于工作、怠速、故障、停机状态，统计每种状态的持续时长，存储到Hbase系统中。
S6：通过Flink读取Hbase系统中的实时动态数据，进行物联网设备状态分析，判断设备实时状态，如果设备的特征值，既定时间内，一直超过正常指标，则预警通知设备负责人，预测故障，并推送至显示器实时展示。
在一个实施例中，通过Flink读取Hbase系统中的实时动态数据后，统计数据信息，所述数据信息包括但不限于工作中的设备数量、空闲的设备数量、故障的设备数量、设备的地理位置、设备工作状态、设备预警的数量数据。
Flink按照设备的维度实时读取Hbase系统中设备的实时油耗、转速、震动、负载等工况，实时分析设备当前的运转状况，用以判断设备实时的状态，如果设备的特征值，既定时间内，一直超过正常指标，那么物联网中台会以短信、邮件、电话等方式通知设备负责人，以此做到设备故障的预测。当故障预测中，出现较小的故障时，在通知设备负责人时，发送内容会带出设备维修方案，以及故障处理流程。当出现其他故障时，会推荐较近的维修厂或者更加专业的维修厂。
使用Kafka进行数据接收，解决在线水平扩展问题以及高并发问题，Kafka单点可支持10万/秒的消息传输；Kafka以时间复杂度为0(1)的方式提供小时持久化能力，即使对于TB级别数据也能保证常熟时间访问。Kafka的峰值处理能力以及异步通信属性都是优于其他三方MQ以及NoSql数据库。
本发明的有益效果包括：依据Kafka以及接口的约束，根据索引标识和物联网设备ID标识对应的数据，准确查找到对应数据进行分类存储，进行数据清洗，提高了对数据实时查询和深度分析的效率；通过统一物联网协议将不同的物联网终端兼容适配，实现了系统的扩展性、灵活性、可恢复性以及可以保证物联网特殊业务属性的要求，解决在线水平扩展问题以及高并发问题。
flink可以做到实时流处理，可以做成数据处理控制在毫秒级，当遇到数据处理复杂的时候，可以做到并行处理(slot)，当出现数据有误，或者有其他异常情况时flink自身的checkpoint机制，可以完成回滚、补偿。
将物联网设备明细数据记录在Hbase系统中，可以做到十亿、百亿数量级的随机实时查询，如日志明细、交易清单、轨迹行为等。
系统通过Kafka以事件驱动的方式接收物联网数据，把不同的类型的数据进行统一规范化的收集，并通过不同分组对数据进行定制化隔离。以做到数据处理的隔离性和峰值数据的承载性；把物联网设备的油耗，开关机，定位围栏预警，工况，报表等各项指标数据进行实时的检测，清洗，归并，结构化处理等，通过Hive接收Flink处理数据存储结构化数据的存储，用于数据的进一步分析，通过RocketMq，Hbase进行结构化数据的转发和存储，对接物联网业务系统生态圈，完成业务数据的进一步输出处理。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种物联网数据聚合、分析方法，其特征在于，包括：
S1：制定特征规则，确定特征值：通过MQ、HTTP、HTTPS协议中的一种对接物联网设备，将物联网设备数据转换为Json格式，并通过指定的字段来表示设备行为数据，将所述设备行为数据向MQTT服务器发送；
S2：收集物联网设备行为数据：构建数据分析中心，进行数据归类，通过统一的网关收集物联网设备行为数据，数据分析中心接收到统一格式的物联网设备行为数据后，通过验证电子签名信息鉴权，将数据转发至Kafka消息队列；
S3:制定分类规则：按照物联网设备Json数据中的不同字段，采用Flink计算引擎制定分类规则；
S4：提取特征值，进行分类：通过Flink从Kafka中提取特征值，将特征值解析成为设备行为数据，将解析的数据存入到Hive中，将物联网设备行为数据根据制定的分类规则，以指定字段进行分类，将分类号的特征值发送到Kafka中；
S5：通过job任务实时消费Kafka中不同组事件，获取数据执行请求，请求后获取实时数据，将特征值分类后通过Flink进行数据解析、聚合处理：
识别解析后特征值中的位置信息、温度信息，根据预先设置的电子围栏预警数据、温度预警值进行预警消息通知；
将解析后的特征值中的油耗数据、设备启停数据聚合，根据物联网设备ID标识和索引标识进行存储，计算实时数据存储到Hbase系统中；
将解析后的特征值中的转速、负载、工况数据根据物联网设备ID标识进行存储，并将实时数据存储到Hbase系统中；
S6：通过Flink读取Hbase系统中的实时动态数据，进行物联网设备状态分析，判断设备实时状态，如果设备的特征值，既定时间内，一直超过正常指标，则预警通知设备负责人，预测故障，并推送至显示器实时展示。
2.根据权利要求1所述的一种物联网数据聚合、分析方法，其特征在于，所述步骤S1中，将物联网设备数据按照Json格式指定的字段来表示设备行为数据，将所述设备行为数据向MQTT发送包括：对物联网设备建立基于rpc协议的通信链路，从物联网设备获取原始数据，进行格式转换后发送至MQTT服务器中。
3.根据权利要求1所述的一种物联网数据聚合、分析方法，其特征在于，所述步骤S2中，收集物联网设备行为数据，构建数据分析中心时，基于ThingsBoard搭建MQTT协议接收数据，使用统一的标准物联网协议，所述物联网协议根据使用情况自定。
4.根据权利要求1所述的一种物联网数据聚合、分析方法，其特征在于，所述步骤S2中，收集物联网设备行为数据的方式为主动方式或被动方式，所述主动方式获取数据是通信协议周期性或临时性的从物联网设备获取数据；所述被动方式获取数据是物联网设备主动上传数据到通信协议，传输至消息队列。
5.根据权利要求1所述的一种物联网数据聚合、分析方法，其特征在于，所述步骤S4中，分类规则根据定位信息、油耗信息、负载信息、震动信息、温度信息、性能信息、故障信息中的一种或者多种制定。
6.根据权利要求1所述的一种物联网数据聚合、分析方法，其特征在于，所述步骤S4中，通过Hive接收Flink处理的数据，进行结构化数据存储，输出物联网设备的业务数据。
7.根据权利要求1所述的一种物联网数据聚合、分析方法，其特征在于，所述步骤S5中，根据预先设置的电子围栏预警数据进行预警消息通知包括：先将物联网设备添加到一个设定好的电子围栏中，当Flink解析到的设备的定位相关行为数据时，与设定好的电子围栏进行比对,如果物联网设备超出了围栏，则消息预警通知设备负责人；
根据预先设置的温度预警值进行预警消息通知包括：依据不同型号的物联网设备，进行额定温度初始化，当物联网设备的行为数据高于此物联网设备对应的额定温度时，则消息预警通知设备负责人。
8.根据权利要求7所述的一种物联网数据聚合、分析方法，其特征在于，所述步骤S5中，将解析后的特征值中的油耗数据根据物联网设备ID标识和索引标识进行存储，计算实时数据存储到Hbase系统中，还包括根据预设时间周期的颗粒度计算设备的实时油耗，并将计算好的数据存入到Hbase系统中。
9.根据权利要求1所述的一种物联网数据聚合、分析方法，其特征在于，所述步骤S5中，将解析后的特征值中的设备启停数据根据物联网设备ID标识和索引标识进行存储，计算实时数据存储到Hbase系统中，还包括通过设备启停数据判断当前设备是否处于工作、怠速、故障、停机状态，统计每种状态的持续时长，存储到Hbase系统中。
10.根据权利要求1所述的一种物联网数据聚合、分析方法，其特征在于，所述步骤S6中，通过Flink读取Hbase系统中的实时动态数据后，统计数据信息，所述数据信息包括但不限于工作中的设备数量、空闲的设备数量、故障的设备数量、设备的地理位置、设备工作状态、设备预警的数量数据。
CN202110880355.4A 2021-08-02 2021-08-02 一种物联网数据聚合、分析方法 Active CN113783931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110880355.4A CN113783931B (zh) 2021-08-02 2021-08-02 一种物联网数据聚合、分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110880355.4A CN113783931B (zh) 2021-08-02 2021-08-02 一种物联网数据聚合、分析方法

Publications (2)

Publication Number Publication Date
CN113783931A CN113783931A (zh) 2021-12-10
CN113783931B true CN113783931B (zh) 2023-07-25

Family

ID=78836476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110880355.4A Active CN113783931B (zh) 2021-08-02 2021-08-02 一种物联网数据聚合、分析方法

Country Status (1)

Country Link
CN (1) CN113783931B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114301658A (zh) * 2021-12-24 2022-04-08 江苏网进科技股份有限公司 一种基于Kafka收集分布式系统数据链路的方法
CN114338746A (zh) * 2021-12-30 2022-04-12 以萨技术股份有限公司 一种用于物联网设备数据收集的分析预警方法及系统
CN114726750B (zh) * 2022-03-04 2023-01-13 慧之安信息技术股份有限公司 基于物联网平台的设备故障检测分析方法和系统
CN115296976B (zh) * 2022-06-28 2024-03-22 青岛海尔科技有限公司 物联网设备故障检测方法、装置、设备及存储介质
CN115293662A (zh) * 2022-10-10 2022-11-04 山东省计算中心（国家超级计算济南中心） 融合并行与分布式的海洋观测数据智能计算方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951463A (zh) * 2019-03-07 2019-06-28 成都古河云科技有限公司 一种基于流计算和新型列式存储的物联网大数据分析方法
CN110222091A (zh) * 2019-06-10 2019-09-10 帷幄匠心科技（杭州）有限公司 一种海量数据实时统计分析方法
CN110365644A (zh) * 2019-06-05 2019-10-22 华南理工大学 一种构建物联网设备高性能监控平台的方法
CN110737654A (zh) * 2019-10-18 2020-01-31 浪潮云信息技术有限公司 一种基于Flink的物联网设备行为分析方法
CN112000636A (zh) * 2020-08-31 2020-11-27 民生科技有限责任公司 基于Flink流式处理的用户行为统计分析方法
CN112327731A (zh) * 2020-10-15 2021-02-05 中企云链（北京）金融信息服务有限公司 一种基于物联网的租赁设备监控系统
CN112995172A (zh) * 2021-02-24 2021-06-18 合肥优尔电子科技有限公司 物联网设备和物联网平台之间对接的通信方法及通信系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232009B2 (en) * 2018-08-24 2022-01-25 EMC IP Holding Company LLC Model-based key performance indicator service for data analytics processing platforms
US20200244752A1 (en) * 2019-01-28 2020-07-30 Oracle International Corporation Processing an Event Stream Using Pattern Recognition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951463A (zh) * 2019-03-07 2019-06-28 成都古河云科技有限公司 一种基于流计算和新型列式存储的物联网大数据分析方法
CN110365644A (zh) * 2019-06-05 2019-10-22 华南理工大学 一种构建物联网设备高性能监控平台的方法
CN110222091A (zh) * 2019-06-10 2019-09-10 帷幄匠心科技（杭州）有限公司 一种海量数据实时统计分析方法
CN110737654A (zh) * 2019-10-18 2020-01-31 浪潮云信息技术有限公司 一种基于Flink的物联网设备行为分析方法
CN112000636A (zh) * 2020-08-31 2020-11-27 民生科技有限责任公司 基于Flink流式处理的用户行为统计分析方法
CN112327731A (zh) * 2020-10-15 2021-02-05 中企云链（北京）金融信息服务有限公司 一种基于物联网的租赁设备监控系统
CN112995172A (zh) * 2021-02-24 2021-06-18 合肥优尔电子科技有限公司 物联网设备和物联网平台之间对接的通信方法及通信系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Extending Kafka Streams for Complex Event Recognition";Samuele Langhi;《2020 IEEE International Conference on Big Data (Big Data)》;全文 *
"基于概念漂移流数据分类算法研究及其分布式实现";欧阳碧娜;《中国优秀硕士学位论文全文数据库-信息科技辑》;全文 *

Also Published As

Publication number Publication date
CN113783931A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN113783931B (zh) 一种物联网数据聚合、分析方法
CN111459782B (zh) 监控业务系统的方法、装置、云平台系统和服务器
CN105827706A (zh) 消息推送装置及方法
CN111274094B (zh) 接口预警方法、系统、设备及存储介质
CN111078513A (zh) 日志处理方法、装置、设备、存储介质及日志告警系统
CN106487597A (zh) 一种基于Zookeeper的服务监控系统和方法
CN113282920B (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN115994079A (zh) 测试方法、装置、电子设备、存储介质及程序产品
CN114328107A (zh) 光磁融合存储服务器集群的监控方法、系统及电子设备
CN111488338B (zh) 应用于风控决策流的模型监控方法及装置
CN113835918A (zh) 一种服务器故障分析方法及装置
CN110535699B (zh) 基础设施确定方法、装置、电子设备及可读取存储介质
CN112465480A (zh) 一种用于建筑行业的劳务实名制管理系统
CN115392372A (zh) 一种电力数据处理方法、装置、介质以及电子设备
US20220092438A1 (en) Metadata-assisted inventory management
CN113766363B (zh) 故障监控方法、装置及计算设备
CN117880055B (zh) 基于传输层指标的网络故障诊断方法、装置、设备及介质
CN116703426A (zh) 一种基于深度学习的碳排放监测设备超标信息推送方法
CN117349238A (zh) 问题信息输出方法及装置、存储介质及电子设备
CN117743425A (zh) 一种用于电力系统的实时业务数据处理方法、装置及介质
CN118101422A (zh) 一种业务异常管理方法、装置、电子设备及存储介质
CN115766867A (zh) 一种数据处理方法、装置、系统及电子设备
CN113626673A (zh) 一种页面数据采集方法、系统、终端及存储介质
CN116300615A (zh) 一种基于物联网的设施智能管控系统
CN116976975A (zh) 数据识别方法、装置、设备、介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant