CN114567650A - 一种数据处理方法及物联网平台系统 - Google Patents

一种数据处理方法及物联网平台系统 Download PDF

Info

Publication number
CN114567650A
CN114567650A CN202111648753.XA CN202111648753A CN114567650A CN 114567650 A CN114567650 A CN 114567650A CN 202111648753 A CN202111648753 A CN 202111648753A CN 114567650 A CN114567650 A CN 114567650A
Authority
CN
China
Prior art keywords
internet
things
data
information
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111648753.XA
Other languages
English (en)
Other versions
CN114567650B (zh
Inventor
高肖肖
梁启超
李杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Tianhe Defense Technology Co ltd
Original Assignee
Xi'an Tianhe Defense Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Tianhe Defense Technology Co ltd filed Critical Xi'an Tianhe Defense Technology Co ltd
Priority to CN202111648753.XA priority Critical patent/CN114567650B/zh
Publication of CN114567650A publication Critical patent/CN114567650A/zh
Application granted granted Critical
Publication of CN114567650B publication Critical patent/CN114567650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请适用于物联网技术领域，提供了一种数据处理方法及物联网平台系统，物联网平台系统包括物联网网关模块、MQTT Broker集群、数据接入服务集群、Kafka集群、规则引擎服务集群、告警管理服务集群、设备管理服务集群和数据库等；各个服务集群之间相互独立部署，系统耦合度低，可靠性高；该物联网平台系统可以实现对物联网设备采集的业务数据的流转处理以输出告警信息，还用于对物联网设备进行管理；在物联网设备接入时，进行双重鉴权认证，实现高可靠性。

Description

一种数据处理方法及物联网平台系统
技术领域
本申请属于物联网技术领域，尤其涉及一种数据处理方法及物联网平台系统。
背景技术
物联网是指通过各种物联网设备(例如，信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等)实时采集需要监控的物体(或过程)相关的信息(例如，声、光、电)，以基于该信息实现对物体(或过程)的智能化感知、识别和管理等。
目前，物联网平台系统需要接入大量的物联网设备，以接收物联网设备采集的信息，还需要对各种物联网设备采集的信息进行各种规则的处理，以得到告警信息。然而，目前的物联网平台系统的可靠性不高。
发明内容
有鉴于此，本申请实施例提供了一种数据处理方法及物联网平台系统，以解决物联网平台系统可靠性低的问题。
本申请实施例的第一方面提供了一种数据处理方法，应用于物联网平台系统，该物联网平台系统包括：物联网网关模块、MQTT Broker集群、数据接入服务集群、Kafka集群、规则引擎服务集群、告警管理服务集群和数据库，该方法包括：
所述物联网网关模块将接收的第一数据进行格式转换得到第二数据，将所述第二数据发布至所述MQTT Broker集群中的第一主题，所述第一数据为接入所述物联网平台系统的物联网设备上传的数据，所述第二数据为所述物联网平台系统可识别的数据格式，所述数据接入服务集群订阅有所述第一主题；
所述数据接入服务集群获取所述第二数据，从所述数据库获取所述物联网设备的关联信息，根据所述第二数据和所述关联信息生成第三数据，将所述第三数据发布至所述Kafka集群的第二主题，所述规则引擎服务集群订阅有所述第二主题；
所述规则引擎服务集群获取所述第二数据，并将所述第二数据与业务规则进行匹配得到告警信息，将所述告警信息向所述Kafka集群的第三主题发布，所述告警管理订阅有所述第三主题；
所述告警管理服务集群获取所述告警信息，并将所述告警信息发送至第一客户端。
本申请实施例的第二方面提供了一种物联网平台系统，包括：物联网网关模块、MQTT Broker集群、数据接入服务集群、Kafka集群、规则引擎服务集群、告警管理服务集群、数据库、负载均衡模块、数据存储服务集群和设备管理服务集群，所述物联网平台系统通过所述物联网网关模块、所述MQTT Broker集群、所述数据接入服务集群、所述Kafka集群、所述规则引擎服务集群、所述告警管理服务集群、所述数据库、所述负载均衡模块、所述数据存储服务集群和所述设备管理服务集群执行第一方面提供的方法的步骤。
本申请实施例提供了一种物联网平台系统，所述物联网平台系统包括：物联网网关模块、MQTT Broker集群、数据接入服务集群、Kafka集群、规则引擎服务集群、告警管理服务集群和数据库。该物联网平台系统中的各个模块独立部署，提高了可靠性。该物联网平台系统通过物联网网关模块接收数据，并将数据转换为物联网平台系统可以识别的数据格式。本物联网平台系统采用发布订阅模式将物联网设备采集的数据进行流转以传输至规则引擎系统，提高系统的可靠性；规则引擎系统将业务规则和数据进行匹配，以得到告警信息，通过告警管理服务集群将告警信息传输至相应的客户端，实现规则引擎告警功能。
可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种物联网平台系统的结构示意图；
图2是本申请实施例提供的一种物联网网关模块的结构示意图；
图3是本申请实施例提供的一种物联网设备的接入方法的流程示意图；
图4是本申请实施例提供的数据处理方法的流程示意图；
图5是本申请实施例提供的设备管理方法的流程的示意图；
图6是本申请实施例提供的规则引擎系统的结构示意图；
图7是本申请实施例提供的规则引擎系统的执行数据处理方法的流程示意图；
图8是本申请实施例提供的告警模块的结构示意图；
图9为本申请实施例提供的告警状态的变化示意图；
图10是本申请实施例提供的服务器的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
为了说明本申请实施例提供的技术方案，下面通过具体实施例来进行说明。本申请实施例提供了一种物联网平台系统。该物联网平台系统包括：物联网网关模块(IOTgateway)、MQTT Broker集群(MQTT Broker Cluster)、数据接入服务集群(DRS Cluster)、Kafka集群(Kafka Cluster)、规则引擎服务集群(RES Cluster)、告警管理服务集群(AMSCluster)和数据库(database Cluster)。
当然，实际应用中，该物联网平台系统还可以包括更多的集群或模块。例如，还可以包括：负载均衡模块(load Balance)、数据存储服务集群(DSS Cluster)和设备管理服务集群(DMS Cluster)。
参见图1，为本申请实施例提供了一种物联网平台系统的结构示意图。
物联网网关模块(IOT gateway)，可以实现物联网设备的统一接入及权限认证；数据格式的转换、数据打包解包等处理。物联网网关模块可以在新的物联网设备需要接入物联网平台系统时极大的减少开发工作，同时可以有效保证设备接入的稳定性及安全性。
负载均衡模块(Load Balance)，使用开源的Traefik作为反向代理工具，可以实现http(s)请求的代理转发(例如，对DMS、各API服务实现负载均衡)，实现tcp的端口转发(例如，对MQTT Broker实现负载均衡)。Traefik可以降低部署、运维成本。
设备管理服务集群(DMS Cluster)，完成物联网设备及资产的添加、删除、更新等设备管理功能；具备设备授权接口功能，根据设备信息(例如，设备类型与IP地址)对请求接入物联网平台系统的物联网设备进行校验，通过则返回对应设备唯一标识符(uuid)及Token。
MQTT Broker集群：采用开源的EMQX服务器搭建，支持千万级并发连接，百万级消息吞吐，毫秒级消息时延，大规模分布式，高可用集群架构和弹性伸缩部署。具备设备鉴权、数据订阅和发布功能。
数据接入服务集群(DRS Cluster)：将从MQTT订阅的物联网设备的数据、事件数据与采集数据的物联网设备的基本信息进行关联整合，然后发送至Kafka集群。例如，可以将采集的数据和关联设备、所在经纬度和资产信息等进行关联。当然，实际应用中，可以将与采集的数据进行关联的数据记为关联数据。
Kafka集群，Kafka是一个开源的流处理软件平台，平台使用Kafka来存储通过HTTP、MQTT和CoAP传输协议传入的物联网设备采集的数据，直到这些数据被规则引擎服务集群处理。
数据存储服务集群(DSS Cluster)，负责从Kafka获取所有物联网设备采集的数据、事件数据整合后的完整数据，将其存储至PostgreSql数据库，供行业应用服务查询展示。
规则引擎服务集群(RES Cluster)，规则引擎服务根据配置内容，从Kafka获取需要触发告警的物联网设备采集的数据、事件数据整合后的完整数据，依据规则判断是否产生告警，产生告警则生成告警数据发送至Kafka的告警主题，同时根据规则将告警记录保存至PostgreSql数据库，规则引擎服务集群支持规则的动态创建和加载。
告警管理服务集群(AMS Cluster)，提供对外的API接口，供行业应用管理告警信息。其从Kafka实时获取告警数据，通过WebSocket及时推送到行业应用前端。
所述数据库为PostgreSql数据库，用于存储配置数据和告警业务数据等。
该物联网平台系统提供物联网设备的接入功能、物联网设备采集的数据的处理功能、命令的下方功能和设备管理功能等。在物联网设备的接入时，主要通过物联网网关模块和DMS以及MQTT实现。
参见图2，为本申请实施例提供的物联网网关模块的结构示意图，物联网网关模块包括：设备权限认证模块、数据解析模块、数据打包解包模块。
参见图3，为本申请实施例提供的物联网设备的接入方法的流程示意图，该方法包括：
步骤B1，所述物联网网关模块接收与所述物联网网关模块建立网络连接的所述物联网设备的接入请求，所述接入请求携带所述物联网设备的设备信息(设备类型和IP地址)。
作为示例，在需要将物联网设备接入物联网平台系统时，用户首先在物联网平台系统创建该物联网设备。用户可以在该物联网平台系统提供的客户端页面输入设备类型、IP地址等设备信息。以将设备信息传输到该物联网平台系统的设备管理服务集群模块。
物联网网关模块与待接入物联网平台系统的物联网设备建立网络连接，在建立网络连接的过程中或之后，该物联网设备将该物联网设备的设备信息(例如，物联网设备的IP地址、设备类型等)发送给物联网网关模块中的权限认证模块。
物联网网关模块中的权限认证模块在接收到接入信息的情况下，向设备管理服务集群模块发起鉴权请求。
该鉴权请求可以为get方式，参数包含在URL中，示例如下：
http://127.0.0.1:5000/iot/device/auth？ip＝192.168.165.120&typeId＝5&subtypeid＝0
该鉴权请求还可以为post方式，参数为json字符串，示例如下：
Figure BDA0003444398490000071
步骤B2，所述物联网网关模块通过所述均衡负载模块将所述设备信息向所述设备管理服务集群发送。
作为示例，所述物联网网关模块中的权限认证块将所述设备信息(例如，图2中的type和IP)向所述设备管理服务集群发送。
步骤B3，所述设备管理服务集群基于所述设备信息对所述物联网设备进行鉴权得到第一鉴权信息，将所述第一鉴权信息发送至所述物联网网关模块。
该步骤中，所述设备管理服务集群基于所述设备信息对所述物联网设备进行鉴权得到第一鉴权信息包括：
所述设备管理服务集群查询所述数据库，在基于所述设备信息查询到与所述设备信息匹配的设备唯一标识的情况下，得到包含所述设备唯一标识的第一鉴权信息；在基于所述设备信息未查询到与所述设备信息匹配的设备唯一标识的情况下，得到包含第一信息的所述第一鉴权信息，所述第一信息用于指示所述物联网网关模块关闭与所述物联网设备之间的网络连接。
作为示例，设备管理服务集群模块查询数据库以确定该设备信息是否存在，在存在的情况下，返回uuid和token。在不存在的情况下，返回用于表示鉴权失败的状态码；并且，物联网网关模块与物联网设备断开网络连接。
鉴权结果的示例如下：
Figure BDA0003444398490000081
在鉴权成功的情况下，物联网网关模块中的权限认证模块基于该uuid和token与MQTT Broker集群服务建立MQTT连接。
步骤B4，所述物联网网关模块接收到所述第一鉴权信息(uuid和token)，将所述第一鉴权信息向MQTT Broker集群发送。
所述物联网网关模块中的权限认证模块将所述第一鉴权信息通过数据解析模块发送给数据打包解包模块，数据打包解包模块向MQTT Broker集群发送所述第一鉴权信息。
步骤B5，所述MQTT Broker集群基于所述第一鉴权信息对所述物联网设备进行鉴权获得鉴权结果，将所述鉴权结果向所述物联网网关模块发送。
该步骤中，所述MQTT Broker集群基于所述第一鉴权信息对所述物联网设备进行鉴权获得鉴权结果，包括：
所述MQTT Broker集群从所述数据库查找所述设备唯一标识。
在所述MQTT Broker集群从所述数据库查找到所述设备唯一标识的情况下，获得包含第二信息的鉴权结果；在从所述数据库未查找到所述设备唯一标识的情况下，获得包含第三信息的鉴权结果；所述第二信息用于表示所述物联网设备鉴权成功；所述第三信息用于指示所述物联网网关模块关闭与所述物联网设备之间的网络连接。
参见图4，在某个物联网设备接入物联网平台系统后，该物联网平台系统可以对采集的数据进行数据处理。该数据处理过程包括：
步骤A1，所述物联网网关模块将接收的第一数据(物联网设备采集并上传的数据)进行格式转换得到第二数据，将所述第二数据发布至所述MQTT Broker集群中的第一主题，所述第一数据为接入所述物联网平台系统的物联网设备上传的数据，所述第二数据为所述物联网平台系统可识别的数据格式，所述数据接入服务集群订阅有所述第一主题。
如图2所示，所述物联网网关模块包括：数据解析模块和数据打包解包模块；所述物联网网关模块将接收的第一数据进行格式转换得到第二数据包括：
所述数据解析模块对所述第一数据进行格式转换得到格式转换后的所述第一数据，将所述格式转换后的所述第一数据发送给所述数据打包解包模块；
所述数据打包解包模块对所述格式转换后的所述第一数据进行打包得到所述第二数据。
该步骤中，所述物联网网关模块将所述第二数据发布至所述MQTT Broker集群中的第一主题包括：
所述物联网网关模块通过所述负载均衡模块将所述第二数据发布至所述MQTTBroker集群中的第一主题。即所述物联网平台系统还包括：负载均衡模块。
步骤A2，所述数据接入服务集群获取所述第二数据，从所述数据库获取所述物联网设备的关联信息(例如，关联设备、关联资产等信息)，根据所述第二数据和所述关联信息生成第三数据，将所述第三数据发布至所述Kafka集群的第二主题，所述规则引擎服务集群订阅有所述第二主题。
在该步骤之后，该方法还包括：所述数据存储服务集群获取所述第三数据，将所述第三数据存储至所述数据库。即所述物联网平台系统还包括：订阅有所述第二主题的数据存储服务集群。
步骤A3，所述规则引擎服务集群获取所述第二数据，并将所述第二数据与业务规则进行匹配得到告警信息，将所述告警信息向所述Kafka集群的第三主题发布，所述告警管理订阅有所述第三主题。
步骤A4，所述告警管理服务集群获取所述告警信息，并将所述告警信息发送至第一客户端。
作为本申请另一实施例，该物联网平台系统还可以对物联网设备下发指令。下发指令的过程包括：
所述MQTT Broker集群的第四主题接收客户端下发的所述物联网设备的第一指令，所述物联网网关模块订阅有所述第四主题。
所述物联网网关模块获取所述第一指令，根据所述物联网设备的设备类型解析所述第一指令得到第二指令，将所述第二指令向所述物联网设备发送，所述第二指令为所述物联网设备可识别的指令格式。
当然，设备管理服务集群还提供设备管理功能。参见图5，所述方法还包括：
所述设备管理服务集群接收到新增物联网设备的信息的情况下，创建物联网设备，将所述创建的物联网设备的状态设置为第一标志(例如，0)，根据所述创建的物联网设备的设备信息生成与所述设备信息对应的设备唯一标识(uuid)，将所述设备信息和所述设备唯一标识存储在所述数据库中，其中，所述新增物联网设备的信息由用户在客户端配置物联网设备的设备信息的操作生成。
所述设备管理服务集群接收到上线物联网设备的信息情况下，将所述物联网设备的状态设置为第二标志(例如，1)，并将所述数据库中存储的所述物联网设备的状态更新为所述第二标志。
所述设备管理服务集群在接收到删除物联网设备的信息的情况下，从所述数据库查询所述物联网设备是否存在关联信息(例如，该物联网设备关联的其他设备或者关联的资产信息)，在存在所述关联信息的情况下，将所述关联信息对应的关联关系删除，将所述物联网设备的设备信息和设备唯一标识删除。
作为本申请另一实施例，参见图6，所述规则引擎服务集群包括：规则引擎调度模块和规则引擎计算模块。
该规则引擎系统的输入可以为多种业务场景的源数据(或数据源)。例如，图1所示的Kafka Source A、Kafka Source B和Kafka Source C。
其中，Kafka Source A、Kafka Source B和Kafka Source C表示业务场景A、业务场景B和业务场景C分别对应的源数据。
与规则引擎系统的输入相对应的，该规则引擎系统的输出为多种业务场景的告警信息，例如，图1所示的Kafka Sink A、Kafka Sink B和Kafka Sink C。
其中，Kafka Sink A、Kafka Sink B和Kafka Sink C表示业务场景A、业务场景B和业务场景C分别对应的输出告警信息的格式和输出告警信息的存储位置。
当然，实际应用中，还可以设置于每个业务场景下的业务规则匹配的输出，作为示例，当业务场景A下存在两个业务规则，业务场景B下存在3个业务规则，业务场景C下存在1个业务规则的情况下，输出为Kafka Sink1(业务场景A的第一个业务规则)、Kafka Sink2(业务场景A的第2个业务规则)、Kafka Sink3(业务场景B的第1个业务规则)、Kafka Sink4(业务场景B的第2个业务规则)、Kafka Sink5(业务场景B的第3个业务规则)、Kafka Sink6(业务场景C的业务规则)。
该规则引擎调度系统包括：ZooKeeper模块、DB模块和DolphinScheduler调度器。该ZooKeeper模块可以协调分布在多个服务器上的规则引擎调度系统的工作。例如，ZooKeeper可以实现分布式锁功能。DB模块和ZooKeeper模块结合，用于获取业务场景的配置信息等。本申请实施例提供的规则引擎调度系统可以通过ZooKeeper模块和DB模块与DolphinScheduler调度器进行交互，以将与业务场景对应的规则引擎计算系统发布到该DolphinScheduler调度器中。
规则引擎计算系统包括Flink模块、DB模块、ZooKeeper模块和Janino编译器。规则引擎计算系统通过Flink处理数据流；通过zookeeper模块+DB模块获取业务规则等信息；通过Janino编译器实现动态加载业务规则并编译该业务规则为编码规则。
参见图7，所述规则引擎服务集群获取所述第二数据，并将所述第二数据与业务规则进行匹配得到告警信息，包括：
步骤203，所述规则引擎计算模块获取所述业务场景的源数据，所述源数据包括所述第二数据。当然，实际应用中，源数据的数据量较多，第二数据可能仅为源数据中的部分数据。
步骤204，所述规则引擎计算模块获取所述业务场景对应的业务规则。
步骤205，所述规则引擎计算模块将所述业务场景的源数据和所述业务场景的业务规则进行匹配，并在所述业务场景的源数据中存在与所述业务规则匹配的情况下，输出告警信息，所述告警信息包括：与所述业务规则匹配的源数据。
在所述规则引擎计算模块获取所述业务场景的源数据之前，所述方法还包括：
步骤201，所述规则引擎调度模块获取业务场景的配置信息，其中，所述业务场景的配置信息包括所述业务场景的标识和所述业务场景的状态。
步骤202，在所述业务场景的状态为上线状态的情况下，所述规则引擎调度模块根据所述业务场景的标识创建并启动所述业务场景对应的规则引擎计算模块。
当然，规则引擎系统还可以提供某个业务场景的下线操作，作为示例：
所述目标规则引擎调度系统获取业务场景的配置信息，其中，所述业务场景的配置信息包括所述业务场景的标识和所述业务场景的状态；
在所述业务场景的状态为下线状态的情况下，所述目标规则引擎调度系统停止所述业务场景对应的规则引擎计算系统。
作为本申请另一实施例，参见图8，所述告警模块包括：消息接收模块、websocket实时推流模块、工单管理模块和下发模块，所述下发模块包括以下至少一种：PM下发模块、SMS下发模块和ES下发模块；所述告警管理服务集群获取所述告警信息，并将所述告警信息发送至客户端包括：
所述消息接收模块获取所述告警信息，向所述websocket实时推流模块发送所述告警信息。
所述websocket实时推流模块将所述告警信息推送至所述第一客户端(例如计算机端)。
在所述websocket实时推流模块将所述告警信息推送至所述第一客户端之后，所述方法还包括：
所述工单管理模块基于所述第一客户端的配置信息生成告警工单，将所述告警工单通过下发模块发送至第二客户端(例如，手机端)。
所述工单管理模块接收第一客户端或所述第二客户端发送的告警状态的更改信息。
所述工单管理模块根据所述更改信息更改所述数据库中的告警状态，所述告警状态包括：未确认未清除、已确认未清除和已确认已清除。
实际应用中，第一客户端也可以和第二客户端为同一客户端，本申请对此不做限制。将所述告警工单通过下发模块发送至第二客户端时，PM下发模块用于发出系统自动弹窗消息，SMS下发模块用于发出短消息，ES下发模块用于发出电子邮件。在实际应用中，可以根据情况选择一种或多种下发方式。
参见图9，为告警状态的切换示意图。
设备告警初始状态为未确认未清除，用户点击确认后，告警状态变为已确认未清除，用户点击清除后，状态变为已确认已清除。
作为另一方式，设备告警初始状态为未确认未清除，用户点击清除后，告警状态变为未确认已清除，用户点击确认后，状态变为已确认已清除。
即一个初始为未确认未清除的告警状态，经过确认操作后，该未确认变为已确认。经过清除操作后，该未清除变为已清除。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图10是本申请一实施例提供的加载任一服务集群的服务器的示意框图。该实施例的服务器10包括：一个或多个处理器100、存储器101以及存储在所述存储器101中并可在所述处理器100上运行的计算机程序102。所述处理器100执行所述计算机程序102时实现对应服务集群的实施例中的步骤。
所述服务器包括但不仅限于处理器100、存储器101。本领域技术人员可以理解，图10仅仅是服务器10的一个示例，并不构成对服务器10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器10还可以包括输入设备、输出设备、网络接入设备、总线等。
所述处理器100可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器101可以是所述服务器10的内部存储单元，例如服务器10的硬盘或内存。所述存储器101也可以是所述服务器10的外部存储设备，例如所述服务器10上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器101还可以既包括所述服务器10的内部存储单元也包括外部存储设备。所述存储器101用于存储所述计算机程序以及所述服务器10所需的其他程序和数据。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的服务器、系统和方法，可以通过其它的方式实现。例如，以上所描述的服务器实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被一个或多个处理器执行时，可实现上述各个方法实施例的步骤。
同样，作为一种计算机程序产品，当计算机程序产品在服务器上运行时，使得服务器执行时实现可实现上述各个方法实施例中的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于物联网平台系统，所述物联网平台系统包括：物联网网关模块、MQTT Broker集群、数据接入服务集群、Kafka集群、规则引擎服务集群、告警管理服务集群和数据库，所述方法包括：
所述物联网网关模块将接收的第一数据进行格式转换得到第二数据，将所述第二数据发布至所述MQTT Broker集群中的第一主题，所述第一数据为接入所述物联网平台系统的物联网设备上传的数据，所述第二数据为所述物联网平台系统可识别的数据格式，所述数据接入服务集群订阅有所述第一主题；
所述数据接入服务集群获取所述第二数据，从所述数据库获取所述物联网设备的关联信息，根据所述第二数据和所述关联信息生成第三数据，将所述第三数据发布至所述Kafka集群的第二主题，所述规则引擎服务集群订阅有所述第二主题；
所述规则引擎服务集群获取所述第二数据，并将所述第二数据与业务规则进行匹配得到告警信息，将所述告警信息向所述Kafka集群的第三主题发布，所述告警管理订阅有所述第三主题；
所述告警管理服务集群获取所述告警信息，并将所述告警信息发送至第一客户端。
2.如权利要求1所述的方法，其特征在于，所述物联网平台系统还包括：负载均衡模块和订阅有所述第二主题的数据存储服务集群，所述物联网网关模块将所述第二数据发布至所述MQTT Broker集群中的第一主题包括：
所述物联网网关模块通过所述负载均衡模块将所述第二数据发布至所述MQTT Broker集群中的第一主题；
所述数据接入服务集群将所述第三数据发布至所述Kafka集群的第二主题之后，所述方法还包括：
所述数据存储服务集群获取所述第三数据，将所述第三数据存储至所述数据库。
3.如权利要求1所述的方法，其特征在于，所述物联网网关模块包括：数据解析模块和数据打包解包模块；所述物联网网关模块将接收的第一数据进行格式转换得到第二数据包括：
所述数据解析模块对所述第一数据进行格式转换得到格式转换后的所述第一数据，将所述格式转换后的所述第一数据发送给所述数据打包解包模块；
所述数据打包解包模块对所述格式转换后的所述第一数据进行打包得到所述第二数据。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
所述MQTT Broker集群的第四主题接收客户端下发的所述物联网设备的第一指令，所述物联网网关模块订阅有所述第四主题；
所述物联网网关模块获取所述第一指令，根据所述物联网设备的设备类型解析所述第一指令得到第二指令，将所述第二指令向所述物联网设备发送，所述第二指令为所述物联网设备可识别的指令格式。
5.如权利要求1所述的方法，其特征在于，所述物联网平台系统还包括：均衡负载模块和设备管理服务集群，所述方法还包括：
所述物联网网关模块接收与所述物联网网关模块建立网络连接的所述物联网设备的接入请求，所述接入请求携带所述物联网设备的设备信息(设备类型和IP地址)；
所述物联网网关模块通过所述均衡负载模块将所述设备信息向所述设备管理服务集群发送；
所述设备管理服务集群基于所述设备信息对所述物联网设备进行鉴权得到第一鉴权信息，将所述第一鉴权信息发送至所述物联网网关模块；
所述物联网网关模块接收到所述第一鉴权信息，将所述第一鉴权信息向MQTT Broker集群发送；
所述MQTT Broker集群基于所述第一鉴权信息对所述物联网设备进行鉴权获得鉴权结果，将所述鉴权结果向所述物联网网关模块发送。
6.如权利要求5所述的方法，其特征在于，所述设备管理服务集群基于所述设备信息对所述物联网设备进行鉴权得到第一鉴权信息包括：
所述设备管理服务集群查询所述数据库，在基于所述设备信息查询到与所述设备信息匹配的设备唯一标识的情况下，得到包含所述设备唯一标识的第一鉴权信息；在基于所述设备信息未查询到与所述设备信息匹配的设备唯一标识的情况下，得到包含第一信息的所述第一鉴权信息，所述第一信息用于指示所述物联网网关模块关闭与所述物联网设备之间的网络连接；
所述MQTT Broker集群基于所述第一鉴权信息对所述物联网设备进行鉴权获得鉴权结果，包括：
所述MQTT Broker集群从所述数据库查找所述设备唯一标识；
在所述MQTT Broker集群从所述数据库查找到所述设备唯一标识的情况下，获得包含第二信息的鉴权结果；在从所述数据库未查找到所述设备唯一标识的情况下，获得包含第三信息的鉴权结果；所述第二信息用于表示所述物联网设备鉴权成功；所述第三信息用于指示所述物联网网关模块关闭与所述物联网设备之间的网络连接。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
所述设备管理服务集群接收到新增物联网设备的信息的情况下，创建物联网设备，将所述创建的物联网设备的状态设置为第一标志，根据所述创建的物联网设备的设备信息生成与所述设备信息对应的设备唯一标识，将所述设备信息和所述设备唯一标识存储在所述数据库中，其中，所述新增物联网设备的信息由用户在客户端配置物联网设备的设备信息的操作生成；
所述设备管理服务集群接收到上线物联网设备的信息情况下，将所述物联网设备的状态设置为第二标志，并将所述数据库中存储的所述物联网设备的状态更新为所述第二标志；
所述设备管理服务集群在接收到删除物联网设备的信息的情况下，从所述数据库查询所述物联网设备是否存在关联信息，在存在所述关联信息的情况下，将所述关联信息对应的关联关系删除，将所述物联网设备的设备信息和设备唯一标识删除。
8.如权利要求1所述的方法，其特征在于，所述规则引擎服务集群包括：规则引擎调度模块和规则引擎计算模块；所述规则引擎服务集群获取所述第二数据，并将所述第二数据与业务规则进行匹配得到告警信息，包括：
所述规则引擎计算模块获取所述业务场景的源数据，所述源数据包括所述第二数据；
所述规则引擎计算模块获取所述业务场景对应的业务规则；
所述规则引擎计算模块将所述业务场景的源数据和所述业务场景的业务规则进行匹配，并在所述业务场景的源数据中存在与所述业务规则匹配的情况下，输出告警信息，所述告警信息包括：与所述业务规则匹配的源数据；
相应的，在所述规则引擎计算模块获取所述业务场景的源数据之前，所述方法还包括：
所述规则引擎调度模块获取业务场景的配置信息，其中，所述业务场景的配置信息包括所述业务场景的标识和所述业务场景的状态；
在所述业务场景的状态为上线状态的情况下，所述规则引擎调度模块根据所述业务场景的标识创建并启动所述业务场景对应的规则引擎计算模块。
9.如权利要求1所述的方法，其特征在于，所述告警模块包括：消息接收模块、websocket实时推流模块、工单管理模块和下发模块，所述下发模块包括以下至少一种：PM下发模块、SMS下发模块和ES下发模块；所述告警管理服务集群获取所述告警信息，并将所述告警信息发送至客户端包括：
所述消息接收模块获取所述告警信息，向所述websocket实时推流模块发送所述告警信息；
所述websocket实时推流模块将所述告警信息推送至所述第一客户端；
在所述websocket实时推流模块将所述告警信息推送至所述第一客户端之后，所述方法还包括：
所述工单管理模块基于所述第一客户端的配置信息生成告警工单，将所述告警工单通过下发模块发送至第二客户端；
所述工单管理模块接收第一客户端或所述第二客户端发送的告警状态的更改信息；
所述工单管理模块根据所述更改信息更改所述数据库中的告警状态，所述告警状态包括：未确认未清除、已确认未清除和已确认已清除。
10.一种物联网平台系统，其特征在于，包括：物联网网关模块、MQTTBroker集群、数据接入服务集群、Kafka集群、规则引擎服务集群、告警管理服务集群、数据库、负载均衡模块、数据存储服务集群和设备管理服务集群，所述物联网平台系统通过所述物联网网关模块、所述MQTT Broker集群、所述数据接入服务集群、所述Kafka集群、所述规则引擎服务集群、所述告警管理服务集群、所述数据库、所述负载均衡模块、所述数据存储服务集群和所述设备管理服务集群执行如权利要求1至9任一项所述的方法的步骤。
CN202111648753.XA 2021-12-29 2021-12-29 一种数据处理方法及物联网平台系统 Active CN114567650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111648753.XA CN114567650B (zh) 2021-12-29 2021-12-29 一种数据处理方法及物联网平台系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111648753.XA CN114567650B (zh) 2021-12-29 2021-12-29 一种数据处理方法及物联网平台系统

Publications (2)

Publication Number Publication Date
CN114567650A true CN114567650A (zh) 2022-05-31
CN114567650B CN114567650B (zh) 2022-12-27

Family

ID=81712127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111648753.XA Active CN114567650B (zh) 2021-12-29 2021-12-29 一种数据处理方法及物联网平台系统

Country Status (1)

Country Link
CN (1) CN114567650B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115065595A (zh) * 2022-08-17 2022-09-16 湖南云畅网络科技有限公司 一种自动化发布部署方法及系统
CN116962152A (zh) * 2023-09-20 2023-10-27 江苏中天互联科技有限公司 一种私有化物联网平台系统及数据处理方法
WO2024078313A1 (zh) * 2022-10-10 2024-04-18 华为技术有限公司 认证授权的方法与通信装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309704A (zh) * 2017-07-28 2019-02-05 阿里巴巴集团控股有限公司 实现商品购买以及相应的通信方法、设备及系统
CN109361753A (zh) * 2018-11-02 2019-02-19 上海帆尚行科技有限公司 一种物联网系统架构与加密方法
CN109587242A (zh) * 2018-12-05 2019-04-05 华润置地控股有限公司 物联网平台系统及其云端平台和本地终端
CN109587228A (zh) * 2018-11-23 2019-04-05 济南浪潮高新科技投资发展有限公司 一种公有协议物联网平台及设备接入方法
CN110661871A (zh) * 2019-09-27 2020-01-07 宁波和利时智能科技有限公司 一种数据传输方法及mqtt服务器
CN111770553A (zh) * 2020-06-22 2020-10-13 深圳中兴网信科技有限公司 物联网设备接入系统、方法、电子设备和存储介质
CN112307027A (zh) * 2020-10-30 2021-02-02 浪潮金融信息技术有限公司 一种应用于物联网平台的设备属性扩展方法
CN112333227A (zh) * 2020-09-11 2021-02-05 浙江工业大学 一种基于规则引擎的混合型协议的物联网平台
CN113014622A (zh) * 2021-02-02 2021-06-22 深圳市显控科技股份有限公司 接入物联网平台的方法、系统、物联网设备以及存储介质
US20210211515A1 (en) * 2018-05-23 2021-07-08 Inversiones Tecnologicas De America S.A. MULTI-BIOMETRIC IoT BRIDGE
CN113206886A (zh) * 2021-05-08 2021-08-03 深圳市信锐网科技术有限公司 一种设备接入物联网平台的方法、装置、设备、介质
CN113805867A (zh) * 2021-08-24 2021-12-17 中通服咨询设计研究院有限公司 一种基于可视化静态脚本引擎的物联网平台

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309704A (zh) * 2017-07-28 2019-02-05 阿里巴巴集团控股有限公司 实现商品购买以及相应的通信方法、设备及系统
US20210211515A1 (en) * 2018-05-23 2021-07-08 Inversiones Tecnologicas De America S.A. MULTI-BIOMETRIC IoT BRIDGE
CN109361753A (zh) * 2018-11-02 2019-02-19 上海帆尚行科技有限公司 一种物联网系统架构与加密方法
CN109587228A (zh) * 2018-11-23 2019-04-05 济南浪潮高新科技投资发展有限公司 一种公有协议物联网平台及设备接入方法
CN109587242A (zh) * 2018-12-05 2019-04-05 华润置地控股有限公司 物联网平台系统及其云端平台和本地终端
CN110661871A (zh) * 2019-09-27 2020-01-07 宁波和利时智能科技有限公司 一种数据传输方法及mqtt服务器
CN111770553A (zh) * 2020-06-22 2020-10-13 深圳中兴网信科技有限公司 物联网设备接入系统、方法、电子设备和存储介质
CN112333227A (zh) * 2020-09-11 2021-02-05 浙江工业大学 一种基于规则引擎的混合型协议的物联网平台
CN112307027A (zh) * 2020-10-30 2021-02-02 浪潮金融信息技术有限公司 一种应用于物联网平台的设备属性扩展方法
CN113014622A (zh) * 2021-02-02 2021-06-22 深圳市显控科技股份有限公司 接入物联网平台的方法、系统、物联网设备以及存储介质
CN113206886A (zh) * 2021-05-08 2021-08-03 深圳市信锐网科技术有限公司 一种设备接入物联网平台的方法、装置、设备、介质
CN113805867A (zh) * 2021-08-24 2021-12-17 中通服咨询设计研究院有限公司 一种基于可视化静态脚本引擎的物联网平台

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115065595A (zh) * 2022-08-17 2022-09-16 湖南云畅网络科技有限公司 一种自动化发布部署方法及系统
CN115065595B (zh) * 2022-08-17 2022-12-02 湖南云畅网络科技有限公司 一种自动化发布部署方法
WO2024078313A1 (zh) * 2022-10-10 2024-04-18 华为技术有限公司 认证授权的方法与通信装置
CN116962152A (zh) * 2023-09-20 2023-10-27 江苏中天互联科技有限公司 一种私有化物联网平台系统及数据处理方法

Also Published As

Publication number Publication date
CN114567650B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN114567650B (zh) 一种数据处理方法及物联网平台系统
US11411897B2 (en) Communication method and communication apparatus for message queue telemetry transport
Sinha et al. Building an E Ective IoT Ecosystem for Your Business
EP2957085B1 (en) Service layer resource propagation across domains
EP3690640B1 (en) Event stream processing cluster manager
EP3485656A1 (en) Subscription and notification service
CN111913818A (zh) 一种确定服务间依赖关系的方法及相关装置
CN108429739B (zh) 一种识别蜜罐的方法、系统及终端设备
CN114040032A (zh) 一种协议转换方法、系统、存储介质及电子设备
CN115098528B (zh) 业务处理方法、装置、电子设备及计算机可读存储介质
CN111212153A (zh) Ip地址核查方法、装置、终端设备及存储介质
US8060568B2 (en) Real time messaging framework hub to intercept and retransmit messages for a messaging facility
CN112398796A (zh) 一种信息处理方法、装置、设备及计算机可读存储介质
CN115396494A (zh) 基于流式计算的实时监控方法及系统
Yang et al. Method of Interaction between Blockchain and the World outside the Chain based on Oracle Machine
CN117376346A (zh) 基于边缘计算与分布式计算的设备数据处理方法及装置
CN114567678A (zh) 一种云安全服务的资源调用方法、装置及电子设备
CN113590352A (zh) 一种数据调用方法、装置、设备及可读存储介质
CN107707648B (zh) 一种可信定位方法
CN112769741A (zh) 一种消息通信方法及电子设备
CN115987683B (zh) 区块链网络中节点访问控制方法、装置、设备和介质
CN114189476B (zh) 一种多元接口分流调用方法及终端
CN116708024B (zh) 威胁情报碰撞筛选方法、网关系统、电子设备和存储介质
CN112291202B (zh) 报文数据的可视化方法、装置和计算机可读存储介质
Lee et al. IoT Analysis and Processing System using Sensed Data for Laboratory Safety Management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant