CN111787066B - 一种基于大数据与ai的物联网数据平台 - Google Patents
一种基于大数据与ai的物联网数据平台 Download PDFInfo
- Publication number
- CN111787066B CN111787066B CN202010508367.XA CN202010508367A CN111787066B CN 111787066 B CN111787066 B CN 111787066B CN 202010508367 A CN202010508367 A CN 202010508367A CN 111787066 B CN111787066 B CN 111787066B
- Authority
- CN
- China
- Prior art keywords
- data
- node
- broker
- cluster
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007405 data analysis Methods 0.000 claims abstract description 13
- 238000005516 engineering process Methods 0.000 claims abstract description 5
- 238000007726 management method Methods 0.000 claims description 66
- 239000003795 chemical substances by application Substances 0.000 claims description 56
- 238000004891 communication Methods 0.000 claims description 29
- 238000013475 authorization Methods 0.000 claims description 24
- 238000010801 machine learning Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000737 periodic effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000015654 memory Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 210000004556 brain Anatomy 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 230000003111 delayed effect Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 241000854291 Dianthus carthusianorum Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 235000003642 hunger Nutrition 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000037351 starvation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种基于大数据、AI的物联网数据平台，包括数据采集节点服务器集群(Godzilla‑Agent)、中转节点服务器集群(Godzilla‑Broker)、中央协调节点服务器集群(Godzilla‑Coordinator)、数据解析节点服务器集群(Godzilla‑Processor)、API开放平台服务器集群(Godzilla‑API)、告警通知服务器集群(Godzilla‑Notifier)、AI服务器集群(Godzilla‑AI)与平台管理服务器集群(Godzilla‑Admin)等，本系统兼容各类通信协议的物联网终端设备，可以快速接入点位数据，并且组合不同维度的数据融合处理，将底层来自不同系统的物联网数据关联在一起，形成新的数据样本进行机器学习和AI决策分析，为物联网的多系统集成工作打通了数据通道，增加了独立系统间的数据相关性，提供上层业务系统数据支撑，形成了物联网数据采集存储处理AI决策的一体化解决方案。
Description
技术领域
本发明属于物联网技术领域，具体是指一种基于大数据与AI的物联网数据平台。
背景技术
随着物联网技术在各大行业的大力推动发展下，比如智慧楼宇、智慧工业、智慧家居、智慧农业等应用领域，物联网终端通过Lora、NB-IOT、zigbee、BlueTooth Mesh、UWB等网关通信协议实现环境数据、空间数据、设备状态数据*等各类指标的实时监测。物联网数据由于其采集频率高、终端设备部署规模大、数据来源分类组合多样，其数据规模远大于普通业务系统，而挖掘物联网采集的数据，并对其统计分析、模型训练从而转化为行业领域具体业务决策系统起到至关重要的支撑作用。如何将物联网数据从终端统一采集、统一处理，根据业务场景进行定制化逻辑分析是整个物联网前沿技术发展的关键所在。因此，一个基于大数据、AI的物联网数据Sass平台亟待研究。
发明内容
为了解决以上问题，本发明提供物联网终端数据接入、并对多维物联网数据进行统一融合处理，提供多维度的查询统计和AI决策系统，挖掘物联网环境中的各种数据的相关性的一种基于大数据、AI的物联网数据平台，包括数据采集节点服务器集群(Godzilla-Agent)、中转节点服务器集群(Godzilla-Broker)、中央协调节点服务器集群(Godzilla-Coordinator)、数据解析节点服务器集群(Godzilla-Processor)、API开放平台服务器集群(Godzilla-API)、告警通知服务器集群(Godzilla-Notifier)、AI服务器集群(Godzilla-AI)与平台管理服务器集群(Godzilla-Admin)；
所述数据采集节点服务器集群(Godzilla-Agent)服务是由Godzilla netserver/client网通通信模块、授权验证模块、定时任务指令模块、分布式存储模块、高速缓冲队列组成，Agent节点主要功能不同网络协议的数据传输、设备授权验证、数据安全性保障、数据格式转换及上传中转节点等功能，Agent通过Raft算法实现分布式存储，实现节点的高可用，Agent节点启动时会通过Godzilla-Coordinator集群请求获取可用的已注册的Godzilla-Broker服务节点，并建立对于Broker节点的网络通信连接；
所述中转节点服务器集群(Godzilla-Broker)服务主要由Godzilla net server/client网通通信模块、高速缓存队列组(Queue Manager)、服务注册模块(Register)、消息队列生产者模块(MQ Producer)构成；
所述中央协调节点服务器集群(Godzilla-Coordinator)负责维护Broker集群节点的服务注册，并提供Agent/Broker节点服务发现功能，实现Broker集群的负载均衡即高可用特性。Coordinator服务主要由Godzilla net server/client网通通信模块、服务发现模块(Service Discovery)、Broker管理模块(Broker Manager)、指令解析模块构成；
所述数据解析节点服务器集群(Godzilla-Processor)负责消息体Msgbody的解码和数据段(Json-Frame)解码，并数据段根据Godzilla-Admin集群中中设备终端及数据点配置将数据转换为数据点GodzillaPoint,最终存储至时序数据库集群TSDB中。Processor节点主要由数据消费者(Data Consumer)、设备管理模块(Device Manager)、数据解析模块(Data Parser)、数据库序列化模块(Database Serializer)构成；
所述PI开放平台服务器集群(Godzilla-API)提供数据监测查询http接口，通过token进行调用鉴权，每次调用的方法名、出入参数及执行时间均记录在平台中。查询接口有标准化查询方法和定制化查询方法：标准化方法提供appId、dataPointId及搜索时间段查询某一数据点的阶段性采集结果；定制化查询通过标准化SQL where语句中被查询字段属性的逻辑拼接引擎实现组合查询、排序等；
所述告警通知服务器集群(Godzilla-Notifier)由告警管理模块(AlarmManager)、告警消费者(Alarm Consumer)、告警任务调度器模块(Alarm Job Scheduler)、告警通知模块(alarm notifier)构成；
所述AI服务器集群(Godzilla-AI)由数据预处理模块(Data Pre-process)、机器学习模块(Machine Learning)、决策预测模块(Decision Predict)构成；
所述平台管理服务器集群(Godzilla-Admin)负责提供整个Saas平台的设备管理、应用管理、数据点配置管理、数据查询、告警规则管理、AI配置管理、租户管理、授权管理、权限管理、账号管理。平台的数据结构为：租户对应多个应用，应用对应多个终端设备、设备对应多个数据点位、数据点对应多个告警规则、租户对应多个账号、账号对应多个角色、角色对应多个权限、租户对应多个授权配置、应用对应多个授权配置。
进一步的，所述网络通信模块底层使用NIO技术及修改Linux内核的文件句柄数实现了单服务器下97万连接数、40万QPS、1纳秒级采集精度的网络性能，支持海量终端设备的同时在线传输数据，网络socket层由master线程组负责建立socket channel，由worker线程组负责进行channel通道数据监听和发送，网络层底层支持TCP自定义报文、websocket、http等网络传输协议，对任意数据报文进行透传。接入设备建立TCP连接后通过注册包及心跳包完成设备入网授权验证，对未经授权的设备拒绝其与平台的网络连接，授权通过后设备与平台的连接状态通过周期性的heartbeat心跳包或数据包维持其连接状态；
定时任务指令模块可执行周期性的指令下发，比如将modbus-rtu的数据请求指令由agent服务下发至终端设备侧，周期性的特性利用分布式缓存的数据有效期及过期事件监听机制实现，并且指令下发可指定具体设备终端；
分布式存储模块用于实现数据的可靠性，即数据一旦由终端设备上传至系统后必须保证其数据不丢失，该模块通过raft算法对agent集群进行群首选举，并通过群首批量写入数据副本至各agent节点，当集群中过半数节点写入数据后，该数据才真正写入agent服务集群。通过raft算法，群首节点通过定时心跳包复制主数据至所有follower节点，达到数据一致性，并且通过peer节点的随机定时选举算法解决分布式选举的脑裂问题，Agent集群最小的高可用部署方案为3台服务器，其中tcp,websocket,http协议各一台服务器，此时系统在67％的故障率时仍然能正常提供数据采集服务；
高速缓存队列模块负责读取已落盘的数据至待发送队列后等待被上传至godzilla-broker服务集群，缓存队列由48个线程安全队列组成，由2个固定数量线程池进行压栈和出栈消费，数据流根据设备ID的hash Code指定流转线路，实现缓存队列负载均衡的效果，保证线程池的每个线程不存在饥饿或过于繁忙。设备数据包在进入到队列缓存区前会统一转换成平台MsgBody报文格式。MsgBody由MB-head报文头和Json-Fame数据体组成。
所一步的，本发明还包括分布式缓存集群、MQ消息队列集群、注册中心服务器集群、TSDB时序数据库集群与mySql关系型数据库集群。
进一步的，所述Godzilla net server/client网络通信模块负责接收Agent节点的数据包和Broker节点间的数据路由转发。数据包经Agent节点进入Godzilla集群后内部所有数据包通信会转为平台私有ABCMsg报文格式，以减少不同协议报文转换的复杂度和时间开销，报文由ABCHeader报文头和MsgBody消息体组成。ABCHeader头部包含symbol协议类型、magic魔数、msgType消息类型、reserve保留字、sn序列号、len长度等14个字节；MsgBody消息体包含appId应用id、msgId消息id、fromId发送者id、toId接收者id、data数据、bodyType消息体类型、refCount引用计数、protocolType协议类型、childIds子节点id组、fromIp发送者IP地址、fromPort发送者端口号、time接收时间戳构成。报文格式支持序列化/反序列化，可以在Agent和Broker任意节点路由传输；
高速缓存队列组模块为下游节点集群的发送队列，通过MsgBody的fromId进行哈希计算获取该设备数据流的发送队列通道，从而解决了高速缓存队列组中个队列的负载均衡问题，以及设备数据上传的数据包时序顺序问题，同一设备终端发送的数据流保持先到先存的逻辑顺序，解决了物联网数据的乱序问题。
服务注册模块(Register)功能是向Godzilla-Coordinator协调服务器集群注册Broker节点服务，当集群中某台Broker节点宕机后，该节点连接的Broker/Agent节点会自动切换至其他Broker节点重建连接，该模块支撑了Broker集群高可用特性；
消息队列生产者模块(MQ Producer)负责对高速缓存队列组中的数据包进行消费处理，打包转发至下一个Godzilla-Broker节点或Godzilla-Processor集群。当数据包为转发类型(forward)，数据包通过abc协议进行Broker节点内路由转发，当数据包内容为上传类型(upload)，数据包会根据fromId再次进行哈希算法，推送到MQ对应Topic的对应key通道中，保持其数据时序一致性。
进一步的，所述Godzilla net server/client网通通信模块负责建立/监听Agent/Broker节点的连接请求，负责应答Agent/Broker节点关于Broker服务地址的数据请求，起到通信协调的作用，服务发现模块利用zookeeper数据临时节点的创建/删除等事件监听，实现了Broker地址的实时更新通知功能，用于更新本地节点Broker管理模块的网络连接参数信息缓存，Broker管理模块内部维护了本集群的所有正提供服务的Broker节点地址，每当一次服务发现请求到来时，Broker管理模块会通过轮询的方式获取可用Broker的地址信息并发送给请求节点，达到负载均衡的作用。同时，若Broker节点性能指标超出设定阈值，将关闭注册服务，对Agent节点的连接请求进行限流，指令解析模块负责解析Agent/Broker节点传输的消息体内容，识别系统内部的请求指令、应答指令、路由转发指令等，该数据报文格式为ABCMsg。
进一步的，所述数据消费者(Data Consumer)由通过MQ消费者监听机制负责消费工作，并且把消费到的数据根据设备数据协议类型(data_protocol)进行SPI扩展解析，设备管理模块通过与redis集群缓存同步维护节点内部该节点下的已连接节点设备参数信息。当设备建立连接后，节点通过懒加载的方式进行设备信息更新，当设备断开连接后，缓存信息将被延迟清楚，减少不必要的内存资源开销，数据解析模块(Data Parser)扩展了modbus-rtu、meokon、json、nema0183等数据格式，任意类型的数据格式最终将被解析转化成GodzillaPoint格式。GodzilaPoint数据格式包含measurement度量表、tags标签、fields属性值、appId应用id、kv标签属性数据、time采集时间戳。点位数据与godzillaPoint的映射关系为：应用id映射为database数据库名，设备id映射为measurement度量表、采集部分参数映射为tags标签、整型或浮点型属性值映射为fields，Msgbody消息体中的采集时间映射为time。数据解析模块解析出展示属性值(Display field)后，进行上下阈值校验，若超过范围则生产告警记录，并根据告警规则通知配置发出系统告警，通过告警生产者(AlarmProducer)生成发送至Godzilla-Notifier集群，数据库序列化模块(DatabaseSerializer)通过多数据源管理支持多个时序数据库数据源连接，并通过终端设备的应用id切换不同的数据库节点实例。本模块实现数据入库的负载均衡，使数据库插入操作不再受单数据源节点性能限制，消除了数据存储的性能瓶颈。数据库提供多样化存储策略，可支持保存7天、14天、15天、30天、90天、180天、1年、3年等。
进一步的，所述API开放平台服务器集群(Godzilla-API)通过负载均衡服务器集群进行调用分流，并实现熔断限流功能，保证集群稳定性。
进一步的，所述告警管理模块(Alarm Manager)通过与高速缓存集群同步在本地维护了所有告警基础配置信息和与数据点位的绑定触发关系信息，告警消费者(AlarmConsumer)消费由Processor集群产生的告警消息，根据告警管理中配置的告警规则进行消息通知，通知形式有sms短信、email邮件、voice语音、callback回调等，触发的告警通知受根据通知形式进行数量授权控制，满足通知资源整体管控。
进一步的，所述数据预处理模块(Data Pre-process)根据数据点(DataPoint)的分组标签(DataPoint Group)进行数据融合，将来自不同设备、不同协议、不同数据格式、不同发送频率的数据在时域上进行同步，目的在于对多维向量数据样本能因映射在同一时间轴上，此算法通过实时流计算的方式，可在T+n周期内完成，n为同一分组标签内所有数据点的采集周期最大值，产生新的融合数据样本后存入TSDB数据库供机器学习模块使用。采集样本空间随着采集时间的延续而增长，实现了增量性的机器学习方法，减少样本的重复学习次数，机器学习模块(Machine Learning)实现了朴素贝叶斯(Bayes)、K均值聚类(Kmean)、C4.5决策树、CART决策树样本学习，并生成决策树，决策预测模块(DecisionPredict)提供样本输入接口，并最终输出样本决策分类结果，决策预测模块定期更新机器学习产生的决策树，最小更新周期可逼近样本属性最大采集周期。
采用上述技术方案，具有如下有益效果：
本系统兼容各类通信协议的物联网终端设备，可以快速接入点位数据，并且组合不同维度的数据融合处理，将底层来自不同系统的物联网数据关联在一起，形成新的数据样本进行机器学习和AI决策分析，为物联网的多系统集成工作打通了数据通道，增加了独立系统间的数据相关性，提供上层业务系统数据支撑，形成了物联网数据采集存储处理的一体化解决方案。
附图说明
图1为本发明的连接示意图；
图2为图1中的1区域放大结构示意图；
图3为图1中的2区域放大结构示意图；
图4为图1中的3区域放大结构示意图；
图5为图1中的4区域放大结构示意图；
图6为图1中的5区域放大结构示意图；
图7为图1中的6区域放大结构示意图；
图8为图1中的7区域放大结构示意图；
图9为图1中的8区域放大结构示意图；
图10为图1中的9区域放大结构示意图；
图11为图1中的10区域放大结构示意图；
图12为图1中的11区域放大结构示意图；
图13为图1中的12区域放大结构示意图；
图14为图1中的13区域放大结构示意图；
图15为图1中的14区域放大结构示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
实施例1：本分布式物联网数据平台系统集群包含数据采集节点服务器集群(Godzilla-Agent)，中转节点服务器集群(Godzilla-Broker)，中央协调节点服务器集群(Godzilla-Coordinator)，数据解析节点服务器集群(Godzilla-Processor)，API开放平台服务器集群(Godzilla-API),告警通知服务器集群(Godzilla-Notifier)，AI服务器集群(Godzilla-AI),平台管理服务器集群(Godzilla-Admin)，分布式缓存集群、MQ消息队列集群，注册中心服务器集群、TSDB时序数据库集群、mySql关系型数据库集群。
系统所有服务节点都支持水平扩展、负载均衡、高可用、高容错、限流熔断、服务降级等特性。
1.数据采集节点服务(Godzilla-Agent)服务主要由Godzilla net server/client网通通信模块、授权验证模块、定时任务指令模块、分布式存储模块、高速缓冲队列组成。Agent节点主要功能不同网络协议的数据传输、设备授权验证、数据安全性保障、数据格式转换及上传中转节点等功能。Agent通过Raft算法实现分布式存储，实现节点的高可用。Agent节点启动时会通过Godzilla-Coordinator集群请求获取可用的已注册的Godzilla-Broker服务节点，并建立对于Broker节点的网络通信连接。
网络通信模块底层使用NIO技术及修改Linux内核的文件句柄数实现了单服务器下97万连接数、40万QPS、1纳秒级采集精度的网络性能，支持海量终端设备的同时在线传输数据。网络socket层由master线程组负责建立socket channel，由worker线程组负责进行channel通道数据监听和发送。网络层底层支持TCP自定义报文、websocket、http等网络传输协议，对任意数据报文进行透传。接入设备建立TCP连接后通过注册包及心跳包完成设备入网授权验证，对未经授权的设备拒绝其与平台的网络连接，授权通过后设备与平台的连接状态通过周期性的heartbeat心跳包或数据包维持其连接状态。
定时任务指令模块可执行周期性的指令下发，比如将modbus-rtu的数据请求指令由agent服务下发至终端设备侧。周期性的特性利用分布式缓存的数据有效期及过期事件监听机制实现，并且指令下发可指定具体设备终端。
分布式存储模块用于实现数据的可靠性，即数据一旦由终端设备上传至系统后必须保证其数据不丢失。该模块通过raft算法对agent集群进行群首选举，并通过群首批量写入数据副本至各agent节点，当集群中过半数节点写入数据后，该数据才真正写入agent服务集群。通过raft算法，群首节点通过定时心跳包复制主数据至所有follower节点，达到数据一致性，并且通过peer节点的随机定时选举算法解决分布式选举的脑裂问题。Agent集群最小的高可用部署方案为3台服务器，其中tcp,websocket,http协议各一台服务器，此时系统在67％的故障率时仍然能正常提供数据采集服务。
高速缓存队列模块负责读取已落盘的数据至待发送队列后等待被上传至godzilla-broker服务集群。缓存队列由48个线程安全队列组成，由2个固定数量线程池进行压栈和出栈消费，数据流根据设备ID的hash Code指定流转线路，实现缓存队列负载均衡的效果，保证线程池的每个线程不存在饥饿或过于繁忙。设备数据包在进入到队列缓存区前会统一转换成平台MsgBody报文格式。MsgBody由MB-head报文头和Json-Fame数据体组成。
2.中转节点服务器集群(Godzilla-Broker)服务主要由Godzilla net server/client网通通信模块、高速缓存队列组(Queue Manager)、服务注册模块(Register)、消息队列生产者模块(MQ Producer)构成。
Godzilla net server/client网络通信模块负责接收Agent节点的数据包和Broker节点间的数据路由转发。数据包经Agent节点进入Godzilla集群后内部所有数据包通信会转为平台私有ABCMsg报文格式，以减少不同协议报文转换的复杂度和时间开销，报文由ABCHeader报文头和MsgBody消息体组成。ABCHeader头部包含symbol协议类型、magic魔数、msgType消息类型、reserve保留字、sn序列号、len长度等14个字节；MsgBody消息体包含appId应用id、msgId消息id、fromId发送者id、toId接收者id、data数据、bodyType消息体类型、refCount引用计数、protocolType协议类型、childIds子节点id组、fromIp发送者IP地址、fromPort发送者端口号、time接收时间戳构成。报文格式支持序列化/反序列化，可以在Agent和Broker任意节点路由传输。
高速缓存队列组模块为下游节点集群的发送队列，通过MsgBody的fromId进行哈希计算获取该设备数据流的发送队列通道，从而解决了高速缓存队列组中个队列的负载均衡问题，以及设备数据上传的数据包时序顺序问题，同一设备终端发送的数据流保持先到先存的逻辑顺序，解决了物联网数据的乱序问题。
服务注册模块(Register)功能是向Godzilla-Coordinator协调服务器集群注册Broker节点服务，当集群中某台Broker节点宕机后，该节点连接的Broker/Agent节点会自动切换至其他Broker节点重建连接，该模块支撑了Broker集群高可用特性。
消息队列生产者模块(MQ Producer)负责对高速缓存队列组中的数据包进行消费处理，打包转发至下一个Godzilla-Broker节点或Godzilla-Processor集群。当数据包为转发类型(forward)，数据包通过abc协议进行Broker节点内路由转发，当数据包内容为上传类型(upload)，数据包会根据fromId再次进行哈希算法，推送到MQ对应Topic的对应key通道中，保持其数据时序一致性。
3.中央协调节点服务器集群(Godzilla-Coordinator)负责维护Broker集群节点的服务注册，并提供Agent/Broker节点服务发现功能。实现Broker集群的负载均衡即高可用特性。Coordinator服务主要由Godzilla net server/client网通通信模块、服务发现模块(Service Discovery)、Broker管理模块(Broker Manager)、指令解析模块构成。
Godzilla net server/client网通通信模块负责建立/监听Agent/Broker节点的连接请求，负责应答Agent/Broker节点关于Broker服务地址的数据请求，起到通信协调的作用。
服务发现模块利用zookeeper数据临时节点的创建/删除等事件监听，实现了Broker地址的实时更新通知功能，用于更新本地节点Broker管理模块的网络连接参数信息缓存。
Broker管理模块内部维护了本集群的所有正提供服务的Broker节点地址，每当一次服务发现请求到来时，Broker管理模块会通过轮询的方式获取可用Broker的地址信息并发送给请求节点，达到负载均衡的作用。同时，若Broker节点性能指标超出设定阈值，将关闭注册服务，对Agent节点的连接请求进行限流。
指令解析模块负责解析Agent/Broker节点传输的消息体内容，识别系统内部的请求指令、应答指令、路由转发指令等，该数据报文格式为ABCMsg。
4.数据解析节点服务器集群(Godzilla-Processor)负责消息体Msgbody的解码和数据段(Json-Frame)解码，并数据段根据Godzilla-Admin集群中中设备终端及数据点配置将数据转换为数据点GodzillaPoint,最终存储至时序数据库集群TSDB中。Processor节点主要由数据消费者(Data Consumer)、设备管理模块(Device Manager)、数据解析模块(Data Parser)、数据库序列化模块(Database Serializer)构成。
数据消费者(Data Consumer)由通过MQ消费者监听机制负责消费工作，并且把消费到的数据根据设备数据协议类型(data_protocol)进行SPI扩展解析。
设备管理模块通过与redis集群缓存同步维护节点内部该节点下的已连接节点设备参数信息。当设备建立连接后，节点通过懒加载的方式进行设备信息更新，当设备断开连接后，缓存信息将被延迟清楚，减少不必要的内存资源开销。
数据解析模块(Data Parser)扩展了modbus-rtu、meokon、json、nema0183等数据格式，任意类型的数据格式最终将被解析转化成GodzillaPoint格式。GodzilaPoint数据格式包含measurement度量表、tags标签、fields属性值、appId应用id、kv标签属性数据、time采集时间戳。点位数据与godzillaPoint的映射关系为：应用id映射为database数据库名，设备id映射为measurement度量表、采集部分参数映射为tags标签、整型或浮点型属性值映射为fields，Msgbody消息体中的采集时间映射为time。数据解析模块解析出展示属性值(Display field)后，进行上下阈值校验，若超过范围则生产告警记录，并根据告警规则通知配置发出系统告警，通过告警生产者(Alarm Producer)生成发送至Godzilla-Notifier集群。
数据库序列化模块(Database Serializer)通过多数据源管理支持多个时序数据库数据源连接，并通过终端设备的应用id切换不同的数据库节点实例。本模块实现数据入库的负载均衡，使数据库插入操作不再受单数据源节点性能限制，消除了数据存储的性能瓶颈。数据库提供多样化存储策略，可支持保存7天、14天、15天、30天、90天、180天、1年、3年等。
5.API开放平台服务器集群(Godzilla-API)提供数据监测查询http接口，通过token进行调用鉴权，每次调用的方法名、出入参数及执行时间均记录在平台中。查询接口有标准化查询方法和定制化查询方法：标准化方法提供appId、dataPointId及搜索时间段查询某一数据点的阶段性采集结果；定制化查询通过标准化SQL where语句中被查询字段属性的逻辑拼接引擎实现组合查询、排序等。
API服务集群通过负载均衡服务器集群进行调用分流，并实现熔断限流功能，保证集群稳定性。
6.告警通知服务器集群(Godzilla-Notifier)由告警管理模块(Alarm Manager)、告警消费者(Alarm Consumer)、告警任务调度器模块(Alarm Job Scheduler)、告警通知模块(alarm notifier)构成。
由告警管理模块(Alarm Manager)通过与高速缓存集群同步在本地维护了所有告警基础配置信息和与数据点位的绑定触发关系信息。
告警消费者(Alarm Consumer)消费由Processor集群产生的告警消息，根据告警管理中配置的告警规则进行消息通知，通知形式有sms短信、email邮件、voice语音、callback回调等。触发的告警通知受根据通知形式进行数量授权控制，满足通知资源整体管控。
7.AI服务器集群(Godzilla-AI)由数据预处理模块(Data Pre-process)、机器学习模块(Machine Learning)、决策预测模块(Decision Predict)构成。
数据预处理模块(Data Pre-process)根据数据点(DataPoint)的分组标签(DataPoint Group)进行数据融合，将来自不同设备、不同协议、不同数据格式、不同发送频率的数据在时域上进行同步，目的在于对多维向量数据样本能因映射在同一时间轴上。此算法通过实时流计算的方式，可在T+n周期内完成，n为同一分组标签内所有数据点的采集周期最大值，产生新的融合数据样本后存入TSDB数据库供机器学习模块使用。采集样本空间随着采集时间的延续而增长，实现了增量性的机器学习方法，减少样本的重复学习次数。
机器学习模块(Machine Learning)实现了递归神经网络(Recurrent NeuralNetwork)、长短期记忆神经网络(Long Short Term Memory)、朴素贝叶斯(Bayes)、K均值聚类(K mean)、C4.5决策树、CART决策树样本学习，并生成决策树。
决策预测模块(Decision Predict)提供样本输入接口，并最终输出样本决策分类结果。决策预测模块定期更新机器学习产生的决策树，最小更新周期可逼近样本属性最大采集周期。
8.平台管理服务器集群(Godzilla-Admin)负责提供整个Saas平台的设备管理、应用管理、数据点配置管理、数据查询、告警规则管理、AI配置管理、租户管理、授权管理、权限管理、账号管理。平台的数据结构为：租户对应多个应用，应用对应多个终端设备、设备对应多个数据点位、数据点对应多个告警规则、租户对应多个账号、账号对应多个角色、角色对应多个权限、租户对应多个授权配置、应用对应多个授权配置。
本系统兼容各类通信协议的物联网终端设备，可以快速接入点位数据，并且组合不同维度的数据融合处理，将底层来自不同系统的物联网数据关联在一起，形成新的数据样本进行机器学习和AI决策分析，为物联网的多系统集成工作打通了数据通道，增加了独立系统间的数据相关性，提供上层业务系统数据支撑，形成了物联网数据采集存储处理的一体化解决方案。
本发明可集成采集BA系统，Lora、4G、zigBee、BlueTooth Mesh等网关，NB-iot平台，GPS定位设备，智能终端等数据，支持平台用户自定义数据报文解析协议，具有良好的兼容性，提供物联网设备终端健康状态检测，提供毫秒级指令定向下发提供点位逻辑分组标签，可融合不同网关下不同的物联网终端点位数据，实时计算生产新的多维属性向量数据样本，提供了大数据实时流式计算及丰富的机器学习AI功能，提供海量数据决策系统解决方案，提供数据检测自定义规则及告警个性化配置，告警渠道支持短信，邮件，语音及系统回调，实现系统健康监控dashboard，对系统各节点关键指标实时监测及告警，实现了多租户的Saas的平台结构，可在应用，设备，数据点，API，告警规则等多维度进行用户数据隔离，支持高并发海量终端时序数据采集，兼容多网络协议(tcp/websocket/http)，系统各节点均为高可用、可水平扩展的分布式系统架构设计，具有很好的容错性，稳定性、可用性，数据传输拥有极低的网络延迟，支持时序数据的顺序存储，时间精度支持1纳秒，单节点数据采集服务支持百万客户端连接数，单节点QPS 40万，分布式集群可横向扩展，无性能上限，支持分布式存储，提供高数据安全性，数据提交至节点后不丢失，支持自定义SQL API查询接口，海量数据实时查询，系统上层提供API开放平台供第三方业务系统集成，并支持多语言，多时区的系统服务。
以上描述了本发明的基本原理和主要特征，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种基于大数据与AI的物联网数据平台，其特征在于，包括数据采集节点服务器集群Godzilla-Agent、中转节点服务器集群Godzilla-Broker、中央协调节点服务器集群Godzilla
-Coordinator、数据解析节点服务器集群Godzilla-Processor、API开放平台服务器集群Godzilla-API、告警通知服务器集群Godzilla-Notifier、AI服务器集群Godzilla-AI与平台管理服务器集群Godzilla
-Admin；
所述数据采集节点服务器集群Godzilla-Agent服务是由Godzilla net server/client网络通信模块、授权验证模块、定时任务指令模块、分布式存储模块与高速缓冲队列组成，Agent节点是不同网络协议的数据传输、设备授权验证、数据安全性保障、数据格式转换及上传中转节点，Agent通过Raft算法实现分布式存储，Agent节点启动时通过Godzilla-Coordinator集群请求获取可用的已注册的Godzilla-Broker服务节点，并建立对于Broker节点的网络通信连接；
所述中转节点服务器集群Godzilla-Broker服务主要由Godzilla net server/client网络通信模块、高速缓存队列组Queue Manager、服务注册模块Register与消息队列生产者模块MQ Producer构成；
所述中央协调节点服务器集群Godzilla-Coordinator负责维护Broker集群节点的服务注册，并提供Agent/Broker节点服务发现功能，实现Broker集群的负载均衡，Coordinator服务主要由Godzilla net server/client网络通信模块、服务发现模块Service Discovery、Broker管理模块Broker Manager与指令解析模块构成；
所述数据解析节点服务器集群Godzilla-Processor负责消息体Msgbody的解码和数据段Json-Frame解码，数据段根据Godzilla-Admin集群中的终端设备及数据点配置将数据转换为数据点GodzillaPoint,最终存储至时序数据库集群TSDB中，Processor节点由数据消费者Data Consumer、设备管理模块Device Manager、数据解析模块Data Parser与数据库序列化模块Database Serializer构成；
所述API开放平台服务器集群Godzilla-API提供数据监测查询http接口，通过token进行调用鉴权，每次调用的方法名、出入参数及执行时间均记录在平台中，查询接口有标准化查询方法和定制化查询方法：标准化查询方法提供appId、dataPointId及搜索时间段查询某一数据点的阶段性采集结果；定制化查询通过标准化SQL where语句中被查询字段属性的逻辑拼接引擎实现组合查询、排序；
所述告警通知服务器集群Godzilla-Notifier由告警管理模块Alarm Manager、告警消费者Alarm Consumer、告警任务调度器模块(Alarm Job Scheduler)与告警通知模块alarmnotifier构成；
所述AI服务器集群Godzilla-AI由数据预处理模块Data Pre-process、机器学习模块Machine Learning与决策预测模块Decision Predict构成；
所述平台管理服务器集群Godzilla-Admin负责提供整个Saas平台的设备管理、应用管理、数据点配置管理、数据查询、告警规则管理、AI配置管理、租户管理、授权管理、权限管理与账号管理，平台的数据结构为：租户对应多个应用，应用对应多个终端设备、终端设备对应多个数据点位、数据点对应多个告警规则、租户对应多个账号、账号对应多个角色、角色对应多个权限、租户对应多个授权配置与应用对应多个授权配置。
2.根据权利要求1所述的一种基于大数据与AI的物联网数据平台，其特征在于，所述网络通信模块底层使用NIO技术及修改Linux内核的文件句柄数，支持海量终端设备的同时在线传输数据，网络socket层由master线程组负责建立socket channel，由worker线程组负责进行channel通道数据监听和发送，网络层底层支持TCP自定义报文、websocket、http网络传输协议，对任意数据报文进行透传，接入设备建立TCP连接后通过注册包及心跳包完成设备入网授权验证，对未经授权的设备拒绝其与平台的网络连接，授权通过后终端设备与平台的连接状态通过周期性的heartbeat心跳包或数据包维持其连接状态；定时任务指令模块可执行周期性的指令下发，周期性的特性利用分布式缓存的数据有效期及过期事件监听机制实现，并且指令下发可指定具体终端设备；分布式存储模块用于实现数据的可靠性，即数据一旦由终端设备上传至系统后必须保证其数据不丢失，该模块通过raft算法对agent集群进行群首选举，并通过群首批量写入数据副本至各agent节点，当集群中过半数节点写入数据后，该数据才真正写入agent服务集群，通过raft算法，群首节点通过定时心跳包复制主数据至所有follower节点，达到数据一致性，并且通过peer节点的随机定时选举算法解决分布式选举的脑裂问题，Agent集群最小的高可用部署方案为3台服务器，其中tcp,websocket,http协议各一台服务器，此时系统在67％的故障率时仍然能正常提供数据采集服务；高速缓存队列模块负责读取已落盘的数据至待发送队列后等待被上传至godzilla-broker服务集群，缓存队列由48个线程安全队列组成，由2个固定数量线程池进行压栈和出栈消费，数据流根据设备ID的hash Code指定流转线路，实现缓存队列负载均衡的效果，保证线程池的每个线程不存在饥饿或过于繁忙，设备数据包在进入到队列缓存区前统一转换成平台MsgBody报文格式，MsgBody由MB-head报文头和Json-Fame数据体组成。
3.根据权利要求1所述的一种基于大数据与AI的物联网数据平台，其特征在于，本平台还包括分布式缓存集群、MQ消息队列集群、注册中心服务器集群、TSDB时序数据库集群与mySql关系型数据库集群。
4.根据权利要求1所述的一种基于大数据与AI的物联网数据平台，其特征在于，所述Godzilla net server/client网络通信模块负责接收Agent节点的数据包和Broker节点间的数据路由转发，数据包经Agent节点进入Godzilla集群后内部所有数据包通信转为平台私有ABCMsg报文格式，以减少不同协议报文转换的复杂度和时间开销，报文由ABCHeader报文头和MsgBody消息体组成，ABCHeader头部包含symbol协议类型、magic魔数、msgType消息类型、reserve保留字、sn序列号与len长度14个字节；MsgBody消息体包含appId应用id、msgId消息id、fromId发送者id、toId接收者id、data数据、bodyType消息体类型、refCount引用计数、protocolType协议类型、childIds子节点id组、fromIp发送者IP地址、fromPort发送者端口号与time接收时间戳构成，报文格式支持序列化/反序列化，可以在Agent和Broker任意节点路由传输；高速缓存队列组模块为下游节点集群的发送队列，通过MsgBody的fromId进行哈希计算获取该设备数据流的发送队列通道，从而解决了高速缓存队列组中各队列的负载均衡问题，以及设备数据上传的数据包时序顺序问题，同一终端设备发送的数据流保持先到先存的逻辑顺序，解决了物联网数据的乱序问题，服务注册模块Register功能是向Godzilla-Coordinator协调服务器集群注册Broker节点服务，当集群中某台Broker节点宕机后，该节点连接的Broker/Agent节点自动切换至其他Broker节点重建连接，该模块支撑了Broker集群高可用特性，消息队列生产者模块MQ Producer负责对高速缓存队列组中的数据包进行消费处理，打包转发至下一个Godzilla-Broker节点或Godzilla-Processor集群，当数据包为转发类型forward，数据包通过abc协议进行Broker节点内路由转发，当数据包内容为上传类型upload，数据包根据fromId再次进行哈希算法，推送到MQ对应Topic的对应key通道中，保持其数据时序一致性。
5.根据权利要求1所述的一种基于大数据与AI的物联网数据平台，其特征在于，所述Godzilla net server/client网络通信模块负责建立/监听Agent/Broker节点的连接请求，负责应答Agent/Broker节点关于Broker服务地址的数据请求，起到通信协调的作用，服务发现模块利用zookeeper数据临时节点的创建/删除事件监听，实现了Broker地址的实时更新通知功能，用于更新本地节点Broker管理模块的网络连接参数信息缓存，Broker管理模块内部维护了本集群的所有正提供服务的Broker节点地址，每当一次服务发现请求到来时，Broker管理模块通过轮询的方式获取可用Broker的地址信息并发送给请求节点，达到负载均衡的作用，同时，若Broker节点性能指标超出设定阈值，将关闭注册服务，对Agent节点的连接请求进行限流，指令解析模块负责解析Agent/Broker节点传输的消息体内容，识别系统内部的请求指令、应答指令与路由转发指令，该数据报文格式为ABCMsg。
6.根据权利要求1所述的一种基于大数据与AI的物联网数据平台，其特征在于，所述数据消费者Data Consumer通过MQ消费者监听机制负责消费工作，并且把消费到的数据根据设备数据协议类型data_protocol进行SPI扩展解析，设备管理模块通过与redis集群缓存同步维护节点内部该节点下的已连接节点设备参数信息，当终端设备建立连接后，节点通过懒加载的方式进行设备信息更新，当终端设备断开连接后，缓存信息将被延迟清除，减少不必要的内存资源开销，数据解析模块Data Parser扩展了modbus-rtu、meokon、json与nema0183数据格式，任意类型的数据格式最终将被解析转化成GodzillaPoint格式，GodzilaPoint数据格式包含measurement度量表、tags标签、fields属性值、appId应用id、kv标签属性数据与time采集时间戳，点位数据与godzillaPoint的映射关系为：应用id映射为database数据库名，设备id映射为measurement度量表、采集部分参数映射为tags标签、整型或浮点型属性值映射为fields，Msgbody消息体中的采集时间映射为time，数据解析模块解析出展示属性值Display field后，进行上下阈值校验，若超过范围则生产告警记录，并根据告警规则通知配置发出系统告警，通过告警生产者(Alarm Producer)生成发送至Godzilla-Notifier集群，数据库序列化模块Database Serializer通过多数据源管理支持多个时序数据库数据源连接，并通过终端设备的应用id切换不同的数据库节点实例，数据解析模块实现数据入库的负载均衡，使数据库插入操作不再受单数据源节点性能限制，消除了数据存储的性能瓶颈，数据库提供多样化存储策略，可支持保存7天、14天、15天、30天、90天、180天、1年、3年。
7.根据权利要求1所述的一种基于大数据与AI的物联网数据平台，其特征在于，所述API开放平台服务器集群Godzilla-API通过负载均衡服务器集群进行调用分流，并实现熔断限流功能，保证集群稳定性。
8.根据权利要求1所述的一种基于大数据与AI的物联网数据平台，其特征在于，所述告警管理模块Alarm Manager通过与高速缓存集群同步在本地维护了所有告警基础配置信息和与数据点位的绑定触发关系信息，告警消费者Alarm Consumer消费由Processor集群产生的告警消息，根据告警管理中配置的告警规则进行消息通知，通知形式有sms短信、email邮件、voice语音与callback回调，触发的告警通知受根据通知形式进行数量授权控制，满足通知资源整体管控。
9.根据权利要求1所述的一种基于大数据与AI的物联网数据平台，其特征在于，所述数据预处理模块Data Pre-process根据数据点DataPoint的分组标签DataPoint Group进行数据融合，将来自不同终端设备、不同协议、不同数据格式与不同发送频率的数据在时域上进行同步，目的在于对多维向量数据样本能映射在同一时间轴上，此算法通过实时流计算的方式，可在T+n周期内完成，n为同一分组标签内所有数据点的采集周期最大值，产生新的融合数据样本后存入TSDB数据库供机器学习模块使用，采集样本空间随着采集时间的延续而增长，实现了增量性的机器学习方法，减少样本的重复学习次数，机器学习模块(MachineLearning)实现了递归神经网络Recurrent NeuralNetwork、长短期记忆神经网络(LongShort Term Memory)、朴素贝叶斯Naive Bayes、K均值聚类K mean、C4.5决策树与CART决策树样本学习，并生成决策树，决策预测模块Decision Predict提供样本输入接口，并最终输出样本决策分类结果，决策预测模块定期更新机器学习产生的决策树，最小更新周期可逼近样本属性最大采集周期。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010508367.XA CN111787066B (zh) | 2020-06-06 | 2020-06-06 | 一种基于大数据与ai的物联网数据平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010508367.XA CN111787066B (zh) | 2020-06-06 | 2020-06-06 | 一种基于大数据与ai的物联网数据平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111787066A CN111787066A (zh) | 2020-10-16 |
| CN111787066B true CN111787066B (zh) | 2023-07-28 |
Family
ID=72754081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010508367.XA Active CN111787066B (zh) | 2020-06-06 | 2020-06-06 | 一种基于大数据与ai的物联网数据平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111787066B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111866063B (zh) * | 2020-06-03 | 2023-03-31 | 上海工程技术大学 | 一种工业物联网ai算法的在线更新系统、方法及装置 |
| CN111930780B (zh) * | 2020-10-12 | 2020-12-18 | 上海冰鉴信息科技有限公司 | 数据查询方法及系统 |
| CN112383631A (zh) * | 2020-11-17 | 2021-02-19 | 珠海大横琴科技发展有限公司 | 区域物联网平台和基于区域物联网平台的数据处理方法 |
| CN112367330B (zh) * | 2020-11-17 | 2021-08-24 | 四川天邑康和通信股份有限公司 | 一种在cpe上兼容多种数据模型的方法 |
| CN112437146B (zh) * | 2020-11-18 | 2022-10-14 | 青岛海尔科技有限公司 | 一种设备状态同步方法、装置及系统 |
| CN112328404B (zh) * | 2020-11-26 | 2023-08-08 | 北京百度网讯科技有限公司 | 负载均衡方法及装置、电子设备、计算机可读介质 |
| CN112560111B (zh) * | 2020-12-11 | 2023-03-28 | 中盈优创资讯科技有限公司 | 一种适用于物联网的时序数据采集防篡改方法及装置 |
| CN112788105A (zh) * | 2020-12-25 | 2021-05-11 | 北京百度网讯科技有限公司 | 时序消息的同步方法、装置、设备以及存储介质 |
| CN112598523A (zh) * | 2020-12-30 | 2021-04-02 | 广东微聚科技有限公司 | 一种聚合区块链系统 |
| CN113283803B (zh) * | 2021-06-17 | 2024-04-23 | 金蝶软件（中国）有限公司 | 一种物资需求计划的制定方法、相关装置及存储介质 |
| CN113489777A (zh) * | 2021-07-01 | 2021-10-08 | 厦门悦讯信息科技股份有限公司 | 一种物联网设备集群化数据采集的方法及系统 |
| CN113312404B (zh) * | 2021-08-02 | 2021-11-02 | 北京华品博睿网络技术有限公司 | 一种特征样本实时采集方法及系统 |
| CN113420880B (zh) * | 2021-08-24 | 2021-11-19 | 苏州浪潮智能科技有限公司 | 网络模型训练方法、装置、电子设备及可读存储介质 |
| CN113452800B (zh) * | 2021-08-31 | 2021-11-30 | 深圳市信润富联数字科技有限公司 | 基于MQTT协议多Broker实现负载均衡的方法 |
| WO2023044675A1 (zh) * | 2021-09-23 | 2023-03-30 | 西门子股份公司 | 一种获取边缘数据的方法、连接器及数据平台 |
| CN114071698B (zh) * | 2021-10-19 | 2024-01-09 | 四川九洲空管科技有限责任公司 | 一种具备参数动态配置与状态感知的自组网数据收发方法及装置 |
| CN114257623A (zh) * | 2022-03-02 | 2022-03-29 | 中节能晶和智慧城市科技(浙江)有限公司 | 一种基于流式处理的物联网设备通信方法 |
| CN115037748A (zh) * | 2022-06-06 | 2022-09-09 | 周海燕 | 一种基于物联网的通信中转云平台 |
| CN114844897B (zh) * | 2022-07-06 | 2022-11-04 | 深圳爱换电科技有限公司 | 基于物联网的分布式动态调节长连接服务的方法及装置 |
| CN115313642A (zh) * | 2022-08-10 | 2022-11-08 | 国电南瑞科技股份有限公司 | 一种面向电力系统场景及配置的托管系统及托管方法 |
| CN115883603B (zh) * | 2022-11-25 | 2023-08-22 | 昆仑数智科技有限责任公司 | 数据代理装置、方法、电子设备、系统及存储介质 |
| CN115756875B (zh) * | 2023-01-06 | 2023-05-05 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 面向流式数据的机器学习模型在线服务部署方法及系统 |
| CN116582582B (zh) * | 2023-07-14 | 2023-10-13 | 中冶武勘智诚(武汉)工程技术有限公司 | 组件式物联网数据采集方法、系统、设备及介质 |
| CN116610656B (zh) * | 2023-07-19 | 2023-09-08 | 中国电子科技集团公司第十五研究所 | 便携式跨网数据采集方法及装置 |
| CN117541199B (zh) * | 2024-01-09 | 2024-04-16 | 成都了了科技有限公司 | 一种基于统一调度的事件枢纽平台 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699692A (zh) * | 2014-01-11 | 2014-04-02 | 樊建 | 物联网接入平台数据管理方法 |
| CN207251683U (zh) * | 2017-10-19 | 2018-04-17 | 南京欣网通信科技股份有限公司 | 基于大数据的客户感知优化平台系统 |
| CN108804630A (zh) * | 2018-05-31 | 2018-11-13 | 江苏运时数据软件股份有限公司 | 一种面向行业应用的大数据智能分析服务系统 |
| CN109581914A (zh) * | 2018-11-21 | 2019-04-05 | 无锡文思海辉信息技术有限公司 | 一种智能物联网服务平台产品生态系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106027634B (zh) * | 2016-05-16 | 2019-06-04 | 白杨 | 消息端口交换服务系统 |
-
2020
- 2020-06-06 CN CN202010508367.XA patent/CN111787066B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699692A (zh) * | 2014-01-11 | 2014-04-02 | 樊建 | 物联网接入平台数据管理方法 |
| CN207251683U (zh) * | 2017-10-19 | 2018-04-17 | 南京欣网通信科技股份有限公司 | 基于大数据的客户感知优化平台系统 |
| CN108804630A (zh) * | 2018-05-31 | 2018-11-13 | 江苏运时数据软件股份有限公司 | 一种面向行业应用的大数据智能分析服务系统 |
| CN109581914A (zh) * | 2018-11-21 | 2019-04-05 | 无锡文思海辉信息技术有限公司 | 一种智能物联网服务平台产品生态系统 |
Non-Patent Citations (1)
| Title |
|---|
| 康波 ; 孟祥飞 ; 夏梓峻 ; .应用驱动的大数据与人工智能融合平台建设.数据与计算发展前沿.2019,(第05期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111787066A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111787066B (zh) | 一种基于大数据与ai的物联网数据平台 | |
| CN109756559B (zh) | 面向嵌入式机载系统分布式数据分发服务的构建及使用方法 | |
| CN108471366A (zh) | 一种面向云原生应用的立体监控系统 | |
| CN105227367A (zh) | 一种低延迟的告警解析处理方法 | |
| CN111737329A (zh) | 一种轨道交通统一数据采集平台 | |
| CN109684036A (zh) | 一种容器集群管理方法、存储介质、电子设备及系统 | |
| CN110086759B (zh) | 一种用于在异构系统之间实现消息传递的方法和装置 | |
| KR102345082B1 (ko) | 클라우드 기반 iec61850 정보 처리 방법 | |
| CN114710571B (zh) | 数据包处理系统 | |
| CN114866528A (zh) | 一种基于MQTT和Websocket的数据通讯方法 | |
| KR101602100B1 (ko) | 사물 인터넷에서 dds 기반의 이질적인 사물 메시지 통합 방법 | |
| CN112689020A (zh) | 一种消息传输方法、消息中间件、电子设备及存储介质 | |
| KR20160110585A (ko) | 사물 인터넷에서 dds 기반 사물 품질의 설정 방법 | |
| KR20210060223A (ko) | IEC61850 연동을 위한 다중 IoT 프로토콜 변환 방법 | |
| EP4280561A1 (en) | Information flow identification method, network chip, and network device | |
| Rekik et al. | Application of a CAN BUS transport for DDS middleware | |
| Antueno et al. | Analysis, Deployment and Integration of Platforms for Fog Computing | |
| CN112687267A (zh) | 一种物联网数据语义处理系统 | |
| CN112866294A (zh) | 一种多协议适配方法、装置及可读存储介质 | |
| CN113867287B (zh) | 一种工业数据采集方法及系统 | |
| Badidi et al. | Building a data pipeline for the management and processing of urban data streams | |
| CN117272236B (zh) | 一种基于航班时序的多来源预达时间融合方法及系统 | |
| CN104572859A (zh) | 一种分布式复杂事件处理系统 | |
| Zhai et al. | An improved DDS publish/subscribe automatic discovery algorithm | |
| CN112910763B (zh) | 一种提供实时数据接口服务的方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231018 Address after: Room 4754, No. 545-551 Jipu Road, Baoshan District, Shanghai, 200439 Patentee after: Shanghai Zhibu Spacetime Digital Technology Co.,Ltd. Address before: Room 402, No. 97, Baoshan Shicun, Baoyang Road, Baoshan District, Shanghai, 2019 Patentee before: Wang Kete |
|
| TR01 | Transfer of patent right |