CN117560401B - 一种基于物联网的大规模iot设备数据监测方法 - Google Patents

一种基于物联网的大规模iot设备数据监测方法 Download PDF

Info

Publication number
CN117560401B
CN117560401B CN202410037649.4A CN202410037649A CN117560401B CN 117560401 B CN117560401 B CN 117560401B CN 202410037649 A CN202410037649 A CN 202410037649A CN 117560401 B CN117560401 B CN 117560401B
Authority
CN
China
Prior art keywords
data
iot equipment
iot
internet
things
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410037649.4A
Other languages
English (en)
Other versions
CN117560401A (zh
Inventor
朱旭平
宋彬
何文武
黄亚昌
刘敬杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Feidu Technology Co ltd
Original Assignee
Beijing Feidu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Feidu Technology Co ltd filed Critical Beijing Feidu Technology Co ltd
Priority to CN202410037649.4A priority Critical patent/CN117560401B/zh
Publication of CN117560401A publication Critical patent/CN117560401A/zh
Application granted granted Critical
Publication of CN117560401B publication Critical patent/CN117560401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/10Detection; Monitoring
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/20Analytics; Diagnosis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种基于物联网的大规模IOT设备数据监测方法,属于物联网监测技术领域,解决了现有技术在传输海量数据及更新周期短时会出现传输性能变差的问题。该方法包括:将所有IOT设备接入物联网,获取消息队列、处理、分析、统计后添加在数据库中;对数据库新增IOT设备数据进行数据预处理;建立IOT设备参数定时自动更新程序,将定时获取的IOT设备参数存储在数据库中;通过三维可视化引擎加载数据库,确定当前视野范围内所有IOT设备,提取需要显示的关键信息,并对关键信息内容进行智能切片;将当前视野范围内所有IOT设备需要显示的关键信息发送至三维可视化引擎。该方法可使三维可视化引擎定时更新视野范围,并改善数据传输性能。

Description

一种基于物联网的大规模IOT设备数据监测方法
技术领域
本发明涉及物联网监测技术领域,尤其涉及一种基于物联网的大规模IOT设备数据监测方法。
背景技术
物联网(IOT)的发展已经在各个领域和行业产生了深远的影响。随着技术的不断进步,物联网的应用场景和潜力也在不断扩展和深化。物联网可以应用于许多可持续发展的领域,例如智能城市、智能交通、智能能源等。通过物联网技术,可以更好地监测和管理城市的能源消耗、交通拥堵和废弃物排放等问题,从而推动城市的可持续发展。
在智慧城市管理中,对于IOT设备的可视化需求也越来越复杂,如何在浏览器端展示海量级IOT设备数据也成为IOT可视化领域的重要问题。IOT可视化的内容主要包括IOT设备的位置信息以及IOT设备的当前参数值,但是由于IOT设备的当前参数值实时更新的特性,需要浏览器频繁请求数据。
目前,IOT可视化展示主要借助地图引擎来显示IOT设备的位置信息,并不断向服务器发送http请求来获取IOT设备的参数值,这样在遇到海量数据以及更新周期短时,会遇到很大的传输性能瓶颈,影响显示的效果及效率。
发明内容
鉴于上述的分析,本发明实施例旨在提供一种基于物联网的大规模IOT设备数据监测方法,用以解决现有技术在传输海量数据及更新周期短时会出现传输性能变差的问题。
一方面,本发明实施例提供了一种基于物联网的大规模IOT设备数据监测方法,包括如下步骤:
S1.将所有IOT设备接入物联网,定时获取包括所有IOT设备数据的消息队列,对消息队列中的数据进行处理、分析、统计后添加在数据库中;
S2.对数据库新增加的IOT设备数据进行数据预处理,包括配置每一IOT设备的位置、参数及显示标题格式;
S3.建立IOT设备参数定时自动更新程序,并将定时获取的IOT设备参数存储在数据库中;
S4.通过三维可视化引擎加载上述数据库,确定当前视野范围内所有IOT设备,通过深度学习模式提取当前视野范围内所有IOT设备需要显示的关键信息,并对关键信息内容进行智能切片;
S5.将智能切片后当前视野范围内所有IOT设备需要显示的关键信息发送至三维可视化引擎,以使三维可视化引擎定时更新视野范围。
上述技术方案的有益效果如下:针对现有技术海量IOT设备实时显示性能低、显示效果差等情况,上述方案通过消息队列将IOT设备的参数值存储在数据库中。并通过检索算法快速查找到地图引擎当前视野范围内所有的IOT设备,从而快速查找到这些IOT设备的参数值。然后融合深度学习的方法,对发送的数据进行智能切片,保证每次发送数据的完整性。
基于上述方法的进一步改进,步骤S1进一步包括:
S11.将所有IOT设备接入物联网;
S12.定时通过物联网获取包括所有IOT设备数据的消息队列,通过大数据分析引擎从消息队列中获取IOT设备数据;
S13.对IOT设备数据依次进行处理、分析、统计,最后将每一IOT设备的所有数据均存储在数据库中。
进一步,步骤S2进一步包括:
S21.对数据库新增加的IOT设备数据,识别数据类型后,配置每一IOT设备的位置、参数及显示标题格式;
S22.对配置后的IOT设备数据进行正误性校验,包括影像正射纠正、数据范围验证、参数关系验证。
进一步,步骤S3进一步包括:
S31.建立IOT设备参数定时自动更新程序,设置IOT设备的更新频率;
S32.根据IOT设备的更新频率,通过大数据分析引擎从消息队列中定时获取IOT设备参数,存储在数据库中该IOT设备的相应位置。
进一步,步骤S4进一步包括:
S41.通过三维可视化引擎加载上述数据库;
S42.通过范围检索算法,结合搜索引擎,确定当前视野范围内所有IOT设备;
S43.确定当前视野范围内所有IOT设备数据;
S44.通过深度学习模式,自动提取当前视野范围内所有IOT设备需要显示的关键信息;
S45.确定当前视野范围内每一IOT设备需要显示的关键信息的大小,并根据该关键信息的大小,对关键信息内容进行智能切片,以保证每一切片数据的完整性。
进一步,步骤S5进一步包括:
S51.通过websocket软件,在浏览器和服务器之间建立实时双向通信;
S52.在浏览器上设置关键词,搜索服务器,查找所述关键词对应的智能切片后当前视野范围内所有IOT设备,并在浏览器的三维可视化引擎中加载所述关键词对应的IOT设备;
S53.识别三维可视化引擎视野范围是否更新,若未更新,直接进行所述关键词对应的IOT设备的显示,若已更新,重复步骤S41~S45,并在三维可视化引擎中删除当前视野范围外的IOT设备,加载视野范围内新增加的IOT设备再进行所述关键词对应的IOT设备的显示,以使三维可视化引擎定时更新视野范围。
进一步,该方法还包括如下步骤:
S6.检测每一IOT设备数据,确定该IOT设备是否发生故障,如果故障执行下一步;
S7.在故障状态时通过蜂鸣器、报警信号灯,分别发出声音和灯光信号进行报警,并显示故障信息发生的时间、地点、IOT设备名称。
进一步,该方法应用于生产工艺时,还包括如下步骤:
S8.进行过程监视,包括每一IOT设备的启动、停止、状态变更;
S9.进行每一IOT设备的远程自动控制,包括设定起始时间、结束时间、设备状态。
进一步,步骤S13进一步包括:
S131.在消息队列的LOT设备数据流入时,对该数据进行解析;
S132.配置清洗规则对步骤S131获得的解析结果进行数据清洗,配置数据转换规则对清洗结果进行数据转换;
S133.根据步骤S132获得的转换后的LOT设备数据创建表结构,将每一LOT设备数据存储在表结构的数据库中;
S134.利用流处理引擎进行实时计算和聚合,使用窗口函数、滑动窗口进行数据统计,将数据统计结果进一步存储在上述表结构的数据库中。
进一步,步骤S45进一步包括:
S451.确定当前视野范围内每一IOT设备需要显示的关键信息的大小;
S452.根据该关键信息的大小设置系统分片阈值;
S453.将每一IOT设备需要显示的关键信息内容以及上述系统分片阈值输入经过训练的深度学习模型中,通过深度学习模型的动态规划算法进行智能切片,以使每个数据分片包含有意义的信息;
S454.通过深度学习模型预测网络状态,动态调整数据分片的大小或选择性地传输数据;
S455.建立实时反馈机制,通过深度学习模型学习不断优化数据分片的大小和传输策略。
提供发明内容部分是为了以简化的形式来介绍对概念的选择,它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本发明的重要特征或必要特征,也无意限制本发明的范围。
附图说明
通过结合附图对本发明示例性实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显,其中,在本发明示例性实施例中,相同的参考标号通常代表相同部件。
图1示出了实施例1中基于物联网的大规模IOT设备数据监测方法步骤示意图。
具体实施方式
下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的实施例,然而应该理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了使本发明更加透彻和完整,并且能够将本发明的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个此外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
实施例1
本发明的一个实施例,公开了一种基于物联网的大规模IOT设备数据监测方法,旨在通过优化数据传输过程,在传输海量数据及更新周期短时改善传输性能。如图1所示,该方法包括如下步骤:
S1.将所有IOT设备接入物联网,定时获取包括所有IOT设备数据的消息队列,对消息队列中的数据进行处理、分析、统计后添加在数据库中;
S2.对数据库新增加的IOT设备数据进行数据预处理,包括配置每一IOT设备的位置、参数及显示标题格式;
S3.建立IOT设备参数定时自动更新程序,并将定时获取的IOT设备参数存储在数据库中;
S4.通过三维可视化引擎加载上述数据库,确定当前视野范围内所有IOT设备,通过深度学习模式提取当前视野范围内所有IOT设备需要显示的关键信息,并对关键信息内容进行智能切片;
S5.将智能切片后当前视野范围内所有IOT设备需要显示的关键信息发送至三维可视化引擎,以使三维可视化引擎定时更新视野范围。
与现有技术相比,本实施例提出的方法针对现有技术海量IOT设备实时显示性能低、显示效果差等情况,通过消息队列将IOT设备的参数值存储在数据库中。并通过检索算法快速查找到地图引擎当前视野范围内所有的IOT设备,从而快速查找到这些IOT设备的参数值。然后融合深度学习的方法,对发送的数据进行智能切片,保证每次发送数据的完整性。
实施例2
在实施例1的基础上进行改进,步骤S1(数据存储)进一步包括:
S11.将所有IOT设备接入物联网;具体地,通过ETL数据集成实现动态配置IOT设备接口;
S12.定时通过物联网获取包括所有IOT设备数据的消息队列,通过大数据分析引擎从消息队列中获取IOT设备数据;
S13.对IOT设备数据依次进行处理、分析、统计,最后将每一IOT设备的所有数据均存储在数据库中。
优选地,步骤S2(数据预处理)进一步包括:
S21.对数据库新增加的IOT设备数据,识别数据类型后,配置每一IOT设备的位置、参数及显示标题格式;
S22.对配置后的IOT设备数据进行正误性校验,包括影像正射纠正、数据范围验证、参数关系验证。
优选地,步骤S3进一步包括:
S31.建立IOT设备参数定时自动更新程序,设置IOT设备的更新频率;
S32.根据IOT设备的更新频率,定时通过大数据分析引擎从消息队列中定时获取IOT设备参数,存储在数据库中该IOT设备的相应位置。
优选地,步骤S4(数据可视化)进一步包括:
S41.浏览器借助三维可视化引擎加载上述数据库;
S42.通过范围检索算法,结合搜索引擎,确定当前视野范围内所有IOT设备;
S43.确定当前视野范围内所有IOT设备数据;
S44.通过深度学习模式,自动提取当前视野范围内所有IOT设备需要显示的关键信息;
S45.确定当前视野范围内每一IOT设备需要显示的关键信息的大小,并根据该关键信息的大小,对关键信息内容进行智能切片,以保证每一切片数据的完整性。
优选地,步骤S5进一步包括:
S51.通过websocket软件,在浏览器和服务器之间建立实时双向通信;
S52.在浏览器上设置关键词,搜索服务器,查找所述关键词对应的智能切片后当前视野范围内所有IOT设备,并在浏览器的三维可视化引擎中加载所述关键词对应的IOT设备;
S53.识别三维可视化引擎视野范围是否更新,若未更新,直接进行所述关键词对应的IOT设备的显示,若已更新,重复步骤S41~S45,并在三维可视化引擎中删除当前视野范围外的IOT设备,加载视野范围内新增加的IOT设备再进行所述关键词对应的IOT设备的显示,以使三维可视化引擎定时更新视野范围。
优选地,该方法还包括如下步骤:
S6.检测每一IOT设备数据,确定该IOT设备是否发生故障,如果故障执行下一步;
S7.在故障状态时通过蜂鸣器、报警信号灯,分别发出声音和灯光信号进行报警,并显示故障信息发生的时间、地点、IOT设备名称。
优选地,该方法应用于生产工艺时,还包括如下步骤:
S8.进行过程监视,包括每一IOT设备的启动、停止、状态变更;
S9.进行每一IOT设备的远程自动控制,包括设定起始时间、结束时间、设备状态。
优选地,步骤S13进一步包括:
S131.在消息队列的LOT设备数据流入时,对该数据进行解析;
S132.配置清洗规则对步骤S131获得的解析结果进行数据清洗,配置数据转换规则对清洗结果进行数据转换;
S133.根据步骤S132获得的转换后的LOT设备数据创建表结构,将每一LOT设备数据存储在表结构的数据库中;
S134.(在处理流程中)利用流处理引擎进行实时计算和聚合,使用窗口函数、滑动窗口等进行数据统计,将数据统计结果进一步存储在上述表结构的数据库中。
在网络环境中,传输的数据大小会受到最大传输单元 (MTU) 的限制。如果传输的数据超过了 MTU 的限制,那么就需要进行数据分片。目前系统中默认分片阈值是10KB。
优选地,步骤S45进一步包括:
S451.确定当前视野范围内每一IOT设备需要显示的关键信息的大小;
S452.根据该关键信息的大小设置系统分片阈值;
S453.将每一IOT设备需要显示的关键信息内容以及上述系统分片阈值输入经过训练的深度学习模型中,通过深度学习模型的动态规划算法进行智能切片,以使每个数据分片包含有意义的信息;
S454.(同时考虑网络环境会发生实时变化)通过深度学习模型预测网络状态,动态调整数据分片的大小或选择性地传输数据;
S455.建立实时反馈机制,通过深度学习模型学习不断优化数据分片的大小和传输策略略,以适应不断变化的环境和需求。最后将数据发送给浏览器端。
与现有技术相比,本实施例提供的基于物联网的大规模IOT设备数据监测方法具有如下有益效果:
1、通过消息队列以及大数据分析引擎,将IOT设备的参数值存储在时序数据库中。并通过范围检索算法,快速查找到地图引擎当前视野范围内所有的IOT设备,并结合搜索和数据分析引擎,快速查找到这些IOT设备的参数值。然后通过websocket技术,在浏览器和服务端建立实时双向通信,将IOT设备及参数发送给浏览器,在此过程中,融合深度学习的方法,对发送的数据进行智能切片,保证每次发送数据的完整性。
2、浏览器接收到发送的信息后,根据IOT设备ID和参数值,批量更新IOT设备的参数值。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对现有技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于物联网的大规模IOT设备数据监测方法,其特征在于,包括如下步骤:
S1.将所有IOT设备接入物联网,定时获取包括所有IOT设备数据的消息队列,对消息队列中的数据进行处理、分析、统计后添加在数据库中;
S2.对数据库新增加的IOT设备数据进行数据预处理,包括配置每一IOT设备的位置、参数及显示标题格式;
S3.建立IOT设备参数定时自动更新程序,并将定时获取的IOT设备参数存储在数据库中;
S4.通过三维可视化引擎加载上述数据库,确定当前视野范围内所有IOT设备,通过深度学习模式提取当前视野范围内所有IOT设备需要显示的关键信息,并对关键信息内容进行智能切片;
S5.将智能切片后当前视野范围内所有IOT设备需要显示的关键信息发送至三维可视化引擎,以使三维可视化引擎定时更新视野范围。
2.根据权利要求1所述的基于物联网的大规模IOT设备数据监测方法,其特征在于,步骤S1进一步包括:
S11.将所有IOT设备接入物联网;
S12.定时通过物联网获取包括所有IOT设备数据的消息队列,通过大数据分析引擎从消息队列中获取IOT设备数据;
S13.对IOT设备数据依次进行处理、分析、统计,最后将每一IOT设备的所有数据均存储在数据库中。
3.根据权利要求1或2所述的基于物联网的大规模IOT设备数据监测方法,其特征在于,步骤S2进一步包括:
S21.对数据库新增加的IOT设备数据,识别数据类型后,配置每一IOT设备的位置、参数及显示标题格式;
S22.对配置后的IOT设备数据进行正误性校验,包括影像正射纠正、数据范围验证、参数关系验证。
4.根据权利要求3所述的基于物联网的大规模IOT设备数据监测方法,其特征在于,步骤S3进一步包括:
S31.建立IOT设备参数定时自动更新程序,设置IOT设备的更新频率;
S32.根据IOT设备的更新频率,通过大数据分析引擎从消息队列中定时获取IOT设备参数,存储在数据库中该IOT设备的相应位置。
5.根据权利要求4所述的基于物联网的大规模IOT设备数据监测方法,其特征在于,步骤S4进一步包括:
S41.通过三维可视化引擎加载上述数据库;
S42.通过范围检索算法,结合搜索引擎,确定当前视野范围内所有IOT设备;
S43.确定当前视野范围内所有IOT设备数据;
S44.通过深度学习模式,自动提取当前视野范围内所有IOT设备需要显示的关键信息;
S45.确定当前视野范围内每一IOT设备需要显示的关键信息的大小,并根据该关键信息的大小,对关键信息内容进行智能切片,以保证每一切片数据的完整性。
6.根据权利要求5所述的基于物联网的大规模IOT设备数据监测方法,其特征在于,步骤S5进一步包括:
S51.通过websocket软件,在浏览器和服务器之间建立实时双向通信;
S52.在浏览器上设置关键词,搜索服务器,查找所述关键词对应的智能切片后当前视野范围内所有IOT设备,并在浏览器的三维可视化引擎中加载所述关键词对应的IOT设备;
S53.识别三维可视化引擎视野范围是否更新,若未更新,直接进行所述关键词对应的IOT设备的显示,若已更新,重复步骤S41~S45,并在三维可视化引擎中删除当前视野范围外的IOT设备,加载视野范围内新增加的IOT设备再进行所述关键词对应的IOT设备的显示,以使三维可视化引擎定时更新视野范围。
7.根据权利要求6所述的基于物联网的大规模IOT设备数据监测方法,其特征在于,还包括如下步骤:
S6.检测每一IOT设备数据,确定该IOT设备是否发生故障,如果故障执行下一步;
S7.在故障状态时通过蜂鸣器、报警信号灯,分别发出声音和灯光信号进行报警,并显示故障信息发生的时间、地点、IOT设备名称。
8.根据权利要求7所述的基于物联网的大规模IOT设备数据监测方法,其特征在于,该方法应用于生产工艺时,还包括如下步骤:
S8.进行过程监视,包括每一IOT设备的启动、停止、状态变更;
S9.进行每一IOT设备的远程自动控制,包括设定起始时间、结束时间、设备状态。
9.根据权利要求8所述的基于物联网的大规模IOT设备数据监测方法,其特征在于,步骤S13进一步包括:
S131.在消息队列的IOT设备数据流入时,对该数据进行解析;
S132.配置清洗规则对步骤S131获得的解析结果进行数据清洗,配置数据转换规则对清洗结果进行数据转换;
S133.根据步骤S132获得的转换后的IOT设备数据创建表结构,将每一IOT设备数据存储在表结构的数据库中;
S134.利用流处理引擎进行实时计算和聚合,使用窗口函数、滑动窗口进行数据统计,将数据统计结果进一步存储在上述表结构的数据库中。
10.根据权利要求9所述的基于物联网的大规模IOT设备数据监测方法,其特征在于,步骤S45进一步包括:
S451.确定当前视野范围内每一IOT设备需要显示的关键信息的大小;
S452.根据该关键信息的大小设置系统分片阈值;
S453.将每一IOT设备需要显示的关键信息内容以及上述系统分片阈值输入经过训练的深度学习模型中,通过深度学习模型的动态规划算法进行智能切片,以使每个数据分片包含有意义的信息;
S454.通过深度学习模型预测网络状态,动态调整数据分片的大小或选择性地传输数据;
S455.建立实时反馈机制,通过深度学习模型学习不断优化数据分片的大小和传输策略。
CN202410037649.4A 2024-01-10 2024-01-10 一种基于物联网的大规模iot设备数据监测方法 Active CN117560401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410037649.4A CN117560401B (zh) 2024-01-10 2024-01-10 一种基于物联网的大规模iot设备数据监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410037649.4A CN117560401B (zh) 2024-01-10 2024-01-10 一种基于物联网的大规模iot设备数据监测方法

Publications (2)

Publication Number Publication Date
CN117560401A CN117560401A (zh) 2024-02-13
CN117560401B true CN117560401B (zh) 2024-03-19

Family

ID=89823520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410037649.4A Active CN117560401B (zh) 2024-01-10 2024-01-10 一种基于物联网的大规模iot设备数据监测方法

Country Status (1)

Country Link
CN (1) CN117560401B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309964A (zh) * 2013-06-03 2013-09-18 广州市香港科大霍英东研究院 一种针对大规模交通数据的高效可视监测分析系统
WO2020227429A1 (en) * 2019-05-06 2020-11-12 Strong Force Iot Portfolio 2016, Llc Platform for facilitating development of intelligence in an industrial internet of things system
CN115374211A (zh) * 2022-08-11 2022-11-22 深圳市博硕科技股份有限公司 基于物联网的车间设备运行监测方法、装置和计算机设备
CN115525034A (zh) * 2022-09-23 2022-12-27 人工智能与数字经济广东省实验室(广州) 一种工业设备运行与维护云端平台及方法
WO2023030513A1 (zh) * 2021-09-05 2023-03-09 汉熵通信有限公司 物联网系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040243533A1 (en) * 2002-04-08 2004-12-02 Wsi Corporation Method for interactively creating real-time visualizations of traffic information
CA3128629A1 (en) * 2015-06-05 2016-07-28 C3.Ai, Inc. Systems and methods for data processing and enterprise ai applications
EP4437485A2 (en) * 2021-11-23 2024-10-02 Strong Force TX Portfolio 2018, LLC Transaction platforms where systems include sets of other systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309964A (zh) * 2013-06-03 2013-09-18 广州市香港科大霍英东研究院 一种针对大规模交通数据的高效可视监测分析系统
WO2020227429A1 (en) * 2019-05-06 2020-11-12 Strong Force Iot Portfolio 2016, Llc Platform for facilitating development of intelligence in an industrial internet of things system
WO2023030513A1 (zh) * 2021-09-05 2023-03-09 汉熵通信有限公司 物联网系统
CN115374211A (zh) * 2022-08-11 2022-11-22 深圳市博硕科技股份有限公司 基于物联网的车间设备运行监测方法、装置和计算机设备
CN115525034A (zh) * 2022-09-23 2022-12-27 人工智能与数字经济广东省实验室(广州) 一种工业设备运行与维护云端平台及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大规模无线传感器网络数据收集与处理系统设计;樊镭 等;传感技术学报;20111130;第24卷(第11期);第1611-1616也 *

Also Published As

Publication number Publication date
CN117560401A (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN107038162B (zh) 基于数据库日志的实时数据查询方法和系统
CN106330533B (zh) 一种大规模网络告警实时拓扑建立方法
CN110597057A (zh) 在工业应用场景下的数据处理系统
CN104077293A (zh) 网页获取方法和装置
CN112749153A (zh) 一种工业网络数据管理系统
CN113449207A (zh) 电子设备定位的方法、装置、服务器、系统以及存储介质
CN117560401B (zh) 一种基于物联网的大规模iot设备数据监测方法
CN115309815A (zh) 一种基于大数据的网络舆情监测系统及方法
US11546417B2 (en) Method for managing artificial intelligence application, device, and program product
CN117131138A (zh) 基于数据湖的数据处理方法、装置、设备和介质
CN113938484B (zh) 一种基于边缘计算的终端设备管理方法
EP4439212A1 (en) Vehicle state remote monitoring method and system
CN105446707B (zh) 一种数据转换方法
CN113706668B (zh) 一种根据网关数据实现玻璃运行三维动画的方法
CN116032911A (zh) 一种基于websocket的物联网大屏实时监控系统
CN115766794A (zh) 一种智慧海洋的物联云监控管理系统及方法
JP7464196B2 (ja) Scadaウェブhmiシステム
CN114297211A (zh) 一种数据在线分析系统、方法、设备及存储介质
CN111061771A (zh) 大数据信息采集传输系统
CN111178406B (zh) 气象水文数据接收终端状态监控和远程管理系统
CN111814229A (zh) 基于bim的工厂加工管理方法、装置、设备及介质
CN118018439B (zh) 一种监测系统用数据管理系统
CN116346888B (zh) 一种配置文件生成方法、装置及设备
TWI834470B (zh) SCADA Web HMI系統
JP7464195B2 (ja) Scadaウェブhmiシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant