CN115016923A - 基于边缘网关的物联网数据智能处理方法 - Google Patents

基于边缘网关的物联网数据智能处理方法 Download PDF

Info

Publication number
CN115016923A
CN115016923A CN202111657331.9A CN202111657331A CN115016923A CN 115016923 A CN115016923 A CN 115016923A CN 202111657331 A CN202111657331 A CN 202111657331A CN 115016923 A CN115016923 A CN 115016923A
Authority
CN
China
Prior art keywords
data
internet
things
edge gateway
cloud server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111657331.9A
Other languages
English (en)
Inventor
何瑛
王爱玲
卞旭辉
宋文君
徐小文
王旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Penghai Software Co ltd
Original Assignee
Qingdao Penghai Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Penghai Software Co ltd filed Critical Qingdao Penghai Software Co ltd
Priority to CN202111657331.9A priority Critical patent/CN115016923A/zh
Publication of CN115016923A publication Critical patent/CN115016923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/30—Information sensed or collected by the things relating to resources, e.g. consumed power

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种基于边缘网关的物联网数据智能处理方法，基于边缘网关的物联网数据智能处理方法，包括：步骤1、边缘网关与物联网子域内的物联网设备相连，并采集物联网设备的数据；步骤2、边缘网关对采集的数据进行预处理，以获取模型参数；步骤3、边缘网关将数据以及模型参数发送给云端服务器；步骤4、云端服务器对接收到的数据和模型参数与已存储的AI模型匹配，进行物联网子域内的统计分析和计算以获得整合数据信息并存储;步骤5、云端服务器接受用户发起的业务请求后，根据业务请求获取相匹配的整合数据信息；步骤6、云端服务器的整合数据信息发送给用户。实现在满足物联网系统使用需求的前提下，减少数据传输带宽、减轻服务器计算压力、提高数据处理效率。

Description

基于边缘网关的物联网数据智能处理方法
技术领域
本发明涉及数据分析技术领域，尤其涉及一种基于边缘网关的物联网数据智能处理方法。
背景技术
物联网设备数量的迅速增长对传统基于集中式云服务器架构的数据处理方式带来了极大的挑战。一方面，集中式的数据管理方式会导致中心云服务器的负载过高、压力过大，同时海量数据传输到云服务器处理会产生极高的带宽占用；另一方面，集中式架构的实时性较差，难以快速响应从网络边缘侧产生的海量请求，无法很好地满足低时延场景的使用需求。鉴于此，如何提出一种在满足物联网系统使用需求的前提下，减少数据传输带宽、减轻服务器计算压力、提高数据处理效率的技术是本发明所要解决的技术问题。
发明内容
本发明提供一种基于边缘网关的物联网数据智能处理方法，实现在满足物联网系统使用需求的前提下，减少数据传输带宽、减轻服务器计算压力、提高数据处理效率。
为达到上述目的，本发明采用如下技术方案：
本发明提供了一种基于边缘网关的物联网数据智能处理方法，包括：
步骤1、边缘网关与物联网子域内的物联网设备相连，并采集物联网设备的数据；
步骤2、边缘网关对采集的数据进行预处理，以获取模型参数；
步骤3、边缘网关将数据以及模型参数发送给云端服务器；
步骤4、云端服务器对接收到的数据和模型参数与已存储的AI模型匹配，进行物联网子域内的统计分析和计算以获得整合数据信息并存储;
步骤5、云端服务器接受用户发起的业务请求后，根据业务请求获取相匹配的整合数据信息；
步骤6、云端服务器的整合数据信息发送给用户。
进一步的，所述步骤1，具体为：
边缘网关通过网络与物联网子域内的物联网设备相连，调用数据采集接口从对应的物联网子域内的物联网设备中采集数据。
进一步的，所述步骤2，具体为：
边缘网关调用内置的规则引擎，对采集的数据进行预处理，并调用本地的数据处理程序，对采集的数据进行局部统计分析与计算。
进一步的，所述步骤3，具体为：
边缘网关调用数据上传接口，将预处理后的数据上传给云端服务器。
进一步的，所述步骤4，具体为：
云服务器汇聚各个边缘网关发送过来的数据并对数据进行整合，同时，调用本地AI模型对数据进行数据挖掘和/或全局统计分析计算，将整合后数据和经过本地AI模型处理后的数据一同存储到数据库中以获得整合数据信息。
进一步的，边缘网关、服务器、用户之间采用HTTP请求方式进行数据交互。
本发明的技术方案相对现有技术具有如下技术效果：通过将部分数据处理任务下发至边缘网关执行，充分利用了边缘网关自身的算力资源，解决了集中式数据管理方式会导致中心云服务器的负载过高、压力过大的问题，同时，利用边缘网关近设备侧的优势，很好地满足低时延场景的使用需求，在保证物联网系统使用需求的前提下，减少了数据传输带宽、减轻了服务器计算压力、提高了数据处理效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于边缘网关的物联网数据智能处理方法实施例的流程图之一；
图2为本发明基于边缘网关的物联网数据智能处理方法实施例的流程图之二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例基于边缘网关的物联网数据智能处理方法，包括：
步骤101、边缘网关与物联网子域内的物联网设备相连，并采集物联网设备的数据；
步骤102、边缘网关对采集的数据进行预处理，以获取模型参数；
步骤103、边缘网关将数据以及模型参数发送给云端服务器；
步骤104、云端服务器对接收到的数据和模型参数与已存储的AI模型匹配，进行物联网子域内的统计分析和计算以获得整合数据信息并存储;
步骤105、云端服务器接受用户发起的业务请求后，根据业务请求获取相匹配的整合数据信息；
步骤106、云端服务器的整合数据信息发送给用户。
具体而言，对于物联网系统下的各种物联网设备，由于分布区域广泛，为了更加及时有效的提高数据采集能力，减轻云端服务器的数据传输压力，则针对每个物联网子区域配置独立的边缘网关，边缘网关直接设置在物联网子域内，利用地域优势，使得边缘网关能够快速高效的与物联网子域内的物联网设备进行通讯，进而获取物联网子域内的物联网设备的相关数据。
同时，边缘网关作为一种近边缘设备，其本身具有一定的计算和存储能力，可以进行一定的数据处理操作，实现对边缘侧对应物联网子域内的物联网设备数据进行快速处理与响应。
为此，本实施例基于边缘网关的物联网数据智能处理方法中的步骤S101则通过物联网子域内的边缘网关与该物联网子域内的各个物联网设备相连，以采集物联网设备的数据信息。
其中，所述步骤101，具体为：边缘网关通过网络与物联网子域内的物联网设备相连，调用数据采集接口从对应的物联网子域内的物联网设备中采集数据。
具体的，物联网子域的范围根据使用场景的不同而不同，物联网子域可以是一栋建筑、一家工厂、一个园区或是一座城市。而数据采集接口是指物联网设备厂商为物联网设备预设的专门供其他用户或设备获取其数据的接口，另外，所述相关数据是指物联网设备运行状态、设备监测数据、故障报警信息等。
对于边缘网关采集的数据，边缘网关依靠自身计算能力，可以对采集的数据进行预处理，边缘网关调用内置的规则引擎，对采集的数据进行预处理，并调用本地的数据处理程序，对采集的数据进行局部统计分析与计算。
具体的，在数据采集过程中，边缘网关调用内置的规则引擎，对采集的数据进行预处理，随后调用本地的数据处理程序，对预处理的数据进行局部统计分析与计算。边缘网关对采集的数据进行的缺失值填充、异常数据过滤等操作，而边缘网关在本地数据处理程序中设置有AI模型、统计算法、实时计算算法等。
边缘网关采集的数据处理后形成模型参数并通过步骤103发送给云端服务器，这样，就无需云端服务器频繁与众多的物联网设备进行通讯。具体的，边缘网关调用数据上传接口，将预处理后的数据上传给云端服务器。而该数据上传接口则是指部署在边缘网关内部的，供边缘网关与云端服务器通信并将采集数据发送给服务器的接口。
边缘网关靠近物联网设备，对物联网数进行实时计算、统计分析，以提高计算的实时性。
进一步的，所述步骤104，具体为：云服务器汇聚各个边缘网关发送过来的数据并对数据进行整合，同时，调用本地AI模型对数据进行数据挖掘和/或全局统计分析计算，将整合后数据和经过本地AI模型处理后的数据一同存储到数据库中以获得整合数据信息。
具体的，云服务器汇聚各边缘网关发送过来的数据，对数据进行整合，并调用本地AI模型对数据进行数据挖掘和/或全局统计分析计算，将整合后数据和经过本地AI模型处理后的数据一同存储到数据库中。
其中，云服务器中的AI模型是指通过机器学习、深度学习等方式构建的数据模型，以供云服务器对数据进行数据处理、数据分析的操作。
最后，对于用户侧，用户可以向云服务器发送业务请求，此时，则执行步骤S105，云服务器接收用户发起的业务请求，根据业务请求查询数据库中匹配的数据信息，并根据业务功能对数据作进一步处理以形成与用户业务请求匹配的数据，然后，在发送至用户使用。
进一步的，边缘网关、云端服务器、用户之间采用HTTP请求方式进行数据交互。具体的，各边缘网关和云端服务器在初始化时共享彼此的IP地址、监听端口号等信息，因各边缘网关可以通过HTTP请求或其他方式将数据直接发送给云端服务器。同时，云端服务器需要绑定并监听本地端口号，用于接收并响应边缘网关和/或用户发送过来的数据或请求。
如图2所示，以园区用电量预测为例进行说明。
步骤S201：各边缘网关调用数据采集接口从所负责园区的建筑智能化子系统中采集电表数据和其他与用电量预测相关的数据。
具体地，所述建筑智能化子系统包括但不限于出入口控制系统、环境监测系统、楼控系统、停车场管理系统、能源管理系统等。所述用电量预测相关数据包括但不限于环境监测数据（气候数据）、园区设备数量和/或园区人员数量。
步骤S202：各边缘网关调用内置的规则引擎，对采集的数据进行预处理，统计园区内总用电量和其他用电量预测相关的数据，并将统计后数据作为参数传入本地的用电量预测模型进行模型训练，获取训练优化后的模型参数。
具体地，所述用电量预测模型可以通过机器学习、深度学习等方式构建，在本申请实施例中使用RNN循环神经网络构建用电量预测模型。
步骤S203：各边缘网关调用数据上传接口，将统计数据和训练后的本地模型参数发送给云端服务器。
步骤S204：云服务器汇聚各边缘网关发送过来的数据，聚合模型参数。
具体地，所述模型参数聚合方式包括但不限于取均值、加权平均等，可以根据业务场景的实际使用需求进行选择，在本申请实施例中采用加权平均方式聚合各边缘网关的模型参数。
步骤S205：云服务器将聚合后的模型参数以及边缘网关发送过来的统计数据一同存储到数据库中。
具体地，所述数据库是指MySQL数据库以及IPFS文件系统。
所述IPFS（即星际文件系统）是一种去中心化的分布式存储系统，以文件形式存储数据，通过文件内容生成唯一的哈希值来标识文件。本申请实施例中使用IPFS存储模型参数，以解决传统数据库存储大容量文件数据（此处特指模型参数）所带来的操作不便性。
步骤S206：用户向云服务器发起用电量预测请求，请求预测下个月各园区的用电量情况。
步骤S207：云服务器加载用电量预测模型，从数据库中读取模型参数、各园区历史用电量数据以及其他用电量预测相关的统计数据，将其作为模型输入参数来预测各园区下个月的用电量。
需要注意的是，历史用电量数据可以是前一个月、前一季度或前一年的用电量数据，具体的时间段可由开发人员自定义，在本申请实施例中获取前一年的用电量数据作为历史数据进行用电量预测。
步骤S208：云服务器响应用户请求，将用电量预测结果返回给用户。
本发明的技术方案相对现有技术具有如下技术效果：通过将部分数据处理任务下发至边缘网关执行，充分利用了边缘网关自身的算力资源，解决了集中式数据管理方式会导致中心云服务器的负载过高、压力过大的问题，同时，利用边缘网关近设备侧的优势，很好地满足低时延场景的使用需求，在保证物联网系统使用需求的前提下，减少了数据传输带宽、减轻了服务器计算压力、提高了数据处理效率。。
以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种基于边缘网关的物联网数据智能处理方法，其特征在于，包括：
步骤1、边缘网关与物联网子域内的物联网设备相连，并采集物联网设备的数据；
步骤2、边缘网关对采集的数据进行预处理，以获取模型参数；
步骤3、边缘网关将数据以及模型参数发送给云端服务器；
步骤4、云端服务器对接收到的数据和模型参数与已存储的AI模型匹配，进行物联网子域内的统计分析和计算以获得整合数据信息并存储;
步骤5、云端服务器接受用户发起的业务请求后，根据业务请求获取相匹配的整合数据信息；
步骤6、云端服务器的整合数据信息发送给用户。
2.根据权利要求1所述的基于边缘网关的物联网数据智能处理方法，其特征在于，所述步骤1，具体为：
边缘网关通过网络与物联网子域内的物联网设备相连，调用数据采集接口从对应的物联网子域内的物联网设备中采集数据。
3.根据权利要求1所述的基于边缘网关的物联网数据智能处理方法，其特征在于，所述步骤2，具体为：
边缘网关调用内置的规则引擎，对采集的数据进行预处理，并调用本地的数据处理程序，对采集的数据进行局部统计分析与计算。
4.根据权利要求1所述的基于边缘网关的物联网数据智能处理方法，其特征在于，所述步骤3，具体为：
边缘网关调用数据上传接口，将预处理后的数据上传给云端服务器。
5.根据权利要求1所述的基于边缘网关的物联网数据智能处理方法，其特征在于，所述步骤4，具体为：
云服务器汇聚各个边缘网关发送过来的数据并对数据进行整合，同时，调用本地AI模型对数据进行数据挖掘和/或全局统计分析计算，将整合后数据和经过本地AI模型处理后的数据一同存储到数据库中以获得整合数据信息。
6.根据权利要求1所述的基于边缘网关的物联网数据智能处理方法，其特征在于，边缘网关、服务器、用户之间采用HTTP请求方式进行数据交互。
CN202111657331.9A 2021-12-31 2021-12-31 基于边缘网关的物联网数据智能处理方法 Pending CN115016923A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111657331.9A CN115016923A (zh) 2021-12-31 2021-12-31 基于边缘网关的物联网数据智能处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111657331.9A CN115016923A (zh) 2021-12-31 2021-12-31 基于边缘网关的物联网数据智能处理方法

Publications (1)

Publication Number Publication Date
CN115016923A true CN115016923A (zh) 2022-09-06

Family

ID=83064851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111657331.9A Pending CN115016923A (zh) 2021-12-31 2021-12-31 基于边缘网关的物联网数据智能处理方法

Country Status (1)

Country Link
CN (1) CN115016923A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115665590A (zh) * 2022-10-21 2023-01-31 北京中电飞华通信有限公司 基于eSIM卡和5G通信的物联网数据采集系统及方法
CN115801529A (zh) * 2023-01-18 2023-03-14 中冶南方（武汉）自动化有限公司 物联网边缘侧应用交互的方法和系统
CN116414075A (zh) * 2023-06-12 2023-07-11 杭州应敏科技有限公司 一种基于物联网的实验室设备控制方法及系统
CN117235559A (zh) * 2023-11-14 2023-12-15 四川万物纵横科技股份有限公司 一种基于边缘计算的物联网数据采集方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115665590A (zh) * 2022-10-21 2023-01-31 北京中电飞华通信有限公司 基于eSIM卡和5G通信的物联网数据采集系统及方法
CN115801529A (zh) * 2023-01-18 2023-03-14 中冶南方（武汉）自动化有限公司 物联网边缘侧应用交互的方法和系统
CN116414075A (zh) * 2023-06-12 2023-07-11 杭州应敏科技有限公司 一种基于物联网的实验室设备控制方法及系统
CN116414075B (zh) * 2023-06-12 2023-08-18 杭州应敏科技有限公司 一种基于物联网的实验室设备控制方法及系统
CN117235559A (zh) * 2023-11-14 2023-12-15 四川万物纵横科技股份有限公司 一种基于边缘计算的物联网数据采集方法及系统
CN117235559B (zh) * 2023-11-14 2024-02-06 四川万物纵横科技股份有限公司 一种基于边缘计算的物联网数据采集方法及系统

Similar Documents

Publication Publication Date Title
CN115016923A (zh) 基于边缘网关的物联网数据智能处理方法
EP3700135B1 (en) Method and apparatus for optimizing monitoring data collection policy for terminal device
Huang et al. An edge computing framework for real-time monitoring in smart grid
Dhaya et al. Energy-efficient resource allocation and migration in private cloud data centre
CN111741073B (zh) 基于5g通信网络的电力数据传输系统
CN103761309A (zh) 一种运营数据处理方法及系统
CN113708974A (zh) 基于自适应组网的边缘云网络系统及协同方法
CN111538850B (zh) 一种基于云平台的多元感知数据快速接入方法
CN110688213B (zh) 一种基于边缘计算的资源管理方法、系统及电子设备
CN109831524A (zh) 一种负载均衡处理方法及装置
CN112365366A (zh) 一种基于智能化5g切片的微电网管理方法及系统
CN112216061A (zh) 一种雨水情监测预警方法及系统
CN105303292A (zh) 配电数据存储方法和装置
CN115036978A (zh) 分布式光伏集群的运行控制方法和系统
CN114138501B (zh) 用于现场安全监控的边缘智能服务的处理方法和装置
CN108667135B (zh) 实现电力调度的方法和装置
CN114706675A (zh) 基于云边协同系统的任务部署方法及装置
CN113919572A (zh) 一种负荷预测方法、装置及系统
CN106600144A (zh) 一种单一异常分析防窃电预警分析方法
CN116109058A (zh) 一种基于深度强化学习的变电站巡视管理方法和装置
Hussain et al. Fog assisted cloud models for smart grid architectures-comparison study and optimal deployment
CN115526737A (zh) 一种基于数字孪生的电网能量管理方法、系统及终端设备
CN116993240A (zh) 一种物流系统控制方法、装置、设备及存储介质
CN116862036A (zh) 一种负载预测方法以及装置
CN106980925B (zh) 一种基于大数据的区域电网调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination