CN113114661A - 一种面向智能楼宇物联网设备的云边协同轻量化数据处理方法 - Google Patents

一种面向智能楼宇物联网设备的云边协同轻量化数据处理方法 Download PDF

Info

Publication number
CN113114661A
CN113114661A CN202110377254.5A CN202110377254A CN113114661A CN 113114661 A CN113114661 A CN 113114661A CN 202110377254 A CN202110377254 A CN 202110377254A CN 113114661 A CN113114661 A CN 113114661A
Authority
CN
China
Prior art keywords
data
cloud
edge
transmission
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110377254.5A
Other languages
English (en)
Inventor
易灵芝
冯晓东
高谢毅
刘卫伟
刘江永
陈智勇
彭寒梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202110377254.5A priority Critical patent/CN113114661A/zh
Publication of CN113114661A publication Critical patent/CN113114661A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种面向智能楼宇物联网设备的云边协同轻量化数据处理方法。所述轻量化数据传输运用数据模型化技术，将物联网设备产生的大量原始数据按照预定模型进行变换，得到模型化的数据，实现经数据聚类压缩来获得通信数据的“轻量化传输”降低实际需要传输的数据量。与现有方法相比，轻量化传输极大降低通讯延迟，同时由于传输差异部分的参照值只在发送端和接收端保留，所以极大保证了用户数据的安全性。边缘计算模式不同于云计算模式，无需将所有数据实时上传到云端数据中心，相比云计算能明显降低系统延迟，实时性高，降低网络开销的同时缓解云端的压力。对于楼宇用户的体验会有极大的提升，对未来智能楼宇项目的推广非常重要。

Description

一种面向智能楼宇物联网设备的云边协同轻量化数据处理 方法
技术领域
本发明涉及一种智能楼宇物联网设备轻量化数据处理方法。特别适用于智能物联网设备基于云计算和边缘计算协同处理的场景。
背景技术
近年来，随着物联网技术的发展，智能终端设备已经深入楼宇应用当中，例如，智能机器人、智能安防摄像头、智能语音助手音箱、智能火警设备等。智能设备端产生数据的数据量大、数据实时性要求高，物联网设备产生的海量数据直接涌向数据中心会造成的网络拥堵，导致设备到云端的数据传输和数据同步出现瓶颈问题，实时通信难以实现。传统的集中式云端处理模式难以解决物联网带来的大数据问题，另外，这些设备产生的海量数据当中，冗余的数据不占少数，对数据预处理可以缓解通讯带宽压力。边缘计算模式不同于云计算模式，无需将数据全部上传到云端数据中心，相比云计算能明显降低系统延迟，实时性高。
运用数据模型化技术，将物联网设备产生的大量原始数据按照预定模型进行变换，得到模型化的数据，经数据聚类压缩来获得通信数据的“轻量化传输”降低实际需要传输的数据量。当接收端接收到某差异数据后，提取模型的特征，参照最近一次的完整数据进行差异补偿和无损重构，即可得到完整的最新数据。轻量化传输极大降低通讯延迟，同时由于传输差异部分的参照值只在发送端和接收端保留，所以即使某些数据被截获或泄露，由于没有参照值，也是没有任何使用意义的，避免了用户数据泄露的风险。对于楼宇用户的体验会有极大的提升，对未来智能楼宇项目的推广非常重要。
发明内容
针对智能楼宇系统中，物联网设备产生的海量数据冗余度高、容量大，系统延迟高等问题，本发明公开一种云边协同轻量化数据处理方法，实现“数据轻量化”，只传输轻量化之后发生变化的数据，解决物联网设备通讯瓶颈问题以及系统高延迟问题，实现传输数据的轻量化处理。
步骤1：在预定时间周期内，把各个传感器设备和楼宇物联网设备产生的数据，利用5G通讯单元和基站就近批量转发到通讯覆盖范围内的边缘节点；
步骤2：所在的边缘缓存服务器将获取到的数据进行预处理，去除冗余数据，暂存重要数据，便于实现轻量化传输；
步骤3：边缘节点对剩余的数据进行聚类操作，由聚类处理模块完成数据处理前的聚类处理；
步骤4：根据聚类处理后的数据特征，压缩后由相应的通讯信道分别传输到云服务器和边缘服务器；
步骤5：分配到云端的数据遵循先到先服务的原则完成任务处理，分配到边缘服务器的数据由所在的任务调度器进行统一调度；
步骤6：服务器处理完的数据，生成结果返回指令，通过云端或者边缘节点下发至物联网设备。
所述的边缘缓存服务器和云服务器通过独立信道连接。
模型化数据模块对不同类型的楼宇物联网设备数据进行计算，生成模型化数据，根据时间顺序对模型化数据进行切片化处理，得到数据切片，对相邻数据切片进行差异运算得到数据差异切片，再进行压缩，得到数据压缩包，实现数据轻量化。
数据接收端对数据压缩包进行解压，得到数据差异切片，根据原始预留切片数据还原、提取，提高数据安全性。进一步地，对传输数据安全性特别敏感的特殊用户可根据加密密钥对待传输的数据压缩包进行加密。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)延迟低：本方法对楼宇物联网设备产生的数据进行了去冗余度预处理，利用云计算和边缘计算协同处理的模式，降低系统延迟和数据处理时间，充分发挥边缘计算响应速度快和云端计算能力强、存储空间大的优势；
(2)通讯成本低：对数据进行模型化处理，利用数据切片和压缩技术实现数据轻量化传输，缓解通讯压力，降低通讯成本。接收的数据模型化为任务簇，边缘侧对不同的任务簇实现统一调度，提高任务处理效率；
(3)安全性高：经过“轻量化”处理的数据，在通信过程中传输的只是模型化的数据，由于基准数据只在发送端和接收端保留，即使某些数据切片被截获或泄露，由于没有参照值，无法还原原始数据。对用户隐私保护具有重要意义。
附图说明
图1为本发明数据轻量化处理流程图。
图2为本发明原始任务示意图。
图3为本发明任务聚类过程示意图。
图4为本发明聚类后任务簇示意图。
具体实施方式
步骤1：在预定时间周期内，把各个传感器设备和楼宇物联网设备产生的数据，利用5G通讯单元和基站就近批量转发到通讯覆盖范围内的边缘节点；
步骤2：所在的边缘缓存服务器将获取到的数据进行预处理，去除冗余数据，暂存重要数据，便于实现轻量化传输；
步骤3：边缘节点对剩余的数据进行聚类操作，由聚类处理模块完成数据处理前的聚类处理；
步骤4：根据聚类处理后的数据特征，压缩后由相应的通讯信道分别传输到云服务器和边缘服务器；
步骤5：分配到云端的数据遵循先到先服务的原则完成任务处理，分配到边缘服务器的数据由所在的任务调度器进行统一调度；
步骤6：服务器处理完的数据，生成结果返回指令，通过云端或者边缘节点下发至物联网设备。
作为本发明的进一步技术方案，步骤1中5G通讯系统主要由核心网、宏基站和微基站3个部分组成，核心网是通信系统的“大脑”，负责物联网设备信息数据的传递，将不同端口数据请求接续到对应网络上。宏基站则是通信系统的“中枢神经”，通过光纤或微波与核心网相连，并通过无线通信将信息传递至对应不同区域的宏基站、微基站、服务器端和用户端。在宏基站、微基站和用户端的无线通讯中，信息的传输速率由著名的香农公式决定：
Figure BDA0003011603500000031
其中，W为信道带宽(Hz)，S为信号功率(W)，σ为噪声功率(W)，S/N表示信噪比。5G通讯延迟低、可靠性高，采用分布式的数据缓存机制，楼宇用户端产生的数据请求以最快的数据通道传输，缩短传输时间。
步骤2中数据预处理的目的是降低数据冗余度，冗余度通常利用数据空间的距离来进行度量，这里可以采用明考斯基距离、曼哈顿距离或者欧几里得距离度量。
以明考斯基距离度量为例：两个N维数据对象X＝(Xi1,Xi2,Xi3,…,Xin)以及Y＝(Yj1,Yj2,Yj3,…,Yjn)，明考斯基距离D(X,Y)可以定义为：
Figure BDA0003011603500000032
其中k为正整数，当k＝1时就是曼哈顿距离，当k＝2时就是欧几里得距离。数据对象在数据空间中的距离越短，表明两个空间数据对象的冗余越多，数据预处理就越有必要进行。
步骤3及步骤4中的聚类操作的本质是将物联网设备产生的数据模型化为任务图，同一类型的任务划分为一个任务簇，将被整体卸载到边缘服务器处理，降低传输过程中的通讯代价，而同一任务簇中的数据通讯延迟可以置为0。这里比较有代表性的聚类算法有K-means、GMM、FCM、Claeans等。
这里采用聚类和压缩的方法来达到数据轻量化传输及数据管理的目的，引入了K-means聚类方法作为本系统中数据聚类的核心聚类算法。核心有三部分：一是元组聚类过程，将与每个物联网设备对应的元组数据聚类分为不同的部分；二是数据挖掘过程，根据数据的元组聚类结果进行分析，对簇之间的孤立点进行挖掘；三是数据存储部分，根据元组聚类及数据挖掘结果，对数据做参考压缩。
模型化数据模块：接收到的数据根据数据计算模块将不同类型的数据模型化，生成二维的物联网设备数据模型。
两个数据元组对应字段的字段差值平方和，即元组差方和SDS(Ji,Jj)表示：
Figure BDA0003011603500000041
其中n为元组维数，Ji,Jj为两个不同的数据元组，V为第i个元组的第k个属性维的值。对于不同的元组，引入组差方和GSDS，表示为：
Figure BDA0003011603500000042
其中nj表示第j组的元素个数，Tji表示第j组的第i个元组。GSDS的值越小，表示簇内元组差异越小，说明聚类效果越好。
聚类操作后传输数据轻量化处理，这个过程可以分为数据切片、差异运算、数据压缩和数据还原四个步骤。
经分析发现传输的数据与时间变化相关，因此数据在任意时刻t的模型化数据就可以表示成一个二维矩阵：
A(t)＝F(X,Y,t) (5)
数据切片通过预定时间内各时刻的模型化数据融合而成，其中，预定时间的设定根据接收数据的误差范围和数据采集完整性确定，差异切片矩阵为：
C(t)＝G(X,Y,t) (6)
任意时刻差异切片为：
Figure BDA0003011603500000051
当F[X,Y,t(n+1)]＝F[X,Y,t(n)]时，G(X,Y,t(n+1))＝0，此时C[t(n)]是一个大部分元素为0的稀疏矩阵，表示其能大幅压缩。数据传输过程中，只需先传出A(t1)，接下来只用传输压缩后的差异切片矩阵C[t(2)],C[t(3)],...,C[t(n)]即可。A(tn)的数据只需解压出C[t(n)]就能得到结果。
步骤5中的任务由收集到的数据模型化，生成有向无环任务图，每个边缘服务器就是一个遵循先到先服务原则的单服务排队系统，任务分配方案则由任务调度器制定。

Claims (7)

1.一种面向智能楼宇物联网设备的云边协同轻量化数据处理方法，其特征在于提前对智能楼宇物联网设备进行数据预处理工作，一方面，大大降低了原始数据的复杂度和冗余度，缓解通讯压力；另一方面，利用云计算和边缘计算协同工作的计算方式，既能充分发挥云端服务器计算能力丰富，存储空间大的优点，又能发挥边缘计算响应速度快、安全性能高的特点。该方法包括以下步骤：
步骤1：在预定时间周期内，把各个传感器设备和楼宇物联网设备产生的数据，利用5G通讯单元和基站就近批量转发到通讯覆盖范围内的边缘节点；
步骤2：所在的边缘缓存服务器将获取到的数据进行预处理，去除冗余数据，暂存重要数据，便于实现轻量化传输；
步骤3：边缘节点对剩余的数据进行聚类操作，由聚类处理模块完成数据处理前的聚类处理；
步骤4：根据聚类处理后的数据特征，压缩后由相应的通讯信道分别传输到云服务器和边缘服务器；
步骤5：分配到云端的数据遵循先到先服务的原则完成任务处理，分配到边缘服务器的数据由所在的任务调度器进行统一调度；
步骤6：服务器处理完的数据，生成结果返回指令，通过云端或者边缘节点下发至物联网设备。
2.根据权利要求1所述的数据传输方法，其特征在于物联网设备配置了多个网络接口来实现多模化，以保证全网接入性。
3.根据权利要求1所述的5G通讯单元，其特征在于5G通讯单元的传输速率更快，带宽更宽，时延更低，可靠性更高。
4.根据权利要求1所述的数据预处理，其特征在于数据冗余度可以利用数据空间的距离来进行度量，常用于进行冗余度度量的距离有明考斯基距离、曼哈顿距离以及欧几里得距离。
5.根据权利要求1所述的轻量化传输，其特征在于它能解决巨量数据给网络传输带来的压力，提升整个系统的运行效率，有效加强数据管理。包含的模块有：数据切片模块、数据解压模块、数据提取模块、数据加密模块等。
6.根据权利要求1所述的聚类操作，其特征在于聚类处理后的数据可视作一个任务簇，整体传输到云端或者边缘侧，降低通讯代价。并且聚类操作有助于数据的压缩工作，便于实现轻量化传输。
7.根据权利要求1所述的边缘服务器和云服务器，其特征在于二者是处于同一网络环境中的，它们通过独立的通信信道建立通讯，边缘服务器只暂存轻量化数据，原始数据在闲时缓存至云端。
CN202110377254.5A 2021-04-08 2021-04-08 一种面向智能楼宇物联网设备的云边协同轻量化数据处理方法 Pending CN113114661A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110377254.5A CN113114661A (zh) 2021-04-08 2021-04-08 一种面向智能楼宇物联网设备的云边协同轻量化数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110377254.5A CN113114661A (zh) 2021-04-08 2021-04-08 一种面向智能楼宇物联网设备的云边协同轻量化数据处理方法

Publications (1)

Publication Number Publication Date
CN113114661A true CN113114661A (zh) 2021-07-13

Family

ID=76714812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110377254.5A Pending CN113114661A (zh) 2021-04-08 2021-04-08 一种面向智能楼宇物联网设备的云边协同轻量化数据处理方法

Country Status (1)

Country Link
CN (1) CN113114661A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535664A (zh) * 2021-09-14 2021-10-22 深圳兆瑞优品科技有限公司 一种基于数据页预加载的数据库数据同步方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170060574A1 (en) * 2015-08-27 2017-03-02 FogHorn Systems, Inc. Edge Intelligence Platform, and Internet of Things Sensor Streams System
CN109474594A (zh) * 2018-11-09 2019-03-15 北京海兰信数据科技股份有限公司 船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法
CN110300159A (zh) * 2019-06-10 2019-10-01 华侨大学 一种基于边缘计算的传感云数据安全低成本存储方法
CN111460046A (zh) * 2020-03-06 2020-07-28 合肥海策科技信息服务有限公司 一种基于大数据的科技信息聚类方法
CN112235384A (zh) * 2020-10-09 2021-01-15 腾讯科技（深圳）有限公司 分布式系统中的数据传输方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170060574A1 (en) * 2015-08-27 2017-03-02 FogHorn Systems, Inc. Edge Intelligence Platform, and Internet of Things Sensor Streams System
CN109474594A (zh) * 2018-11-09 2019-03-15 北京海兰信数据科技股份有限公司 船端数据轻量化装置、岸端数据还原装置、船岸一体化数据轻量化传输系统及传输方法
CN110300159A (zh) * 2019-06-10 2019-10-01 华侨大学 一种基于边缘计算的传感云数据安全低成本存储方法
CN111460046A (zh) * 2020-03-06 2020-07-28 合肥海策科技信息服务有限公司 一种基于大数据的科技信息聚类方法
CN112235384A (zh) * 2020-10-09 2021-01-15 腾讯科技（深圳）有限公司 分布式系统中的数据传输方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈玉平等: "云边协同综述", 《计算机科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535664A (zh) * 2021-09-14 2021-10-22 深圳兆瑞优品科技有限公司 一种基于数据页预加载的数据库数据同步方法
CN113535664B (zh) * 2021-09-14 2021-12-31 深圳兆瑞优品科技有限公司 一种基于数据页预加载的数据库数据同步方法

Similar Documents

Publication Publication Date Title
Qin et al. Federated learning and wireless communications
Gusev A dew computing solution for IoT streaming devices
CN109743356B (zh) 工业互联网数据采集方法及装置、可读存储介质和终端
CN113225359A (zh) 一种基于类脑计算的安全流量分析系统
CN113176948B (zh) 边缘网关、边缘计算系统及其配置方法
EP3097694A1 (en) Line rate visual analytics on edge devices
CN112688822B (zh) 基于多点协同的边缘计算故障或安全威胁监测系统与方法
CN114024801B (zh) 一种工业边缘计算服务网关
CN115442375A (zh) 一种基于云边协同技术的物业数字化管理系统
CN113114661A (zh) 一种面向智能楼宇物联网设备的云边协同轻量化数据处理方法
CN110855512A (zh) 基于边缘计算的超大规模dpi数据的处理系统
CN107422980B (zh) 物联网数据文件存储系统及其数据文件存储方法
CN117130870B (zh) 面向Java架构微服务系统的透明请求追踪及采样方法和装置
Wang Multimedia data compression storage of sensor network based on improved Huffman coding algorithm in cloud
Qian et al. Characterization of 3g data-plane traffic and application towards centralized control and management for software defined networking
CN112905571A (zh) 一种列车轨道交通传感器数据管理方法及装置
Yang et al. A Classification Method for Network Applications using BP Neural Network
CN113326156B (zh) 基于人工智能的物联网数据资源的采集分析方法
CN113660614B (zh) 一种基于物联网的无线传感器网络的分布式压缩感知方法
CN112738225B (zh) 基于人工智能的边缘计算方法
CN115169590A (zh) 一种基于边缘计算和迁移学习的工业物联网设备参与联邦学习方法
CN113626511A (zh) 一种异构数据库融合接入系统
Chen et al. Cloud-edge collaborative data processing architecture for state assessment of transmission equipments
CN109638830A (zh) 一种电力负荷模型构建方法、装置和设备
CN116680625B (zh) 基于云边端协同的配网多场景匹配数据处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210713