CN116527525A - 基于边缘计算的设备数据采集方法及系统 - Google Patents

基于边缘计算的设备数据采集方法及系统 Download PDF

Info

Publication number
CN116527525A
CN116527525A CN202310494119.8A CN202310494119A CN116527525A CN 116527525 A CN116527525 A CN 116527525A CN 202310494119 A CN202310494119 A CN 202310494119A CN 116527525 A CN116527525 A CN 116527525A
Authority
CN
China
Prior art keywords
data
module
data acquisition
cluster
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310494119.8A
Other languages
English (en)
Inventor
方彬
祝视
杨芳僚
田建伟
余琦
薛静远
廖铭鼎
李浩志
李轶佳
徐宁
向行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Hunan Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Hunan Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Hunan Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202310494119.8A priority Critical patent/CN116527525A/zh
Publication of CN116527525A publication Critical patent/CN116527525A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/35—Utilities, e.g. electricity, gas or water
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/46—Cluster building
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于边缘计算的设备数据采集方法，包括获取数据采集设备的工作数据信息；将数据采集设备初始化分类；对数据采集设备进行分簇；确定每个簇需要进行压缩的数据项；将数据压缩后再上传；对分簇结果进行更新；重复以上步骤完成基于边缘计算的设备数据采集。本发明还公开了一种实现所述基于边缘计算的设备数据采集方法的系统。本发明通过计算可压缩的数据项，无需人工指定分簇和压缩项；同时本发明能够有效利用数据采集设备的计算能力，减少了上传数据的量，同时通过减少了上传数据的量提高了数据采集的可靠性；因此本发明的可靠性高、精确性好且效率较高。

Description

基于边缘计算的设备数据采集方法及系统
技术领域
本发明属于物联网领域，具体涉及一种基于边缘计算的设备数据采集方法及系统。
背景技术
随着经济技术的发展和人们生活水平提高，电能已经成为了人们生产和生活中必不可少的二次能源，给人们的生产和生活带来了无尽的便利。因此，保障电能的稳定可靠供应，就成为了电力系统最重要的任务之一。
目前，随着电力互联网的发展和完善，越来越多的具有计算能力、存储能力和通信能力的数据采集设备接入到电力系统中，这些设备所采集和传输的电网运行相关数据，对电力系统而言具有极为重要的作用。因此，对这类设备的数据进行稳定可靠的采集，对电力系统而言就显得尤为重要。
现阶段，在实际的电力系统中，主要是通过物联管理平台实现数据采集设备的管理和数据的收集处理，数据采集设备一般也是通过APN网络无线连接到物联管理平台，并与平台进行数据交互。但是，在现阶段的数据采集方案中，这些数据采集设备之间是孤立且缺乏统一联系的；虽然在个体设备层面，设备上传数据的冗余量较小，但是在整个平台端，海量的数据采集设备所上传的数据就会存在极大的冗余。这些冗余数据的传输，需要消耗大量的额外带宽和通信资源，极大地增加了物联管理平台的负担；同时，大量的传输冗余数据，也极大的降低了数据采集过程的效率。
发明内容
本发明的目的之一在于提供一种可靠性高、精确性好且效率较高的基于边缘计算的设备数据采集方法。
本发明的目的之二在于提供一种实现所述基于边缘计算的设备数据采集方法的系统。
本发明提供的这种基于边缘计算的设备数据采集方法，包括如下步骤：
S1.获取数据采集设备的工作数据信息；
S2.根据步骤S1获取的工作数据信息，将数据采集设备进行初始化分类；
S3.基于分类算法和步骤S2的分类结果，对数据采集设备进行分簇；
S4.根据当前得到的分簇结果，确定每个簇需要进行压缩的数据项；
S5.每个数据采集设备根据步骤S4确认的数据项，将采集到的的数据进行压缩后再上传；
S6.对步骤S3得到的分簇结果进行更新；
S7.重复步骤S4～S6，完成基于边缘计算的设备数据采集。
步骤S2所述的根据步骤S1获取的工作数据信息，将数据采集设备进行初始化分类，具体包括如下步骤：
将采用相同数据项的数据采集设备归为一类，并设定这一类数据采集设备上传数据的格式相同。
步骤S3所述的基于分类算法和步骤S2的分类结果，对数据采集设备进行分簇，具体包括如下步骤：
A.获取所有N个数据采集设备的历史数据，每个数据采集设备获取Z条数据，则数据节点集合表示为X＝{x1,x2,...,xN}，其中xn表示第n个数据采集设备Dn的特征矩阵，且xn的维度为M×Z，M为第n个数据采集设备Dn所采集的数据项的个数；变量表示特征矩阵xn中坐标为(m,z)的元素值；
B.初始化簇头集合：
从集合X中随机选取一个节点作为初始簇头C1；每个节点均计算自身与当前已有簇头之间的最短距离dnk；
计算每个节点被选中为下一个簇头节点的概率pn为dn为第n个节点与已有簇头之间的距离；
根据计算得到的各个节点的概率pn，随机选择一个节点作为下一个簇头节点；
重复以上步骤直至得到设定数量K的簇头节点，从而得到簇头节点结合C为C＝{C1,C2,...,CK}；
C.对每个节点进行分簇：计算每个节点到当前得到的所有簇头节点之间的距离；每个节点将自身加入距离自身最近的簇头所在的簇，从而完成每个节点的分簇过程；
D.对簇头进行更新：
对每个簇，采用如下算式计算当前簇的参考簇头
式中|Gk|表示当前簇中节点的数量；
从当前簇中选出距离参考簇头最近的节点作为当前簇的新簇头，表示为其中/>表示xn和/>之间的距离；
对每个簇均进行完本步骤后，得到将得到的新的簇头集合C'＝{C1',C'2,...,C'K}和分簇结果；
E.重复步骤C～步骤D直至簇头集合不再更新或者达到预设的最大的迭代次数，得到最终的分簇结果和簇头集合。
步骤B和步骤C中所述的距离为汉明距离；具体实施时，采用如下算式计算汉明距离dnk：
式中为异或操作；/>为簇头C'k中坐标(m,z)所对应的元素值；
步骤S4所述的根据当前得到的分簇结果，确定每个簇需要进行压缩的数据项，具体包括如下步骤：
对于每一个分簇Gk，获取其中每一个节点的最新的一条数据，组成维度为|Gk|×M的数据Yk，|Gk|为当前分簇中节点的数量；
对数据Yk进行按行差分操作得到其中/>中的第l行数据采用如下算式计算得到：
其中为数据Yk中的第l+1行数据，且维度为1×M；l的取值为1,2,...,|Gk|-1；f(x,y)为处理函数，用于将差分结果进行归整，且f(x,y)的计算式为/> 为设定的小数；
基于数据确定进行压缩的数据项：
若数据中的一列均为0，则将该列对应的数据项加入到压缩列表Lk中，同时将不全为0的列所对应的数据项加入到正常列表/>
将压缩列表Lk的数据项的值进行组合，并计算得到对应的hash值hk。
步骤S5所述的每个数据采集设备根据步骤S4确认的数据项，将采集到的的数据进行压缩后再上传，具体包括如下步骤：
每个数据采集设备获取步骤S4得到的压缩列表Lk、正常列表hash值hk和对应的参数；
每个数据采集设备在数据采集完成后，选取在压缩列表Lk中的数据项进行组合，计算得到对应的hash值Hk，并进行判断：
若Hk＝hk，则数据采集设备仅上传正常列表中所对应数据项的数据；
若Hk≠hk，则数据采集设备上传所有数据项的数据；
接收到数据后，对接收到的数据长度进行判定：
若接收到的数据长度与正常列表中所对应的数据长度一致，则将接收到的数据与压缩列表Lk所对应的数据汇总后，得到完整的数据；
若接收到的数据长度与正常列表中所对应的数据长度不一致，则将接收到的数据作为完整的数据。
步骤S6所述的对步骤S3得到的分簇结果进行更新，具体包括如下步骤：
采用如下算式计算每个簇的压缩率p为其中B为被压缩的数据的数量，A为当前簇所上传的总的数据量；
对压缩率进行判断：
若p2＜p≤p1，则采用步骤S4对对应簇进行处理，重新确定对应簇需要进行压缩的数据项；p1为设定的第一阈值，p2为设定的第二阈值；
如p≤p2，则采用步骤S3重新进行分簇划分，然后再采用步骤S4对重新划分的簇确定需要进行压缩的数据项。
步骤S6所述的对步骤S3得到的分簇结果进行更新，具体包括如下步骤：
设定分簇时间T；
每隔设定的分簇时间T，采用步骤S3将所有的数据采集设备重新划分簇，再采用步骤S4对重新划分的簇确定需要进行压缩的数据项。
本发明还公开了一种实现所述基于边缘计算的设备数据采集方法的系统，包括数据获取模块、初始分类模块、分簇模块、压缩模块、上传模块、更新模块和循环模块；数据获取模块、初始分类模块、分簇模块、压缩模块、上传模块和更新模块依次串联；循环模块的输入端连接更新模块的输出端，循环模块的输出端连接压缩模块；数据获取模块用于获取数据采集设备的工作数据信息，并将数据上传初始分类模块；初始分类模块用于根据接收到的数据，将数据采集设备进行初始化分类，并将数据上传分簇模块；分簇模块用于根据接收到的数据，对数据采集设备进行分簇，并将数据上传压缩模块；压缩模块用于根据接收到的数据，根据当前得到的分簇结果，确定每个簇需要进行压缩的数据项，并将数据上传上传模块；上传模块用于根据接收到的数据，每个数据采集设备根据确认的数据项，将采集到的的数据进行压缩后再上传，并将数据上传更新模块；更新模块用于根据接收到的数据，对分簇结果进行更新，并将数据上传循环模块；循环模块用于重复压缩模块、上传模块和更新模块的运行，完成基于边缘计算的设备数据采集。
本发明提供的这种基于边缘计算的设备数据采集方法及系统，通过计算可压缩的数据项，无需人工指定分簇和压缩项；同时本发明能够有效利用数据采集设备的计算能力，减少了上传数据的量，同时通过减少了上传数据的量提高了数据采集的可靠性；因此本发明的可靠性高、精确性好且效率较高。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明系统的功能模块示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于边缘计算的设备数据采集方法，包括如下步骤：
S1.获取数据采集设备的工作数据信息；
S2.根据步骤S1获取的工作数据信息，将数据采集设备进行初始化分类；具体包括如下步骤：
将采用相同数据项的数据采集设备归为一类，并设定这一类数据采集设备上传数据的格式相同；
S3.基于分类算法和步骤S2的分类结果，对数据采集设备进行分簇；具体包括如下步骤：
A.获取所有N个数据采集设备的历史数据，每个数据采集设备获取Z条数据，则数据节点集合表示为X＝{x1,x2,...,xN}，其中xn表示第n个数据采集设备Dn的特征矩阵，且xn的维度为M×Z，M为第n个数据采集设备Dn所采集的数据项的个数；变量表示特征矩阵xn中坐标为(m,z)的元素值；
B.初始化簇头集合：
从集合X中随机选取一个节点作为初始簇头C1；每个节点均计算自身与当前已有簇头之间的最短距离dnk；具体实施时，若选用的距离为汉明距离，则采用如下算式计算汉明距离dnk：
式中为异或操作；/>为簇头C'k中坐标(m,z)所对应的元素值；
计算每个节点被选中为下一个簇头节点的概率pn为dn为第n个节点与已有簇头之间的距离；
根据计算得到的各个节点的概率pn，随机选择一个节点作为下一个簇头节点；
重复以上步骤直至得到设定数量K的簇头节点，从而得到簇头节点结合C为C＝{C1,C2,...,CK}；
C.对每个节点进行分簇：计算每个节点到当前得到的所有簇头节点之间的距离；每个节点将自身加入距离(优选为汉明距离)自身最近的簇头所在的簇，从而完成每个节点的分簇过程；
D.对簇头进行更新：
对每个簇，采用如下算式计算当前簇的参考簇头
式中|Gk|表示当前簇中节点的数量；
从当前簇中选出距离参考簇头最近的节点作为当前簇的新簇头，表示为其中/>表示xn和/>之间的距离；
对每个簇均进行完本步骤后，得到将得到的新的簇头集合C'＝{C1',C'2,...,C'K}和分簇结果；
E.重复步骤C～步骤D直至簇头集合不再更新或者达到预设的最大的迭代次数，得到最终的分簇结果和簇头集合；
进行分簇的原因是为了基于历史数据将采集数据相似的设备划分到一个簇，进而使得进行压缩的可能性越高；
S4.根据当前得到的分簇结果，确定每个簇需要进行压缩的数据项；具体包括如下步骤：
对于每一个分簇Gk，获取其中每一个节点的最新的一条数据，组成维度为|Gk|×M的数据Yk，|Gk|为当前分簇中节点的数量；
对数据Yk进行按行差分操作得到其中/>中的第l行数据采用如下算式计算得到：
其中为数据Yk中的第l+1行数据，且维度为1×M；l的取值为1,2,...,|Gk|-1；f(x,y)为处理函数，用于将差分结果进行归整，且f(x,y)的计算式为/> 为设定的小数；
基于数据确定进行压缩的数据项：
若数据中的一列均为0，则将该列对应的数据项加入到压缩列表Lk中，同时将不全为0的列所对应的数据项加入到正常列表/>
将压缩列表Lk的数据项的值进行组合，并计算得到对应的hash值hk；
S5.每个数据采集设备根据步骤S4确认的数据项，将采集到的的数据进行压缩后再上传；具体包括如下步骤：
每个数据采集设备获取步骤S4得到的压缩列表Lk、正常列表hash值hk和对应的参数；
每个数据采集设备在数据采集完成后，选取在压缩列表Lk中的数据项进行组合，计算得到对应的hash值Hk，并进行判断：
若Hk＝hk，则数据采集设备仅上传正常列表中所对应数据项的数据；
若Hk≠hk，则数据采集设备上传所有数据项的数据；
接收到数据后，对接收到的数据长度进行判定：
若接收到的数据长度与正常列表中所对应的数据长度一致，则将接收到的数据与压缩列表Lk所对应的数据汇总后，得到完整的数据；
若接收到的数据长度与正常列表中所对应的数据长度不一致，则将接收到的数据作为完整的数据；
S6.对步骤S3得到的分簇结果进行更新；
具体更新时，可以采用主动更新方式，也可以采用被动更新方式；
若采用主动更新，则具体包括如下步骤：
采用如下算式计算每个簇的压缩率p为其中B为被压缩的数据的数量，A为当前簇所上传的总的数据量；
对压缩率进行判断：
若p2＜p≤p1，则采用步骤S4对对应簇进行处理，重新确定对应簇需要进行压缩的数据项；p1为设定的第一阈值，p2为设定的第二阈值；
如p≤p2，则采用步骤S3重新进行分簇划分，然后再采用步骤S4对重新划分的簇确定需要进行压缩的数据项；
若采用被动更新，则具体包括如下步骤：
设定分簇时间T；
每隔设定的分簇时间T，采用步骤S3将所有的数据采集设备重新划分簇，再采用步骤S4对重新划分的簇确定需要进行压缩的数据项；
S7.重复步骤S4～S6，完成基于边缘计算的设备数据采集。
如图2所示为本发明系统的功能模块示意图：本发明公开的这种实现所述基于边缘计算的设备数据采集方法的系统，包括数据获取模块、初始分类模块、分簇模块、压缩模块、上传模块、更新模块和循环模块；数据获取模块、初始分类模块、分簇模块、压缩模块、上传模块和更新模块依次串联；循环模块的输入端连接更新模块的输出端，循环模块的输出端连接压缩模块；数据获取模块用于获取数据采集设备的工作数据信息，并将数据上传初始分类模块；初始分类模块用于根据接收到的数据，将数据采集设备进行初始化分类，并将数据上传分簇模块；分簇模块用于根据接收到的数据，对数据采集设备进行分簇，并将数据上传压缩模块；压缩模块用于根据接收到的数据，根据当前得到的分簇结果，确定每个簇需要进行压缩的数据项，并将数据上传上传模块；上传模块用于根据接收到的数据，每个数据采集设备根据确认的数据项，将采集到的数据进行压缩后再上传，并将数据上传更新模块；更新模块用于根据接收到的数据，对分簇结果进行更新，并将数据上传循环模块；循环模块用于重复压缩模块、上传模块和更新模块的运行，完成基于边缘计算的设备数据采集。

Claims (9)

1.一种基于边缘计算的设备数据采集方法，包括如下步骤：
S1.获取数据采集设备的工作数据信息；
S2.根据步骤S1获取的工作数据信息，将数据采集设备进行初始化分类；
S3.基于分类算法和步骤S2的分类结果，对数据采集设备进行分簇；
S4.根据当前得到的分簇结果，确定每个簇需要进行压缩的数据项；
S5.每个数据采集设备根据步骤S4确认的数据项，将采集到的的数据进行压缩后再上传；
S6.对步骤S3得到的分簇结果进行更新；
S7.重复步骤S4～S6，完成基于边缘计算的设备数据采集。
2.根据权利要求1所述的基于边缘计算的设备数据采集方法，其特征在于步骤S2所述的根据步骤S1获取的工作数据信息，将数据采集设备进行初始化分类，具体包括如下步骤：
将采用相同数据项的数据采集设备归为一类，并设定这一类数据采集设备上传数据的格式相同。
3.根据权利要求2所述的基于边缘计算的设备数据采集方法，其特征在于步骤S3所述的基于分类算法和步骤S2的分类结果，对数据采集设备进行分簇，具体包括如下步骤：
A.获取所有N个数据采集设备的历史数据，每个数据采集设备获取Z条数据，则数据节点集合表示为X＝{x1,x2,...,xN}，其中xn表示第n个数据采集设备Dn的特征矩阵，且xn的维度为M×Z，M为第n个数据采集设备Dn所采集的数据项的个数；变量表示特征矩阵xn中坐标为(m,z)的元素值；
B.初始化簇头集合：
从集合X中随机选取一个节点作为初始簇头C1；每个节点均计算自身与当前已有簇头之间的最短距离dnk；
计算每个节点被选中为下一个簇头节点的概率pn为dn为第n个节点与已有簇头之间的距离；
根据计算得到的各个节点的概率pn，随机选择一个节点作为下一个簇头节点；
重复以上步骤直至得到设定数量K的簇头节点，从而得到簇头节点结合C为C＝{C1,C2,...,CK}；
C.对每个节点进行分簇：计算每个节点到当前得到的所有簇头节点之间的距离；每个节点将自身加入距离自身最近的簇头所在的簇，从而完成每个节点的分簇过程；
D.对簇头进行更新：
对每个簇，采用如下算式计算当前簇的参考簇头
式中|Gk|表示当前簇中节点的数量；
从当前簇中选出距离参考簇头最近的节点作为当前簇的新簇头，表示为其中/>表示xn和/>之间的距离；
对每个簇均进行完本步骤后，得到将得到的新的簇头集合C'＝{C'1,C'2,...,C'K}和分簇结果；
E.重复步骤C～步骤D直至簇头集合不再更新或者达到预设的最大的迭代次数，得到最终的分簇结果和簇头集合。
4.根据权利要求3所述的基于边缘计算的设备数据采集方法，其特征在于步骤B和步骤C中所述的距离为汉明距离；具体实施时，采用如下算式计算汉明距离dnk：
式中为异或操作；/>为簇头C'k中坐标(m,z)所对应的元素值。
5.根据权利要求3所述的基于边缘计算的设备数据采集方法，其特征在于步骤S4所述的根据当前得到的分簇结果，确定每个簇需要进行压缩的数据项，具体包括如下步骤：
对于每一个分簇Gk，获取其中每一个节点的最新的一条数据，组成维度为|Gk|×M的数据Yk，|Gk|为当前分簇中节点的数量；
对数据Yk进行按行差分操作得到其中/>中的第l行数据采用如下算式计算得到：
其中为数据Yk中的第l+1行数据，且维度为1×M；l的取值为1,2,...,|Gk|-1；f(x,y)为处理函数，用于将差分结果进行归整，且f(x,y)的计算式为/> 为设定的小数；
基于数据确定进行压缩的数据项：
若数据中的一列均为0，则将该列对应的数据项加入到压缩列表Lk中，同时将不全为0的列所对应的数据项加入到正常列表/>
将压缩列表Lk的数据项的值进行组合，并计算得到对应的hash值hk。
6.根据权利要求4所述的基于边缘计算的设备数据采集方法，其特征在于步骤S5所述的每个数据采集设备根据步骤S4确认的数据项，将采集到的的数据进行压缩后再上传，具体包括如下步骤：
每个数据采集设备获取步骤S4得到的压缩列表Lk、正常列表hash值hk和对应的参数；
每个数据采集设备在数据采集完成后，选取在压缩列表Lk中的数据项进行组合，计算得到对应的hash值Hk，并进行判断：
若Hk＝hk，则数据采集设备仅上传正常列表中所对应数据项的数据；
若Hk≠hk，则数据采集设备上传所有数据项的数据；
接收到数据后，对接收到的数据长度进行判定：
若接收到的数据长度与正常列表中所对应的数据长度一致，则将接收到的数据与压缩列表Lk所对应的数据汇总后，得到完整的数据；
若接收到的数据长度与正常列表中所对应的数据长度不一致，则将接收到的数据作为完整的数据。
7.根据权利要求6所述的基于边缘计算的设备数据采集方法，其特征在于步骤S6所述的对步骤S3得到的分簇结果进行更新，具体包括如下步骤：
采用如下算式计算每个簇的压缩率p为其中B为被压缩的数据的数量，A为当前簇所上传的总的数据量；
对压缩率进行判断：
若p2＜p≤p1，则采用步骤S4对对应簇进行处理，重新确定对应簇需要进行压缩的数据项；p1为设定的第一阈值，p2为设定的第二阈值；
如p≤p2，则采用步骤S3重新进行分簇划分，然后再采用步骤S4对重新划分的簇确定需要进行压缩的数据项。
8.根据权利要求6所述的基于边缘计算的设备数据采集方法，其特征在于步骤S6所述的对步骤S3得到的分簇结果进行更新，具体包括如下步骤：
设定分簇时间T；
每隔设定的分簇时间T，采用步骤S3将所有的数据采集设备重新划分簇，再采用步骤S4对重新划分的簇确定需要进行压缩的数据项。
9.一种实现权利要求1～8之一所述的基于边缘计算的设备数据采集方法的系统，其特征在于包括数据获取模块、初始分类模块、分簇模块、压缩模块、上传模块、更新模块和循环模块；数据获取模块、初始分类模块、分簇模块、压缩模块、上传模块和更新模块依次串联；循环模块的输入端连接更新模块的输出端，循环模块的输出端连接压缩模块；数据获取模块用于获取数据采集设备的工作数据信息，并将数据上传初始分类模块；初始分类模块用于根据接收到的数据，将数据采集设备进行初始化分类，并将数据上传分簇模块；分簇模块用于根据接收到的数据，对数据采集设备进行分簇，并将数据上传压缩模块；压缩模块用于根据接收到的数据，根据当前得到的分簇结果，确定每个簇需要进行压缩的数据项，并将数据上传上传模块；上传模块用于根据接收到的数据，每个数据采集设备根据确认的数据项，将采集到的的数据进行压缩后再上传，并将数据上传更新模块；更新模块用于根据接收到的数据，对分簇结果进行更新，并将数据上传循环模块；循环模块用于重复压缩模块、上传模块和更新模块的运行，完成基于边缘计算的设备数据采集。
CN202310494119.8A 2023-05-05 2023-05-05 基于边缘计算的设备数据采集方法及系统 Pending CN116527525A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310494119.8A CN116527525A (zh) 2023-05-05 2023-05-05 基于边缘计算的设备数据采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310494119.8A CN116527525A (zh) 2023-05-05 2023-05-05 基于边缘计算的设备数据采集方法及系统

Publications (1)

Publication Number Publication Date
CN116527525A true CN116527525A (zh) 2023-08-01

Family

ID=87389860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310494119.8A Pending CN116527525A (zh) 2023-05-05 2023-05-05 基于边缘计算的设备数据采集方法及系统

Country Status (1)

Country Link
CN (1) CN116527525A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841932A (zh) * 2010-05-10 2010-09-22 南京邮电大学 无线传感器网络中基于动态分簇的分布式压缩感知方法
KR101072448B1 (ko) * 2010-04-27 2011-10-11 강원대학교산학협력단 무선센서 네트워크 시스템 및 그의 클러스터링 방법
CN104703262A (zh) * 2015-03-20 2015-06-10 湘潭大学 基于压缩感知的分簇式数据收集方法
CN105025498A (zh) * 2015-06-08 2015-11-04 南京邮电大学 基于网络编码与压缩感知的传感网络分簇式空时压缩方法
CN107124693A (zh) * 2017-06-07 2017-09-01 北京邮电大学 一种成簇压缩的mtc设备数据传输方法及系统
CN109525956A (zh) * 2019-01-02 2019-03-26 吉林大学 无线传感网中基于数据驱动的分簇的节能的数据收集方法
CN110996371A (zh) * 2019-12-16 2020-04-10 南京邮电大学 一种延长无线传感器网络生命周期的分簇算法
CN111093166A (zh) * 2019-12-06 2020-05-01 北京京航计算通讯研究所 在物联网中使用稀疏测量矩阵的压缩数据收集系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101072448B1 (ko) * 2010-04-27 2011-10-11 강원대학교산학협력단 무선센서 네트워크 시스템 및 그의 클러스터링 방법
CN101841932A (zh) * 2010-05-10 2010-09-22 南京邮电大学 无线传感器网络中基于动态分簇的分布式压缩感知方法
CN104703262A (zh) * 2015-03-20 2015-06-10 湘潭大学 基于压缩感知的分簇式数据收集方法
CN105025498A (zh) * 2015-06-08 2015-11-04 南京邮电大学 基于网络编码与压缩感知的传感网络分簇式空时压缩方法
CN107124693A (zh) * 2017-06-07 2017-09-01 北京邮电大学 一种成簇压缩的mtc设备数据传输方法及系统
CN109525956A (zh) * 2019-01-02 2019-03-26 吉林大学 无线传感网中基于数据驱动的分簇的节能的数据收集方法
CN111093166A (zh) * 2019-12-06 2020-05-01 北京京航计算通讯研究所 在物联网中使用稀疏测量矩阵的压缩数据收集系统
CN110996371A (zh) * 2019-12-16 2020-04-10 南京邮电大学 一种延长无线传感器网络生命周期的分簇算法

Similar Documents

Publication Publication Date Title
CN112633316A (zh) 一种基于边界估值理论的负荷预测方法和装置
CN111158912B (zh) 云雾协同计算环境下一种基于深度学习的任务卸载决策方法
CN113610227B (zh) 一种用于图像分类的深度卷积神经网络剪枝方法
CN112100514B (zh) 一种基于全局注意力机制表征学习的好友推荐方法
CN112817940B (zh) 基于梯度压缩的联邦学习数据处理系统
CN114640356A (zh) 基于神经网络的大数据压缩方法、系统及存储介质
CN109165006B (zh) Softmax函数的设计优化及硬件实现方法及系统
CN110198171B (zh) 数据压缩方法、装置、计算机可读介质及电子设备
CN117743870B (zh) 一种基于大数据的水利数据管理系统
CN108509592A (zh) 基于Redis的数据存储方法、读取方法及装置
CN114745553A (zh) 一种基于大数据的图像数据存储方法
CN114943342A (zh) 一种联邦学习系统的优化方法
CN118136222A (zh) 一种面向医疗环境的数字化智能制氧系统
CN116527525A (zh) 基于边缘计算的设备数据采集方法及系统
CN116546111B (zh) 基于物联网技术的智能戒指健康管理方法和系统
CN102394718A (zh) 一种传感网络数据压缩编码/解码方法
CN102724508A (zh) Jpeg2000的分辨率自适应节点树编码方法
CN113962400A (zh) 一种基于1bit压缩感知的无线联邦学习方法
CN114202077A (zh) 基于联邦学习及均值迭代的机器学习模型压缩方法
CN112016004A (zh) 一种基于多粒度信息融合的职务犯罪筛查系统及方法
CN112215627A (zh) 一种客户信息数据处理系统
KR20200046911A (ko) 데이터 압축 방법 및 그 장치
CN116341689B (zh) 机器学习模型的训练方法、装置、电子设备及存储介质
CN117648063B (zh) 一种基于大数据分析的智能运营管理系统及方法
CN114189825B (zh) 基于工业互联网和智能制造的数据处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination