CN113783962B - 基于边缘计算的数据采集系统及方法 - Google Patents

基于边缘计算的数据采集系统及方法 Download PDF

Info

Publication number
CN113783962B
CN113783962B CN202111082535.4A CN202111082535A CN113783962B CN 113783962 B CN113783962 B CN 113783962B CN 202111082535 A CN202111082535 A CN 202111082535A CN 113783962 B CN113783962 B CN 113783962B
Authority
CN
China
Prior art keywords
target data
data
type
edge computing
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111082535.4A
Other languages
English (en)
Other versions
CN113783962A (zh
Inventor
张博
姚文广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aotuo Technology Co ltd
Original Assignee
Aotuo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aotuo Technology Co ltd filed Critical Aotuo Technology Co ltd
Priority to CN202111082535.4A priority Critical patent/CN113783962B/zh
Publication of CN113783962A publication Critical patent/CN113783962A/zh
Application granted granted Critical
Publication of CN113783962B publication Critical patent/CN113783962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了基于边缘计算的数据采集系统，包括：传感器，用于采集目标数据；边边缘计算设备，其与所述传感器连接，并用于从所述传感器获取所述目标数据，所述边缘计算设备具有本地存储器；云平台，其与所述边缘计算设备通信连接；其中，所述边缘计算设备还用于判断所述目标数据是否符合第一类型或第二类型，符合所述第一类型，则将所述目标数据发送至所述云平台，若符合所述第二类型，则将所述目标数据存储至所述本地存储器。本发明还公开了基于边缘计算的数据采集方法。本发明能够减轻大量数据传输和存储给云平台带来的压力。

Description

基于边缘计算的数据采集系统及方法
技术领域
本发明涉及边缘计算相关技术领域。更具体地说，本发明涉及一种基于边缘计算的数据采集系统及方法。
背景技术
在数据采集过程中，由于传感器采集数据较多，若无差别通过互联网上传至云平台，将会给数据的传输和存储造成较大压力。因此，亟需设计一种能够一定程度克服上述缺陷的技术方案。
发明内容
本发明的一个目的是提供一种基于边缘计算的数据采集系统及方法，能够减轻大量数据传输和存储给云平台带来的压力。
为了实现本发明的这些目的和其它优点，根据本发明的一个方面，本发明提供了基于边缘计算的数据采集系统，包括：传感器，用于采集目标数据；边缘计算设备，其与所述传感器连接，并用于从所述传感器获取所述目标数据，所述边缘计算设备具有本地存储器；云平台，其与所述边缘计算设备通信连接；其中，所述边缘计算设备还用于判断所述目标数据是否符合第一类型或第二类型，符合所述第一类型，则将所述目标数据发送至所述云平台，若符合所述第二类型，则将所述目标数据存储至所述本地存储器。
进一步地，将所述目标数据与预测数据比较，若所述目标数据与所述预测数据的误差大于预定误差，则判断所述目标数据符合第一类型，若小于预定误差，则判断所述目标数据符合第二类型；所述预测数据通过将之前若干次的所述目标数据输入第一神经网络模型得到，所述第一神经网络模型由所述目标数据的历史值训练得到。
进一步地，间隔预定时间段重新训练所述第一神经网络模型。
进一步地，若符合所述第二类型，则将所述目标数据合并、标记，然后存储至所述本地存储器。
进一步地，所述边缘计算设备在空闲时间将所述本地存储器存储的所述目标数据以第一预定传输速度向所述云平台传送。
进一步地，所述边缘计算设备还用于采集所述本地存储器的剩余容量、容量消耗速度以及所述传感器上传的数据量增加速度，估算所述本地存储器的预测工作时长，若所述预测工作时长小于预定工作时长，则将所述第一预定传输速度转换为第二预定传输速度，所述第二预定传输速度大于所述第一预定传输速度。
进一步地，所述边缘计算设备将所述剩余容量、所述容量消耗速度和所述数据量增加速度输入第二神经网络模型，获得所述预测工作时长，所述第二神经网络由所述剩余容量、所述容量消耗速度和所述数据量增加速度的历史值训练得到。
根据本发明的另一个方面，本发明提供了基于边缘计算的数据采集方法，包括：从传感器获取目标数据；判断所述目标数据是否符合第一类型或第二类型；若符合所述第一类型，则将所述目标数据发送至所述云平台，若符合所述第二类型，则将所述目标数据存储至所述本地存储器。
进一步地，将所述目标数据与预测数据比较，若所述目标数据与所述预测数据的误差大于预定误差，则判断所述目标数据符合第一类型，若小于预定误差，则判断所述目标数据符合第二类型；所述预测数据通过将之前若干次的所述目标数据输入第一神经网络模型得到，所述第一神经网络模型由所述目标数据的历史值训练得到。
进一步地，间隔预定时间段重新训练所述第一神经网络模型。
本发明至少包括以下有益效果：
本发明利用边缘计算设备判断目标数据是否符合第一类型或第二类型，符合第一类型，则将目标数据发送至云平台，若符合第二类型，则将目标数据存储至本地存储器，通过边缘计算设备的过滤，能够减轻大量数据传输和存储给云平台带来的压力，使得云平台可更好地用于关键数据的处理。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明数据采集系统的架构图；
图2为本发明数据采集方法的流程图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
如图1所示，本申请的实施例提供了基于边缘计算的数据采集系统，包括：传感器，用于采集目标数据；边缘计算设备，其与所述传感器连接，并用于从所述传感器获取所述目标数据，所述边缘计算设备具有本地存储器；云平台，其与所述边缘计算设备通信连接；其中，所述边缘计算设备还用于判断所述目标数据是否符合第一类型或第二类型，符合所述第一类型，则将所述目标数据发送至所述云平台，若符合所述第二类型，则将所述目标数据存储至所述本地存储器。
在以上实施例中，传感器可以是电网中的传感器或物联网传感器，目标数据可以是电网或物联网中的各类数据，电网中的各类数据可以是电流、电压、功率等数据，物联网中的各类数据可以是目标设备的状态数据、运动数据、温度数据等。一个边缘计算设备对应一个或多个传感器，边缘计算设备具有必要的计算能力，还具有必要的存储能力，即具有本地存储器。边缘计算设备将传感器传输来的目标数据进行初步分类，即根据目标数据的特征，将目标数据存储至云平台或本地存储器。目标数据的分类可以是，将变化率较高的数据传输至云平台，方便云平台快速处理，将变化平稳的数据则存储至本地存储器，等待云平台的读取。可以看出，通过分类处理，上传至云平台的数据量将大为减少，可减轻数据的传输和存储压力。
在另一些实施例中，将所述目标数据与预测数据比较，若所述目标数据与所述预测数据的误差大于预定误差，则判断所述目标数据符合第一类型，若小于预定误差，则判断所述目标数据符合第二类型；所述预测数据通过将之前若干次的所述目标数据输入第一神经网络模型得到，所述第一神经网络模型由所述目标数据的历史值训练得到。
在这些实施例中，将本次获取的目标数据与预测数据进行比较，获取误差值。预测数据根据目标数据的历史值得到，具体根据第一神经网络模型得到，第一神经网络模型则由目标数据的历史值训练得到，例如各历史值为输出，以前30次的值为输入，训练得到第一神经网络模型，例如LSTM神经网络模型，即可根据第一神经网络模型进行预测数据的计算。误差值即可反应数据的平稳性，当误差值较大时，即大于预定误差时，则将目标数据归为第一类型，传输至云平台，在该目标数据上传后，将后续若干次的目标数据同样上传，以尽可能减少漏传。当误差值较小时，即小于预定误差时，则表明数据较为平稳，则将目标数据归为第二类型，暂存至本地存储器，减少向云平台传输的数据量。
在另一些实施例中，间隔预定时间段重新训练所述第一神经网络模型，即及时更新第一神经网络模型，避免该模型无法反映目标数据的平稳性。
在另一些实施例中，若符合所述第二类型，则将所述目标数据合并、标记，然后存储至所述本地存储器，第二类型的数据较为平稳，可以将重复数据进行合并，避免占用存储空间，标记目标数据则便于云平台读取。
在另一些实施例中，所述边缘计算设备在空闲时间将所述本地存储器存储的所述目标数据以第一预定传输速度向所述云平台传送，即在不进行计算时，将本地存储器内的数据逐步错峰上传。
在另一些实施例中，所述边缘计算设备还用于采集所述本地存储器的剩余容量、容量消耗速度以及所述传感器上传的数据量增加速度，估算所述本地存储器的预测工作时长，若所述预测工作时长小于预定工作时长，则将所述第一预定传输速度转换为第二预定传输速度，所述第二预定传输速度大于所述第一预定传输速度，即通过动态调整传输速度，保持边缘计算设备具有足够的储存空间。
在另一些实施例中，所述边缘计算设备将所述剩余容量、所述容量消耗速度和所述数据量增加速度输入第二神经网络模型，获得所述预测工作时长，所述第二神经网络由所述剩余容量、所述容量消耗速度和所述数据量增加速度的历史值训练得到，即利用第二神经网络模型进行预测工作时长的计算，获取历史连续的各时间点的剩余容量、容量消耗速度、数据量并输入神经网络，以各时间点的间隔为输出，训练得到第二神经网络预测模型。本实施例提供了计算预定工作时长的具体方案，即选取若干时刻点，根据历史数据得到各时刻的剩余容量、容量消耗速度和数据量增加速度的值，各时刻间的间隔则为工作时长，以前者为输入，后者为输出，即可得到第二神经网络预测模型，当采集到当前的剩余容量、容量消耗速度和数据量增加速度时刻，即可计算得到预测工作时长。
如图2所示，本申请实施例还提供了基于边缘计算的数据采集方法，包括：从传感器获取目标数据；判断所述目标数据是否符合第一类型或第二类型，符合所述第一类型，则将所述目标数据发送至所述云平台，若符合所述第二类型，则将所述目标数据存储至所述本地存储器。即边缘计算设备将传感器传输来的目标数据进行初步分类，即根据目标数据的特征，将目标数据存储至云平台或本地存储器。目标数据的分类可以是，将变化率较高的数据传输至云平台，方便云平台快速处理，将变化平稳的数据则存储至本地存储器，等待云平台的读取。可以看出，通过分类处理，上传至云平台的数据量将大为减少，可减轻云平台的数据的传输和存储压力。
在另一些实施例中，将所述目标数据与预测数据比较，若所述目标数据与所述预测数据的误差大于预定误差，则判断所述目标数据符合第一类型，若小于预定误差，则判断所述目标数据符合第二类型；所述预测数据通过将之前若干次的所述目标数据输入第一神经网络模型得到，所述第一神经网络模型由所述目标数据的历史值训练得到。误差可反应数据的平稳性，当误差值较大时，即大于预定误差时，则将目标数据归为第一类型，传输至云平台，在该目标数据上传后，将后续若干次的目标数据同样上传，以尽可能减少漏传。当误差值较小时，即小于预定误差时，则表明数据较为平稳，则将目标数据归为第二类型，暂存至本地存储器，减少向云平台传输的数据量。
在另一些实施例中，间隔预定时间段重新训练所述第一神经网络模型，即及时更新第一神经网络模型，避免该模型无法反映目标数据的平稳性。
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明基于边缘计算的数据采集系统及方法的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.基于边缘计算的数据采集系统，其特征在于，包括：
传感器，用于采集目标数据；
边缘计算设备，其与所述传感器连接，并用于从所述传感器获取所述目标数据，所述边缘计算设备具有本地存储器；
云平台，其与所述边缘计算设备通信连接；
其中，所述边缘计算设备还用于判断所述目标数据是否符合第一类型或第二类型，符合所述第一类型，则将所述目标数据发送至所述云平台，若符合所述第二类型，则将所述目标数据存储至所述本地存储器；
将所述目标数据与预测数据比较，若所述目标数据与所述预测数据的误差大于预定误差，则判断所述目标数据符合第一类型，若小于预定误差，则判断所述目标数据符合第二类型；
所述预测数据通过将之前若干次的所述目标数据输入第一神经网络模型得到，所述第一神经网络模型由所述目标数据的历史值训练得到；
间隔预定时间段重新训练所述第一神经网络模型。
2.如权利要求1所述的基于边缘计算的数据采集系统，其特征在于，若符合所述第二类型，则将所述目标数据合并、标记，然后存储至所述本地存储器。
3.如权利要求1所述的基于边缘计算的数据采集系统，其特征在于，所述边缘计算设备在空闲时间将所述本地存储器存储的所述目标数据以第一预定传输速度向所述云平台传送。
4.如权利要求3所述的基于边缘计算的数据采集系统，其特征在于，所述边缘计算设备还用于采集所述本地存储器的剩余容量、容量消耗速度以及所述传感器上传的数据量增加速度，估算所述本地存储器的预测工作时长，若所述预测工作时长小于预定工作时长，则将所述第一预定传输速度转换为第二预定传输速度，所述第二预定传输速度大于所述第一预定传输速度。
5.如权利要求4所述的基于边缘计算的数据采集系统，其特征在于，所述边缘计算设备将所述剩余容量、所述容量消耗速度和所述数据量增加速度输入第二神经网络模型，获得所述预测工作时长，所述第二神经网络由所述剩余容量、所述容量消耗速度和所述数据量的历史值训练得到。
6.基于边缘计算的数据采集方法，其特征在于，包括：
从传感器获取目标数据；
判断所述目标数据是否符合第一类型或第二类型；
若符合所述第一类型，则将所述目标数据发送至云平台，若符合所述第二类型，则将所述目标数据存储至本地存储器；
将所述目标数据与预测数据比较，若所述目标数据与所述预测数据的误差大于预定误差，则判断所述目标数据符合第一类型，若小于预定误差，则判断所述目标数据符合第二类型；
所述预测数据通过将之前若干次的所述目标数据输入第一神经网络模型得到，所述第一神经网络模型由所述目标数据的历史值训练得到；
间隔预定时间段重新训练所述第一神经网络模型。
CN202111082535.4A 2021-09-15 2021-09-15 基于边缘计算的数据采集系统及方法 Active CN113783962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111082535.4A CN113783962B (zh) 2021-09-15 2021-09-15 基于边缘计算的数据采集系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111082535.4A CN113783962B (zh) 2021-09-15 2021-09-15 基于边缘计算的数据采集系统及方法

Publications (2)

Publication Number Publication Date
CN113783962A CN113783962A (zh) 2021-12-10
CN113783962B true CN113783962B (zh) 2023-09-19

Family

ID=78844298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111082535.4A Active CN113783962B (zh) 2021-09-15 2021-09-15 基于边缘计算的数据采集系统及方法

Country Status (1)

Country Link
CN (1) CN113783962B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114838760B (zh) * 2022-04-11 2024-07-23 湖南中融汇智信息科技股份有限公司 温振智能监测模组边缘计算系统
CN115373325B (zh) * 2022-10-20 2023-01-31 苏芯物联技术(南京)有限公司 一种高速无线数据采集周期控制方法及系统
CN117479049B (zh) * 2023-12-27 2024-03-15 成都秦川物联网科技股份有限公司 用于智慧燃气的数据传输管控方法、物联网系统及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910183A (zh) * 2019-12-04 2020-03-24 山东建筑大学 基于边缘计算的智慧社区仪表数据快速处理系统及方法
CN111294112A (zh) * 2018-12-06 2020-06-16 华为技术有限公司 一种数据采集的方法和相关设备
WO2020172852A1 (en) * 2019-02-28 2020-09-03 Siemens Schweiz Ag Computing resource scheduling method, scheduler, internet of things system, and computer readable medium
CN112804280A (zh) * 2019-11-14 2021-05-14 普天信息技术有限公司 电力物联网系统及其数据处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111901573A (zh) * 2020-08-17 2020-11-06 泽达易盛（天津）科技股份有限公司 一种基于边缘计算的细颗粒度实时监管系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294112A (zh) * 2018-12-06 2020-06-16 华为技术有限公司 一种数据采集的方法和相关设备
WO2020172852A1 (en) * 2019-02-28 2020-09-03 Siemens Schweiz Ag Computing resource scheduling method, scheduler, internet of things system, and computer readable medium
CN112804280A (zh) * 2019-11-14 2021-05-14 普天信息技术有限公司 电力物联网系统及其数据处理方法
CN110910183A (zh) * 2019-12-04 2020-03-24 山东建筑大学 基于边缘计算的智慧社区仪表数据快速处理系统及方法

Also Published As

Publication number Publication date
CN113783962A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN113783962B (zh) 基于边缘计算的数据采集系统及方法
CN107423433B (zh) 一种数据采样率控制方法及装置
CN110889085A (zh) 基于复杂网络多元在线回归的废水智能监控方法及系统
CN116244159B (zh) 一种训练时长预测方法、装置、多元异构计算设备及介质
CN117311984A (zh) 基于对比服务的服务器负载均衡方法及系统
CN110730369A (zh) 一种视频推荐方法及服务器
CN113722889A (zh) 一种基于人工智能的能效在线分析系统及方法
CN110851333B (zh) 根分区的监控方法、装置和监控服务器
CN116992311B (zh) 基于机器学习的储能电源状态分析方法
CN114239396A (zh) 一种风机齿轮箱状态预测方法及系统
CN114049968A (zh) 传染病发展趋势预测方法、系统、装置及存储介质
CN112798949A (zh) 一种抽水蓄能机组发电机温度预警方法和系统
CN117742816A (zh) 基板管理控制器的运行控制方法及装置
CN113139698A (zh) 负荷预测方法、装置及设备
EP3690758A1 (en) Method and device for controlling a wastewater tank pumping system
CN117233638A (zh) 锂电池soh的检测方法、装置、电子设备及存储介质
CN113111588B (zh) 一种燃气轮机nox排放浓度预测方法及装置
CN116774053A (zh) 一种电池剩余使用寿命的预测方法、系统及存储介质
CN114718525B (zh) 抽油机控制方法、计算机设备及存储介质
CN114840581A (zh) 基于统计模型生成用于设备预警的动态阈值的方法及装置
CN115503552A (zh) 电动车的剩余里程预测方法、装置、电子设备和存储介质
CN110322063A (zh) 一种耗电功率仿真预测方法及存储介质
CN118096007B (zh) 一种基于智慧物流的实时监测系统
EP3394800B1 (en) Device for and method of determining a length of a relevant history
CN117318053B (zh) 用于储能电站的能源需求预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant