CN116805940A - 基于可扩展边缘计算的数据采集系统及方法 - Google Patents
基于可扩展边缘计算的数据采集系统及方法 Download PDFInfo
- Publication number
- CN116805940A CN116805940A CN202310689540.4A CN202310689540A CN116805940A CN 116805940 A CN116805940 A CN 116805940A CN 202310689540 A CN202310689540 A CN 202310689540A CN 116805940 A CN116805940 A CN 116805940A
- Authority
- CN
- China
- Prior art keywords
- data
- edge
- data information
- data acquisition
- edge node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004364 calculation method Methods 0.000 title claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 33
- 238000004140 cleaning Methods 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 description 11
- 238000013507 mapping Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006854 communication Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于可扩展边缘计算的数据采集系统及方法,所述系统包括:数据采集模块、负载均衡设备、边缘计算模块和云平台,其中,数据采集模块,用于采集各个移动设备的数据信息;负载均衡设备,用于根据预设分割算法对数据采集模块的数据信息进行任务分割,同时根据预设分配算法将分割的任务发送至边缘计算模块的各个边缘节点;云平台,用于存储各个边缘节点处理后的数据信息。根据本发明提供的方法,采用边缘计算的模式对数据进行采集,通过负载均衡设备动态对数据进行任务的分割及分配,提高了数据的采集效率。
Description
技术领域
本发明涉及数据采集技术领域,具体涉及一种基于可扩展边缘计算的数据采集系统及方法。
背景技术
在数据采集过程中,按照数据的处理地点可分为:云端、边缘端。云端处理时需要将所有的脏数据上传至云端,使用批处理的方式统一解决,基于云端强大的性能,该方案可以设计更为优质的框架,更精确的算法。边缘端指当移动设备或者传感器采集到原始数据之后,在靠近物或数据源头的网络边缘侧直接处理,得到相对质量高的数据之后再上传至云端进行长期存储。根据云端与边缘端处理地点的不同,分为两种数据处理方式:云计算和边缘计算。
随着物联网、5G、区块链、车联网、传感器等电子、信息、通信技术的飞速发展,各类数据量的增长呈指数态势,海量数据对计算处理能力和速度的要求与日俱增。云计算技术通过数据中心内大量高性能服务器为用户提供几乎无限的计算能力,是大数据分析处理的重要解决方案之一。对于大数据场景下数据的采集和治理现有的技术主要是采用相对成熟的云计算处理模型,云计算中心通过其强大的计算能力对来自采集端的数据进行异常检测等业务,在强大的云端平台进行集中高效处理。
边缘计算指在靠近数据获取端提供就近服务,靠近边缘端的优势使得边缘计算可以提供高实时性的服务,同时有效保护边缘端的安全与隐私内容。采用边缘计算的方式对数据治理,可实现具有更高效、实时性的数据处理。利用采集端具有一定计算能力的优势,将异常检测的数据处理任务下沉至数据获取端,在减轻网络带宽消耗的同时,提高数据处理分析的效率,提高数据处理的实时性。
庞大的终端设备产生海量数据导致传统的计算模式固有缺点开始暴露,主要表现为:(1)云计算中心在物理位置远离终端设备,数据与任务需要通过核心网传输云端,导致网络时延大,难以满足越来越多的实时性应用要求等。(2)按照将全部数据上传至云端集中处理的传统模式将不再适应目前如此巨大数据量,主要原因是网络传输带宽的负载量急剧增加,造成不必要的能源浪费。(3)云计算存在着成本高以及安全隐私等一系列问题,无法适应所有的大数据分析、处理要求。(4)边缘设备采用轻量化嵌入式设备,计算和存储资源有限,数据量大和计算复杂的情况下影响下一批次的数据采集。(5)边缘设备的故障会影响数据的采集和处理,缺少对应的容灾机制。
针对现有数据采集系统的上述问题,存在数据采集及处理效率低的缺陷。
发明内容
因此,本发明提供的一种基于可扩展边缘计算的数据采集系统及方法,克服了现有技术中数据采集及处理效率低的缺陷。
为达到上述目的,本发明提供如下技术方案:
第一方面,本发明实施例提供一种基于可扩展边缘计算的数据采集系统,包括:数据采集模块、负载均衡设备、边缘计算模块和云平台,其中,
数据采集模块,用于采集各个移动设备的数据信息;
负载均衡设备,用于根据预设分割算法对数据采集模块的数据信息进行任务分割,同时根据预设分配算法将分割的任务发送至边缘计算模块的各个边缘节点;
云平台,用于存储各个边缘节点处理后的数据信息。
可选地,所述数据采集系统还包括:快照数据存储模块,用于根据配置的规则对各个边缘节点的数据信息进行记录存储。
可选地,所述数据信息包括:传感数据和协议数据。
可选地,所述负载均衡设备的工作模式为并行处理模式。
第二方面,本发明实施例提供一种基于可扩展边缘计算的数据采集方法,基于第一方面的基于可扩展边缘计算的数据采集系统,所述数据采集方法包括:
采集各个移动设备的数据信息;
负载均衡设备对数据信息进行动态调度,分配至各个边缘节点;
各个边缘节点对各自分配的任务进行分析处理,将处理结果发送至云端。
可选地,所述负载均衡设备对数据信息进行动态调度,分配至各个边缘节点的步骤,包括:
基于旋转门算法对数据信息进行分割;
利用负载均衡算法将分割的任务分配至各个边缘节点。
可选地,所述基于旋转门算法对数据信息进行分割的内容,包括:
根据数据信息的平滑度调整数据信息的采集间隔,判断采集间隔是否落入预设阈值范围,当采集间隔落入预设阈值范围时,当前采集的数据信息和下一采集的数据信息属于一个任务。
可选地,所述利用负载均衡算法将分割的任务分配至各个边缘节点的内容,包括:
根据各个边缘设备预设因素的权重利用平滑加权轮询算法计算出满足预设条件的边缘节点作为备选节点;
根据分割任务的差异性,将分割的任务分配至各个边缘节点,同时更新各个边缘节点的权重。
可选地,所述数据采集方法还包括:
每个边缘节点在预设时刻进行一次备份得到数据快照。
可选地,所述各个边缘节点对各自分配的任务进行分析处理的内容,包括:
各个边缘节点对各自分配的任务依次进行清洗和融合操作,数据清洗结束后得到干净的数据,利用时间对齐及数据的采集频率对干净的数据进行融合。
本发明技术方案,具有如下优点:
1.本发明提供的一种基于可扩展边缘计算的数据采集系统及方法,针对海量异构数据,采用边缘计算的模式对数据进行采集,通过负载均衡设备动态对数据进行任务的分割及分配,保证任务分配的高效性,提高了数据的采集效率。
2.本发明提供的一种基于可扩展边缘计算的数据采集方法,负载均衡设备通过并行处理的工作模式,并通过快照方式改善了边缘节点的容灾性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于可扩展边缘计算的数据采集系统的一个具体示例的模块组成图;
图2为本发明实施例提供的一种基于可扩展边缘计算的数据采集系统的另一个具体示例的模块组成图;
图3为本发明实施例提供的一种基于可扩展边缘计算的数据采集方法的一个具体示例的流程图;
图4为本发明实施例提供的一种基于可扩展边缘计算的数据采集方法的任务分配一个具体示例的流程图;
图5为本发明实施例提供的一种基于可扩展边缘计算的数据采集方法的快照写数据的一个具体示例的流程图;
图6为本发明实施例提供的一种基于可扩展边缘计算的数据采集方法的快照读数据的一个具体示例的流程图;
图7为本发明实施例提供的一种基于可扩展边缘计算的数据采集方法的快照回滚的一个具体示例的流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通,可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供的一种基于可扩展边缘计算的数据采集系统,针对海量异构数据,采用边缘计算的模式对数据进行采集,通过负载均衡设备动态对数据进行任务的分割及分配,保证任务分配的高效性,提高了数据的采集效率。
在本发明实施例中,如图1所示,本发明实施例提供的数据采集系统包括:数据采集模块、负载均衡设备、边缘计算模块和云平台。
数据采集模块,用于采集各个移动设备的数据信息。在实际中,采集设备的数据信息时,可以通过传感器等仪器采集各个移动设备的数据信息,其中,数据信息包括:传感数据和协议数据。采集设备在此不作限制,根据要处理的数据信息选择相应的采集设备。
负载均衡设备,用于根据预设分割算法对数据采集模块的数据信息进行任务分割,同时根据预设分配算法将分割的任务发送至边缘计算模块的各个边缘节点。利用负载均衡设备通过并行处理的工作模式分配不同任务给各个边缘节点。由于各个边缘节点资源不一致,为了使得各边缘设备有效处理数据,因此利用负载均衡设备,根据数据特点分割任务,通过任务分割算法自适应调整任务大小,采集间隔大的任务分配给性能水平高、剩余资源多的边缘设备,采集间隔小的任务分配给性能水平低、剩余资源少的边缘设备,以解决各边缘节点资源不一致的问题。
云平台,用于存储各个边缘节点处理后的数据信息。各边缘节点处理完数据之后分别将处理的数据上传到云端的数据库,此时上传的数据是各设备采集且处理后的干净数据的融合数据。因为数据带有时间戳,上传的顺序不影响数据到云端的存储。在云端数据库中呈现的是一张包含所有传感数据信息字段和协议数据信息字段的表,可以查询各时刻的传感数据信息和协议数据信息。
在本发明实施例中,如图2所示,数据采集系统还包括:快照数据存储模块,用于根据配置的规则对各个边缘节点的数据信息进行记录存储。针对数据采集系统缺少对应的容错机制的问题,采用快照策略,边缘计算模块配置多个边缘设备保存各边缘节点某时刻的快照数据。在边缘节点进行数据采集和与治理任务的同时,定时发送快照数据给存储快照数据的边缘设备,作为备份。快照数据存储模块包括至少一个快照存储子模块,边缘设备个数大于等于存储快照数据的边缘设备的个数,多个边缘设备的快照数据可能存储在同一个存储快照数据的边缘设备。
快照相当于对边缘设备的数据拍了一张历史照片,可以做多个不同时间点的快照,将没有损坏的时刻的数据映像保存下来。快照的特点是它的尺寸会随着数据更改的量而增加,如果数据不更改,则快照占用的空间只是那些记录表等元数据空间,可忽略不计。所以只要数据没有在底层发生逻辑或者物理损坏,那么历史快照就可以被用于快速恢复或者回滚。
本发明实施例提供的一种基于可扩展边缘计算的数据采集系统,通过负载均衡设备动态对数据进行任务的分割及分配,提高了数据的采集效率。通过并行处理的工作模式及快照方式改善了边缘节点的容灾性。
实施例2
本发明实施例提供的一种基于可扩展边缘计算的数据采集方法,如图3所示,基于实施例1的基于可扩展边缘计算的数据采集系统,所述数据采集方法包括如下步骤:
步骤S1:采集各个移动设备的数据信息。
在本发明实施例中,数据信息是从传感器或其他待测设备采集而来。数据信息包括:传感数据和协议数据。数据信息在此不作限制,根据实际情况选取相应的数据信息,根据数据信息的选取,进而选取不同的采集设备。
步骤S2:负载均衡设备对数据信息进行动态调度,分配至各个边缘节点。
在本发明实施例中,负载均衡设备对数据信息进行动态调度,分配至各个边缘节点的步骤,包括:基于旋转门算法对数据信息进行分割;利用负载均衡算法将分割的任务分配至各个边缘节点。负载均衡设备通过并行处理的工作模式分配不同任务给各个边缘节点。由于各个边缘节点资源不一致,为了使得各边缘设备有效处理数据,根据数据特点分割任务,通过任务分割算法自适应调整任务大小,采集间隔大的任务分配给性能水平高、剩余资源多的边缘设备,采集间隔小的任务分配给性能水平低、剩余资源少的边缘设备,以解决各边缘节点资源不一致的问题。
在本发明实施例中,基于旋转门算法对数据信息进行分割的内容,包括:根据数据信息的平滑度调整数据信息的采集间隔,判断采集间隔是否落入预设阈值范围,当采集间隔落入预设阈值范围时,当前采集的数据信息和下一采集的数据信息属于一个任务。当采集间隔落入预设阈值范围时,当前采集的数据信息和下一采集的数据信息不属于一个任务,重新开启一个新的任务。预设阈值范围在此不作限制,根据实际情况进行相应的选取。
任务分割算法基于旋转门算法,中心思想是根据数据的变化情况进行调整数据的采集间隔,采集间隔差值在限定阈值之内的属于一个任务,采集间隔差值在限定阈值之外的重新开启一个任务,以此实现任务的分割。当数据波动大时,减小采集间隔;当数据波动小时,增加采集间隔。数据平滑度反映了数据变化的剧烈情况,当数据平滑度大则表示数据变化剧烈,当数据平滑度小时则表示平缓,可以以此来进行采集时间调整。
采集间隔调整主要通过两个部分进行:
(1)采集间隔增加方法:当数据源变换相对平缓时,根据旋转门算法的特性,数据将在能被门“套住”,即上旋转门与下旋转门的内角和小于180度时,为了减少一些冗余数据,需要对采集时间间隔动态的增加,减少采集的数据量,直到到达一个预设的固定采集时间间隔的阈值MaxInterval时才停止动态调整。具体采集间隔增大策略可归纳为
其中,MaxInterval:最大间隔,tmpInterval:调整后的采集间隔,NewInterval:新的采集间隔。使用加法和乘法结合的方法,collect_interval为可配置的采集间隔,也是设备初始化的间隔。jumpNum表示可变数(需要人为设置),j是连续变换缓慢的次数,可理解出现旋转门连续套住的次数。如果经过变化后的采集间隔大于最大阈值,则采用最大采集间隔进行采集;如果变换后的采集间隔小于最大值,则按新的调整后的值tmpInterval进行采集。
(2)采集间隔减小方法:为了避免数据变化频繁造成关键数据节点丢失,所以采用乘法减小策略。设置初始化采集间隔,可配置其数值,记为confInteval,作为采集停顿的初始值。初始化采集之后,开始进行采集间隔的调整。当被采集的数据变化频繁时,将动态减小采集间隔,此处对应旋转门算法中上下旋转门的内角和已经超出180度,具体调整方法为
其中,NewInterval为新的采集间隔,collect_interval为可配置的采集间隔,MinInterval为最小间隔。当需要自适应减小采集间隔调整时,使用采集间隔减半的方法,当减半后的间隔大于采集间隔的最小值时,将减半后的值赋值给新的采集间隔,下一次采集休眠时间将做相应调整;当减半后的采集间隔比最小阈值还小时,将取最小。
由于旋转门算法原理是根据数据的变换程度进行数据的压缩,与自适应采集间隔调整策略相符合,再者因为旋转门算法的数据模型较小,代码简洁,运行速度很快,能实时计算出结果,完全可以用在边缘计算的自适应采集场景中。
在本发明实施例中,利用负载均衡算法将分割的任务分配至各个边缘节点的内容,包括:根据各个边缘设备预设因素的权重利用平滑加权轮询算法计算出满足预设条件的边缘节点作为备选节点;根据分割任务的差异性,将分割的任务分配至各个边缘节点,同时更新各个边缘节点的权重。预设因素、预设条件在此不作限制,根据实际情况进行相应的选取。
在一具体实施例中,任务分割算法根据数据的波动情况调整了数据的采集间隔,再以采集间隔的差值变化作为分割任务。边缘端配置多个边缘节点,负载均衡设备分配任务给各个边缘节点,实现并行执行数据采集与治理任务。
各边缘节点的任务分配是关键步骤,每个任务的采集间隔不一样,采集间隔大的任务分配给性能水平高、剩余资源多的边缘设备,采集间隔小的任务分配给性能水平低、剩余资源少的边缘设备,以解决各边缘节点资源不一致的问题。任务分配用两次分配实现,首先通过基于平滑加权轮询算法的负载均衡算法选择多个边缘节点,然后根据任务的差异性选择对应的一个边缘节点。不同的边缘节点因为性能、网络等外部原因实现任务的速度不一致,负载均衡算法以这些外部原因作为分配的优先级。初始时设定边缘设备的CPU、网络、缓存、到传感器的距离四方面的综合性能作为分配的优先级。
各边缘节点在负载均衡算法下均匀地分配到任务,同一时间有多个数据采集与治理任务在进行,起到并发的效果,提高了总体任务的效率。
任务分配用两次分配实现,具体分配方法如图4所示,首先通过基于平滑加权轮询算法的负载均衡算法选择多个边缘节点,然后根据任务的差异性选择对应的一个边缘节点。
本发明实施例的负载均衡算法基于平滑加权轮询算法。算法涉及的变量有weight、effectiveWeight、currentWeight。weight为约定权重,初始化时指定的每个节点的权重;effectiveWeight为有效权重,作用是节点异常,降低其权重,初始值为weight,在通讯过程中发现节点异常,则-1;之后再次选取本节点,调用成功一次则+1,直达恢复到weight;currentWeight为节点当前权重,初始化为0。
不同的边缘节点因为性能、网络等外部原因实现任务的速度不一致,负载均衡算法以这些外部原因作为分配的优先级。设定边缘设备的CPU、网络、缓存、到传感器的距离四方面的综合性能作为分配的优先级,将边缘设备的这四方面的综合性能作为weight变量的初始值。
任务分割算法根据数据的波动情况调整了数据的采集间隔,再以采集间隔的差值变化作为分割任务。边缘端配置多个边缘节点,负载均衡设备分配任务给各个边缘节点,按照负载均衡算法分配给适合的边缘节点,实现并行执行数据采集与治理任务。
在本发明实施例中,所述数据采集方法还包括:每个边缘节点在预设时刻进行一次备份得到数据快照。
针对边缘设备缺少对应的容错机制的问题,采用快照策略。边缘端配置多个边缘设备保存各边缘节点某时刻的快照数据。在边缘节点进行数据采集和与治理任务的同时,定时发送快照数据给存储快照数据的边缘设备,作为备份。
快照相当于对边缘设备的数据拍了一张历史照片,可以做多个不同时间点的快照,将那些数据没有损坏的时刻的数据映像保存下来。快照有个特点就是它的尺寸会随着数据更改的量而增加,如果数据不更改,则快照占用的空间只是那些记录表等元数据空间,可忽略不计。所以,只要数据没有在底层发生逻辑或者物理损坏,那么历史快照就可以被用于快速恢复或者回滚。
若边缘设备出现故障等原因导致某个边缘节点任务的运行速度和任务的平均速度超过阈值,边缘设备将利用历史快照将数据恢复成快照产生时间点的状态,增加了边缘设备的容错性。
快照的底层实现包括四部分:写操作、读操作、快照回滚、快照回滚。
(1)写操作
快照写数据的流程如图5所示,创建快照以后,如果源卷的数据发生了变化,那么快照系统会首先将原始数据拷贝到快照卷上对应的数据块中,然后再对源卷进行改写。快照创建以后,若上层业务对源卷写数据,数据在缓存中排队,快照系统将数据即将写入的位置(逻辑地址)上的原数据,拷贝到快照卷中对应的位置(逻辑地址)上,同时,生成一张映射表,表中一列记录源卷上数据变化的逻辑地址,另一列记录快照卷上数据变化的逻辑地址。
(2)读操作
快照读数据的流程如图6所示,快照卷若映射给上层业务进行数据处理时,针对快照进行读操作时,首先由快照系统判断,上层业务需要读取的数据是否在快照卷中,若在,直接从快照卷读取,若不在,则查询映射表,去对应源卷的逻辑地中读取。
(3)快照回滚
快照回滚的流程如图7所示,回滚操作的主要步骤是:首先锁住源卷,停止IO写入,接着查询映射表中的逻辑地址,根据地址,将地址对应的数据,从快照中写回到源卷,写完后,源卷解锁,恢复可用状态。
(4)快照删除
因为源卷保存着完整的实时数据,所以删除快照时,直接销毁了快照卷和映射表,与源卷不存在数据交互。
除了配置负载均衡设备分配的边缘节点对象,还需配置几个备份边缘节点以存放快照。当负载均衡设备分配给某个边缘设备时,备份边缘设备定时获取各边缘节点某时刻的快照数据。若边缘设备出现故障等原因导致某个边缘节点任务的运行速度和任务的平均速度超过阈值,边缘设备将利用历史快照将数据恢复成快照产生时间点的状态,增加了边缘设备的容灾性。
步骤S3:各个边缘节点对各自分配的任务进行分析处理,将处理结果发送至云端。
在本发明实施例中,所述各个边缘节点对各自分配的任务进行分析处理的内容,包括:各个边缘节点对各自分配的任务依次进行清洗和融合操作,数据清洗结束后得到干净的数据,利用时间对齐及数据的采集频率对干净的数据进行融合。
当该边缘节点数据采集完毕,边缘节点存储着一定时间内的数据量,剩下的任务则是数据清洗和融合操作。数据的清洗以平滑、去噪、重复项处理为主,清洗结束后用干净的数据进行融合操作。采集到的数据有着时序性,因此数据的融合以数据时间对齐为基础。基于数据采集频率的不同,数据合并的策略分为两种:传感数据之间的合并、传感数据和协议数据之间的合并。
对于传感数据之间的合并,为了将所有表的数据放在同一张大表中,便于观察同一时间下的数据状态,采用时间对齐的方法将数据进行合并。为了时间戳的统一性,在进行合并前对时间戳的格式统一转换。在合并之后,为了区分各个表,利用数据的标识字段处理各个列名,完成修改列名之后,可以标识是什么类型的数据。
各边缘节点处理完数据之后分别将处理的数据上传到云端的数据库,此时上传的数据是各设备采集且处理后的干净数据的融合数据。因为数据带有时间戳,上传的顺序不影响数据到云端的存储。在云端数据库中呈现的是一张包含所有传感数据信息字段和协议数据信息字段的表,可以查询各时刻的传感数据信息和协议数据信息。
本发明实施例中提供的基于可扩展边缘计算的数据采集方法,针对海量异构数据,采用边缘计算的模式对数据进行采集,通过负载均衡设备动态对数据进行任务的分割及分配,提高了数据的采集及处理效率。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于可扩展边缘计算的数据采集系统,其特征在于,包括:数据采集模块、负载均衡设备、边缘计算模块和云平台,其中,
数据采集模块,用于采集各个移动设备的数据信息;
负载均衡设备,用于根据预设分割算法对数据采集模块的数据信息进行任务分割,同时根据预设分配算法将分割的任务发送至边缘计算模块的各个边缘节点;
云平台,用于存储各个边缘节点处理后的数据信息。
2.根据权利要求1所述的基于可扩展边缘计算的数据采集系统,其特征在于,所述数据采集系统还包括:快照数据存储模块,用于根据配置的规则对各个边缘节点的数据信息进行记录存储。
3.根据权利要求1所述的基于可扩展边缘计算的数据采集系统,其特征在于,所述数据信息包括:传感数据和协议数据。
4.根据权利要求1所述的基于可扩展边缘计算的数据采集系统,其特征在于,所述负载均衡设备的工作模式为并行处理模式。
5.一种基于可扩展边缘计算的数据采集方法,其特征在于,基于权利要求1-4任一所述的基于可扩展边缘计算的数据采集系统,所述数据采集方法包括:
采集各个移动设备的数据信息;
负载均衡设备对数据信息进行动态调度,分配至各个边缘节点;
各个边缘节点对各自分配的任务进行分析处理,将处理结果发送至云端。
6.根据权利要求5所述的基于可扩展边缘计算的数据采集方法,其特征在于,所述负载均衡设备对数据信息进行动态调度,分配至各个边缘节点的步骤,包括:
基于旋转门算法对数据信息进行分割;
利用负载均衡算法将分割的任务分配至各个边缘节点。
7.根据权利要求6所述的基于可扩展边缘计算的数据采集方法,其特征在于,所述基于旋转门算法对数据信息进行分割的内容,包括:
根据数据信息的平滑度调整数据信息的采集间隔,判断采集间隔是否落入预设阈值范围,当采集间隔落入预设阈值范围时,当前采集的数据信息和下一采集的数据信息属于一个任务。
8.根据权利要求6所述的基于可扩展边缘计算的数据采集方法,其特征在于,所述利用负载均衡算法将分割的任务分配至各个边缘节点的内容,包括:
根据各个边缘设备预设因素的权重利用平滑加权轮询算法计算出满足预设条件的边缘节点作为备选节点;
根据分割任务的差异性,将分割的任务分配至各个边缘节点,同时更新各个边缘节点的权重。
9.根据权利要求5所述的基于可扩展边缘计算的数据采集方法,其特征在于,所述数据采集方法还包括:
每个边缘节点在预设时刻进行一次备份得到数据快照。
10.根据权利要求5所述的基于可扩展边缘计算的数据采集方法,其特征在于,所述各个边缘节点对各自分配的任务进行分析处理的内容,包括:
各个边缘节点对各自分配的任务依次进行清洗和融合操作,数据清洗结束后得到干净的数据,利用时间对齐及数据的采集频率对干净的数据进行融合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310689540.4A CN116805940A (zh) | 2023-06-12 | 2023-06-12 | 基于可扩展边缘计算的数据采集系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310689540.4A CN116805940A (zh) | 2023-06-12 | 2023-06-12 | 基于可扩展边缘计算的数据采集系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116805940A true CN116805940A (zh) | 2023-09-26 |
Family
ID=88080298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310689540.4A Pending CN116805940A (zh) | 2023-06-12 | 2023-06-12 | 基于可扩展边缘计算的数据采集系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116805940A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117278656A (zh) * | 2023-11-22 | 2023-12-22 | 吉林省建研科技有限责任公司 | 一种用于边缘计算数字采集器的数据辨识与采集处理方法 |
-
2023
- 2023-06-12 CN CN202310689540.4A patent/CN116805940A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117278656A (zh) * | 2023-11-22 | 2023-12-22 | 吉林省建研科技有限责任公司 | 一种用于边缘计算数字采集器的数据辨识与采集处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11989186B2 (en) | Scalable architecture for a distributed time-series database | |
US20240184785A1 (en) | Continuous functions in a time-series database | |
US20200167355A1 (en) | Edge processing in a distributed time-series database | |
CN106709003A (zh) | 基于Hadoop的海量日志数据处理方法 | |
CN104598495A (zh) | 基于分布式文件系统的分级存储方法及系统 | |
CN112118174B (zh) | 软件定义数据网关 | |
CN116805940A (zh) | 基于可扩展边缘计算的数据采集系统及方法 | |
WO2018064843A1 (zh) | 数据中心基础设施管理系统及方法 | |
CN104506373A (zh) | 网络信息采集与处理的装置和方法 | |
CN113391973B (zh) | 一种物联网云容器日志收集方法及装置 | |
CN112162829B (zh) | 一种边缘计算场景下的资源监控数据预处理系统 | |
US7895247B2 (en) | Tracking space usage in a database | |
CN107977167A (zh) | 一种基于纠删码的分布式存储系统的退化读优化方法 | |
CN114154035A (zh) | 一种动环监控的数据处理系统 | |
EP3890312A1 (en) | Distributed image analysis method and system, and storage medium | |
CN109165207B (zh) | 基于Hadoop的饮用水海量数据存储管理方法和系统 | |
CN109885607A (zh) | 一种工业海量非结构化数据处理方法及系统 | |
CN117076426A (zh) | 基于流批一体化的交通智能引擎系统构建方法及装置 | |
CN112069166A (zh) | 一种电站设备数据采集方法和系统 | |
US11249901B2 (en) | Ownership-based garbage collection of data | |
CN116643704A (zh) | 存储管理方法、装置、电子设备及存储介质 | |
CN103685359B (zh) | 数据处理方法及装置 | |
CN116126621A (zh) | 大数据集群的任务监控方法及相关设备 | |
CN111698120B (zh) | 存储节点隔离方法和装置 | |
CN114969083A (zh) | 一种实时数据分析方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |