CN109672750B - 一种基于边缘架构的安防数据聚合管理系统及其管理方法 - Google Patents
一种基于边缘架构的安防数据聚合管理系统及其管理方法 Download PDFInfo
- Publication number
- CN109672750B CN109672750B CN201910036846.3A CN201910036846A CN109672750B CN 109672750 B CN109672750 B CN 109672750B CN 201910036846 A CN201910036846 A CN 201910036846A CN 109672750 B CN109672750 B CN 109672750B
- Authority
- CN
- China
- Prior art keywords
- data
- cluster
- aggregation
- node
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Alarm Systems (AREA)
Abstract
本申请实施例提供一种基于边缘架构的安防数据聚合管理系统,包括:边缘节点、聚合节点和数据中心,所述数据中心与多个所述的聚合节点通信连接,每个所述的聚合节点与多个所述的边缘节点通信连接;所述边缘节点用于采集原始安防数据,按照第一预设规则将多个所述的原始安防数据存储为数据簇,为每个所述的数据簇建立一个簇头,将所述簇头和所述数据簇关联存储,并将所述簇头上传至对应的聚合节点;所述聚合节点按照第二预设规则将多个所述簇头对应的数据簇聚合成一个数据组,生成与所述数据组对应的组表单。本申请实施例的基于边缘架构的安防数据聚合管理系统,能够有效避免在对安防数据的管理过程中存在的信息分析和应用的延迟。
Description
技术领域
本申请涉及安防管理技术领域,尤其涉及一种基于边缘架构的安防数据聚合管理系统及其管理方法。
背景技术
目前遍布各处的以安防为用途的摄像头,传感器都会不断产生安防数据,例如监控画面数据,火情感应数据,红外闯入监测数据,防范燃气或者有毒气体泄露的气体成分监测数据等等,一般安防数据都会以比较高的频率(例如监控视频每秒10帧以上,其他监控数据每分钟一次)不断产生,记录以及更新,最终形成海量的安防数据。
现有对安防数据的管理是把这些安防数据都统一归到数据中心,该数据中心进行显示,分析,应用和保存,例如将监控画面数据都显示在数据中心的电视墙上,并且由数据中心统一记录备案。
这样数据中心的数据量就非常庞大,容易造成信息分析和应用方面的延迟,也容易造成有效的数据淹没在海量的其他数据内而被忽视和遗漏。另外在安防数据的上传也会带来大量无效的通信开销(因为绝大多数上传的安防数据都是正常的,没有分析价值),增大了系统运行的软硬件成本。
本发明希望借助边缘计算的技术思想,把安防数据的存储和分析主要放在产生安防数据的数据源处,或者与这些数据源同处一个局域物联网的本地节点处。只有当分析出异常状况才由边缘节点向数据中心上传异常安防数据的报警信息,由数据中心进行显示和报警。
但是这种边缘架构的安防数据管理也存在一定问题,例如:(1)容易使每个边缘节点形成“信息孤岛”,不能与其它节点进行安防数据的共享分析,比如对同一个可疑人物的追踪,可能跨越多个边缘节点负责的区域,由于数据都分布在各个节点上,这种整合分析就不如中心式架构,甚至有可能出现该人物在节点a存在异常数据,但是在节点b行为正常,导致节点b把该人物的数据当作正常数据而忽略和定期删除了;(2)边缘节点的负荷容易出现不均衡,有的边缘节点负荷过重,延迟过大,而其它边缘节点还闲置着;(3)安防数据涉及的数据类型多,视频数据、火情感应数据、闯入感应数据等都有,不同类型数据的分析算法不同,每个边缘节点都要配置足以支持多种数据类型和分析功能的软硬件配置,导致每个边缘节点的架构变得复杂,边缘节点的成本比较高,这和有些边缘计算的应用当中节点只需要处理比较单一类型的数据和功能是有很大区别的。
发明内容
有鉴于此,本申请的目的在于提出一种基于边缘架构的安防数据聚合管理系统及其管理方法,来解决现有技术中的对安防数据的管理过程中存在的信息分析和应用的延迟,有效数据容易被遗漏,同时增大系统运行成本的技术问题。
基于上述目的,在本申请的一个方面,提出了一种基于边缘架构的安防数据聚合管理系统,包括:
边缘节点、聚合节点和数据中心,所述数据中心与多个所述的聚合节点通信连接,每个所述的聚合节点与多个所述的边缘节点通信连接;
所述边缘节点包括数据簇存储模块、数据簇分析模块和数据簇更新模块,所述数据簇存储模块用于采集原始安防数据,按照第一预设规则将多个所述的原始安防数据存储为数据簇,为每个所述的数据簇建立一个簇头,将所述簇头和所述数据簇关联存储,并将所述簇头上传至对应的聚合节点,所述数据簇分析模块用于对采集到的原始安防数据进行分析,根据分析结果结合预设的判断条件,判断原始安防数据是否属于异常数据,所述数据簇更新模块用于根据聚合节点的消息而对对应的数据簇进行删除;
所述聚合节点包括数据簇聚合模块,所述数据簇聚合模块用于接收所述簇头,按照第二预设规则将多个所述簇头对应的数据簇聚合成一个数据组,生成与所述数据组对应的组表单,对所述组表单进行更新,并为所述数据中心提供数据调用接口,当接收到所述数据中心的数据调取指令后,从边缘节点调取对应的数据;
所述数据中心通过所述聚合节点从所述边缘节点调取数据。
在一些实施例中,所述第一预设规则包括:
将预设时间段内采集到的原始安防数据归入同一个数据簇,或者将所述原始安防数据按照数据类型分类型整合为不同的数据簇。
在一些实施例中,所述簇头包括:
边缘节点为数据簇分配的ID,数据簇的记录时间段、数据源位置信息、数据类型和数据量信息。
在一些实施例中,所述第二预设规则包括:
根据数据类型将多个数据簇聚合为一个数据组,或者根据记录时间段多个数据簇聚合为一个数据组,或者根据数据源位置信息将多个数据簇聚合为一个数据组。
在一些实施例中,所述组表单记录有聚合到每个数据组的每个数据簇的ID号、数据簇被保存的边缘节点、簇头包含的信息以及数据簇状态,其中数据簇状态包含该数据簇是否已经被分析的分析状态和是否存在异常的异常状态;
所述聚合节点具体用于:接收边缘节点对数据簇进行分析后上传的信息,并根据该信息更新所述组表单中该数据簇的分析状态和异常状态。
在一些实施例中,所述聚合节点还用于更新所述组表单中数据簇的存储状态。
在一些实施例中,所述聚合节点还包括:
节点能力管理模块,所述节点能力管理模块用于获得对应的边缘节点的剩余计算能力以及边缘节点支持的分析功能的边缘节点信息,并创建边缘节点表,通过所述边缘节点表登记每个边缘节点的边缘节点信息。
在一些实施例中,所述聚合节点还包括:
管理调度模块,所述管理调度模块用于根据所述边缘节点表和所述组表单对对应的边缘节点中的安防数据进行管理。
在一些实施例中,所述聚合节点还用于:
根据所述组表单和所述边缘节点表,对边缘节点的资源进行统一调度和分配,将负荷超载的边缘节点的待分析数据分配给同一个物联网局域网的其它边缘节点,实现负荷均衡;
简化部分边缘节点所需要的分析能力和功能,将同类型数据调度到同一个边缘节点进行处理。
基于上述目的,在本申请的另一个方面,还提出了一种基于边缘架构的安防数据聚合管理方法,包括:
边缘节点采集原始安防数据,按照第一预设规则将多个所述的原始安防数据存储为数据簇,为每个所述的数据簇建立一个簇头,将所述簇头和所述数据簇关联存储,并将所述簇头上传至对应的聚合节点;
聚合节点接收所述簇头,按照第二预设规则将多个所述簇头对应的数据簇聚合成一个数据组,生成与所述数据组对应的组表单,对所述组表单进行更新,并为数据中心提供数据调用接口,当接收到所述数据中心的数据调取指令后,从边缘节点调取对应的数据。
本申请实施例提供一种基于边缘架构的安防数据聚合管理系统及其管理方法,其中,系统包括:边缘节点、聚合节点和数据中心,所述数据中心与多个所述的聚合节点通信连接,每个所述的聚合节点与多个所述的边缘节点通信连接;所述边缘节点用于采集原始安防数据,按照第一预设规则将多个所述的原始安防数据存储为数据簇,为每个所述的数据簇建立一个簇头,将所述簇头和所述数据簇关联存储,并将所述簇头上传至对应的聚合节点;所述聚合节点用于接收所述簇头,按照第二预设规则将多个所述簇头对应的数据簇聚合成一个数据组,生成与所述数据组对应的组表单,对所述组表单进行更新,并为所述数据中心提供数据调用接口,当接收到所述数据中心的数据调取指令后,从边缘节点调取对应的数据;所述数据中心通过所述聚合节点从所述边缘节点调取数据。本申请实施例的基于边缘架构的安防数据聚合管理系统及其管理方法,能够有效避免在对安防数据的管理过程中存在的信息分析和应用的延迟,以及有效数据的遗漏,同时降低了系统运行成本的技术问题。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请实施例一的基于边缘架构的安防数据聚合管理系统的结构示意图;
图2是本申请实施例一的边缘节点的结构示意图;
图3是本申请实施例一的聚合节点的结构示意图;
图4是本申请实施例二的基于边缘架构的安防数据聚合管理方法的流程图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示,是本申请实施例一的基于边缘架构的安防数据聚合管理系统的结构示意图。从图1中可以看出,本实施例的基于边缘架构的安防数据聚合管理系统,包括:
边缘节点103、聚合节点102和数据中心101,所述数据中心101与多个所述的聚合节点102通信连接,每个所述的聚合节点102与多个所述的边缘节点103通信连接。本实施例中的边缘节点103是指产生安防数据的数据源和/或与这些数据源同处一个局域物联网的本地节点。
如图2所示,是本申请实施例一的边缘节点的结构示意图。从图2中可以看出,本实施例中的边缘节点103包括数据簇存储模块1031、数据簇分析模块1032和数据簇更新模块1033。
其中,所述数据簇存储模块1031用于采集原始安防数据,按照第一预设规则将采集到的多个所述的原始安防数据存储为数据簇,为每个所述的数据簇建立一个簇头,将所述簇头和所述数据簇关联存储,并将所述簇头上传至对应的聚合节点102。
所述数据簇分析模块1032用于对采集到的原始安防数据进行分析,根据分析结果结合预设的判断条件,判断原始安防数据是否属于异常数据,所述数据簇更新模块用于根据聚合节点的消息而对对应的数据簇进行删除;用于对采集到的原始安防数据进行分析,根据分析结果结合预设的判断条件,判断原始安防数据是否属于异常数据;只有当分析出异常状况才由边缘节点103向数据中心101上传数据异常的警报,由数据中心进行显示和报警,并下达对异常数据处理的指令。本实施例中的原始安防数据包括视频数据、火情感应数据和闯入感应数据等。
所述数据簇更新模块1033用于根据聚合节点的消息对对应的数据簇进行删除。
具体地,所述数据簇存储模块1031在采集到的原始安防数据后,按照第一预设规则将采集到的多个所述的原始安防数据存储为数据簇。本实施例中的第一预设规则可以是将预设时间段内采集到的原始安防数据归入同一个数据簇,或者将所述原始安防数据按照数据类型分类型整合为不同的数据簇。例如,按照预设时间间隔(例如每分钟)将边缘节点产生的数据被归入同一个数据簇,如果边缘节点产生的数据有多种类型,例如视频数据、火情感应数据和闯入感应数据等,则按照数据类型分类型整合为不同的数据簇。在生成数据簇后,为每个数据簇建立一个簇头,在簇头中给每个数据簇分配一个ID号,并且记录每个数据簇的记录时间段、数据源位置信息、数据类型和数据量信息等。边缘节点将簇头与数据簇关联存储在一起,并将数据簇的簇头上传一份至所述聚合节点102。
如图3所示,是本申请实施例一的聚合节点的结构示意图。本实施例的聚合节点102包括数据簇聚合模块1021、节点能力管理模块1022和管理调度模块1023。其中,所述数据簇聚合模块1021用于接收所述簇头,并根据每个簇头记录的上述记录时间段、数据源位置信息、数据类型和数据量信息等信息,按照第二预设规则将多个所述簇头对应的数据簇聚合成一个数据组,生成与所述数据组对应的组表单,对所述组表单进行更新,并为所述数据中心101提供数据调用接口,当接收到所述数据中心101的数据调取指令后,从边缘节点103的数据簇存储模块1031中调取对应的数据。
具体地,所述聚合节点102根据与其对应的边缘节点103上传的数据簇的簇头,对边缘节点103中存储的数据簇进行数据聚合处理,数据聚合可以按照数据类型进行聚合,例如将数据簇按照所属的视频数据、火情感应数据和闯入感应数据分类型进行聚合,也可以按记录时间段进行聚合,还可以按照数据源位置分布进行聚合(例如一定城区范围内的数据源聚合),按照以上规则一定数量的数据簇被聚合为一个数据组。聚合节点生成和实时更新一个组表单,该组表单记录聚合到每个数据组的每个数据簇的ID号、数据簇被保存的边缘节点、簇头包含的信息以及数据簇状态,其中数据簇状态包含该数据簇是否已经被分析的分析状态和该数据簇是否存在异常的异常状态。当边缘节点对本节点上的一个数据簇完成了分析之后,会向聚合节点102实时上传一个消息,该消息包含了数据簇的分析状态,以及该数据簇是否存在异常,聚合节点102根据该消息对组表单当中该数据簇的分析状态和异常状态进行更新,例如从“未分析”更新为“已分析”,并且登记异常状态为“正常”或者“异常”。此外,组表单中还会更新数据簇的保存状态,例如数据簇到期被删除,则登记为“已删除”,同时向所述边缘节点103的数据簇更新模块1033发送消息,通知所述边缘节点103的数据簇更新模块1033对对应的数据簇进行删除。
所述节点能力管理模块1022还用于获得对应的边缘节点103(即与聚合节点102通信连接的边缘节点)的剩余计算能力以及边缘节点支持的分析功能的边缘节点信息,并创建边缘节点表,通过所述边缘节点表登记每个边缘节点的边缘节点信息。
所述管理调度模块1023用于根据所述边缘节点表和所述组表单对对应的边缘节点103中的安防数据进行管理。具体地,聚合节点102可以通过所述组表单对来自不同边缘节点的安防数据进行统一的管理和应用。例如,当组表单某个数据簇的“异常状态”为异常,可以锁定与该数据簇相关的全部数据簇(例如相同时间段内的数据,或者一定位置范围内的数据)。从而避免了边缘节点103不能与其它边缘节点进行安防数据的共享分析。针对背景技术中提到的问题,比如边缘节点103通过分析本节点采集和存储的数据簇,发现某人物行为存在异常,则边缘节点103将该数据簇的“异常”状态消息实时上传对应的聚合节点102;聚合节点102将该数据簇的异常状态登记到该数据簇对应的组表单,并且根据组表单的登记,对数据组中与该数据簇相关的全部数据簇进行锁定;例如,数据组是按照记录时间段进行聚合的情况下,可以将数据组中与该异常状态的数据簇处于同一记录时间段的其它数据簇全部锁定;又例如,数据组是按照数据源位置分布进行聚合的情况下,可以将数据组中与该异常状态的数据簇处于同一位置分布范围的其它数据簇全部锁定;聚合节点102在组表单中针对被锁定的数据簇,在数据簇状态当中登记为“锁定”。聚合节点102可以根据组表单进行统一的数据删除管理,例如对于组表单中的全部数据簇来说,当其中至少一个数据簇的状态为“锁定”,或者至少一个数据簇的分析状态为“未分析”,则不对该组表单中数据簇执行数据删除。当组表单中登记的数据簇的分析状态均为“已分析”而且无处于“异常”或者“锁定”状态的数据簇,则聚合节点102可以在经过预定的时间段后删除数据组中的全部数据簇。聚合节点102可以向各个边缘节点103下达数据簇更新消息,边缘节点103根据数据簇更新消息而对本节点上对应的数据簇进行删除。
聚合节点102的管理调度模块1023也可以根据所述组表单和所述边缘节点表,对边缘节点103的资源进行统一调度和分配,将负荷超载的边缘节点的待分析数据分配给同一个物联网局域网的其它边缘节点,实现负荷均衡;或者,简化部分边缘节点所需要的分析能力和功能,将同类型数据调度到同一个边缘节点进行处理。
例如某个边缘节点超负荷导致该节点的未分析数据延迟很多,则可以将未分析数据分配给同一个物联网局域网的其它边缘节点,这样该边缘节点会和被分配的边缘节点建立P2P连接执行数据传输,并相应更新组表单状态,实现负荷均衡。同时,聚合节点102的统一协调下,可以简化一部分边缘节点103所需要的分析能力和功能,将同类型数据调度到同一个边缘节点进行处理。例如通过定期的大数据分析,发现某个边缘节点产生的视频监控数据比较多,而闯入感应报警数据则很少,可以把感应报警数据协调到由其它边缘节点执行,从而简化该节点。由于安防数据涉及的数据类型多,视频数据、火情感应数据、闯入感应数据等都有,不同类型数据的分析算法不同,每个边缘节点都要配置足以支持多种数据类型和分析功能的软硬件配置,导致每个边缘节点的架构变得复杂,边缘节点103的成本比较高,通过简化一部分边缘节点103所需要的分析能力和功能,可以降低该边缘节点的成本。具体地,当需要在两个边缘节点103之间进行数据分配时(边缘节点超负荷时或者调度同类数据由同一节点处理时),所述聚合节点102首先确定两个边缘节点103,然后分别向每个边缘节点103发送数据簇更新消息和对方边缘节点103的地址信息,边缘节点103根据接收到的地址信息建立P2P连接,并通过P2P连接发送与聚合节点102发送的数据簇更新消息对应的数据,同时,发送该数据的边缘节点103将对应的数据簇的状态更新为已删除,接收该数据的边缘节点103将对应的数据簇的状态更新为未分析。
所述数据中心101通过所述聚合节点从所述边缘节点调取数据。
具体地,当有边缘节点103对数据簇进行分析后发现该数据簇异常,并将异常的数据簇上传至其对应的聚合节点102,由聚合节点102将该异常上传至所述数据中心101。由于聚合节点102为所述数据中心101提供数据调用接口,所述数据中心101可以通过相应的接口调用异常数据簇的原始安分数据,并获取存储该原始安分数据的边缘节点103信息,包括边缘节点103的计算能力信息和分析数据类型的信息。
本申请实施例的基于边缘架构的安防数据聚合管理系统,能够有效避免在对安防数据的管理过程中存在的信息分析和应用的延迟,以及有效数据的遗漏,同时降低了系统运行成本的技术问题。
如图2所示,是本申请实施例二的基于边缘架构的安防数据聚合管理方法的流程图。从图2中可以看出,本实施例的基于边缘架构的安防数据聚合管理方法,包括以下步骤:
S201:边缘节点采集原始安防数据,按照第一预设规则将多个所述的原始安防数据存储为数据簇,为每个所述的数据簇建立一个簇头,将所述簇头和所述数据簇关联存储,并将所述簇头上传至对应的聚合节点。
具体地,所述边缘节点在采集到的原始安防数据后,按照第一预设规则将采集到的多个所述的原始安防数据存储为数据簇,本实施例中的第一预设规则可以是将预设时间段内采集到的原始安防数据归入同一个数据簇,或者将所述原始安防数据按照数据类型分类型整合为不同的数据簇。例如,按照预设时间间隔(例如每分钟)将边缘节点产生的数据被归入同一个数据簇,如果边缘节点产生的数据有多种类型,例如视频数据、火情感应数据和闯入感应数据等,则按照数据类型分类型整合为不同的数据簇,在生成数据簇后,为每个数据簇建立一个簇头,在簇头中给每个数据簇分配一个ID号,并且记录每个数据簇的记录时间段、数据源位置信息、数据类型和数据量信息等,边缘节点将簇头与数据簇关联存储在一起,并将数据簇的簇头上传一份至所述聚合节点,即与边缘节点通信连接的聚合节点。
S202:聚合节点接收所述簇头,按照第二预设规则将多个所述簇头对应的数据簇聚合成一个数据组,生成与所述数据组对应的组表单,对所述组表单进行更新,并为数据中心提供数据调用接口,当接收到所述数据中心的数据调取指令后,从边缘节点调取对应的数据。
具体地,所述聚合节点根据与其对应的边缘节点上传的数据簇的簇头,对边缘节点中存储的数据簇进行数据聚合处理,数据聚合可以按照数据类型进行聚合,例如将数据簇按照所属的视频数据、火情感应数据和闯入感应数据,也可以按记录时间段进行聚合,还可以按照数据源位置分布进行聚合(例如一定城区范围内的数据源聚合),按照以上规则一定数量的数据簇被聚合为一个数据组,聚合节点生成和实时更新一个组表单,该组表单记录聚合到每个数据组的每个数据簇的ID号、数据簇被保存的边缘节点、簇头包含的信息以及数据簇状态,其中数据簇状态包含该数据簇是否已经被分析的分析状态和该数据簇是否存在异常的异常状态;当边缘节点对本节点上的一个数据簇完成了分析之后,会向聚合节点实时上传一个消息,该消息包含了数据簇的分析状态,以及该数据簇是否存在异常,聚合节点根据该消息对组表单当中该数据簇的分析状态和异常状态进行更新,例如从“未分析”更新为“已分析”,并且登记异常状态为“正常”或者“异常”。此外,组表单中还会更新数据簇的保存状态,例如数据簇到期被删除,则登记为“已删除”。
此外,所述聚合节点还用于获得对应的边缘节点(即与聚合节点通信连接的边缘节点)的剩余计算能力以及边缘节点支持的分析功能的边缘节点信息,并创建边缘节点表,通过所述边缘节点表登记每个边缘节点的边缘节点信息,并根据所述边缘节点表和所述组表单对对应的边缘节点中的安防数据进行管理。
具体地,聚合节点可以通过所述组表单对来自不同边缘节点的安防数据进行统一的管理和应用。例如,当组表单某个数据簇的“异常状态”为异常,可以锁定与该数据簇相关的全部数据簇(例如相同时间段内的数据,或者一定位置范围内的数据),从而避免了边缘节点不能与其它边缘节点进行安防数据的共享分析。比如对同一个可疑人物的追踪,可能跨越多个边缘节点负责的区域,由于数据都分布在各个节点上,有可能出现该人物在边缘节点a存在异常数据,但是在边缘节点b行为正常,导致边缘节点b把该人物的数据当作正常数据而忽略和定期删除了。而在本发明中,边缘节点103通过分析本节点采集和存储的数据簇,发现某人物行为存在异常,则边缘节点103将该数据簇的“异常”状态消息实时上传对应的聚合节点102;聚合节点102将该数据簇的异常状态登记到该数据簇对应的组表单,并且根据组表单的登记,对数据组中与该数据簇相关的全部数据簇进行锁定;例如,数据组是按照记录时间段进行聚合的情况下,可以将数据组中与该异常状态的数据簇处于同一记录时间段的其它数据簇全部锁定;又例如,数据组是按照数据源位置分布进行聚合的情况下,可以将数据组中与该异常状态的数据簇处于同一位置分布范围的其它数据簇全部锁定;聚合节点102在组表单中针对被锁定的数据簇,在数据簇状态当中登记为“锁定”。又例如,现有技术中边缘节点可能是按照固定的时间(例如每周一次)独立对正常数据进行删除,而本发明中聚合节点可以根据组表单进行统一的数据删除管理。例如对于组表单中的全部数据簇来说,当其中至少一个数据簇的状态为“锁定”,或者至少一个数据簇的分析状态为“未分析”,则不对该组表单中数据簇执行数据删除。当组表单中登记的数据簇的分析状态均为“已分析”而且无处于“异常”或者“锁定”状态的数据簇,则聚合节点102可以在经过预定的时间段后删除数据组中的全部数据簇。聚合节点102可以向各个边缘节点103下达数据簇更新消息,边缘节点103根据数据簇更新消息而对本节点上对应的数据簇进行删除。
聚合节点也可以根据所述组表单和所述边缘节点表,对边缘节点的资源进行统一调度和分配,将负荷超载的边缘节点的待分析数据分配给同一个物联网局域网的其它边缘节点,实现负荷均衡;或者,简化部分边缘节点所需要的分析能力和功能,将同类型数据调度到同一个边缘节点进行处理。
本申请实施例的基于边缘架构的安防数据聚合管理方法,能够取得与上述实施例中的系统相类似的技术效果,这里不再赘述。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种基于边缘架构的安防数据聚合管理系统,其特征在于,包括:
边缘节点、聚合节点和数据中心,所述数据中心与多个所述的聚合节点通信连接,每个所述的聚合节点与多个所述的边缘节点通信连接;
所述边缘节点包括数据簇存储模块、数据簇分析模块和数据簇更新模块,所述数据簇存储模块用于采集原始安防数据,按照第一预设规则将多个所述的原始安防数据存储为数据簇,为每个所述的数据簇建立一个簇头,将所述簇头和所述数据簇关联存储,并将所述簇头上传至对应的聚合节点,所述数据簇分析模块用于对采集到的原始安防数据进行分析,根据分析结果结合预设的判断条件,判断原始安防数据是否属于异常数据,所述数据簇更新模块用于根据聚合节点的消息而对对应的数据簇进行删除;其中,所述第一预设规则包括:将预设时间段内采集到的原始安防数据归入同一个数据簇,或者将所述原始安防数据按照数据类型分类型整合为不同的数据簇;
所述聚合节点包括数据簇聚合模块,所述数据簇聚合模块用于接收所述簇头,按照第二预设规则将多个所述簇头对应的数据簇聚合成一个数据组,生成与所述数据组对应的组表单,对所述组表单进行更新,并为所述数据中心提供数据调用接口,当接收到所述数据中心的数据调取指令后,从边缘节点调取对应的数据;其中,所述第二预设规则包括:根据数据类型将多个数据簇聚合为一个数据组,或者根据记录时间段多个数据簇聚合为一个数据组,或者根据数据源位置信息将多个数据簇聚合为一个数据组;
所述数据中心通过所述聚合节点从所述边缘节点调取数据。
2.根据权利要求1所述的系统,其特征在于,所述簇头包括:
边缘节点为数据簇分配的ID,数据簇的记录时间段、数据源位置信息、数据类型和数据量信息。
3.根据权利要求2所述的系统,其特征在于,所述组表单记录有聚合到每个数据组的每个数据簇的ID号、数据簇被保存的边缘节点、簇头包含的信息以及数据簇状态,其中数据簇状态包含该数据簇是否已经被分析的分析状态和是否存在异常的异常状态;
所述聚合节点具体用于:接收边缘节点对数据簇进行分析后上传的信息,并根据该信息更新所述组表单中该数据簇的分析状态和异常状态。
4.根据权利要求3所述的系统,其特征在于,所述聚合节点还用于更新所述组表单中数据簇的存储状态。
5.根据权利要求4所述的系统,其特征在于,所述聚合节点还包括:
节点能力管理模块,所述节点能力管理模块用于获得对应的边缘节点的剩余计算能力以及边缘节点支持的分析功能的边缘节点信息,并创建边缘节点表,通过所述边缘节点表登记每个边缘节点的边缘节点信息。
6.根据权利要求5所述的系统,其特征在于,所述聚合节点还包括:
管理调度模块,所述管理调度模块用于根据所述边缘节点表和所述组表单对对应的边缘节点中的安防数据进行管理。
7.根据权利要求6所述的系统,其特征在于,所述聚合节点还用于:
根据所述组表单和所述边缘节点表,对边缘节点的资源进行统一调度和分配,将负荷超载的边缘节点的待分析数据分配给同一个物联网局域网的其它边缘节点,实现负荷均衡;
简化部分边缘节点所需要的分析能力和功能,将同类型数据调度到同一个边缘节点进行处理。
8.一种基于边缘架构的安防数据聚合管理方法,其特征在于,包括:
边缘节点采集原始安防数据,按照第一预设规则将多个所述的原始安防数据存储为数据簇,为每个所述的数据簇建立一个簇头,将所述簇头和所述数据簇关联存储,并将所述簇头上传至对应的聚合节点;其中,所述第一预设规则包括:将预设时间段内采集到的原始安防数据归入同一个数据簇,或者将所述原始安防数据按照数据类型分类型整合为不同的数据簇;
聚合节点接收所述簇头,按照第二预设规则将多个所述簇头对应的数据簇聚合成一个数据组,生成与所述数据组对应的组表单,对所述组表单进行更新,并为数据中心提供数据调用接口,当接收到所述数据中心的数据调取指令后,从边缘节点调取对应的数据;其中,所述第二预设规则包括:根据数据类型将多个数据簇聚合为一个数据组,或者根据记录时间段多个数据簇聚合为一个数据组,或者根据数据源位置信息将多个数据簇聚合为一个数据组。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910036846.3A CN109672750B (zh) | 2019-01-15 | 2019-01-15 | 一种基于边缘架构的安防数据聚合管理系统及其管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910036846.3A CN109672750B (zh) | 2019-01-15 | 2019-01-15 | 一种基于边缘架构的安防数据聚合管理系统及其管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109672750A CN109672750A (zh) | 2019-04-23 |
CN109672750B true CN109672750B (zh) | 2020-02-14 |
Family
ID=66149451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910036846.3A Active CN109672750B (zh) | 2019-01-15 | 2019-01-15 | 一种基于边缘架构的安防数据聚合管理系统及其管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109672750B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4066136A1 (en) * | 2019-11-26 | 2022-10-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Techniques for private and secure collection and processing of iot sensors data for generalized analysis |
CN112019604B (zh) * | 2020-08-13 | 2023-09-01 | 上海哔哩哔哩科技有限公司 | 边缘数据传输方法和系统 |
CN112637568B (zh) * | 2020-12-24 | 2021-11-23 | 中标慧安信息技术股份有限公司 | 基于多节点边缘计算设备的分布式安全监控方法和系统 |
CN114724347A (zh) * | 2022-03-21 | 2022-07-08 | 慧之安信息技术股份有限公司 | 基于边缘计算的智能安防联动系统和方法 |
CN114640632B (zh) * | 2022-03-25 | 2023-12-15 | 北京奇艺世纪科技有限公司 | 数据聚合方法、系统、装置、设备及存储介质 |
CN115599873B (zh) * | 2022-12-06 | 2023-08-29 | 广州丰网互联科技有限公司 | 基于人工智能物联网的数据采集方法、系统及云平台 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106454815A (zh) * | 2016-06-30 | 2017-02-22 | 华南理工大学 | 一种基于leach协议的无线传感器网络路由方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10353756B2 (en) * | 2016-10-11 | 2019-07-16 | Oracle International Corporation | Cluster-based processing of unstructured log messages |
CN107122422B (zh) * | 2017-04-06 | 2019-09-24 | 山东建筑大学 | 面向服务的智慧住区实时数据库系统及其工作方法 |
CN107180393B (zh) * | 2017-06-22 | 2020-09-11 | 国网山东省电力公司诸城市供电公司 | 一种用于变电系统监控的集中式平台服务器 |
CN107316431A (zh) * | 2017-07-14 | 2017-11-03 | 义乌控客科技有限公司 | 一种基于云端的智能家居安防系统 |
CN108966239B (zh) * | 2018-01-18 | 2020-10-09 | 北京交通大学 | 一种基于能量空洞度部署中继节点的方法 |
-
2019
- 2019-01-15 CN CN201910036846.3A patent/CN109672750B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106454815A (zh) * | 2016-06-30 | 2017-02-22 | 华南理工大学 | 一种基于leach协议的无线传感器网络路由方法 |
Non-Patent Citations (1)
Title |
---|
一种高效节能的无线传感器网络数据聚合协议;程卫芳等;《计算机工程与科学》;20081231;第30卷(第3期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109672750A (zh) | 2019-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109672750B (zh) | 一种基于边缘架构的安防数据聚合管理系统及其管理方法 | |
CN104966006A (zh) | 基于云变平台的智能人脸识别系统 | |
CN106657191B (zh) | 一种负载均衡方法及相关装置、系统 | |
CN109271243B (zh) | 一种集群任务管理系统 | |
CN110430229B (zh) | 基于云平台的智慧社区物联传感信息采集处理系统及方法 | |
US20210208949A1 (en) | Centralized control server, local terminal, distributed surveillance system, surveillance method and storage medium | |
WO2016133234A1 (ko) | 동적으로 할당되는 카메라 영상을 분석하는 영상 분석 시스템, 이를 포함하는 통합 관제 시스템 및 그 동작방법 | |
CN106790706A (zh) | 一种数据资源优化的方法、平台及系统 | |
US20160092452A1 (en) | Large-scale processing and querying for real-time surveillance | |
CN106791639A (zh) | 大规模数据并发环境下的视频监控方法及系统 | |
CN107967175A (zh) | 一种基于多目标优化的资源调度系统及方法 | |
US8356003B2 (en) | Automated integration of events for a surveillance system | |
CN107180393B (zh) | 一种用于变电系统监控的集中式平台服务器 | |
Hassan et al. | A scalable and elastic cloud-assisted publish/subscribe model for IPTV video surveillance system | |
CN103716195A (zh) | 管理云端主机的监控系统及其监控方法 | |
CN106034047A (zh) | 数据处理方法及装置 | |
Iacus et al. | Anomaly detection of mobile positioning data with applications to covid-19 situational awareness | |
CN109670079B (zh) | 基于监控系统的督察方法和系统 | |
CN107181929A (zh) | 用于视频监控的方法和装置 | |
KR101586780B1 (ko) | 동적으로 할당되는 카메라 영상을 분석하는 영상 분석 시스템, 이를 포함하는 통합 관제 시스템 및 그 동작방법 | |
CN103379312A (zh) | 影像监视系统及影像监视方法 | |
CN113360241A (zh) | 一种交通隧道分析平台 | |
Machida et al. | Optimizing resiliency of distributed video surveillance system for safer city | |
CN111698120A (zh) | 存储节点隔离方法和装置 | |
CN106341474A (zh) | 一种基于icn与sdn网络的资料管控中心及其内容管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |