CN117235559A - 一种基于边缘计算的物联网数据采集方法及系统 - Google Patents
一种基于边缘计算的物联网数据采集方法及系统 Download PDFInfo
- Publication number
- CN117235559A CN117235559A CN202311509615.2A CN202311509615A CN117235559A CN 117235559 A CN117235559 A CN 117235559A CN 202311509615 A CN202311509615 A CN 202311509615A CN 117235559 A CN117235559 A CN 117235559A
- Authority
- CN
- China
- Prior art keywords
- edge computing
- vector
- data
- computing device
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004364 calculation method Methods 0.000 title claims abstract description 38
- 239000013598 vector Substances 0.000 claims abstract description 442
- 238000012545 processing Methods 0.000 claims abstract description 118
- 230000002776 aggregation Effects 0.000 claims abstract description 52
- 238000004220 aggregation Methods 0.000 claims abstract description 52
- 238000005065 mining Methods 0.000 claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims description 53
- 230000004927 fusion Effects 0.000 claims description 25
- 238000007405 data analysis Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000012098 association analyses Methods 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 12
- 238000013480 data collection Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 238000010835 comparative analysis Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供的一种基于边缘计算的物联网数据采集方法及系统,涉及人工智能技术领域。在本发明中,对每一个边缘计算设备进行多角度的关键信息挖掘和聚合,输出聚合设备数据向量;对每一个物联网终端设备进行关键信息挖掘,输出设备语义向量;对聚合设备数据向量和设备语义向量进行向量匹配分析,使得每一个物联网终端设备匹配到至少一个目标边缘计算设备;对于每一个物联网终端设备,将该物联网终端设备分配到对应的目标边缘计算设备,使得目标边缘计算设备对该物联网终端设备形成的物联网数据进行采样处理,以完成该物联网数据的采集。基于上述内容,可以提高基于边缘计算的物联网数据采集中的数据处理可靠度。
Description
技术领域
本发明涉及人工智能技术领域,具体而言,涉及一种基于边缘计算的物联网数据采集方法及系统。
背景技术
边缘计算,是指在靠近物或数据源头的一侧,采用网络、计算、存储、应用核心能力为一体的开放平台,就近提供最近端服务,例如,在物联网应用中,可以针对靠近物联网终端设备的一侧,部署边缘计算设备(可以是边缘计算网关,也可以是边缘计算服务器)。其应用程序在边缘侧发起,可以产生更快的网络服务响应,满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。但是,在现有技术中,在基于边缘计算的物联网数据采集的过程中,存在着数据处理可靠度不高的问题。
发明内容
有鉴于此,本发明的目的在于提供一种基于边缘计算的物联网数据采集方法及系统,提高基于边缘计算的物联网数据采集中的数据处理可靠度。
为实现上述目的,本发明实施例采用如下技术方案:
一种基于边缘计算的物联网数据采集方法,包括:
对边缘计算设备图谱中的每一个边缘计算设备进行多角度的关键信息挖掘和聚合,输出每一个边缘计算设备对应的聚合设备数据向量,所述聚合设备数据向量用于反映所述边缘计算设备在多个角度具有的设备语义特征;
对于部署的每一个物联网终端设备,分别对每一个所述物联网终端设备进行关键信息挖掘,输出每一个所述物联网终端设备对应的设备语义向量;
对每一个所述边缘计算设备对应的聚合设备数据向量和每一个所述物联网终端设备对应的设备语义向量进行向量匹配分析,使得每一个所述物联网终端设备匹配到至少一个边缘计算设备,作为对应的目标边缘计算设备;
对于每一个所述物联网终端设备,将该物联网终端设备分配到对应的目标边缘计算设备,使得所述目标边缘计算设备对该物联网终端设备形成的物联网数据进行采样处理,以完成该物联网数据的采集。
在一些优选的实施例中,在上述基于边缘计算的物联网数据采集方法中,所述对边缘计算设备图谱中的每一个边缘计算设备进行多角度的关键信息挖掘和聚合,输出每一个边缘计算设备对应的聚合设备数据向量的步骤,包括:
提取到边缘计算设备图谱,所述边缘计算设备图谱中包括第一图谱链路和第二图谱链路,所述第一图谱链路基于边缘计算设备属性数据对应的边缘计算设备属性对象组合形成,所述边缘计算设备属性数据用于表征相应的边缘计算设备的设备属性,所述第二图谱链路基于所述边缘计算设备属性对象和边缘计算设备处理数据对应的边缘计算设备处理对象组合形成,所述边缘计算设备处理数据是指所述边缘计算设备属性数据表征的边缘计算设备在历史上处理过的物联网数据;
依据所述第一图谱链路,将待处理的边缘计算设备属性对象进行关键信息挖掘,输出对应的设备属性数据向量,所述待处理的边缘计算设备属性对象为所述边缘计算设备图谱中的一个边缘计算设备属性对象;
依据所述第二图谱链路,将所述待处理的边缘计算设备属性对象进行关键信息挖掘,输出对应的设备处理数据向量;
将所述设备属性数据向量和所述设备处理数据向量进行向量聚合处理,输出所述待处理的边缘计算设备属性对象的聚合设备数据向量,所述待处理的边缘计算设备属性对象的聚合设备数据向量,作为所述待处理的边缘计算设备属性对象表征的边缘计算设备对应的聚合设备数据向量。
在一些优选的实施例中,在上述基于边缘计算的物联网数据采集方法中,所述依据所述第一图谱链路,将待处理的边缘计算设备属性对象进行关键信息挖掘,输出对应的设备属性数据向量的步骤,包括:
基于所述第一图谱链路,将所述待处理的边缘计算设备属性对象进行卷积聚合处理,输出所述待处理的边缘计算设备属性对象对应的设备属性数据向量;
并且,所述依据所述第二图谱链路,将所述待处理的边缘计算设备属性对象进行关键信息挖掘,输出对应的设备处理数据向量的步骤,包括:
基于所述第二图谱链路,将所述待处理的边缘计算设备属性对象进行卷积聚合处理,将所述待处理的边缘计算设备属性对象对应的设备处理数据向量。
在一些优选的实施例中,在上述基于边缘计算的物联网数据采集方法中,所述基于所述第一图谱链路,将所述待处理的边缘计算设备属性对象进行卷积聚合处理,输出所述待处理的边缘计算设备属性对象对应的设备属性数据向量的步骤,包括:
依据所述第一图谱链路,确定出所述待处理的边缘计算设备属性对象对应的至少一级的关联的边缘计算设备属性对象,所述至少一级的关联的边缘计算设备属性对象中,关联的边缘计算设备属性对象的级数与关联度之间具有负相关的对应关系,且级数等于连接在对应的两个所述边缘计算设备属性对象之间的最短路径包括的关联边的数量;
将所述至少一级的关联的边缘计算设备属性对象的关联设备属性数据向量和所述待处理的边缘计算设备属性对象的自身设备属性数据向量进行向量融合,输出所述待处理的边缘计算设备属性对象对应的设备属性数据向量。
在一些优选的实施例中,在上述基于边缘计算的物联网数据采集方法中,所述至少一级的关联的边缘计算设备属性对象包括所述待处理的边缘计算设备属性对象的一级的关联的边缘计算设备属性对象、二级的关联的边缘计算设备属性对象和三级的关联的边缘计算设备属性对象;
所述将所述至少一级的关联的边缘计算设备属性对象的关联设备属性数据向量和所述待处理的边缘计算设备属性对象的自身设备属性数据向量进行向量融合,输出所述待处理的边缘计算设备属性对象对应的设备属性数据向量的步骤,包括:
将所述三级的关联的边缘计算设备属性对象的属性数据向量与所述二级的关联的边缘计算设备属性对象的属性数据向量进行向量融合处理,形成对应的初始关联融合向量;
将所述一级的关联的边缘计算设备属性对象的属性数据向量与所述初始关联融合向量进行向量融合处理,形成对应的目标关联融合向量;
将所述目标关联融合向量与所述自身设备属性数据向量进行向量融合处理,形成所述待处理的边缘计算设备属性对象对应的设备属性数据向量。
在一些优选的实施例中,在上述基于边缘计算的物联网数据采集方法中,所述卷积聚合处理通过数据分析网络模型中关键信息挖掘单元实现,所述对边缘计算设备图谱中的每一个边缘计算设备进行多角度的关键信息挖掘和聚合,输出每一个边缘计算设备对应的聚合设备数据向量的步骤,还包括:
基于所述第一图谱链路,将训练的边缘计算设备属性对象进行卷积聚合处理,输出对应的训练的设备属性数据向量;
基于所述第二图谱链路,将所述训练的边缘计算设备属性对象进行卷积聚合处理,输出对应的训练的设备处理数据向量;
将所述训练的设备属性数据向量和所述训练的设备处理数据向量进行向量聚合处理,输出对应的训练的聚合设备数据向量;
依据各个训练的边缘计算设备属性对象的所述训练的设备属性数据向量、所述训练的设备处理数据向量和所述训练的聚合设备数据向量,将所述数据分析网络模型进行模型优化处理。
在一些优选的实施例中,在上述基于边缘计算的物联网数据采集方法中,所述依据各个训练的边缘计算设备属性对象的所述训练的设备属性数据向量、所述训练的设备处理数据向量和所述训练的聚合设备数据向量,将所述数据分析网络模型进行模型优化处理的步骤,包括:
依据边缘计算设备属性对象的第一训练组合的所述训练的聚合设备数据向量和边缘计算设备属性对象的第二训练组合的所述训练的聚合设备数据向量,计算出对应的关联分析误差,所述边缘计算设备属性对象的第一训练组合中包括在属性数据或处理数据上关联的两个训练的边缘计算设备属性数据对应的边缘计算设备属性对象,所述边缘计算设备属性对象的第二训练组合中包括在属性数据和处理数据上都不关联的两个训练的边缘计算设备属性数据对应的边缘计算设备属性对象;
依据第一数据向量组合和第二数据向量组合,计算出对应的对比分析误差,所述第一数据向量组合基于一个训练的边缘计算设备属性对象对应的训练的设备属性数据向量和训练的设备处理数据向量组合形成,所述第二数据向量组合基于两个不同的训练的边缘计算设备属性对象对应的训练的设备属性数据向量和训练的设备处理数据向量组合形成;
依据所述关联分析误差和所述对比分析误差,将所述数据分析网络模型进行的模型参数进行优化处理。
在一些优选的实施例中,在上述基于边缘计算的物联网数据采集方法中,所述依据边缘计算设备属性对象的第一训练组合的所述训练的聚合设备数据向量和边缘计算设备属性对象的第二训练组合的所述训练的聚合设备数据向量,计算出对应的关联分析误差的步骤,包括:
分析出所述边缘计算设备属性对象的第一训练组合对应的训练的聚合设备数据向量之间的向量第一关联参数;
分析出所述边缘计算设备属性对象的第二训练组合对应的训练的聚合设备数据向量之间的向量第二关联参数;
依据所述向量第一关联参数和所述向量第二关联参数,计算出对应的关联分析误差;
并且,所述依据第一数据向量组合和第二数据向量组合,计算出对应的对比分析误差的步骤,包括:
分析出所述第一数据向量组合对应的第一组合关联参数;
分析出所述第二数据向量组合对应的第二组合关联参数;
依据各个所述第一组合关联参数和各个所述第二组合关联参数,分析出对应的对比分析误差,各第一组合关联参数对应各第一数据向量组合,各第二组合关联参数对应各第二数据向量组合。
在一些优选的实施例中,在上述基于边缘计算的物联网数据采集方法中,所述对每一个所述边缘计算设备对应的聚合设备数据向量和每一个所述物联网终端设备对应的设备语义向量进行向量匹配分析,使得每一个所述物联网终端设备匹配到至少一个边缘计算设备,作为对应的目标边缘计算设备的步骤,包括:
在存在多个边缘计算设备和多个物联网终端设备的情况下,对所述多个边缘计算设备对应的聚合设备数据向量进行聚类,形成多个第一向量类;
基于所述多个第一向量类的数量,对所述多个物联网终端设备对应的设备语义向量进行聚类,形成多个第二向量类;
分别确定每一个所述第一向量类的聚类中心和每一个所述第二向量类的聚类中心之间的距离,以及,基于配对的向量类之间的距离的平均值最小的原则,将所述多个第一向量类和所述多个第二向量类进行一一配对处理;
对于每一个配对数据,在该配对数据包括的一个第一向量类中,为该配对数据包括的一个第二向量类中的每一个设备语义向量分别确定匹配的聚合设备数据向量,以及,将该匹配的聚合设备数据向量对应的边缘计算设备,作为该设备语义向量对应的物联网终端设备对应的目标边缘计算设备。
本发明实施例还提供一种基于边缘计算的物联网数据采集系统,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现上述的基于边缘计算的物联网数据采集方法。
本发明实施例提供的一种基于边缘计算的物联网数据采集方法及系统,可以先对每一个边缘计算设备进行多角度的关键信息挖掘和聚合,输出聚合设备数据向量;对每一个物联网终端设备进行关键信息挖掘,输出设备语义向量;对聚合设备数据向量和设备语义向量进行向量匹配分析,使得每一个物联网终端设备匹配到至少一个目标边缘计算设备;对于每一个物联网终端设备,将该物联网终端设备分配到对应的目标边缘计算设备,使得目标边缘计算设备对该物联网终端设备形成的物联网数据进行采样处理,以完成该物联网数据的采集。基于前述的内容,由于会对边缘计算设备和物联网终端设备进行语义匹配分析,使得物联网终端设备匹配到的边缘计算设备的适配度更高,从而在一定程度上提高基于边缘计算的物联网数据采集中的数据处理可靠度;另外,由于在对边缘计算设备进行语义向量的挖掘过程中会进行多角度的关键信息挖掘和聚合,使得对应的聚合设备数据向量对边缘计算设备的表征能力更强,也能够提高匹配到的边缘计算设备的适配度。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
图1为本发明实施例提供的基于边缘计算的物联网数据采集系统的结构框图。
图2为本发明实施例提供的基于边缘计算的物联网数据采集方法包括的各步骤的流程示意图。
图3为本发明实施例提供的基于边缘计算的物联网数据采集装置包括的各模块的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于边缘计算的物联网数据采集系统。其中,所述基于边缘计算的物联网数据采集系统可以包括存储器和处理器。
详细地,所述存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式,存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序,从而实现本发明实施例提供的基于边缘计算的物联网数据采集方法。
举例来说,在一些具体的应用场景中,所述存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。
举例来说,在一些具体的应用场景中,所述处理器可以是一种通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)、片上系统(System on Chip,SoC)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
举例来说,在一些具体的应用场景中,所述基于边缘计算的物联网数据采集系统可以是一种具备数据处理能力的服务器或集群。
结合图2,本发明实施例还提供一种基于边缘计算的物联网数据采集方法,可应用于上述基于边缘计算的物联网数据采集系统。其中,所述基于边缘计算的物联网数据采集方法有关的流程所定义的方法步骤,可以由所述基于边缘计算的物联网数据采集系统实现。
下面将对图2所示的具体流程,进行详细阐述。
步骤S110,对边缘计算设备图谱中的每一个边缘计算设备进行多角度的关键信息挖掘和聚合,输出每一个边缘计算设备对应的聚合设备数据向量。
在本发明实施例中,所述基于边缘计算的物联网数据采集系统可以对边缘计算设备图谱中的每一个边缘计算设备进行多角度的关键信息挖掘和聚合,输出每一个边缘计算设备对应的聚合设备数据向量。所述聚合设备数据向量用于反映所述边缘计算设备在多个角度具有的设备语义特征。举例说明:假设边缘计算设备图谱包括以下类型的边缘计算设备——服务器A、服务器B和服务器C。在步骤S110中,针对每一个边缘计算设备进行多角度的关键信息挖掘和聚合,以服务器A为例,可以从设备自身属性数据中提取处理器型号、内存容量、存储空间、计算能力等特征,并分析历史上处理过的物联网数据,如监控视频本身、对监控视频的处理能力、压缩算法支持等特征。通过将这些关键信息聚合为服务器A的聚合设备数据向量,该向量用于表达服务器节点A在多个方面上具有的语义特征。
步骤S120,对于部署的每一个物联网终端设备,分别对每一个所述物联网终端设备进行关键信息挖掘,输出每一个所述物联网终端设备对应的设备语义向量。
在本发明实施例中,所述基于边缘计算的物联网数据采集系统可以对于部署的每一个物联网终端设备,分别对每一个所述物联网终端设备进行关键信息挖掘,输出每一个所述物联网终端设备对应的设备语义向量。举例说明:假设部署了多个视频监控设备,包括摄像头A、摄像头B和摄像头C。在步骤S120中,针对每一个视频监控设备进行关键信息挖掘,例如,针对摄像头A,可以提取其分辨率、帧率、视野角度、支持的压缩算法、网络传输协议、运动检测功能、远程控制能力等特征,以及,监控场景的图像数据等,还可以包括监控场景中可能出现的监控对象,如设备或人员等信息。根据这些关键信息,生成每一个视频监控设备的设备语义向量,用于表示其具体的设备特征。具体来说,可以对前面的这些信息进行卷积处理,如通过卷积神经网络实现,得到设备语义向量。
步骤S130,对每一个所述边缘计算设备对应的聚合设备数据向量和每一个所述物联网终端设备对应的设备语义向量进行向量匹配分析,使得每一个所述物联网终端设备匹配到至少一个边缘计算设备,作为对应的目标边缘计算设备。
在本发明实施例中,所述基于边缘计算的物联网数据采集系统可以对每一个所述边缘计算设备对应的聚合设备数据向量和每一个所述物联网终端设备对应的设备语义向量进行向量匹配分析,使得每一个所述物联网终端设备匹配到至少一个边缘计算设备,作为对应的目标边缘计算设备。举例说明:在步骤S130中,通过对边缘计算设备的聚合设备数据向量和视频监控设备的设备语义向量进行向量匹配分析,实现设备之间的匹配。例如,将摄像头A的设备语义向量与具有相似特征的边缘计算设备的聚合设备数据向量进行匹配,以确保摄像头A至少匹配到一个适合的边缘计算设备。
步骤S140,对于每一个所述物联网终端设备,将该物联网终端设备分配到对应的目标边缘计算设备,使得所述目标边缘计算设备对该物联网终端设备形成的物联网数据进行采样处理,以完成该物联网数据的采集。
在本发明实施例中,所述基于边缘计算的物联网数据采集系统可以对于每一个所述物联网终端设备,将该物联网终端设备分配到对应的目标边缘计算设备,使得所述目标边缘计算设备对该物联网终端设备形成的物联网数据进行采样处理,以完成该物联网数据的采集。举例说明:在步骤S140中,假设摄像头A经过向量匹配分析,被分配到了服务器B作为目标边缘计算设备。这意味着服务器B拥有适合处理摄像头A生成的监控视频的计算资源和能力。一旦匹配完成,摄像头A会将其产生的监控视频数据发送至服务器B,而不是其他边缘计算设备。服务器B会负责对接收到的监控视频进行采样处理,通过这样的分配和采样处理,物联网终端设备的数据可以有效地在边缘计算设备上进行处理和管理。假设目标边缘计算设备是一台服务器B,它被分配来处理来自摄像头A生成的监控视频数据。在采样处理中,服务器节点B执行关键帧检测操作,包括:
视频输入:摄像头A实时生成连续的监控视频流,并将其传输至服务器B进行处理;
图像预处理:服务器B对接收到的视频帧进行预处理,如去噪、亮度调整、图像增强等,这有助于提高关键帧检测的准确性和稳定性;
运动检测:服务器B使用运动检测算法来识别视频序列中的运动物体,这可以通过比较相邻帧之间的像素差异、光流分析等技术来实现,当检测到明显的运动时,这些帧通常被认为是潜在的关键帧;
场景变化检测:服务器B使用场景变化检测算法来检测视频中的场景变化,这可以通过分析颜色直方图、背景建模、视觉特征等方式来实现,当视频序列中的场景发生明显变化时,这些帧通常被认为是关键帧;
特定条件检测:服务器B可以根据特定的应用需求或任务要求进行额外的条件筛选,例如,可以根据图像质量评估指标、运动物体数量、人脸识别结果等来判断是否将某些帧标记为关键帧;
关键帧标记:基于上述检测结果,服务器B将被确定为关键帧的视频帧进行标记,这些帧通常会被保存、处理或传输,以满足后续的应用需求;如传输至存储服务器进行存储或远端的监控服务器进行一些实时性不高的处理等,通过详细的关键帧检测过程,服务器B能够从连续的监控视频流中选择出具有重要信息、场景变化或其他特定条件的关键帧,从而实现对物联网终端设备生成的监控视频数据的有效采样处理。
基于前述的内容,由于会对边缘计算设备和物联网终端设备进行语义匹配分析,使得物联网终端设备匹配到的边缘计算设备的适配度更高,从而在一定程度上提高基于边缘计算的物联网数据采集中的数据处理可靠度;另外,由于在对边缘计算设备进行语义向量的挖掘过程中会进行多角度的关键信息挖掘和聚合,使得对应的聚合设备数据向量对边缘计算设备的表征能力更强,也能够提高匹配到的边缘计算设备的适配度。
举例来说,在一些具体的应用场景中,上述的步骤S110,可以包括:
提取到边缘计算设备图谱,所述边缘计算设备图谱中包括第一图谱链路和第二图谱链路,所述第一图谱链路基于边缘计算设备属性数据对应的边缘计算设备属性对象组合形成,如边缘计算设备属性对象1-边缘计算设备属性对象2-边缘计算设备属性对象3,所述边缘计算设备属性数据用于表征相应的边缘计算设备的设备属性,所述第二图谱链路基于所述边缘计算设备属性对象和边缘计算设备处理数据对应的边缘计算设备处理对象组合形成,如边缘计算设备属性对象1-边缘计算设备处理对象1-边缘计算设备处理对象2-边缘计算设备属性对象2-边缘计算设备属性对象3,所述边缘计算设备处理数据是指所述边缘计算设备属性数据表征的边缘计算设备在历史上处理过的物联网数据;假设有一个边缘计算设备属性数据集合,包含了不同边缘计算设备的属性信息,如设备型号、处理能力、存储容量等,将这些属性数据与对应的边缘计算设备属性对象进行组合形成第一图谱链路,例如,针对一台边缘计算设备A,它的属性数据为{型号: A1, 处理能力: 4核, 存储容量:128GB},可以将这些属性数据与边缘计算设备属性对象组合形成第一图谱链路中的一个图谱对象;假设有一个边缘计算设备处理数据集合,记录了边缘计算设备在历史上处理过的监控视频数据,将这些处理数据与对应的边缘计算设备属性对象进行组合形成第二图谱链路,例如,仍以边缘计算设备A为例,它曾经处理过的监控视频数据为{视频1: 室内监控,视频2: 路口监控},将这些处理数据与边缘计算设备属性对象组合形成第二图谱链路中的一个图谱对象;
依据所述第一图谱链路,将待处理的边缘计算设备属性对象进行关键信息挖掘,输出对应的设备属性数据向量,所述待处理的边缘计算设备属性对象为所述边缘计算设备图谱中的一个边缘计算设备属性对象;假设要处理边缘计算设备图谱中的一个边缘计算设备属性对象,即待处理的边缘计算设备属性对象,如边缘计算设备A,根据第一图谱链路,可以对边缘计算设备A的属性对象进行关键信息挖掘,提取出与设备属性相关的关键信息,并将其表征为一个设备属性数据向量;
依据所述第二图谱链路,将所述待处理的边缘计算设备属性对象进行关键信息挖掘,输出对应的设备处理数据向量;根据第二图谱链路,可以对边缘计算设备A的属性对象进行关键信息挖掘,提取出与监控视频数据相关的关键信息,并将其表征为一个监控视频数据向量;
将所述设备属性数据向量和所述设备处理数据向量进行向量聚合处理,输出所述待处理的边缘计算设备属性对象的聚合设备数据向量,所述待处理的边缘计算设备属性对象的聚合设备数据向量,作为所述待处理的边缘计算设备属性对象表征的边缘计算设备对应的聚合设备数据向量;可以使用向量加法、平均值等方法,以实现向量聚合处理,这样就得到了待处理的边缘计算设备属性对象的聚合设备数据向量,它综合了设备的属性信息和历史处理的监控视频数据信息,使得信息表征能力更佳。
举例来说,在一些具体的应用场景中,所述依据所述第一图谱链路,将待处理的边缘计算设备属性对象进行关键信息挖掘,输出对应的设备属性数据向量的步骤,可以包括:
基于所述第一图谱链路,将所述待处理的边缘计算设备属性对象进行卷积聚合处理,输出所述待处理的边缘计算设备属性对象对应的设备属性数据向量;假设有一个待处理的边缘计算设备属性对象,即边缘计算设备A,该设备的属性包括型号、处理能力和存储容量;可以使用卷积聚合处理的方法对边缘计算设备A进行关键信息挖掘,这可能涉及使用卷积神经网络(Convolutional Neural Network,CNN)或其他相关技术来提取重要特征,假设通过卷积聚合处理,从设备A的属性中提取到以下关键信息:型号= A1, 处理能力= 4核,存储容量= 128GB;将提取到的关键信息组合成一个设备属性数据向量,例如,可以使用独热编码(One-Hot Encoding)将每一个属性转换为二进制表示形式,在这个例子中,设备属性数据向量可以表示为[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0,0, 0, 0],其中,每一个位置对应一个属性,1表示该属性存在,0表示该属性不存在;最终的输出是待处理的边缘计算设备属性对象对应的设备属性数据向量。
举例来说,在一些具体的应用场景中,所述依据所述第二图谱链路,将所述待处理的边缘计算设备属性对象进行关键信息挖掘,输出对应的设备处理数据向量的步骤,可以包括:
基于所述第二图谱链路,将所述待处理的边缘计算设备属性对象进行卷积聚合处理,将所述待处理的边缘计算设备属性对象对应的设备处理数据向量,第二图谱链路相较于第一图谱链路,在边缘计算设备属性对象的基础上,还具有边缘计算设备处理对象,如有一个边缘计算设备D的处理数据对象,包括监控视频帧、视频帧率、分辨率和运动检测结果,如视频帧率=30fps, 分辨率=1920x1080, 运动检测结果=有运动物体。
举例来说,在一些具体的应用场景中,所述基于所述第一图谱链路,将所述待处理的边缘计算设备属性对象进行卷积聚合处理,输出所述待处理的边缘计算设备属性对象对应的设备属性数据向量的步骤(基于所述第二图谱链路进行的卷积聚合处理可以参照此步骤),可以包括:
依据所述第一图谱链路,确定出所述待处理的边缘计算设备属性对象对应的至少一级的关联的边缘计算设备属性对象,所述至少一级的关联的边缘计算设备属性对象中,关联的边缘计算设备属性对象的级数与关联度之间具有负相关的对应关系,且级数等于连接在对应的两个所述边缘计算设备属性对象之间的最短路径(路径,可以是基于图谱对象之间的关联边进行游走形成的)包括的关联边的数量;
将所述至少一级的关联的边缘计算设备属性对象的关联设备属性数据向量和所述待处理的边缘计算设备属性对象的自身设备属性数据向量进行向量融合,输出所述待处理的边缘计算设备属性对象对应的设备属性数据向量;假设有一个待处理的边缘计算设备E的属性对象,包括处理器型号、内存容量和操作系统版本,属性为:处理器型号=i7, 内存容量=32GB, 操作系统版本=Windows 10;考虑到第一图谱链路,确定与待处理设备E至少一级关联的边缘计算设备属性对象,假设边缘计算设备E的一级关联设备属性对象是边缘计算设备F,它的属性为:处理器型号=AMD Ryzen 5, 内存容量=16GB, 操作系统版本=Windows 10;可以将边缘计算设备E的自身设备属性数据向量(假设为[1, 0, 0, 1, 0, 0,1, 0, 0])和关联设备F的关联设备属性数据向量(假设为[0, 1, 0, 0, 1, 0, 0, 1, 0])进行向量融合,可以使用加权平均、拼接等方式将两个向量进行融合,在这个例子中,选择简单拼接两个向量,得到对应的设备属性数据向量为:[1, 0, 0, 1, 0, 0, 1, 0, 0, 0,1, 0, 0, 1, 0],该向量包含了待处理设备E的自身属性信息和一级关联设备F的属性信息的融合表示。
举例来说,在一些具体的应用场景中,所述至少一级的关联的边缘计算设备属性对象可以包括所述待处理的边缘计算设备属性对象的一级的关联的边缘计算设备属性对象、二级的关联的边缘计算设备属性对象和三级的关联的边缘计算设备属性对象,在其它应用场景中,还可以包括更多级关联的边缘计算设备属性对象。基于此,所述将所述至少一级的关联的边缘计算设备属性对象的关联设备属性数据向量和所述待处理的边缘计算设备属性对象的自身设备属性数据向量进行向量融合,输出所述待处理的边缘计算设备属性对象对应的设备属性数据向量的步骤,可以包括:
将所述三级的关联的边缘计算设备属性对象的属性数据向量与所述二级的关联的边缘计算设备属性对象的属性数据向量进行向量融合处理,形成对应的初始关联融合向量;
将所述一级的关联的边缘计算设备属性对象的属性数据向量与所述初始关联融合向量进行向量融合处理,形成对应的目标关联融合向量;
将所述目标关联融合向量与所述自身设备属性数据向量进行向量融合处理,形成所述待处理的边缘计算设备属性对象对应的设备属性数据向量。
假设待处理的边缘计算设备E的一级关联设备属性对象是F,二级关联设备属性对象是G,三级关联设备属性对象是H,它们分别具有如下属性数据向量:
设备F的属性数据向量:[0, 1, 0, 1, 0, 0, 1, 0, 0];
设备G的属性数据向量:[1, 0, 1, 0, 1, 0, 0, 1, 0];
设备H的属性数据向量:[0, 1, 0, 0, 1, 0, 1, 0, 1];
在此基础上,向量融合步骤可以包括以下内容:
a) 将三级关联设备H的属性数据向量与二级关联设备G的属性数据向量进行向量融合处理,形成初始关联融合向量,如初始关联融合向量 = [0, 1, 0, 0, 1, 0, 1, 0,1, 1, 0, 1, 0, 1, 0];
b) 将一级关联设备F的属性数据向量与初始关联融合向量进行向量融合处理,形成目标关联融合向量,如目标关联融合向量 = [0, 1, 0, 1, 0, 0, 1, 0, 0, 0, 1, 0,1, 0, 1, 0];
c) 将目标关联融合向量与自身设备E的属性数据向量进行向量融合处理,形成待处理的边缘计算设备属性对象对应的设备属性数据向量,如设备属性数据向量 = [1, 0,0, 1, 0, 0, 1, 0, 0, 0, 1, 0, 1, 0, 1, 0]。
可以理解的是,在上述示例中,是对各向量进行直接的拼接,在其它示例中,还可以进行加权叠加,如级数越高,对应的加权系数越小,级数越低,对应的加权系数越大。另外,在一些应用中,同一级的属性数据向量(即关联设备属性对象的自身属性数据向量)可以有多个,此时,可以先对同一级的多个属性数据向量进行融合,如进行叠加运算等;之后,可以基于前述的方法,将不同层级的属性数据向量进行融合。
举例来说,在一些具体的应用场景中,所述卷积聚合处理可以通过数据分析网络模型中关键信息挖掘单元实现,基于此,上述的步骤S110,还可以进一步包括以下内容:
基于所述第一图谱链路,将训练的边缘计算设备属性对象进行卷积聚合处理,输出对应的训练的设备属性数据向量,如前所述,其中,可以将边缘计算设备图谱中部分的边缘计算设备属性对象确定为训练的边缘计算设备属性对象,以对所述数据分析网络模型进行模型训练;
基于所述第二图谱链路,将所述训练的边缘计算设备属性对象进行卷积聚合处理,输出对应的训练的设备处理数据向量,如前所述;
将所述训练的设备属性数据向量和所述训练的设备处理数据向量进行向量聚合处理,输出对应的训练的聚合设备数据向量,如前所述;
依据各个训练的边缘计算设备属性对象的所述训练的设备属性数据向量、所述训练的设备处理数据向量和所述训练的聚合设备数据向量,将所述数据分析网络模型进行模型优化处理;也就是说,利用各个训练的边缘计算设备属性对象的训练的设备属性数据向量、训练的设备处理数据向量和训练的聚合设备数据向量,对数据分析网络模型进行模型优化处理,这可能包括参数调整、权重更新等操作,以提高模型的性能和准确性;具体来说,参数调整:参数调整是指根据训练数据和模型表现来修改模型中的参数值,以改善其性能,例如,在神经网络模型中,可以通过梯度下降算法来调整网络中的权重和偏置,通过计算损失函数关于这些参数的梯度,可以确定参数的更新方向和步长,使模型朝着更优的方向进行调整;权重更新:权重更新是指根据训练数据的误差反馈信号,对模型中的权重进行更新,这样可以使模型更好地拟合训练数据,并提高其对未知数据的泛化能力,例如,在深度学习中,可以使用反向传播算法来计算每一个权重对总误差的贡献,并根据该贡献来更新权重,通过多次迭代训练和权重更新,模型可以逐渐收敛到更准确的解决方案;综上所述,参数调整和权重更新是模型优化的重要步骤,通过根据训练数据和模型表现来调整模型的参数值,从而提高模型的性能和准确性,具体的操作方法包括使用梯度下降算法进行参数调整和使用反向传播算法进行权重更新,这些操作可以根据具体的模型和任务需求进行进一步的细化和改进。
举例来说,在一些具体的应用场景中,所述依据各个训练的边缘计算设备属性对象的所述训练的设备属性数据向量、所述训练的设备处理数据向量和所述训练的聚合设备数据向量,将所述数据分析网络模型进行模型优化处理的步骤,可以包括:
依据边缘计算设备属性对象的第一训练组合的所述训练的聚合设备数据向量和边缘计算设备属性对象的第二训练组合的所述训练的聚合设备数据向量,计算出对应的关联分析误差,所述边缘计算设备属性对象的第一训练组合中包括在属性数据或处理数据上关联的两个训练的边缘计算设备属性数据对应的边缘计算设备属性对象,如在边缘计算设备图谱中具有关联边,所述边缘计算设备属性对象的第二训练组合中包括在属性数据和处理数据上都不关联的两个训练的边缘计算设备属性数据对应的边缘计算设备属性对象,如在边缘计算设备图谱中不具有关联边;
依据第一数据向量组合和第二数据向量组合,计算出对应的对比分析误差,所述第一数据向量组合基于一个训练的边缘计算设备属性对象对应的训练的设备属性数据向量和训练的设备处理数据向量组合形成,如训练的边缘计算设备属性对象1对应的训练的设备属性数据向量和训练的设备处理数据向量,所述第二数据向量组合基于两个不同的训练的边缘计算设备属性对象对应的训练的设备属性数据向量和训练的设备处理数据向量组合形成,训练的边缘计算设备属性对象1对应的训练的设备属性数据向量和训练的边缘计算设备属性对象2对应的训练的设备处理数据向量;
依据所述关联分析误差和所述对比分析误差,将所述数据分析网络模型进行的模型参数进行优化处理;例如,通过最小化关联分析误差,可以使数据分析网络模型更好地捕捉到属性数据之间的关联信息,而通过最小化对比分析误差,可以使数据分析网络模型更好地理解和利用不同设备之间的差异和相似性,从而提高数据挖掘的可靠性。
举例来说,在一些具体的应用场景中,所述依据边缘计算设备属性对象的第一训练组合的所述训练的聚合设备数据向量和边缘计算设备属性对象的第二训练组合的所述训练的聚合设备数据向量,计算出对应的关联分析误差的步骤,可以包括:
分析出所述边缘计算设备属性对象的第一训练组合对应的训练的聚合设备数据向量之间的向量第一关联参数,例如,可以将其中的一个训练的聚合设备数据向量的转置结果和另一个训练的聚合设备数据向量进行数量积的计算,得到对应的向量第一关联参数;
分析出所述边缘计算设备属性对象的第二训练组合对应的训练的聚合设备数据向量之间的向量第二关联参数,例如,可以将其中的一个训练的聚合设备数据向量的转置结果和另一个训练的聚合设备数据向量进行数量积的计算,得到对应的向量第一关联参数;
依据所述向量第一关联参数和所述向量第二关联参数,计算出对应的关联分析误差;例如,可以对所述向量第一关联参数和所述向量第二关联参数之间的差值进行归一化处理,然后,对归一化处理的几个进行取对数操作,再基于取对数操作的结果进行负反操作,得到对应的关联分析误差。
举例来说,在一些具体的应用场景中,所述依据第一数据向量组合和第二数据向量组合,计算出对应的对比分析误差的步骤,可以包括:
分析出所述第一数据向量组合对应的第一组合关联参数,例如,可以对所述第一数据向量组合中的训练的设备属性数据向量的转置结果和训练的设备处理数据向量进行数量积的计算,并对两个数据向量的模长进行乘积计算,以及,计算数量积和乘积之间的比值,得到第一组合关联参数;
分析出所述第二数据向量组合对应的第二组合关联参数,例如,可以对所述第二数据向量组合中的训练的设备属性数据向量的转置结果和训练的设备处理数据向量进行数量积的计算,并对两个数据向量的模长进行乘积计算,以及,计算数量积和乘积之间的比值,得到第二组合关联参数;
依据各个所述第一组合关联参数和各个所述第二组合关联参数,分析出对应的对比分析误差,各第一组合关联参数对应各第一数据向量组合,各第二组合关联参数对应各第二数据向量组合;对于第一数据向量组合1和第二数据向量组合1,包括的训练的设备属性数据向量是一样的,包括的训练的设备处理数据向量不一样,基于此,可以计算第一数据向量组合1对应的第一组合关联参数和第二数据向量组合1对应的第二组合关联参数之间的比值,以及,对该比值进行取对数操作,最后,再基于取对数操作的结果进行负反操作,得到对应的对比分析误差,针对前述的一组数据,得到的对比分析误差可以是局部的对比分析误差,因此,可以将各组数据对应的对比分析数据进行叠加,得到总的对比分析误差。
其中,举例来说,在一些具体的应用场景中,上述的步骤S110,还可以进一步包括以下内容:
对所述边缘计算设备图谱中连接的两个训练的边缘计算设备属性对象进行组合,形成对应的一个边缘计算设备属性对象的第一训练组合,连接的两个训练的边缘计算设备属性对象是指具有关联边的;
对所述边缘计算设备属性对象的第一训练组合中一个边缘计算设备属性对象更新为其它的边缘计算设备属性对象,形成对应的边缘计算设备属性对象的第二训练组合,所述其它的边缘计算设备属性对象与所述边缘计算设备属性对象的第一训练组合中没有更新的边缘计算设备属性对象在所述边缘计算设备图谱中不连接,即不具有关联边的。
其中,举例来说,在一些具体的应用场景中,所述将所述设备属性数据向量和所述设备处理数据向量进行向量聚合处理,输出所述待处理的边缘计算设备属性对象的聚合设备数据向量的步骤,可以包括:
将所述设备处理数据向量进行隐藏,形成所述设备处理数据向量对应的隐藏后的设备处理数据向量,所述隐藏后的设备处理数据向量相较于所述设备处理数据向量,部分的向量参数被隐藏;示例性地,可以随机生产一个隐藏参数分布,隐藏参数分布中的参数可以由1和0组成,如此,可以将所述设备处理数据向量和所述隐藏参数分布进行相乘,如此,对应于隐藏参数分布中参数0的位置,就能够被隐藏;
对所述设备属性数据向量和所述隐藏后的设备处理数据向量进行向量聚合处理,输出所述待处理的边缘计算设备属性对象的聚合设备数据向量,基于此,由于会隐藏部分的设备处理数据向量,因此,将设备属性数据向量与没有隐藏的设备处理数据向量进行向量聚合,如叠加等,降低特征信息缺失对提取聚合设备数据向量的影响,有助于提高神经网络的鲁棒性。
其中,举例来说,在一些具体的应用场景中,在所述提取到边缘计算设备图谱的步骤以前,上述的步骤S110,还可以包括以下内容:
依据各个边缘计算设备属性数据之间的关联性,确定出第一图谱链路,如计算边缘计算设备属性数据之间的相似度,以确定关联度,然后,将关联度大于或等于预设关联度的两个边缘计算设备属性对象配置关联边,所述预设关联度可以根据实际需求进行配置,如0.5、0.6等数值;
依据各个边缘计算设备属性数据表征的边缘计算设备在历史上处理过的物联网数据,确定出第二图谱链路,所述第二图谱链路中,边缘计算设备属性对象对应的边缘计算设备属性数据表征的边缘计算设备在历史上处理过的物联网数据之间具有关联性,如计算在历史上处理过的物联网数据之间的相似度,以确定关联度,再进行关联边的配置。
其中,举例来说,在一些具体的应用场景中,所述依据各个边缘计算设备属性数据之间的关联性,确定出第一图谱链路的步骤,可以包括:
依据边缘计算设备属性数据表征的边缘计算设备之间的设备交互参数,分析出所述边缘计算设备属性数据之间的设备关联参数,所述设备交互参数用于反映所述边缘计算设备属性数据表征的边缘计算设备之间交互的数量,所述设备关联参数用于反映边缘计算设备属性数据表征的边缘计算设备之间的关联程度,可以与设备交互参数之间具有正相关的关系;
依据所述边缘计算设备属性数据之间的设备关联参数,分析出高关联的边缘计算设备属性数据,所述高关联的边缘计算设备属性数据之间的设备关联参数大于其它的边缘计算设备属性数据之间的设备关联参数,例如,可以确定出设备关联参数最大的一个边缘计算设备属性数据;
依据所述高关联的边缘计算设备属性数据,确定出对应的第一图谱链路,如在所述高关联的边缘计算设备属性数据之间配置关联边。
举例来说,在一些具体的应用场景中,上述的步骤S130,可以包括:
在存在多个边缘计算设备和多个物联网终端设备的情况下,对所述多个边缘计算设备对应的聚合设备数据向量进行聚类,形成多个第一向量类;
基于所述多个第一向量类的数量,对所述多个物联网终端设备对应的设备语义向量进行聚类,形成多个第二向量类,如基于KNN算法实现;
分别确定每一个所述第一向量类的聚类中心和每一个所述第二向量类的聚类中心之间的距离,以及,基于配对的向量类之间的距离的平均值最小的原则,将所述多个第一向量类和所述多个第二向量类进行一一配对处理;
对于每一个配对数据,在该配对数据包括的一个第一向量类中,为该配对数据包括的一个第二向量类中的每一个设备语义向量分别确定匹配的聚合设备数据向量,以及,将该匹配的聚合设备数据向量对应的边缘计算设备,作为该设备语义向量对应的物联网终端设备对应的目标边缘计算设备,例如,对于任意一个设备语义向量,可以在第一向量类包括的各聚合设备数据向量中,确定出与该设备语义向量之间的距离最小的一个聚合设备数据向量,如余弦距离,以作为该设备语义向量匹配的聚合设备数据向量。
假设有五个边缘计算设备(服务器A、服务器B、服务器C、服务器D和服务器E),以及,八个物联网终端设备(摄像头A、摄像头B、传感器A、传感器B、传感器C、传感器D、传感器E和传感器F)。对这五个边缘计算设备的聚合设备数据向量进行聚类,并形成两个第一向量类。接下来,对这八个物联网终端设备的设备语义向量进行聚类,并形成两个第二向量类。通过聚类过程,假设得到了以下结果:
第一向量类1:包括服务器A和服务器B;
第一向量类2:包括服务器C、服务器D和服务器E;
第二向量类1:包括摄像头A、摄像头B和传感器A;
第二向量类2:包括传感器B、传感器C、传感器D、传感器E和传感器F。
然后,需要确定每一个第一向量类的聚类中心和每一个第二向量类的聚类中心之间的距离,并根据配对的向量类之间的距离平均值最小的原则,将第一向量类和第二向量类进行一一配对处理。假设经过配对处理后,得到了以下匹配结果:
第一向量类1与第二向量类1匹配;
第一向量类2与第二向量类2匹配。
对于每一个配对数据,可以在第一向量类中为每一个设备语义向量确定匹配的聚合设备数据向量,并将其对应的边缘计算设备作为该物联网终端设备的目标边缘计算设备。举例:对于配对数据(第一向量类:1,第二向量类:1),为第二向量类1中的设备语义向量(摄像头A、摄像头B和传感器A)确定匹配的聚合设备数据向量。假设摄像头A被匹配到了聚合设备数据向量1,摄像头B被匹配到了聚合设备数据向量2,传感器A被匹配到了聚合设备数据向量1。因此,服务器A作为摄像头A的目标边缘计算设备,服务器B作为摄像头B的目标边缘计算设备,服务器A作为传感器A的目标边缘计算设备。
结合图3,本发明实施例还提供一种基于边缘计算的物联网数据采集装置,可应用于上述基于边缘计算的物联网数据采集系统。其中,所述基于边缘计算的物联网数据采集装置可以包括:
第一数据挖掘模块,用于对边缘计算设备图谱中的每一个边缘计算设备进行多角度的关键信息挖掘和聚合,输出每一个边缘计算设备对应的聚合设备数据向量,所述聚合设备数据向量用于反映所述边缘计算设备在多个角度具有的设备语义特征;
第二数据挖掘模块,用于对于部署的每一个物联网终端设备,分别对每一个所述物联网终端设备进行关键信息挖掘,输出每一个所述物联网终端设备对应的设备语义向量;
向量匹配分析模块,用于对每一个所述边缘计算设备对应的聚合设备数据向量和每一个所述物联网终端设备对应的设备语义向量进行向量匹配分析,使得每一个所述物联网终端设备匹配到至少一个边缘计算设备,作为对应的目标边缘计算设备;
物联网数据采集控制模块,用于对于每一个所述物联网终端设备,将该物联网终端设备分配到对应的目标边缘计算设备,使得所述目标边缘计算设备对该物联网终端设备形成的物联网数据进行采样处理,以完成该物联网数据的采集。
综上所述,本发明提供的一种基于边缘计算的物联网数据采集方法及系统,可以先对每一个边缘计算设备进行多角度的关键信息挖掘和聚合,输出聚合设备数据向量;对每一个物联网终端设备进行关键信息挖掘,输出设备语义向量;对聚合设备数据向量和设备语义向量进行向量匹配分析,使得每一个物联网终端设备匹配到至少一个目标边缘计算设备;对于每一个物联网终端设备,将该物联网终端设备分配到对应的目标边缘计算设备,使得目标边缘计算设备对该物联网终端设备形成的物联网数据进行采样处理,以完成该物联网数据的采集。基于前述的内容,由于会对边缘计算设备和物联网终端设备进行语义匹配分析,使得物联网终端设备匹配到的边缘计算设备的适配度更高,从而在一定程度上提高基于边缘计算的物联网数据采集中的数据处理可靠度;由于在对边缘计算设备进行语义向量的挖掘过程中会进行多角度的关键信息挖掘和聚合,使得对应的聚合设备数据向量对边缘计算设备的表征能力更强,也能够提高匹配到的边缘计算设备的适配度。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于边缘计算的物联网数据采集方法,其特征在于,包括:
对边缘计算设备图谱中的每一个边缘计算设备进行多角度的关键信息挖掘和聚合,输出每一个边缘计算设备对应的聚合设备数据向量,所述聚合设备数据向量用于反映所述边缘计算设备在多个角度具有的设备语义特征;
对于部署的每一个物联网终端设备,分别对每一个所述物联网终端设备进行关键信息挖掘,输出每一个所述物联网终端设备对应的设备语义向量;
对每一个所述边缘计算设备对应的聚合设备数据向量和每一个所述物联网终端设备对应的设备语义向量进行向量匹配分析,使得每一个所述物联网终端设备匹配到至少一个边缘计算设备,作为对应的目标边缘计算设备;
对于每一个所述物联网终端设备,将该物联网终端设备分配到对应的目标边缘计算设备,使得所述目标边缘计算设备对该物联网终端设备形成的物联网数据进行采样处理,以完成该物联网数据的采集。
2.如权利要求1所述的基于边缘计算的物联网数据采集方法,其特征在于,所述对边缘计算设备图谱中的每一个边缘计算设备进行多角度的关键信息挖掘和聚合,输出每一个边缘计算设备对应的聚合设备数据向量的步骤,包括:
提取到边缘计算设备图谱,所述边缘计算设备图谱中包括第一图谱链路和第二图谱链路,所述第一图谱链路基于边缘计算设备属性数据对应的边缘计算设备属性对象组合形成,所述边缘计算设备属性数据用于表征相应的边缘计算设备的设备属性,所述第二图谱链路基于所述边缘计算设备属性对象和边缘计算设备处理数据对应的边缘计算设备处理对象组合形成,所述边缘计算设备处理数据是指所述边缘计算设备属性数据表征的边缘计算设备在历史上处理过的物联网数据;
依据所述第一图谱链路,将待处理的边缘计算设备属性对象进行关键信息挖掘,输出对应的设备属性数据向量,所述待处理的边缘计算设备属性对象为所述边缘计算设备图谱中的一个边缘计算设备属性对象;
依据所述第二图谱链路,将所述待处理的边缘计算设备属性对象进行关键信息挖掘,输出对应的设备处理数据向量;
将所述设备属性数据向量和所述设备处理数据向量进行向量聚合处理,输出所述待处理的边缘计算设备属性对象的聚合设备数据向量,所述待处理的边缘计算设备属性对象的聚合设备数据向量,作为所述待处理的边缘计算设备属性对象表征的边缘计算设备对应的聚合设备数据向量。
3.如权利要求2所述的基于边缘计算的物联网数据采集方法,其特征在于,所述依据所述第一图谱链路,将待处理的边缘计算设备属性对象进行关键信息挖掘,输出对应的设备属性数据向量的步骤,包括:
基于所述第一图谱链路,将所述待处理的边缘计算设备属性对象进行卷积聚合处理,输出所述待处理的边缘计算设备属性对象对应的设备属性数据向量;
并且,所述依据所述第二图谱链路,将所述待处理的边缘计算设备属性对象进行关键信息挖掘,输出对应的设备处理数据向量的步骤,包括:
基于所述第二图谱链路,将所述待处理的边缘计算设备属性对象进行卷积聚合处理,将所述待处理的边缘计算设备属性对象对应的设备处理数据向量。
4.如权利要求3所述的基于边缘计算的物联网数据采集方法,其特征在于,所述基于所述第一图谱链路,将所述待处理的边缘计算设备属性对象进行卷积聚合处理,输出所述待处理的边缘计算设备属性对象对应的设备属性数据向量的步骤,包括:
依据所述第一图谱链路,确定出所述待处理的边缘计算设备属性对象对应的至少一级的关联的边缘计算设备属性对象,所述至少一级的关联的边缘计算设备属性对象中,关联的边缘计算设备属性对象的级数与关联度之间具有负相关的对应关系,且级数等于连接在对应的两个所述边缘计算设备属性对象之间的最短路径包括的关联边的数量;
将所述至少一级的关联的边缘计算设备属性对象的关联设备属性数据向量和所述待处理的边缘计算设备属性对象的自身设备属性数据向量进行向量融合,输出所述待处理的边缘计算设备属性对象对应的设备属性数据向量。
5.如权利要求4所述的基于边缘计算的物联网数据采集方法,其特征在于,所述至少一级的关联的边缘计算设备属性对象包括所述待处理的边缘计算设备属性对象的一级的关联的边缘计算设备属性对象、二级的关联的边缘计算设备属性对象和三级的关联的边缘计算设备属性对象;
所述将所述至少一级的关联的边缘计算设备属性对象的关联设备属性数据向量和所述待处理的边缘计算设备属性对象的自身设备属性数据向量进行向量融合,输出所述待处理的边缘计算设备属性对象对应的设备属性数据向量的步骤,包括:
将所述三级的关联的边缘计算设备属性对象的属性数据向量与所述二级的关联的边缘计算设备属性对象的属性数据向量进行向量融合处理,形成对应的初始关联融合向量;
将所述一级的关联的边缘计算设备属性对象的属性数据向量与所述初始关联融合向量进行向量融合处理,形成对应的目标关联融合向量;
将所述目标关联融合向量与所述自身设备属性数据向量进行向量融合处理,形成所述待处理的边缘计算设备属性对象对应的设备属性数据向量。
6.如权利要求3所述的基于边缘计算的物联网数据采集方法,其特征在于,所述卷积聚合处理通过数据分析网络模型中关键信息挖掘单元实现,所述对边缘计算设备图谱中的每一个边缘计算设备进行多角度的关键信息挖掘和聚合,输出每一个边缘计算设备对应的聚合设备数据向量的步骤,还包括:
基于所述第一图谱链路,将训练的边缘计算设备属性对象进行卷积聚合处理,输出对应的训练的设备属性数据向量;
基于所述第二图谱链路,将所述训练的边缘计算设备属性对象进行卷积聚合处理,输出对应的训练的设备处理数据向量;
将所述训练的设备属性数据向量和所述训练的设备处理数据向量进行向量聚合处理,输出对应的训练的聚合设备数据向量;
依据各个训练的边缘计算设备属性对象的所述训练的设备属性数据向量、所述训练的设备处理数据向量和所述训练的聚合设备数据向量,将所述数据分析网络模型进行模型优化处理。
7.如权利要求6所述的基于边缘计算的物联网数据采集方法,其特征在于,所述依据各个训练的边缘计算设备属性对象的所述训练的设备属性数据向量、所述训练的设备处理数据向量和所述训练的聚合设备数据向量,将所述数据分析网络模型进行模型优化处理的步骤,包括:
依据边缘计算设备属性对象的第一训练组合的所述训练的聚合设备数据向量和边缘计算设备属性对象的第二训练组合的所述训练的聚合设备数据向量,计算出对应的关联分析误差,所述边缘计算设备属性对象的第一训练组合中包括在属性数据或处理数据上关联的两个训练的边缘计算设备属性数据对应的边缘计算设备属性对象,所述边缘计算设备属性对象的第二训练组合中包括在属性数据和处理数据上都不关联的两个训练的边缘计算设备属性数据对应的边缘计算设备属性对象;
依据第一数据向量组合和第二数据向量组合,计算出对应的对比分析误差,所述第一数据向量组合基于一个训练的边缘计算设备属性对象对应的训练的设备属性数据向量和训练的设备处理数据向量组合形成,所述第二数据向量组合基于两个不同的训练的边缘计算设备属性对象对应的训练的设备属性数据向量和训练的设备处理数据向量组合形成;
依据所述关联分析误差和所述对比分析误差,将所述数据分析网络模型进行的模型参数进行优化处理。
8.如权利要求7所述的基于边缘计算的物联网数据采集方法,其特征在于,所述依据边缘计算设备属性对象的第一训练组合的所述训练的聚合设备数据向量和边缘计算设备属性对象的第二训练组合的所述训练的聚合设备数据向量,计算出对应的关联分析误差的步骤,包括:
分析出所述边缘计算设备属性对象的第一训练组合对应的训练的聚合设备数据向量之间的向量第一关联参数;
分析出所述边缘计算设备属性对象的第二训练组合对应的训练的聚合设备数据向量之间的向量第二关联参数;
依据所述向量第一关联参数和所述向量第二关联参数,计算出对应的关联分析误差;
并且,所述依据第一数据向量组合和第二数据向量组合,计算出对应的对比分析误差的步骤,包括:
分析出所述第一数据向量组合对应的第一组合关联参数;
分析出所述第二数据向量组合对应的第二组合关联参数;
依据各个所述第一组合关联参数和各个所述第二组合关联参数,分析出对应的对比分析误差,各第一组合关联参数对应各第一数据向量组合,各第二组合关联参数对应各第二数据向量组合。
9.如权利要求1-8任意一项所述的基于边缘计算的物联网数据采集方法,其特征在于,所述对每一个所述边缘计算设备对应的聚合设备数据向量和每一个所述物联网终端设备对应的设备语义向量进行向量匹配分析,使得每一个所述物联网终端设备匹配到至少一个边缘计算设备,作为对应的目标边缘计算设备的步骤,包括:
在存在多个边缘计算设备和多个物联网终端设备的情况下,对所述多个边缘计算设备对应的聚合设备数据向量进行聚类,形成多个第一向量类;
基于所述多个第一向量类的数量,对所述多个物联网终端设备对应的设备语义向量进行聚类,形成多个第二向量类;
分别确定每一个所述第一向量类的聚类中心和每一个所述第二向量类的聚类中心之间的距离,以及,基于配对的向量类之间的距离的平均值最小的原则,将所述多个第一向量类和所述多个第二向量类进行一一配对处理;
对于每一个配对数据,在该配对数据包括的一个第一向量类中,为该配对数据包括的一个第二向量类中的每一个设备语义向量分别确定匹配的聚合设备数据向量,以及,将该匹配的聚合设备数据向量对应的边缘计算设备,作为该设备语义向量对应的物联网终端设备对应的目标边缘计算设备。
10.一种基于边缘计算的物联网数据采集系统,其特征在于,包括处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序,以实现权利要求1-9任意一项所述的基于边缘计算的物联网数据采集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311509615.2A CN117235559B (zh) | 2023-11-14 | 2023-11-14 | 一种基于边缘计算的物联网数据采集方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311509615.2A CN117235559B (zh) | 2023-11-14 | 2023-11-14 | 一种基于边缘计算的物联网数据采集方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117235559A true CN117235559A (zh) | 2023-12-15 |
CN117235559B CN117235559B (zh) | 2024-02-06 |
Family
ID=89093302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311509615.2A Active CN117235559B (zh) | 2023-11-14 | 2023-11-14 | 一种基于边缘计算的物联网数据采集方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117235559B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118488084A (zh) * | 2024-07-16 | 2024-08-13 | 四川万物纵横科技股份有限公司 | 一种智能化物联设备数据采集方法及系统 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107945880A (zh) * | 2017-12-12 | 2018-04-20 | 海南大学 | 一种面向边缘计算的类型化医疗资源处理系统设计方法 |
US20190014048A1 (en) * | 2017-07-05 | 2019-01-10 | Wipro Limited | Method and system for processing data in an internet of things (iot) environment |
CN109347834A (zh) * | 2018-10-24 | 2019-02-15 | 广东工业大学 | 物联网边缘计算环境中异常数据的检测方法、装置及设备 |
CN110927537A (zh) * | 2019-11-27 | 2020-03-27 | 国网江苏省电力有限公司电力科学研究院 | 一种基于物联网边缘计算的局部放电监测装置及方法 |
US20200327371A1 (en) * | 2019-04-09 | 2020-10-15 | FogHorn Systems, Inc. | Intelligent Edge Computing Platform with Machine Learning Capability |
US20210135969A1 (en) * | 2019-11-06 | 2021-05-06 | Centurylink Intellectual Property Llc | Predictive resource allocation in an edge computing network utilizing beacons |
CN112910094A (zh) * | 2021-03-05 | 2021-06-04 | 国网河南省电力公司郑州供电公司 | 基于泛在电力物联网的变电站远方自动巡检系统及方法 |
CN113286008A (zh) * | 2021-06-15 | 2021-08-20 | 广州市威士丹利智能科技有限公司 | 一种边缘计算智能网关业务处理方法及智能网关系统 |
CN113612650A (zh) * | 2021-06-07 | 2021-11-05 | 北京东方通科技股份有限公司 | 一种对边缘计算设备的监测方法 |
CN113672782A (zh) * | 2021-08-25 | 2021-11-19 | 董力强 | 一种基于数据查询的物联网设备重要性匹配方法 |
CN114268640A (zh) * | 2020-09-16 | 2022-04-01 | 上海交通大学 | 云边协同的工业物联网智能路由系统 |
CN115016923A (zh) * | 2021-12-31 | 2022-09-06 | 青岛鹏海软件有限公司 | 基于边缘网关的物联网数据智能处理方法 |
CN115412371A (zh) * | 2022-10-31 | 2022-11-29 | 广州市威士丹利智能科技有限公司 | 基于物联网的大数据安全防护方法、系统及云平台 |
US20230127149A1 (en) * | 2021-10-25 | 2023-04-27 | Dell Products L.P. | Cluster-based data compression for ai training on the cloud for an edge network |
CN116521904A (zh) * | 2023-06-29 | 2023-08-01 | 湖南大学 | 一种基于5g边缘计算的船舶制造数据云融合方法及系统 |
CN116579417A (zh) * | 2023-05-10 | 2023-08-11 | 之江实验室 | 边缘计算网络中的分层个性化联邦学习方法、装置及介质 |
CN116610745A (zh) * | 2023-06-08 | 2023-08-18 | 云南庸目科技有限公司 | 应用数字孪生技术的ai场景信息推送处理方法及系统 |
-
2023
- 2023-11-14 CN CN202311509615.2A patent/CN117235559B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190014048A1 (en) * | 2017-07-05 | 2019-01-10 | Wipro Limited | Method and system for processing data in an internet of things (iot) environment |
CN107945880A (zh) * | 2017-12-12 | 2018-04-20 | 海南大学 | 一种面向边缘计算的类型化医疗资源处理系统设计方法 |
CN109347834A (zh) * | 2018-10-24 | 2019-02-15 | 广东工业大学 | 物联网边缘计算环境中异常数据的检测方法、装置及设备 |
US20200327371A1 (en) * | 2019-04-09 | 2020-10-15 | FogHorn Systems, Inc. | Intelligent Edge Computing Platform with Machine Learning Capability |
US20210135969A1 (en) * | 2019-11-06 | 2021-05-06 | Centurylink Intellectual Property Llc | Predictive resource allocation in an edge computing network utilizing beacons |
CN110927537A (zh) * | 2019-11-27 | 2020-03-27 | 国网江苏省电力有限公司电力科学研究院 | 一种基于物联网边缘计算的局部放电监测装置及方法 |
CN114268640A (zh) * | 2020-09-16 | 2022-04-01 | 上海交通大学 | 云边协同的工业物联网智能路由系统 |
CN112910094A (zh) * | 2021-03-05 | 2021-06-04 | 国网河南省电力公司郑州供电公司 | 基于泛在电力物联网的变电站远方自动巡检系统及方法 |
CN113612650A (zh) * | 2021-06-07 | 2021-11-05 | 北京东方通科技股份有限公司 | 一种对边缘计算设备的监测方法 |
CN113286008A (zh) * | 2021-06-15 | 2021-08-20 | 广州市威士丹利智能科技有限公司 | 一种边缘计算智能网关业务处理方法及智能网关系统 |
CN113672782A (zh) * | 2021-08-25 | 2021-11-19 | 董力强 | 一种基于数据查询的物联网设备重要性匹配方法 |
US20230127149A1 (en) * | 2021-10-25 | 2023-04-27 | Dell Products L.P. | Cluster-based data compression for ai training on the cloud for an edge network |
CN115016923A (zh) * | 2021-12-31 | 2022-09-06 | 青岛鹏海软件有限公司 | 基于边缘网关的物联网数据智能处理方法 |
CN115412371A (zh) * | 2022-10-31 | 2022-11-29 | 广州市威士丹利智能科技有限公司 | 基于物联网的大数据安全防护方法、系统及云平台 |
CN116579417A (zh) * | 2023-05-10 | 2023-08-11 | 之江实验室 | 边缘计算网络中的分层个性化联邦学习方法、装置及介质 |
CN116610745A (zh) * | 2023-06-08 | 2023-08-18 | 云南庸目科技有限公司 | 应用数字孪生技术的ai场景信息推送处理方法及系统 |
CN116521904A (zh) * | 2023-06-29 | 2023-08-01 | 湖南大学 | 一种基于5g边缘计算的船舶制造数据云融合方法及系统 |
Non-Patent Citations (4)
Title |
---|
SALAM HAMDAN 等: "Edge-Computing Architectures for Internet of Things Applications: A Survey", 《SENSORS》, pages 1 - 52 * |
张立静 等: "泛在电力物联网在变电站的应用分析与研究展望", 《高压电器》, pages 1 - 10 * |
王其清: "电力科技知识驱动的专家匹配选择与优化分配模型研究", 《《中国优秀硕士学位论文全文数据库 工程科技II辑》》, pages 042 - 113 * |
董伟: "学习驱动的多维不确定条件下微电网能量优化调控方法研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, pages 042 - 151 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118488084A (zh) * | 2024-07-16 | 2024-08-13 | 四川万物纵横科技股份有限公司 | 一种智能化物联设备数据采集方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117235559B (zh) | 2024-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111523621B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
US11853882B2 (en) | Methods, apparatus, and storage medium for classifying graph nodes | |
CN108269254B (zh) | 图像质量评估方法和装置 | |
JP6994588B2 (ja) | 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体 | |
US20220174089A1 (en) | Automatic identification and classification of adversarial attacks | |
US8660368B2 (en) | Anomalous pattern discovery | |
CN109711228B (zh) | 一种实现图像识别的图像处理方法及装置、电子设备 | |
CN109871821B (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
CN113095370B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
EP3311311A1 (en) | Automatic entity resolution with rules detection and generation system | |
CN112614187A (zh) | 回环检测方法、装置、终端设备和可读存储介质 | |
CN111611889B (zh) | 基于改进卷积神经网络的农田微型虫害识别装置 | |
CN110827265B (zh) | 基于深度学习的图片异常检测方法 | |
CN113283368B (zh) | 一种模型训练方法、人脸属性分析方法、装置及介质 | |
CN113569657B (zh) | 一种行人重识别方法、装置、设备及存储介质 | |
CN113987236B (zh) | 基于图卷积网络的视觉检索模型的无监督训练方法和装置 | |
CN113821657A (zh) | 基于人工智能的图像处理模型训练方法及图像处理方法 | |
CN115484112B (zh) | 支付大数据安全防护方法、系统及云平台 | |
CN113591758A (zh) | 一种人体行为识别模型训练方法、装置及计算机设备 | |
JP2019117556A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN112817563B (zh) | 目标属性配置信息确定方法、计算机设备和存储介质 | |
WO2023065744A1 (zh) | 一种人脸识别方法、装置、设备以及存储介质 | |
CN115131695B (zh) | 视频检测模型的训练方法、视频检测方法及装置 | |
CN116662817A (zh) | 物联网设备的资产识别方法及系统 | |
CN114677611B (zh) | 数据识别方法、存储介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |