CN116192629B - 一种基于边缘计算的差异化数据处理方法和系统 - Google Patents

一种基于边缘计算的差异化数据处理方法和系统 Download PDF

Info

Publication number
CN116192629B
CN116192629B CN202310464600.2A CN202310464600A CN116192629B CN 116192629 B CN116192629 B CN 116192629B CN 202310464600 A CN202310464600 A CN 202310464600A CN 116192629 B CN116192629 B CN 116192629B
Authority
CN
China
Prior art keywords
edge
scene
edge node
node set
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310464600.2A
Other languages
English (en)
Other versions
CN116192629A (zh
Inventor
周彤
林超
尹康
赵欣阳
邢嘉城
杨天宇
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Borui Xianglun Technology Development Co Ltd
Original Assignee
Beijing Borui Xianglun Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Borui Xianglun Technology Development Co Ltd filed Critical Beijing Borui Xianglun Technology Development Co Ltd
Priority to CN202310464600.2A priority Critical patent/CN116192629B/zh
Publication of CN116192629A publication Critical patent/CN116192629A/zh
Application granted granted Critical
Publication of CN116192629B publication Critical patent/CN116192629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/0816Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/084Configuration by using pre-existing information, e.g. using templates or copying from other elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0893Assignment of logical groups to network elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/502Proximity
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于边缘计算的差异化数据处理方法和系统,所述方法包括;边缘节点所属边缘节点集中的一个或多个执行接入请求;基于服务场景发生改变更新边缘节点集中所包含的边缘节点或边缘节点集中边缘计算节点的配置信息;本发明通过边缘节点集的方式组织边缘节点,继而动态调整边缘节点集或其配置信息来更新边缘节点集,差异化的满足动态变化的边缘计算,克服了因固定请求分配策略以及随机接入带来的边缘计算效率降低。

Description

一种基于边缘计算的差异化数据处理方法和系统
技术领域
本发明属于边缘计算技术领域,尤其涉及一种基于边缘计算的差异化数据处理方法和系统。
背景技术
边缘计算是指,在靠近物或数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的开放平台,就近提供边缘智能服务,满足行业数字化在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。边缘计算是构建在边缘基础设施之上,位于尽可能靠近事务和数据源头的网络边缘侧,并能够与中心云协作的云计算模式。随着系统信息化与智能化水平的不断提高,边缘计算已变得越发重要,一方面,其在大数据处理分析方面的优势,另一方面,边缘计算在低延时与高可靠的场景中有着其他技术无法替代的优势;再者,边缘计算可提供弹性扩展的云服务能力,具有快速响应、低延迟和轻量计算等特点。边缘计算及系统能够广泛的应用于内容分发网络、电商、游戏、音视频、物联网、物流、工业大脑、城市大脑等各种应用场景中,被云厂商、电信运营商、软件/行业解决方案厂商、系统集成商、制造商、基础设施建设方等所广泛使用。边缘计算在各个行业中发挥了积极有效的作用。例如:电力物联网这个具体应用中,其能够有效整合通信基础设施资源和电力系统基础设施资源,提高电力系统信息化水平,改善电力系统现有基础设施利用效率,为电网发、输、变、配及用等具体的环节或场景,提供了重要计算和存储服务支撑。
边缘计算中的边缘节点的管理和控制是提高数据处理效率的关键节点,它们除了承担计算、储存、通讯功能外,还具备任务管理、数据管理、数据分析等功能,那么在新的云服务(工业云、服务云、计算云、存储云)+边缘计算体系下,云计算或者大数据节点能够为各种场景下的个体提供动态变化的边缘计算服务;在针对不同的接入终端、接入数量、不同时间、不同环节、不同接入请求等多种因素形成的复杂场景下,如何针对不同场景的实时变化,进行差异化的数据处理,保障边缘计算服务效率和体验,是待解决的问题。
本发明通过边缘节点集的方式组织边缘节点,继而动态调整边缘节点集或其配置信息来更新边缘节点集,差异化的满足动态变化的边缘计算,克服了因固定请求分配策略以及随机接入带来的边缘计算效率降低。
发明内容
为了解决现有技术中的上述问题,本发明提出了一种基于边缘计算的差异化数据处理方法和系统,所述方法包含:
步骤S1:边缘节点接收端节点的接入请求;边缘节点所属边缘节点集中的一个或多个执行接入请求;所述边缘节点集中包含一个或多个边缘节点;
步骤S2:判断服务场景是否发生改变;如果是,分析接入请求的属性以得到当前边缘节点集的服务场景及其场景标识,并进入步骤S3;否则,返回步骤S1继续进行接入请求的接收和执行;
步骤S3:基于服务场景的场景标识更新边缘节点集中所包含的边缘节点或边缘节点集中边缘计算节点的配置信息;其中:所述配置信息包括分析规则和分析模型;
所述更新边缘节点集中所包含的边缘节点,具体为:为边缘节点集中增加新的边缘计算节点、将边缘节点集中的部分边缘计算节点设置为临时边缘计算节点、或将边缘节点集中的部分边缘计算节点从边缘节点集中删除;
所述更新边缘节点集中边缘计算节点的配置信息,具体为:从云节点获取或者在边缘节点集内部对分析规则和/或分析模型作本地复制、删除边缘节点集内部的本地分析规则和/或分析模型;
所述步骤S3具体包括如下步骤;
步骤S31:获取和场景标识对应的场景标签;
步骤S32:比较所获取的场景标签和边缘节点集对应的场景标签以得到两者的差异信息;
步骤S33:基于差异信息确定是否存在硬件资源差异;如果是,则更新边缘节点集中所包含的边缘节点;否则,进入下一步骤;
步骤S34:重新比较所获取的场景标签和边缘节点集对应的场景标签以得到差异信息;基于差异信息确定是否存在配置信息差异,如果是,则更新边缘节点集中边缘计算节点的配置信息。
进一步的,配置信息中包括:具体的分析规则类型、分析模型类型及其并发度。
进一步的,预先保存场景标识和边缘节点集、场景标签之间的对应关系。
进一步的,所述接入请求包括异构数据接入、数据实时处理、边缘存储、数据转发中的一个或其组合。
进一步的,所述场景标签是单元或多元标签。
一种基于边缘计算的差异化数据处理系统,其特征在于,所述系统用于完成上述基于边缘计算的差异化数据处理方法;所述系统包含:
云节点、边缘计算节点及其构成的边缘节点集,端节点。
进一步的,云节点、边缘计算节点及其构成的边缘节点集、或端节点均为多个。
一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述的基于边缘计算的差异化数据处理方法。
一种计算机可读存储介质,包括程序,当其在计算机上运行时,使得计算机执行所述的基于边缘计算的差异化数据处理方法。
一种执行设备,包括处理器,所述处理器和存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时实现所述的基于边缘计算的差异化数据处理方法。
本发明的有益效果包括:
(1)通过边缘节点集组织边缘计算节点,通过动态调整边缘节点集或其配置信息来更新边缘节点集,从而差异化的满足动态变化的边缘计算服务场景;克服因为固定分配策略以及随机接入带来的边缘节点效率降低;进一步的,通过契合度以及基于特征矩阵描述的契合度,充分考虑各种类型边缘节点属性并以较小的开销支持完成边缘节点集的更新;
(2)基于对接入请求建立在时序空间的二维比较以及进一步的乱序比较方式,实现宽松的场景变化判断,然后作当前场景的再确定,扩大了进行量化计算的容忍范围,避免无序、随机变化的毛刺接入请求带来场景动态变化,即使较大的毛刺也能够被发现和过滤,在保障场景稳定性的基础上提供差异化的边缘计算服务;
(3)用指示资源需求的属性和标签描述接入请求和边缘节点集,为差异化数据处理提供量化计算的基础;通过先变化判断后变化确定,发现并对变化较强烈的场景作尝试性最小开销更新,避免不必要的场景剧烈震荡带来的场景更新造成的非要损耗;
附图说明
此处所说明的附图是用来提供对本发明的进一步理解,构成本申请的一部分,但并不构成对本发明的不当限定,在附图中:
图1为本发明的基于边缘计算的差异化数据处理方法示意图。
具体实施方式
下面将结合附图以及具体实施例来详细说明本发明,其中的示意性实施例以及说明仅用来解释本发明,但并不作为对本发明的限定;
本发明提出的基于边缘计算的差异化数据处理方法,能够通过部署在各类型传感器一侧的边缘计算节点,对实时数据进行预处理,之后将处理后的结果传输至云节点或大数据节点中进行存储并进行后续分析计算处理;端节点上部署有传感器;
本发明提出一种基于边缘计算的差异化数据处理方法,所述方法包括如下步骤:
步骤S1:边缘节点接收端节点的接入请求;边缘节点所属边缘节点集中的一个或多个执行接入请求;所述边缘节点集中包含一个或多个边缘节点;
因为每个边缘节点的软硬件资源及其配置信息情况不同,导致每个边缘节点集呈现不同的画像,用特征矩阵描述边缘节点集的画像;端节点基于接入请求的接入或分配策略、接入请求属性和端节点的接入偏好等的不同,随机的访问边缘节点或者边缘节点集;此时,可以认为端节点对边缘节点的访问是随机而无法预测的,当多个端节点发来多个接入请求时,这些接入请求及其端节点整体构成了当前的服务场景;一种可选的方式是,边缘节点集对端节点来说是透明的,端节点采用既有接入方式接入边缘节点,端节点就能够享受到边缘节点集对其提供服务;当然,在边缘节点集中对接入请求的分配方式可以采用多种现有分配方式;例如:当边缘节点集中的另一个边缘节点有更合适的分析规则模型时,可以为端节点本次的接入请求提供非接收到接入请求的边缘节点所属的边缘节点集中的所述另一个边缘节点来提供数据处理,从而提供更高效率的服务;
其中;所述接入请求包括异构数据接入、数据实时处理、边缘存储、数据转发等中的一个或其组合;
步骤S2:判断服务场景是否发生改变;如果是,分析接入请求的属性以得到当前边缘节点集的服务场景及其场景标识,并进入步骤S3;否则,返回步骤S1继续进行接入请求的接收和执行;
所述步骤S2具体包括如下步骤:
步骤S21:获取历史第一时间长度T1内所有接入请求的属性,将每个接入请求的属性用属性向量的方式表示;其中:属性向量中的每个元素指示该接入请求对软硬件资源的需求情况;例如:计算、存储、模型、规则的需求;每个元素分别用于指示一种类型模型或者规则的需求情况;例如:需要度并发为2的规则3;则对应规则3的元素值设置为2;
进一步的,所述将每个接入请求的属性用属性向量的方式表示,还包括:根据接入请求所属端节点和边缘节点之间的连接属性修改所述请求的属性向量;例如:根据通信难度来修改属性向量中的相应值;例如:通信难度大时,降低存储属性对应的元素值;
步骤S22:将属性向量按照时间顺序排列以得到属性向量序列,将所述属性向量序列作为第一属性向量序列;
步骤S23:将第一属性向量序列和第二时间长度T2内的所有接入请求的属性向量进行比较,当两者相似时,确定服务场景未发生改变;返回步骤S1继续进行接入请求的接收和执行;否则,进入下一步骤;
所述进行比较,具体为:设置长度为第一时间长度T1的窗口,并使得窗口在第二时间长度T2内的按照时间顺序排列的第二属性向量序列之上滑动,计算第一属性向量序列和每个窗口内的第二属性向量序列之间的距离,当所述距离小于预设距离时,确定两者相似,否则,确定为不相似;其中;所述距离为第一属性向量序列和每个窗口内的第二属性向量序列对应属性向量之间欧式距离的平均值;
优选的:所述第二时间长度T2大于第一时间长度T1;且两者都是从距离当前开始倒推的最近的时间长度;例如:
Figure SMS_1
;
所述进行比较为进行乱序比较,具体包括如下步骤:
步骤S23A1:依次获取第一属性向量序列
Figure SMS_2
中的任一未处理属性向量/>
Figure SMS_3
;k是第一属性向量序列中的属性向量的编号,K属性向量总数;/>
Figure SMS_4
步骤S23A2:将所述未处理向量
Figure SMS_5
和第二时间长度内的各个属性向量进行比较;确定最相似的TP个属性向量及其距离,并确定距离的平均值/>
Figure SMS_6
优选的:TP是预设值;例如:TP=1;
步骤S23A3:判断是否所有的属性向量均计算完毕,如果是,则进入下一步骤;否则,返回步骤S23A1;
步骤S23A4:判断
Figure SMS_7
小于距离阈值的个数所占的比例是否超过预设比例,如果是在,则确定两者相似;否则,确定为不相似;这里所占的比例是占TP的比例;
优选的:所述预设比例为
Figure SMS_8
;也就是说,在进行乱序比较的基础上还允许一定数量的属性向量是存在较大的偏离的,通过调整该距离阈值就够同步调整场景判断的稳定性,以适应不同的边缘计算场景服务需要;
本发明通过基于时序二维空间比较以及进一步的乱序比较方式,先进行宽松的变化判断,再确定当前场景,扩大了进行量化计算的容忍范围,避免无序、随机变化的毛刺接入请求带来场景动态变化,即使较大的毛刺也能够被发现和过滤,在保障场景稳定性的基础上提供差异化的边缘计算服务;
步骤S24:分析接入请求的属性以得到边缘节点集的服务场景及其场景标识;具体为:确定第一时间长度内所有接入请求的综合属性,确定和所述综合属性匹配的场景标签对应的U个服务场景作为待确定服务场景;将和所述综合属性最匹配的场景标签对应的服务场景作为第一待确定服务场景;
场景标签中的每个元素用于描述场景所需要的每种软硬件资源情况;其和接入请求属性中存在对应的元素;而到边缘节点集这里,其所服务场景的场景标签就是和该计算节点集的属性相对应的;
优选的:U为预设值;例如:U=2;
所述确定第一时间长度内所有接入请求的综合属性,具体为:累加第一属性向量序列中的对应元素并求取每个元素的平均值,以得到综合属性向量;
步骤S25:判断待确定服务场景中的第一待确定服务场景是否为当前场景,如果否,则将所述第一待确定服务场景作为所确定的服务场景;如果是,则基于历史场景数据确定服务场景;其中:当前场景是在进行服务场景的重新确定前所确定的服务场景,也就是当前边缘节点集正在服务的场景;
所述基于历史场景数据确定服务场景,具体为:确定历史场景中当前场景的所有后继场景集合,从U个服务场景中选择在后继场景集合中出现次数最多的服务场景作为所确定的服务场景;避免不必要的场景剧烈震荡带来的场景更新造成的非要损耗;后继场景是在历史上和当前场景紧邻的下一个场景;需要注意的是:当前场景和后续场景可能是同一个场景;场景是基于时间间隔等区分的;
优选的:U=3,5;
步骤S26:若所确定的服务场景是当前场景,则返回步骤S1继续进行接入请求的接收和执行;否则,获取所确定服务场景的场景标识,进入步骤S3;
那么所确定的场景可能仍旧是当前场景,也就是场景的类型是不变的,也就是说,在待确定服务场景仍旧是当前场景时,表明对服务场景是否发生变化的判断是存在偏差的,第一历史时间长度内接入请求的情况发生了较大的变化但是从一维综合属性的角度看最适应场景是未发生变化的,必须返回二维空间维度作场景的变化尝试;
本发明用指示资源需求的属性和标签描述接入请求和边缘节点集,为差异化数据处理提供量化计算的基础;通过先变化判断后变化确定,发现并对变化较强烈的场景作尝试性最小开销更新,避免不必要的场景剧烈震荡带来的场景更新造成的非要损耗;
步骤S3:基于服务场景的场景标识更新边缘节点集中所包含的边缘节点或边缘节点集中边缘计算节点的配置信息;其中:所述配置信息包括分析规则和分析模型;例如:具体的规则类型、分析模型及其并发度;
通过更新边缘节点集能够实现其画像的更改,不同的边缘节点集合适应不同的场景,场景本身是虚拟不可见的而边缘节点集是实体可见的,其画像通过场景标签来具体刻画且和场景共享该标签;预先保存场景标识和边缘节点集、场景标签之间的对应关系;所述场景标签是单元或多元标签;
所述更新边缘节点集中所包含的边缘节点,具体为:为边缘节点集中增加新的边缘计算节点、将边缘节点集中的部分边缘计算节点设置为临时边缘计算节点、或将边缘节点集中的部分边缘计算节点从边缘节点集中删除;
所述更新边缘节点集中边缘计算节点的配置信息,具体为:从云节点获取或者在边缘节点集内部对分析规则和/或分析模型作本地复制、删除边缘节点集内部的本地分析规则和/或分析模型;
所述步骤S3具体包括如下步骤;
步骤S31:获取和场景标识对应的场景标签;其中:预先保存场景标识和边缘节点集、场景标签之间的对应关系;所述场景标签是单元或多元标签;
步骤S32:比较所获取的场景标签和边缘节点集对应的场景标签以得到两者的差异信息;一种比较的方式是求差值来进行比较;此时,差异中保存的就是差值信息;
步骤S33:基于差异信息确定是否存在硬件资源差异;如果是,则更新边缘节点集中所包含的边缘节点;否则,进入下一步骤;
所述步骤S33具体包括如下步骤:
步骤S331:比较差异信息中指示硬件资源需求情况的元素以确定是否存在硬件资源差异;其中:所述硬件资源包括存储资源和计算资源;若硬件资源差异表明需要增加硬件资源,则进入步骤S332;否则,进入步骤S333;
步骤S332:为边缘节点集中增加新的边缘计算节点,并结束该步骤S33;具体为:寻找临时边缘节点;计算加入所述临时边缘节点后得到的更新后的边缘节点集和场景标签之间的契合度;当所述契合度小于预设值时,确定将所述临时边缘节点加入当前边缘节点集中,并结束该步骤S33;
也就是说,这里增加是非最优更新避免搜索不停止;而通过主动加入的方式,使得临时边缘节点只有在最优情况下才进行所述集合的调整,达到临时边缘节点使用的最优化;
所述计算加入所述临时边缘节点后得到的更新后的边缘节点集和场景标签之间的契合度;具体为:采用下式计算契合度
Figure SMS_9
Figure SMS_10
其中:i是边缘节点编号,N是当前边缘节点集的大小;N+1则包含了临时边缘节点;Att1和Att2分别为属性向量中的第1,2元素;LS1和LS2分别为场景标签的第1,2元素;这里第1,2元素被设置为分别指示计算、存储资源;当然,在需要描述更多资源时,可以采用类似方式进行直接扩充;契合度本身反映了两者之间的差异情况,契合度越小则差异越小,反之,契合度值越大,则差异越大; 但是采用这种契合度计算方式会丢失节点本身带来的画像特征,因此,本发明提出采用特征矩阵计算方式;从各个维度量化特征,提高了匹配准确性和效率;
所述计算加入所述临时边缘节点后得到的更新边缘节点集合和场景标签之间的契合度;具体为:
步骤S332A1:用特征矩阵量化表述每个边缘节点集的属性;特征矩阵中的每行和一个边缘节点集中的一个边缘计算节点对应,其中,行中的每个元素对应该边缘计算节点的不同属性的属性值;例如:第1边缘计算节点对应的行是:(C,M,(1,0,0,3),0,2);指示计算资源为(C),存储资源为M;分析规则为(1,0,0,3),表示该边缘计算节点上配置有第1和4类分析规则,并发度分别为1和3;模型也是类似的;
步骤S332A2:将场景标签量化表述为场景标签向量,作为特征矩阵中的一行,以得到扩展特征矩阵;量化的方式也是类似的,当然表达相应含义的元素需要对应设置;
步骤S332A3:将扩展特征矩阵输入契合度模型中以得到契合度;在执行该步骤前先训练所述契合度模型;
所述训练所述契合度模型,具体为:基于历史数据获取针对边缘节点集的扩展特征矩阵和对应的执行参数;将其作为训练样本来训练契合度模型;所述契合度模型的输出是契合度;其中:所述执行参数包括响应时间、计算时间、执行效率等中的一个或多个;此时,输出实际上是执行参数,能够非常好的表述契合度,当执行时间短,计算时间短或执行效率高时,对应的契合度较高;反之亦然;
优选的:所述契合度模型是人工智能模型;
优选的:所述契合度模型是神经网络模型;其使用4次核为2*2步幅为2的最大值池化操作将输入的特征矩阵降为原来的1/8或1/16的尺寸,来提高特征的表达力;而在每次池化操作之前,使用2*2的卷积核对输入特征矩阵或池化后的特征矩阵卷积2次,每次卷积后都使用ReLU函数对卷积结果进行激活;
优选的:所述契合度模型是卷积神经网络模型;
步骤S333:为边缘节点集中增加减少边缘节点;具体为:针对边缘节点集中的每个边缘节点,计算减少该边缘节点后,得到的更新边缘节点集合和场景标签之间的契合度;当所述契合度大于预设值时,将所述节点设置为临时边缘节点;
也就是说,临时边缘节点随着场景的切换会发生动态变化,通过设置临时边缘节点的方式,延迟了集合调整时机,使得只有边缘节点在最合适的时机做归属变更;
步骤S34:重新比较所获取的场景标签和边缘节点集对应的场景标签以得到差异信息;基于差异信息确定是否存在配置信息差异,如果是,则更新边缘节点集中边缘计算节点的配置信息;此时,考虑到在步骤S33中可能更新了边缘节点集,配置信息可能已经不存在差异或者差异发生了变化;
这里的对配置信息的更新包括删除分析规则或者分析模型,当然这样的删除也可以是计数延迟的,也就是说,确定删除的次数进行累积,只有累积次数达标后才真正的删除分析规则或者分析模型,从而释放存储资源;
可替换的:对配置信息的删除为分层次改变配置信息所在存储空间的位置,就是说,该删除是指随着其被确定为删除次数的增加,而不断的将其从高速缓存存储空间中转移到内存甚至硬件存储空间中,并最终从边缘计算节点中删除的过程;也就是说,更新中的删除操作也是非常有意义的;
本发明通过边缘节点集组织边缘计算节点,通过动态调整边缘节点集或其配置信息来更新边缘节点集,从而差异化的满足动态变化的边缘计算服务场景;进一步的,通过契合度以及基于特征矩阵描述的契合度,充分考虑各种类型边缘节点属性并以较小的开销支持完成边缘节点集的更新;
基于相同的发明构思,本发明提供一种基于边缘计算的差异化数据处理系统;所述系统用于执行上述基于边缘计算的差异化数据处理方法;
所述系统包括:
云节点、边缘计算节点及其构成的边缘节点集,端节点;各类节点或者集合的个数为多个;
所述边缘节点用于进行局部性、实时、短周期数据的处理与分析,从而支持端节点的实时决策和执行;还用于和云节点进行协同计算和数据同步;
所述云节点用于采集大数据并进行初步处理,将大数据分析处理优化输出的业务规则或模型可以下发到边缘节点,使得边缘节点基于新的业务规则或模型运行;具体的:云节点提供大数据计算相关的存储、计算、网络、安全资源,汇集、融合所有的数据,提供基于全局数据的智能服务,包括智能调度、运维、宏观决策等;
术语“云节点”、“边缘计算节点”、“端节点”或“计算设备”包涵用于处理数据的所有种类的装置、设备和机器,举例包括可编程处理器、计算机、片上系统、或者上述中的多个或其组合。所述装置能够包括专用逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件,所述装置还可以包括代码,创建用于所述计算机程序的执行环境,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行环境、虚拟机或上述一个或多个的组合的代码。该装置和执行环境可以实现各种不同计算模型基础设施,诸如web服务、分布式计算、和网格计算基础设施。
计算机程序(也被称为程序、软件、软件应用、脚本或代码)能够以编程语言的任何形式来撰写,包括汇编或解释语言、说明或过程性语言,且其可以以任何形式部署,包括作为单机程序或者作为模块、组件、子例程、对象或适于在计算环境中使用的其他单元。计算机程序可以但不必与文件系统中的文件相对应。程序能够存储在保持其他程序或数据(例如存储在标记语言文档中的一个或多个脚本)的文件的一部分中,在专用于所述程序的单个文件中,或者在多个协同文件中(例如,存储一个或多个模块、子例程或代码部分的文件)。计算机程序可以部署为在一个计算机上或位于一个站点或跨多个站点分布且由通信网络互连的多个计算机上执行。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (9)

1.一种基于边缘计算的差异化数据处理方法,其特征在于,包括:
步骤S1:边缘节点接收端节点的接入请求;边缘节点所属边缘节点集中的一个或多个执行接入请求;所述边缘节点集中包含一个或多个边缘节点;
步骤S2:判断服务场景是否发生改变;如果是,分析接入请求的属性以得到当前边缘节点集的服务场景及其场景标识,并进入步骤S3;否则,返回步骤S1继续进行接入请求的接收和执行;
所述步骤S2具体包括如下步骤:
步骤S21:获取历史第一时间长度T1内所有接入请求的属性,将每个接入请求的属性用属性向量的方式表示;其中:属性向量中的每个元素指示该接入请求对软硬件资源的需求情况;
步骤S22:将属性向量按照时间顺序排列以得到属性向量序列,将所述属性向量序列作为第一属性向量序列;
步骤S23:将第一属性向量序列和第二时间长度T2内的所有接入请求的属性向量进行比较,当两者相似时,确定服务场景未发生改变;返回步骤S1继续进行接入请求的接收和执行;否则,进入下一步骤;
步骤S24:分析接入请求的属性以得到边缘节点集的服务场景及其场景标识;具体为:确定第一时间长度内所有接入请求的综合属性,确定和所述综合属性匹配的场景标签对应的U个服务场景作为待确定服务场景;将和所述综合属性最匹配的场景标签对应的服务场景作为第一待确定服务场景;
步骤S25:判断待确定服务场景中的第一待确定服务场景是否为当前场景,如果否,则将所述第一待确定服务场景作为所确定的服务场景;如果是,则基于历史场景数据确定服务场景;其中:当前场景是在进行服务场景的重新确定前所确定的服务场景,也就是当前边缘节点集正在服务的场景;
所述基于历史场景数据确定服务场景,具体为:确定历史场景中当前场景的所有后继场景集合,从U个服务场景中选择在后继场景集合中出现次数最多的服务场景作为所确定的服务场景;
步骤S26:若所确定的服务场景是当前场景,则返回步骤S1继续进行接入请求的接收和执行;否则,获取所确定服务场景的场景标识,进入步骤S3;
步骤S3:基于服务场景的场景标识更新边缘节点集中所包含的边缘节点或边缘节点集中边缘节点的配置信息;其中:所述配置信息包括分析规则和分析模型;
所述更新边缘节点集中所包含的边缘节点,具体为:为边缘节点集中增加新的边缘节点、将边缘节点集中的部分边缘节点设置为临时边缘节点、或将边缘节点集中的部分边缘节点从边缘节点集中删除;
所述更新边缘节点集中边缘节点的配置信息,具体为:从云节点获取或者在边缘节点集内部对分析规则和/或分析模型作本地复制、删除边缘节点集内部的本地分析规则和/或分析模型;
所述步骤S3具体包括如下步骤;
步骤S31:获取和场景标识对应的场景标签;
步骤S32:比较所获取的场景标签和边缘节点集对应的场景标签以得到两者的差异信息;
步骤S33:基于差异信息确定是否存在硬件资源差异;如果是,则更新边缘节点集中所包含的边缘节点;否则,进入下一步骤;
步骤S34:重新比较所获取的场景标签和边缘节点集对应的场景标签以得到差异信息;基于差异信息确定是否存在配置信息差异,如果是,则更新边缘节点集中边缘节点的配置信息。
2.根据权利要求1所述的基于边缘计算的差异化数据处理方法,其特征在于,配置信息中包括:具体的分析规则类型、分析模型类型及其并发度。
3.根据权利要求2所述的基于边缘计算的差异化数据处理方法,其特征在于,预先保存场景标识和边缘节点集、场景标签之间的对应关系。
4.根据权利要求3所述的基于边缘计算的差异化数据处理方法,其特征在于,所述接入请求包括异构数据接入、数据实时处理、边缘存储、数据转发中的一个或其组合。
5.根据权利要求4所述的基于边缘计算的差异化数据处理方法,其特征在于,所述场景标签是单元或多元标签。
6.一种基于边缘计算的差异化数据处理系统,其特征在于,所述系统用于完成上述权利要求1-5中任一项所述基于边缘计算的差异化数据处理方法;所述系统包含:
云节点、边缘节点及其构成的边缘节点集,端节点。
7.根据权利要求6所述的基于边缘计算的差异化数据处理系统,其特征在于,云节点、边缘节点及其构成的边缘节点集、或端节点均为多个。
8.一种计算机可读存储介质,其特征在于,包括程序,当其在计算机上运行时,使得计算机执行如权利要求1-5中任一项所述的基于边缘计算的差异化数据处理方法。
9.一种执行设备,其特征在于,包括处理器,所述处理器和存储器耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时实现如权利要求1-5中任一项所述的基于边缘计算的差异化数据处理方法。
CN202310464600.2A 2023-04-27 2023-04-27 一种基于边缘计算的差异化数据处理方法和系统 Active CN116192629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310464600.2A CN116192629B (zh) 2023-04-27 2023-04-27 一种基于边缘计算的差异化数据处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310464600.2A CN116192629B (zh) 2023-04-27 2023-04-27 一种基于边缘计算的差异化数据处理方法和系统

Publications (2)

Publication Number Publication Date
CN116192629A CN116192629A (zh) 2023-05-30
CN116192629B true CN116192629B (zh) 2023-07-04

Family

ID=86452600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310464600.2A Active CN116192629B (zh) 2023-04-27 2023-04-27 一种基于边缘计算的差异化数据处理方法和系统

Country Status (1)

Country Link
CN (1) CN116192629B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093500A1 (zh) * 2018-11-08 2020-05-14 网宿科技股份有限公司 智能调度方法、终端设备、边缘节点集群与智能调度系统
CN112486666A (zh) * 2020-11-03 2021-03-12 深圳市中博科创信息技术有限公司 一种模型驱动的参考架构方法及平台
CN112799789A (zh) * 2021-03-22 2021-05-14 腾讯科技(深圳)有限公司 一种节点集群管理方法、装置、设备及存储介质
EP3968605A1 (en) * 2019-06-15 2022-03-16 Huawei Technologies Co., Ltd. Method for providing edge service, apparatus and device
WO2022074439A1 (en) * 2020-10-09 2022-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Overload protection for edge cluster using two tier reinforcement learning models
CN114679451A (zh) * 2022-02-18 2022-06-28 北京邮电大学 面向边缘计算的服务调度系统及其调度方法
CN114816721A (zh) * 2022-06-29 2022-07-29 常州庞云网络科技有限公司 一种基于边缘计算的多任务优化调度方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093500A1 (zh) * 2018-11-08 2020-05-14 网宿科技股份有限公司 智能调度方法、终端设备、边缘节点集群与智能调度系统
EP3968605A1 (en) * 2019-06-15 2022-03-16 Huawei Technologies Co., Ltd. Method for providing edge service, apparatus and device
WO2022074439A1 (en) * 2020-10-09 2022-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Overload protection for edge cluster using two tier reinforcement learning models
CN112486666A (zh) * 2020-11-03 2021-03-12 深圳市中博科创信息技术有限公司 一种模型驱动的参考架构方法及平台
CN112799789A (zh) * 2021-03-22 2021-05-14 腾讯科技(深圳)有限公司 一种节点集群管理方法、装置、设备及存储介质
CN114679451A (zh) * 2022-02-18 2022-06-28 北京邮电大学 面向边缘计算的服务调度系统及其调度方法
CN114816721A (zh) * 2022-06-29 2022-07-29 常州庞云网络科技有限公司 一种基于边缘计算的多任务优化调度方法及系统

Also Published As

Publication number Publication date
CN116192629A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN109086031B (zh) 一种基于规则引擎的业务决策方法和装置
Khoda et al. Efficient computation offloading decision in mobile cloud computing over 5G network
CN108833161B (zh) 一种建立基于雾计算的智能合约微服务模型的方法
CN114721833B (zh) 一种基于平台业务类型的智能云端协调方法和装置
US11822574B2 (en) System and method for providing an artificially-intelligent graph database
Huang et al. DeepAdapter: A collaborative deep learning framework for the mobile web using context-aware network pruning
CN113608882B (zh) 基于人工智能和大数据的信息处理方法、系统及云平台
CN112488706B (zh) 一种基于区块链的云服务管理方法及系统
CN111695051A (zh) 基于扫码的页面访问方法、装置、电子设备及存储介质
CN105550274A (zh) 双副本并行数据库的查询方法和装置
CN112965710A (zh) 计算图的处理方法、装置和系统
CN110648080A (zh) 基于智能点的信息物理系统及其构建方法
CN113254472A (zh) 一种参数配置方法、装置、设备及可读存储介质
CN111291054A (zh) 一种数据处理方法、装置、计算机设备和存储介质
CN116192629B (zh) 一种基于边缘计算的差异化数据处理方法和系统
CN116989819B (zh) 一种基于模型解的路径确定方法及装置
CN117271101A (zh) 一种算子融合方法、装置、电子设备及存储介质
Huang et al. An integrated cloud-edge-device adaptive deep learning service for cross-platform web
CN112700003A (zh) 网络结构搜索方法、装置、设备、存储介质及程序产品
CN111949720A (zh) 基于大数据和人工智能的数据分析方法及云端数据服务器
CN111783000A (zh) 门户网站的静态化处理方法及装置
CN113630476B (zh) 应用于计算机集群的通信方法及通信装置
KR102590112B1 (ko) 사물인터넷 환경에서 분산 머신 러닝 학습을 위한 코딩 및 인센티브 기반 메커니즘
CN103606042A (zh) 基于动态依赖图的服务组合实例迁移有效性判定方法
CN112926952A (zh) 结合云计算的大数据办公业务处理方法及大数据服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant