CN110475224A - 一种基于边缘计算的传感器数据处理与协同预测方法 - Google Patents
一种基于边缘计算的传感器数据处理与协同预测方法 Download PDFInfo
- Publication number
- CN110475224A CN110475224A CN201910584506.4A CN201910584506A CN110475224A CN 110475224 A CN110475224 A CN 110475224A CN 201910584506 A CN201910584506 A CN 201910584506A CN 110475224 A CN110475224 A CN 110475224A
- Authority
- CN
- China
- Prior art keywords
- data
- mec server
- channel
- back end
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/06—Testing, supervising or monitoring using simulated traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本发明提出了数据处理和边缘计算技术领域一种基于边缘计算的传感器数据处理与协同预测方法,包括以下步骤:S1:建立一个多传感器组、多MEC服务器、汇聚节点的场景模型;S2:传感器组配置具有存储与通信的功能的数据节点,来存储过去若干个时刻的记录值,并对数据进行异常值检测和修正;S3:数据节点通过二分图匹配来卸载任务数据至MEC服务器;S4:MEC服务器利用接收到的数据进行聚类和拟合,将参数发送给汇聚节点;S5:汇聚节点接收预测任务的输入的数据并与接收到的参数进行比较分析,以确定最合适的参数进行预测,本发明通过在多传感器处建立数据节点进行数据清洗任务卸载、在汇聚节点处预测数据,提升了准确性和鲁棒性,节约了时延和能耗。
Description
技术领域
本发明涉及一种传感器,具体的说是一种传感器数据处理方法,属于数据处理和边缘计算技术领域。
背景技术
近年来,无线通信技术的发展赋予了无线传感器网络强大的数据感知能力和广阔的应用前景,已经被广泛应用于环境监测、医疗健康、军事侦察等领域。这些终端器件在工作的同时也产生了大量的数据资源,研究如何处理分析这些数据将会给经济生活带来有益的影响。
尽管现代技术的发展已经使得传感器的质量较为可靠,但是在实际的数据采集中,传感设备在数据的采集与传输过程中,总是会出现一些异常。鉴于此,基于传感数据的特性,可以采用时间序列分析的方法对数据中出现的异常进行有效的识别,并采用特定算法对异常值进行“平滑”操作,为后续的数据分析工作提供高质量的数据来源。
另外,目前常见的传感数据处理方案是将各个采集设备获得的数据直接传输到云中心进行存储,异常检测与数据清洗工作。然而据相关机构的研究表明,到2020年连接到网络的无线设备数量将达到500亿台,随之产生的数据流将给网络信道和处理中心带来很大的负担。
为了缓解回程开销的压力和时延要求,多接入边缘计算(Multiple EdgeComputing,MEC)一经提出,便受到了学术界及工业界的广泛关注。它将云计算模型的部分计算任务迁移到网络边缘设备上,减轻了带宽的压力并降低了云负载。通过将传感器采集到的数据尽可能的在接近数据源的计算资源上进行相应的处理,能够有效的利用数据。
然而,与云计算不同的是,边缘服务器的资源是有限的。因此,无线资源和计算资源的分配对MEC系统来说尤为重要。其中前者影响数据传输速率和设备的能耗,而后者影响任务的计算时延。
发明内容
本发明的目的是提供一种基于边缘计算的传感器数据处理与协同预测方法,通过在多传感器处建立数据节点进行数据清洗任务卸载、在多MEC服务器处进行数据分析拟合与预测计算、在汇聚节点处预测数据,提升了准确性和鲁棒性,节约了时延和能耗。
本发明的目的是这样实现的:一种基于边缘计算的传感器数据处理与协同预测方法,包括以下步骤:
S1:建立一个多传感器组、多MEC服务器、汇聚节点的场景模型;
S2:所述传感器组配置具有存储与通信的功能的数据节点,来存储过去若干个时刻的记录值,并对数据进行异常值检测和修正;
S3:所述数据节点通过二分图匹配来卸载任务数据至MEC服务器;
S4:所述MEC服务器利用接收到的数据进行聚类和拟合,将参数发送给汇聚节点;
S5:所述汇聚节点接收预测任务的输入的数据并与接收到的参数进行比较分析,以确定最合适的参数进行预测。
作为本发明的进一步限定,S1具体为:
每个MEC服务器拥有多个信道,数据节点、信道、MEC服务器三者表示为:Nu={1,2,......i......Nu}、N={1,2......,N}、NM={1,2......j......NM},各个信道相互正交。每个数据节点有一个计算密集型任务,可表示为A(Ci,Xi),其中Ci表示任务的大小,单位是比特(bit);Xi表示计算负载,单位是CPU/bit(CPU表示需要消耗的处理器时钟周期),CiXi表示完成任务所需的CPU。
作为本发明的进一步限定,所述步骤S2包括以下子步骤:
S201.数据节点存储的值表示为S={S1,S2,......Sm}(Si={s1,s2……sn}),即一共有m种数据,每种数据采集了n个时刻。用大小为W的窗口对m种数据分别进行滑动检测,每次滑动选取下一个时刻的新数据点进入窗口;
S202.所述滑动窗口表示为Xi(t)={x1,x2,......,xw},其中xi(i∈1~w)的取值范围是R={r1,r2,r3,......}、出现概率为其中count(ri)表示数据值ri在窗口中出现的次数;在此基础上计算窗口的信息熵:
S203.对所述窗口内每一个xi(i∈1~w)计算其和窗口内数据平均值之间的欧式距离,如果大于阈值则该窗口内数据不合格数n1加1,这主要是由于新加入的数据点xw导致的,记数据点xw异常的概率为
p1=n1/w (2)
S204.所述窗口滑动得到信息熵序列表示为H(t)={h1,h2,h3,......,hj,......};一个窗口Xi(t)={x1,x2,......,xw}对应一个熵序列Hi(t)={h1,h2,h3,......,hw},其中hw是当前窗口Xi(t)的信息熵,h1,h2,h3,......,hw-1分别是前w-1个时刻窗口的信息熵;对所述熵序列内每一个hi(i∈1~w)计算其和熵序列数据平均值之间的欧式距离,如果大于阈值则熵序列内不合格数n2加一,这主要是由于新加入的数据点xw导致的,记xw对应的窗口Xi(t)={x1,x2,......,xw}异常的概率为
p2=n2/w (3)
S205.综合所述数据点和窗口异常概率得到的联合异常概率可以写为:
P=1-(1-c1p1)(1-c2p2),0<c1,c2<1且c1+c2=1 (4)
其中c1,c2为权重系数,当P大于某个阈值时,就认为xw发生了异常,其中Ee(p)是正常工作的传感器在发生事件的区域中异常概率的期望函数,En(p)是正常工作的传感器在正常区域中异常概率的期望函数,可以认为En(p)是一个常数,Ee(p)随时间变化而更新;
S206.对所述的异常值xw利用线性插值算法对异常数据进行修正:
其中Tiu,Tiv为距离数据异常时刻t最近的两个时刻,yiu,yiv为对应时刻的数据值,L(t)为异常数据修正后的值。
作为本发明的进一步限定,所述步骤S3包括以下子步骤:
S301.所述卸载的时延包括传输的时延和在MEC服务器上处理的时延,即D=Dload+Dexe;用矩阵T=[Tn,j]表示信道n和MEC服务器j之间的关系;若MEC服务器j拥有信道n,则Tn,j=1;MEC服务器拥有多条信道,每条信道同时只分配给单个用户;数据节点i通过信道n计算卸载到MEC服务器j上的传输速率为:
其中是当前节点i在信道n上获得的带宽大小,gin是数据节点i在信道n上传输功率的损耗,w0是噪声的功率,pi是节点i的发送功率;Ci表示节点i上传的计算任务的大小,则所述传输时延Fi=CiXi表示数据节点i上传的任务在MEC服务器上需要的CPU,fj表示MEC服务器j所拥有的全部CPU,fi表示MEC服务器j上每个用户i获得的CPU;由于一条信道只属于一个MEC服务器,同时只服务一个用户,所以表示连接到MEC服务器j上的用户数;所以处理时延总的时延:
所述能耗主要是在发送数据时损耗的能量:
S302.所述数据节点i通过信道n卸载数据的耗费为:
其中α,β分别是时延和能耗的参数且α+β=1,可以根据具体任务的要求来调整参数α,β的值;
S303.所述数据节点和信道的匹配的问题如下:
其中如果数据节点i接入了信道n,则否则置零;匹配的目标为计算卸载耗费最小,且一个时间区间内,数据节点最多只能接入一条信道、每条信道只能服务一个数据节点;
S304.对所述匹配问题采用二分图匹配算法:首先在每个卸载周期开始前,每个数据节点计算待卸载数据接入某条信道的耗费,作为连接到不同信道的权重值;其次由于数据节点数一般大于信道数,所以计算所有数据节点本周期内待卸载数据所需要的CPU,并按照升序进行排序来选取前N个数据节点,与N条信道采用二分图最优匹配算法进行匹配卸载;最后重复上述过程直到达到最大卸载周期。
作为本发明的进一步限定,S4具体为:
MEC服务器上接收到多个时刻的数据。每一时刻中xi(i∈1~d)和y代表不同的数据,令X=[x1,x2,......,xd],可以表示为数据组合(X,y)。X和y之间存在拟合关系,这种拟合函数形为其中θ0为拟合函数的初始参数可以为常量也可以为零,θk(k∈1~d)为各个数据xk所对应的参数,动态更新。
首先从当前MEC服务器的数据中随机地选取K个数据组合中的X作为初始聚类中心Cj(j∈1~K),其次读取一个时刻的数据组合并通过下式来更新θk
Δθk=η(y-θkxk)xk(k∈1~d) (11)
其中η为梯度下降速率,Δθk为参数更新的增量。然后代入X进入拟合函数计算并计算预测误差接着选取当前数据组合中X所属的聚类中心C*=argminj||X-Cj||(j∈1~k)(||X-Cj||表示计算X和Cj之间的距离,即找出当前和X最接近的Cj记为C*),并通过
ΔC*=η(X-C*) (12)
更新这个聚类中心,其中η为更新速率。刷新并记录C*的历史更新次数l(C*)和更新的相对误差:
其中e(c*)为代入c*进入拟合函数所得的预测值与y的差值的平方。遍历不同时刻的数据组合来重复上述过程直到数据读取结束。
作为本发明的进一步限定,所述步骤S5包括以下子步骤:
S501.在多个MEC服务器中指定一个兼为汇聚节点,MEC服务器i(i∈1~NM)将计算出的参数发送给汇聚节点:包括拟合函数参数聚类中心每个聚类中心的更新次数及相对误差
S502.预测任务的新输入数据Xnew=[x1,x2,......,xd]被发送给汇聚节点,汇聚节点依次计算各MEC服务器i的聚类中心中和Xnew之间欧式距离最短的记为然后利用下式计算Xnew和MEC服务器i的数据之间的接近度:
其中为的相对误差值,为的更新次数,通过查询MEC服务器i传递的参数获得。选取ri最小的前C个MEC服务器i对应的参数θi构建C个拟合函数,将Xnew带入运算,并求平均值作为预测结果,其中为利用参数θi,将Xnew代入得到的预测值。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:本发明提出的改进型多数据节点、多MEC服务器的设计提升了系统的鲁棒性;在传感器组中建立数据节点,并执行滑动窗口和线性插值算法,能够提升原始数据的准确性;在数据节点与信道之间进行最优二分图匹配并考虑时延和能耗,能够节省计算卸载中的耗费;在分布式MEC服务器上利用接收到的数据进行聚类与拟合,减轻了数据节点的计算负载并更好的分析数据;通过设置汇聚节点接收多MEC服务器上传的参数,避免了多MEC服务器结构下单一服务器所获数据不全面的问题,提升了对新数据预测的准确性。
附图说明
图1为本发明实施例中的结构示意正视图。
图2为本发明工作流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
图1是本发明实施例的一种结构示意图。参见图1,每个MEC服务器拥有多条信道,每组传感器上配备有数据节点;数据节点清洗数据后将计算任务卸载到MEC服务器上;MEC服务器对数据进行聚类和拟合后将参数发送给汇聚节点;汇聚节点接收新的预测任务数据后利用相关参数进行预测。
下面结合图2对本发明实施例中的数据处理方法进行描述;图2是一种基于边缘计算的传感器数据处理与协同预测方法的流程示意图,参见图2,具体包括以下步骤:
S1:建立一个多传感器组、多MEC服务器、汇聚节点的模型,如图1;
S2:所述传感器组配置具有存储与通信的功能的微型处理器(数据节点),来存储过去若干个时刻的记录值,并对数据进行异常值检测和修正;
S3:所述数据节点通过二分图匹配来卸载任务数据至MEC服务器;
S4:所述MEC服务器利用接收到的数据进行聚类和拟合,将参数发送给汇聚节点;
S5:所述汇聚节点接收预测任务的输入的数据并与接收到的参数进行比较分析,以确定最合适的参数进行预测。
其中所述步骤S1具体为:
每个MEC服务器拥有多个信道,数据节点、信道、MEC服务器三者表示为:Nu={1,2,......i......Nu}、N={1,2......,N}、NM={1,2......j......NM},各个信道相互正交。每个数据节点有一个计算密集型任务,可表示为A(Ci,Xi),其中Ci表示任务的大小,单位是比特(bit);Xi表示计算负载,单位是CPU/bit(CPU表示需要消耗的处理器时钟周期),CiXi表示完成任务所需的CPU。
其中所述步骤S2包括以下子步骤:
S201.数据节点存储的值表示为S={S1,S2,......Sm}(Si={s1,s2......sn}),即一共有m种数据,每种数据采集了n个时刻。用大小为W的窗口对m种数据分别进行滑动检测,每次滑动选取下一个时刻的新数据点进入窗口;
S202.所述滑动窗口表示为Xi(t)={x1,x2,......,xw},其中xi(i∈1~w)的取值范围是R={r1,r2,r3,......}、出现概率为其中count(ri)表示数据值ri在窗口中出现的次数。在此基础上计算窗口的信息熵:
S203.对所述窗口内每一个xi(i∈1~w)计算其和窗口内数据平均值之间的欧式距离,如果大于阈值则该窗口内数据不合格数n1加1,这主要是由于新加入的数据点xw导致的,记数据点xw异常的概率为
p1=n1/w (2)
S204.所述窗口滑动得到信息熵序列表示为H(t)={h1,h2,h3,......,hj,......}。一个窗口Xi(t)={x1,x2,......,xw}对应一个熵序列Hi(t)={h1,h2,h3,......,hw},其中hw是当前窗口Xi(t)的信息熵,h1,h2,h3,......,hw-1分别是前w-1个时刻窗口的信息熵。对所述熵序列内每一个hi(i∈1~w)计算其和熵序列数据平均值之间的欧式距离,如果大于阈值则熵序列内不合格数n2加一,这主要是由于新加入的数据点xw导致的,记xw对应的窗口Xi(t)={x1,x2,......,xw}异常的概率为
p2=n2/w (3)
S205.综合所述数据点和窗口异常概率得到的联合异常概率可以写为:
P=1-(1-c1p1)(1-c2p2),0<c1,c2<1且c1+c2=1 (4)
其中c1,c2为权重系数,当P大于某个阈值时,就认为xw发生了异常,其中Ee(p)是正常工作的传感器在发生事件的区域中异常概率的期望函数,En(p)是正常工作的传感器在正常区域中异常概率的期望函数,可以认为En(p)是一个常数,Ee(p)随时间变化而更新;
S206.对所述的异常值xw利用线性插值算法对异常数据进行修正:
其中Tiu,Tiv为距离数据异常时刻t最近的两个时刻,yiu,yiv为对应时刻的数据值,L(t)为异常数据修正后的值。
其中所述步骤S3包括以下子步骤:
S301.所述卸载的时延包括传输的时延和在MEC服务器上处理的时延,即D=Dload+Dexe。用矩阵T=[Tn,j]表示信道n和MEC服务器j之间的关系:若MEC服务器j拥有信道n,则Tn,j=1。MEC服务器拥有多条信道,每条信道同时只分配给单个用户。数据节点i通过信道n计算卸载到MEC服务器j上的传输速率为:
其中是当前节点i在信道n上获得的带宽大小,gin是数据节点i在信道n上传输功率的损耗,w0是噪声的功率,pi是节点i的发送功率。Ci表示节点i上传的计算任务的大小,则所述传输时延Fi=CiXi表示数据节点i上传的任务在MEC服务器上需要的CPU,fj表示MEC服务器j所拥有的全部CPU,fi表示MEC服务器j上每个用户i获得的CPU。由于一条信道只属于一个MEC服务器,同时只服务一个用户,所以表示连接到MEC服务器j上的用户数。所以处理时延总的时延
所述能耗主要是在发送数据时损耗的能量:
S302.所述数据节点i通过信道n卸载数据的耗费为:
α,β分别是时延和能耗的参数且α+β=1,可以根据具体任务的要求来调整参数α,β的值。
S303.所述数据节点和信道的匹配的问题如下
如果数据节点i接入了信道n,则否则置零;匹配的目标为计算卸载耗费最小,且一个时间区间内,数据节点最多只能接入一条信道、每条信道只能服务一个数据节点。
S304.对所述匹配问题采用二分图匹配算法:首先在每个卸载周期开始前,每个数据节点计算待卸载数据接入某条信道的耗费,作为连接到不同信道的权重值;其次由于数据节点数一般大于信道数,所以计算所有数据节点本周期内待卸载数据所需要的CPU,并按照升序进行排序来选取前N个数据节点,与N条信道采用二分图最优匹配算法进行匹配卸载;最后重复上述过程直到达到最大卸载周期。
其中所述步骤S4具体为:
MEC服务器上接收到多个时刻的数据。每一时刻中xi(i∈1~d)和y代表不同的数据,令X=[x1,x2,......,xd],可以表示为数据组合(X,y)。X和y之间存在拟合关系,这种拟合函数形为其中θ0为拟合函数的初始参数可以为常量也可以为零,θk(k∈1~d)为各个数据xk所对应的参数,动态更新。
首先从当前MEC服务器的数据中随机地选取K个数据组合中的X作为初始聚类中心Cj(j∈1~K),其次读取一个时刻的数据组合并通过下式来更新θk
Δθk=η(y-θkxk)xk(k∈1~d) (11)
其中η为梯度下降速率,Δθk为参数更新的增量。然后代入X进入拟合函数计算并计算预测误差接着选取当前数据组合中X所属的聚类中心C*=argminj||X-Cj||(j∈1~k)(||X-Cj||表示计算X和Cj之间的距离,即找出当前和X最接近的Cj记为C*),并通过ΔC*=η(X-C*)(12)更新这个聚类中心,其中η为更新速率。刷新并记录C*的历史更新次数l(C*)和更新的相对误差:
其中e(c*)为代入c*进入拟合函数所得的预测值与y的差值的平方。遍历不同时刻的数据组合来重复上述过程直到数据读取结束。
其中所述步骤S5包括以下子步骤:
S501.在多个MEC服务器中指定一个兼为汇聚节点,MEC服务器i(i∈1~NM)将计算出的参数发送给汇聚节点:包括拟合函数参数聚类中心每个聚类中心的更新次数及相对误差
S502.预测任务的新输入数据Xnew=[x1,x2,……,xd]被发送给汇聚节点,汇聚节点依次计算各MEC服务器i的聚类中心中和Xnew之间欧式距离最短的记为然后利用下式计算Xnew和MEC服务器i的数据之间的接近度:
其中为的相对误差值,为的更新次数,通过查询MEC服务器i传递的参数获得。选取ri最小的前C个MEC服务器i对应的参数θi构建C个拟合函数,将Xnew带入运算,并求平均值作为预测结果,其中为利用参数θi,将Xnew代入得到的预测值。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (6)
1.一种基于边缘计算的传感器数据处理与协同预测方法,其特征在于,包括以下步骤:
S1:建立一个多传感器组、多MEC服务器、汇聚节点的场景模型;
S2:所述传感器组配置具有存储与通信的功能的数据节点,来存储过去若干个时刻的记录值,并对数据进行异常值检测和修正;
S3:所述数据节点通过二分图匹配来卸载任务数据至MEC服务器;
S4:所述MEC服务器利用接收到的数据进行聚类和拟合,将参数发送给汇聚节点;
S5:所述汇聚节点接收预测任务的输入的数据并与接收到的参数进行比较分析,以确定最合适的参数进行预测。
2.根据权利要求1所述的一种基于边缘计算的传感器数据处理与协同预测方法,其特征在于,S1具体为:
每个MEC服务器拥有多个信道,数据节点、信道、MEC服务器三者表示为:Nu={1,2,......i......Nu}、N={1,2......,N}、NM={1,2......j......NM},各个信道相互正交。每个数据节点有一个计算密集型任务,可表示为A(Ci,Xi),其中Ci表示任务的大小,单位是比特(bit);Xi表示计算负载,单位是CPU/bit(CPU表示需要消耗的处理器时钟周期),CiXi表示完成任务所需的CPU。
3.根据权利要求1所述的一种基于边缘计算的传感器数据处理与协同预测方法,其特征在于,所述步骤S2包括以下子步骤:
S201.数据节点存储的值表示为S={S1,S2,......Sm}(Si={s1,s2......sn}),即一共有m种数据,每种数据采集了n个时刻。用大小为W的窗口对m种数据分别进行滑动检测,每次滑动选取下一个时刻的新数据点进入窗口;
S202.所述滑动窗口表示为Xi(t)={x1,x2,......,xw},其中xi(i∈1~w)的取值范围是R={r1,r2,r3,......}、出现概率为其中count(ri)表示数据值ri在窗口中出现的次数;在此基础上计算窗口的信息熵:
S203.对所述窗口内每一个xi(i∈1~w)计算其和窗口内数据平均值之间的欧式距离,如果大于阈值则该窗口内数据不合格数n1加1,这主要是由于新加入的数据点xw导致的,记数据点xw异常的概率为
p1=n1/w (2)
S204.所述窗口滑动得到信息熵序列表示为H(t)={h1,h2,h3,......,hj,......};一个窗口Xi(t)={x1,x2,......,xw}对应一个熵序列Hi(t)={h1,h2,h3,......,hw},其中hw是当前窗口Xi(t)的信息熵,h1,h2,h3,......,hw-1分别是前w-1个时刻窗口的信息熵;对所述熵序列内每一个hi(i∈1~w)计算其和熵序列数据平均值之间的欧式距离,如果大于阈值则熵序列内不合格数n2加一,这主要是由于新加入的数据点xw导致的,记xw对应的窗口Xi(t)={x1,x2,......,xw}异常的概率为
p2=n2/w (3)
S205.综合所述数据点和窗口异常概率得到的联合异常概率可以写为:
P=1-(1-c1p1)(1-c2p2),0<c1,c2<1且c1+c2=1 (4)
其中c1,c2为权重系数,当P大于某个阈值时,就认为xw发生了异常,其中Ee(p)是正常工作的传感器在发生事件的区域中异常概率的期望函数,En(p)是正常工作的传感器在正常区域中异常概率的期望函数,可以认为En(p)是一个常数,Ee(p)随时间变化而更新;
S206.对所述的异常值xw利用线性插值算法对异常数据进行修正:
其中Tiu,Tiv为距离数据异常时刻t最近的两个时刻,yiu,yiv为对应时刻的数据值,L(t)为异常数据修正后的值。
4.根据权利要求1所述的一种基于边缘计算的传感器数据处理与协同预测方法,其特征在于,所述步骤S3包括以下子步骤:
S301.所述卸载的时延包括传输的时延和在MEC服务器上处理的时延,即D=Dload+Dexe;用矩阵T=[Tn,j]表示信道n和MEC服务器j之间的关系;若MEC服务器j拥有信道n,则Tn,j=1;MEC服务器拥有多条信道,每条信道同时只分配给单个用户;数据节点i通过信道n计算卸载到MEC服务器j上的传输速率为:
其中Bi n是当前节点i在信道n上获得的带宽大小,gin是数据节点i在信道n上传输功率的损耗,w0是噪声的功率,pi是节点i的发送功率;Ci表示节点i上传的计算任务的大小,则所述传输时延Fi=CiXi表示数据节点i上传的任务在MEC服务器上需要的CPU,fj表示MEC服务器j所拥有的全部CPU,fi表示MEC服务器j上每个用户i获得的CPU;由于一条信道只属于一个MEC服务器,同时只服务一个用户,所以表示连接到MEC服务器j上的用户数;所以处理时延总的时延:
所述能耗主要是在发送数据时损耗的能量:
S302.所述数据节点i通过信道n卸载数据的耗费为:
其中α,β分别是时延和能耗的参数且α+β=1,可以根据具体任务的要求来调整参数α,β的值;
S303.所述数据节点和信道的匹配的问题如下:
其中如果数据节点i接入了信道n,则否则置零;匹配的目标为计算卸载耗费最小,且一个时间区间内,数据节点最多只能接入一条信道、每条信道只能服务一个数据节点;
S304.对所述匹配问题采用二分图匹配算法:首先在每个卸载周期开始前,每个数据节点计算待卸载数据接入某条信道的耗费,作为连接到不同信道的权重值;其次由于数据节点数一般大于信道数,所以计算所有数据节点本周期内待卸载数据所需要的CPU,并按照升序进行排序来选取前N个数据节点,与N条信道采用二分图最优匹配算法进行匹配卸载;最后重复上述过程直到达到最大卸载周期。
5.根据权利要求1所述的一种基于边缘计算的传感器数据处理与协同预测方法,其特征在于,S4具体为:
MEC服务器上接收到多个时刻的数据。每一时刻中xi(i∈1~d)和y代表不同的数据,令X=[x1,x2,......,xd],可以表示为数据组合(X,y)。X和y之间存在拟合关系,这种拟合函数形为其中θ0为拟合函数的初始参数可以为常量也可以为零,θk(k∈1~d)为各个数据xk所对应的参数,动态更新。
首先从当前MEC服务器的数据中随机地选取K个数据组合中的X作为初始聚类中心Cj(j∈1~K),其次读取一个时刻的数据组合并通过下式来更新θk
Δθk=η(y-θkxk)xk (k∈1~d) (11)
其中η为梯度下降速率,Δθk为参数更新的增量。
然后代入X进入拟合函数计算并计算预测误差接着选取当前数据组合中X所属的聚类中心C*=argminj||X-Cj||(j∈1~k)(||X-Cj||表示计算X和Cj之间的距离,即找出当前和X最接近的Cj记为C*),并通过
ΔC*=η(X-C*) (12)
更新这个聚类中心,其中η为更新速率。刷新并记录C*的历史更新次数l(C*)和更新的相对误差:
其中e(c*)为代入c*进入拟合函数所得的预测值与y的差值的平方。
遍历不同时刻的数据组合来重复上述过程直到数据读取结束。
6.根据权利要求1所述的一种基于边缘计算的传感器数据处理与协同预测方法,其特征在于,所述步骤S5包括以下子步骤:
S501.在多个MEC服务器中指定一个兼为汇聚节点,MEC服务器i(i∈1~NM)将计算出的参数发送给汇聚节点:包括拟合函数参数聚类中心每个聚类中心的更新次数及相对误差
S502.预测任务的新输入数据Xnew=[x1,x2,......,xd]被发送给汇聚节点,汇聚节点依次计算各MEC服务器i的聚类中心中和Xnew之间欧式距离最短的记为然后利用下式计算Xnew和MEC服务器i的数据之间的接近度:
其中为的相对误差值,为的更新次数,通过查询MEC服务器i传递的参数获得。
选取ri最小的前C个MEC服务器i对应的参数θi构建C个拟合函数,将Xnew带入运算,并求平均值作为预测结果,其中为利用参数θi,将Xnew代入得到的预测值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910584506.4A CN110475224B (zh) | 2019-07-01 | 2019-07-01 | 一种基于边缘计算的传感器数据处理与协同预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910584506.4A CN110475224B (zh) | 2019-07-01 | 2019-07-01 | 一种基于边缘计算的传感器数据处理与协同预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110475224A true CN110475224A (zh) | 2019-11-19 |
CN110475224B CN110475224B (zh) | 2022-03-11 |
Family
ID=68507460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910584506.4A Active CN110475224B (zh) | 2019-07-01 | 2019-07-01 | 一种基于边缘计算的传感器数据处理与协同预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110475224B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111158707A (zh) * | 2019-12-25 | 2020-05-15 | 北京邮电大学 | 一种边缘计算环境下的卸载方法和装置 |
CN111371874A (zh) * | 2020-02-28 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 一种工业数据传输方法、装置、存储介质和电子设备 |
CN111464983A (zh) * | 2020-03-10 | 2020-07-28 | 深圳大学 | 一种无源边缘计算网络中的计算与通信协作方法及系统 |
CN112004239A (zh) * | 2020-08-11 | 2020-11-27 | 中国科学院计算机网络信息中心 | 一种基于云边协同的计算卸载方法及系统 |
CN112787920A (zh) * | 2021-03-03 | 2021-05-11 | 厦门大学 | 面向海洋物联网的水声通信边缘计算时延和能耗优化方法 |
CN112822244A (zh) * | 2020-12-30 | 2021-05-18 | 莫毓昌 | 一种基于边缘云的物联网时间序列预测系统及方法 |
CN113055246A (zh) * | 2021-03-11 | 2021-06-29 | 中国工商银行股份有限公司 | 异常服务节点识别方法、装置、设备及存储介质 |
CN113114733A (zh) * | 2021-03-24 | 2021-07-13 | 重庆邮电大学 | 基于能量收集的分布式任务卸载和计算资源的管理方法 |
CN113176011A (zh) * | 2021-04-30 | 2021-07-27 | 南京安控易创润滑科技有限公司 | 基于物联网的表面贴片式传感器智能测温方法及其系统 |
CN115412966A (zh) * | 2022-07-28 | 2022-11-29 | 国网内蒙古东部电力有限公司信息通信分公司 | 电力物联网下基于多边缘节点协作的绿色节能卸载方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10157213B1 (en) * | 2017-07-26 | 2018-12-18 | Sas Institute Inc. | Data processing with streaming data |
CN109302709A (zh) * | 2018-09-14 | 2019-02-01 | 重庆邮电大学 | 面向移动边缘计算的车联网任务卸载与资源分配策略 |
CN109347834A (zh) * | 2018-10-24 | 2019-02-15 | 广东工业大学 | 物联网边缘计算环境中异常数据的检测方法、装置及设备 |
CN109618301A (zh) * | 2019-01-23 | 2019-04-12 | 南京邮电大学 | 无线传感器网络的数据处理方法、可读存储介质和终端 |
US20190158370A1 (en) * | 2017-11-17 | 2019-05-23 | Electronics And Telecommunications Research Institute | Computing system and method for intelligent ioe information framework |
CN109814951A (zh) * | 2019-01-22 | 2019-05-28 | 南京邮电大学 | 移动边缘计算网络中任务卸载及资源分配的联合优化方法 |
-
2019
- 2019-07-01 CN CN201910584506.4A patent/CN110475224B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10157213B1 (en) * | 2017-07-26 | 2018-12-18 | Sas Institute Inc. | Data processing with streaming data |
US20190158370A1 (en) * | 2017-11-17 | 2019-05-23 | Electronics And Telecommunications Research Institute | Computing system and method for intelligent ioe information framework |
CN109302709A (zh) * | 2018-09-14 | 2019-02-01 | 重庆邮电大学 | 面向移动边缘计算的车联网任务卸载与资源分配策略 |
CN109347834A (zh) * | 2018-10-24 | 2019-02-15 | 广东工业大学 | 物联网边缘计算环境中异常数据的检测方法、装置及设备 |
CN109814951A (zh) * | 2019-01-22 | 2019-05-28 | 南京邮电大学 | 移动边缘计算网络中任务卸载及资源分配的联合优化方法 |
CN109618301A (zh) * | 2019-01-23 | 2019-04-12 | 南京邮电大学 | 无线传感器网络的数据处理方法、可读存储介质和终端 |
Non-Patent Citations (2)
Title |
---|
KANG CHENG等: "Energy-Efficient Joint Offloading and Wireless Resource Allocation Strategy in Multi-MEC Server Systems", 《2018 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS (ICC)》 * |
田辉等: "面向5G需求的移动边缘计算", 《北京邮电大学学报》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111158707B (zh) * | 2019-12-25 | 2021-05-25 | 北京邮电大学 | 一种边缘计算环境下的卸载方法和装置 |
CN111158707A (zh) * | 2019-12-25 | 2020-05-15 | 北京邮电大学 | 一种边缘计算环境下的卸载方法和装置 |
CN111371874A (zh) * | 2020-02-28 | 2020-07-03 | 腾讯科技(深圳)有限公司 | 一种工业数据传输方法、装置、存储介质和电子设备 |
CN111371874B (zh) * | 2020-02-28 | 2021-10-08 | 腾讯科技(深圳)有限公司 | 一种工业数据传输方法、装置、存储介质和电子设备 |
CN111464983A (zh) * | 2020-03-10 | 2020-07-28 | 深圳大学 | 一种无源边缘计算网络中的计算与通信协作方法及系统 |
CN112004239A (zh) * | 2020-08-11 | 2020-11-27 | 中国科学院计算机网络信息中心 | 一种基于云边协同的计算卸载方法及系统 |
CN112004239B (zh) * | 2020-08-11 | 2023-11-21 | 中国科学院计算机网络信息中心 | 一种基于云边协同的计算卸载方法及系统 |
CN112822244B (zh) * | 2020-12-30 | 2022-06-24 | 莫毓昌 | 一种基于边缘云的物联网时间序列预测系统及方法 |
CN112822244A (zh) * | 2020-12-30 | 2021-05-18 | 莫毓昌 | 一种基于边缘云的物联网时间序列预测系统及方法 |
CN112787920A (zh) * | 2021-03-03 | 2021-05-11 | 厦门大学 | 面向海洋物联网的水声通信边缘计算时延和能耗优化方法 |
CN112787920B (zh) * | 2021-03-03 | 2021-11-19 | 厦门大学 | 面向海洋物联网的水声通信边缘计算时延和能耗优化方法 |
CN113055246A (zh) * | 2021-03-11 | 2021-06-29 | 中国工商银行股份有限公司 | 异常服务节点识别方法、装置、设备及存储介质 |
CN113114733A (zh) * | 2021-03-24 | 2021-07-13 | 重庆邮电大学 | 基于能量收集的分布式任务卸载和计算资源的管理方法 |
CN113176011B (zh) * | 2021-04-30 | 2022-03-15 | 南京安控易创润滑科技有限公司 | 基于物联网的表面贴片式传感器智能测温方法及其系统 |
CN113176011A (zh) * | 2021-04-30 | 2021-07-27 | 南京安控易创润滑科技有限公司 | 基于物联网的表面贴片式传感器智能测温方法及其系统 |
CN115412966A (zh) * | 2022-07-28 | 2022-11-29 | 国网内蒙古东部电力有限公司信息通信分公司 | 电力物联网下基于多边缘节点协作的绿色节能卸载方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110475224B (zh) | 2022-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110475224A (zh) | 一种基于边缘计算的传感器数据处理与协同预测方法 | |
Wang et al. | Adaptive approximate data collection for wireless sensor networks | |
Harb et al. | Energy-efficient sensor data collection approach for industrial process monitoring | |
CN102316496A (zh) | 无线传感器网络中基于卡尔曼滤波的数据融合方法 | |
CN111538759B (zh) | 一种基于分布式字典学习的工业过程智能监测方法与系统 | |
WO2016165378A1 (zh) | 一种储能电站海量数据清洗方法及系统 | |
CN114330583B (zh) | 一种异常用电识别方法和异常用电识别系统 | |
US20180115465A1 (en) | Inferring a network topology | |
KR102624950B1 (ko) | 시계열 데이터를 이용한 주기성을 갖는 이상 수치 검출 시스템 | |
CN113487086B (zh) | 设备剩余使用寿命预测方法、装置、计算机设备和介质 | |
CN111506624B (zh) | 一种电力缺失数据辨识方法和相关装置 | |
CN106850272A (zh) | 中央服务器、业务服务器及其异常检测方法和系统 | |
CN113487182B (zh) | 设备健康状态评估方法、装置、计算机设备和介质 | |
Wang et al. | Distributed two‐stage state estimation with event‐triggered strategy for multirate sensor networks | |
CN112637202B (zh) | 一种SDN环境下基于集成小波变换的LDoS攻击检测方法 | |
CN111901174B (zh) | 一种服务状态通知的方法、相关装置及存储介质 | |
CN114817985A (zh) | 一种用电数据的隐私保护方法、装置、设备及存储介质 | |
de Oliveira et al. | An energy-aware data cleaning workflow for real-time stream processing in the internet of things | |
Hu et al. | Event-triggered fusion estimation under bounded noises | |
CN110929849A (zh) | 一种神经网络模型的压缩方法和装置 | |
CN115001147B (zh) | 一种光伏发电数据采集方法、系统及云平台 | |
Rivet et al. | Edge Computing Technique for a 87% Energy Saving for IoT Device Dedicated to Environmental Monitoring | |
CN117578444B (zh) | 基于事件触发机制的配电网安全状态估计方法及系统 | |
Park et al. | Collaborative data reduction for energy efficient sensor networks | |
CN114238271A (zh) | 变电站设备的状态数据清洗方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |