CN110058949B - 一种基于智能边缘计算的传感云低耦合控制方法 - Google Patents
一种基于智能边缘计算的传感云低耦合控制方法 Download PDFInfo
- Publication number
- CN110058949B CN110058949B CN201910360627.0A CN201910360627A CN110058949B CN 110058949 B CN110058949 B CN 110058949B CN 201910360627 A CN201910360627 A CN 201910360627A CN 110058949 B CN110058949 B CN 110058949B
- Authority
- CN
- China
- Prior art keywords
- layer
- buffer
- algorithm
- cloud
- buffer area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5014—Reservation
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种基于智能边缘计算的传感云低耦合控制方法,通过引入边缘计算,能更好地控制和管理网络边缘节点,以弥补云计算模式鞭长莫及的缺陷。利用边缘层的计算和存储能力,设置两个缓存队列,其中一个用于缓存用户请求并合并重复的请求命令,另一个用机器学习的学习缓存底层使用最频繁的资源,对问题作预处理,并使用扩展KM算法完成未缓存资源的最优调度,降低传感云的耦合度。本发明可以应用在大规模高连接的传感云系统中。
Description
技术领域
本发明涉及大规模在线网络中的信息安全,特别是指一种基于智能边缘计算的传感云低耦合控制方法。
背景技术
随着云计算和物联网的发展,把两者结合起来,组成传感云系统是一个新的研究热点。在传感云系统中,有各种类型的物理传感器。每个虚拟传感器由一种或多种物理传感器组成。虚拟传感器使得用户可以在不考虑传感器的物理位置的情况下应用传感器,然而物理传感器和虚拟传感器之间的关系可能会导致耦合攻击。当恶意用户或攻击者发送大量请求同时控制一个物理传感器时,这些请求可能不一致,如要求底层数据采集的频率不同,会出现耦合问题。
解决传感云系统中的耦合攻击问题的关键是管理好底层资源以及及时检测可能出现的耦合攻击。对于如何管理好底层资源,一类常见的方式就是在云端采用相关的资源匹配算法,例如改进Max-min任务调度算法,改进的Max-min算法将任务分配给资源生成的最大执行时间(最大任务)最小完成时间(最慢资源),而增强的最小分配任务具有平均执行时间(平均或最接近大于平均任务)资源产生最小完成时间(最慢资源)。这种方式的主要问题是云端离底层网络距离较远,受带宽影响,这种管理往往是不及时和不充分的。
对于如何检测可能出现的耦合攻击,一种方法是基于机器学习技术以改进网络安全性,例如恶意软件检测,访问控制和认证。诸如支持向量机,最近邻算法,神经网络,朴素贝叶斯,随机森林和深度神经网络之类的机器学习方法可用于标记网络特征以构建回归或分类模型来检测网络状态。例如,底层物理设备可以应用支持向量机来检查欺骗攻击和网络入侵,利用最近邻算法进行攻击检测并预测攻击类型,并使用神经网络来检查DoS攻击。
底层物理设备还可以在入侵检测中使用朴素贝叶斯和随机森林分类器。此外,具有足够计算能力的CPS设备可以使用深度神经网络来检测欺骗攻击。基于经典最近邻算法,一种基于向量同态加密的安全可用的最近邻分类方法被实现,该方法可以实现数据和查询记录的机密性。
耦合攻击带来了很大的安全风险,例如用户等待时间延长,物理节点调度不平衡,这甚至可能导致系统死锁并缩短系统的使用寿命。不幸的是,以上工作既没有对耦合攻击产生的原因做出具体解释,也过于复杂导致延时过大。并且上述研究提出的方案都无法有效在满足最大匹配的情况下,实现用户和资源可以一对多的匹配。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷,提出一种基于智能边缘计算的传感云低耦合控制方法,缩短调用时间,提高资源利用率,减小系统耦合度。
本发明采用如下技术方案:
一种基于智能边缘计算的传感云低耦合控制方法,其特征在于,在传感云系统的边缘层设置第一缓冲区和第二缓冲区,该第一缓冲区为命令缓存队列,该第二缓存区为数据缓存队列;当传感云系统存在耦合时,控制方法步骤如下:
1)将云层的资源请求输入第一缓冲区;在第一缓冲区中,合并相同的命令,并把合并后的命令向第二缓冲区传输;
2)若合并后的命令请求的资源位于第二缓冲区中,则将该资源返回至云层;若否,则进入3)
3)采用改进KM算法,向底层传送调度资源请求并将数据返回至云层。
在步骤1)中,当资源请求输入第一缓冲区到达预设时间后,再合并相同的命令。
所述第一缓冲区采用命令缓存队列算法实现合并相同的命令。
所述第二缓冲区中的资源数据是缓存来自底层的部分节点的数据,基于KNN方法结合节点的状态确定所要缓存的节点。
由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
1)本发明的方法能取得最小的调度轮数、最小的调度时间以及最大的资源利用率。
2)本发明的方法基于边缘计算,能更好地控制和管理网络边缘节点,以弥补云计算模式鞭长莫及的缺陷,还能实现自我学习缓存底层最需要的数据。
3)本发明设置第一缓冲区和第二缓冲区,中一个用于缓存用户请求并合并重复的请求命令,另一个用机器学习的学习缓存底层使用最频繁的资源,能对问题作预处理,并使用扩展KM算法完成未缓存资源的最优调度,降低传感云的耦合度。
4)采用本发明的方法,同一个用户在同一时刻是可以调用多个资源。
5)本发明的方法优化运行时间明显优于KM算法。
附图说明
图1 为本发明传感云系统框架图;
图2为传感云系统中资源和用户的关系图;
图3为本发明涉及的算法流程图;
图4为基于正态分布不同场景运行轮数比较图;
图5为基于正态分布不同场景资源利用率比较图;
图6为基于正态分布不同场景运行时间比较。
以下结合附图和具体实施例对本发明作进一步详述。
实施方式
以下通过具体实施方式对本发明作进一步的描述。
参见图1,本发明的传感云系统框架图,其包括基于边缘计算的耦合管理平台、云层和底层等,云层的下方设有边缘层。传感器网络处在架构的底层,用于收集数据,将用户需求的数据由各地收集,上传集合到云层中,由云服务进行整合,返回给用户。虚拟传感器组对于用户来讲实际上是透明的,每个虚拟传感器由一种或多种物理传感器组成。虚拟传感器使得用户可以在不考虑传感器的物理位置的情况下应用传感器。
边缘计算是一种新的计算方式,图1中边缘计算的耦合管理平台的作用:边缘层离底层的传感器较近(底层一些计算能力较强的传感器也可以作为边缘节点),可了解底层传感器的状态,可以更快的和底层交互;同时,可以作为一个预处理中心,缓存处理部分数据,减轻云层压力,也利于解耦。
传感云系统中资源和用户的关系,如图2中的(a)所示,假设有4种资源A,B,C和D,用户1-5,用户资源的调用关系如图2中的(b)所示,图中的a,b,c和d是4种不同的调度方法取得的结果。
本发明的一种基于智能边缘计算的传感云低耦合控制方法,当传感云系统中存在耦合时,首先,利用在边缘层的命令缓存队列,合并来自上层的相同命令,并优先调度数据缓存队列里的数据,对问题做一个预处理,对于没有缓存的资源,我们把问题首先利用雾层缓存抽象建模为二分图模型。扩展传统KM算法达到初始最大匹配,最后在KM算法后加入检测,进一步调度满足条件的资源,达到最大资源,进而以最短的时间减小问题耦合度。
具体的,本发明在传感云系统的边缘层设置第一缓冲区和第二缓冲区,该第一缓冲区为缓存命令队列,该第二缓存区为数据缓存队列;当传感云系统存在耦合时,控制方法步骤如下:
1)将云层的资源请求输入第一缓冲区。当资源请求输入第一缓冲区到达预设时间(例如100毫秒)后,再合并相同的命令,并把合并后的命令向第二缓冲区传输。
该第一缓冲区采用命令缓存队列算法实现合并相同的命令。通过对问题建模,可知问题的核心是用户请求资源数量过大,而底层传感器数量不足,则可将问题转化为用户通过云层发出的请求和底层节点的关系。该命令缓存队列算法如下:
该算法输入是资源请求矩阵(用户和节点的调度关系),输出是经命令缓存对列处理后的代价矩阵。
首先,从资源请求矩阵中获取资源请求。
然后,将资源请求放入到一个命令数组中。 之后,对数组进行排序,并合并数组中的相同元素。 最后,算法在缓存命令队列后输出合并后的命令矩阵。
输入:资源请求矩阵
输出:经命令缓存对列处理后的代价矩阵
1:从资源请求矩阵中获取资源请求;
2:资源请求按照先来先服务的原则赋值到命令缓存数组中;
3: 排序命令缓存队列;
4:for 每个命令do
5:合并重复命令;
6:endfor
2)若合并后的命令请求的资源位于第二缓冲区中,则将该资源返回至云层;若否,则进入3)。因为第二缓存区大小有限,所以只能缓存底层部分节点的数据。本发明基于KNN(K-Nearest Neighbor)方法的进行底层节点实时数据缓存,其依赖于节点的状态(优先级,剩余能量和到边缘节点的跳跃)。
本发明主要依据于节点的状态,即如果节点的优先级较高,剩余能量较高,到边缘节点的跳数越少(跳数越少则消耗的能量越少),则这个节点的数据就优先实时缓存在边缘。
其采用数据缓存队列算法,算法的输入是经命令缓存对列处理后的合并后的命令矩阵,输出是预处理后矩阵的结果。因为缓存队列的大小受限,设置雾层的缓存能力是底层传感网某一刻产生数据量的1/4,缓存的数据是已有调度矩阵(经命令缓存对列处理后的代价矩阵)中调用次数靠前的资源。
算法2 数据缓存队列算法
输入: 经命令缓存对列处理后的代价矩阵即合并后的命令矩阵输出: 经数据缓存队列后的代价矩阵
map= 代价矩阵;
设缓存队列大小为X / 4 + 1;
for map中的每个进程
在生成代价矩阵的同时获取节点的状态(优先级,剩余能量和到边缘节点的跳跃)
使用最近邻算法确定缓存队列中缓存哪些节点;
for 缓存队列中的每个节点插入排序组建缓存预处理队列,实时采集缓存队列节点的数据
end for
3)采用扩展KM算法,向底层传送调度资源请求并将数据返回至云层。
步骤4):基于步骤1-3循环执行。
该基于双缓存队列的扩展KM算法。算法输入为调度矩阵,输出为总的时间戳以及每一种资源调用完成时算法的状态。其中,加入了对于调度完成状态的检测,在当前用户调度未完成,即当前资源调用进程未运行完毕是算法将跳过调度分配算法,同时剔除已完成的进程。
算法3 基于双缓存队列的改进KM算法
输入: 经数据缓存队列后的代价矩阵
输出: 时间戳 每轮代价矩阵的变化及资源调用情况
使用命令缓存队列;
使用数据缓存队列;
预处理,即利用边缘层的特性,对问题初步处理,减小成本矩阵的规模。
while 进程未全部结束do
时间戳自增;
输出时间戳;
对map中进程遍历,寻找完成进程并剔除,设running标志;传统的KM算法,只能输出一次匹配结果,本发明采取while循环实现输出多次匹配输出每一个时间片下的匹配。
ifrunning
遍历当前分配,尝试分配资源,分配失败则回滚;
设consumed标;
根据running标与consumed标决定是否跳过分配;
重置标志;
使用改进Munkres算法;
formap中的每一个资源do
找到未使用资源
将未使用资源对应的用户加入匹配,退出;
endfor
当前轮状态输出;
使用Munkres算法可得到1对1的匹配结果。在本发明中,一个用户可以使用多个空闲资源,即如果用户已经被分配了资源,但此时仍然存在的空闲资源,则把空闲资源也加入到匹配中。因此,通过for循环查找在一次匹配中算法存在这样的资源,如果有,则把其加入到匹配中。
算法3的作用仍然是减小矩阵的规模,直至其变为O矩阵。合并后的请求矩阵体现了向底层传送调度资源请求,因为资源请求矩阵的构成就是用户通过云层发送请求底层传感器的命令和底层传感器所构成。数据返回给云层即改进KM算法得到的匹配结果。云层依据匹配结果把数据返回给用户。
本发明基于边缘计算的双缓存队列,对经典KM算法进行扩展,设计了一种减小系统耦合度的方法:即在边缘层设计命令缓存队列,缓存来自云端的请求,合并重复请求,同时在边缘计算层设计数据缓存队列,及时返回数据到云层,对于没有缓存的命令,采用改进KM算法实现最大匹配,进一步缩短调用时间,提高资源利用率,减小系统耦合度。
表1 实验场景说明
场景 | 1 | 2 | 3 | 4 | 5 |
用户数 | 50 | 75 | 100 | 150 | 200 |
资源数 | 10 | 15 | 20 | 30 | 40 |
以表1的实验场景为基础,采用不同的耦合控制方法进行比对,参见图4为基于正态分布不同场景运行轮数比较图、图5为基于正态分布不同场景资源利用率比较图及图6为基于正态分布不同场景运行时间比较。其中,用户和资源之间的调度关系是正态分布。由实验结果图易得本发明的基于双缓存队列的算法可以取得最小的调度轮数、最小的调度时间以及最大的资源利用率。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。
Claims (1)
1.一种基于智能边缘计算的传感云低耦合控制方法,其特征在于,在传感云系统的边缘层设置第一缓冲区和第二缓冲区,该第一缓冲区为命令缓存队列,该第二缓冲区为数据缓存队列,所述第二缓冲区中的资源数据是缓存来自底层的部分节点的数据,基于KNN方法结合节点的状态确定所要缓存的节点,如果节点的优先级较高,剩余能量较高,到边缘节点的跳数越少,则这个节点的数据就优先实时缓存在边缘层;当传感云系统存在耦合时,控制方法步骤如下:
1)将云层的资源请求输入第一缓冲区;在第一缓冲区中,当资源请求输入第一缓冲区到达预设时间后,再合并相同的命令,并把合并后的命令向第二缓冲区传输,所述第一缓冲区采用命令缓存队列算法实现合并相同的命令,具体为:首先,从资源请求矩阵中获取资源请求;然后,将资源请求放入到一个命令数组中; 之后,对数组进行排序,并合并数组中的相同元素;最后,算法在缓存命令队列后输出合并后的命令矩阵;
2)若合并后的命令请求的资源位于第二缓冲区中,则将该资源返回至云层;若否,则进入3);
3)采用改进KM算法,向底层传送调度资源请求并将数据返回至云层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910360627.0A CN110058949B (zh) | 2019-04-30 | 2019-04-30 | 一种基于智能边缘计算的传感云低耦合控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910360627.0A CN110058949B (zh) | 2019-04-30 | 2019-04-30 | 一种基于智能边缘计算的传感云低耦合控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110058949A CN110058949A (zh) | 2019-07-26 |
CN110058949B true CN110058949B (zh) | 2023-03-31 |
Family
ID=67321926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910360627.0A Active CN110058949B (zh) | 2019-04-30 | 2019-04-30 | 一种基于智能边缘计算的传感云低耦合控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110058949B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110519720B (zh) * | 2019-08-23 | 2020-09-01 | 绍兴文理学院 | 一种传感云环境下突发数据流映射负载容量优化方法 |
CN110493256B (zh) * | 2019-09-04 | 2020-04-17 | 深圳供电局有限公司 | 基于边缘计算和向量投影的数据传输安全认证方法及系统 |
CN112287345B (zh) * | 2020-10-29 | 2024-04-16 | 中南大学 | 基于智能风险检测的可信边缘计算系统 |
CN112714164A (zh) * | 2020-12-22 | 2021-04-27 | 北京国电通网络技术有限公司 | 一种物联网系统及其任务调度方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106790706A (zh) * | 2017-02-27 | 2017-05-31 | 深圳先进技术研究院 | 一种数据资源优化的方法、平台及系统 |
CN107800796A (zh) * | 2017-11-01 | 2018-03-13 | 重庆邮电大学 | 一种智能照明管控系统实现方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102655517A (zh) * | 2011-03-03 | 2012-09-05 | 苏州同程旅游网络科技有限公司 | 基于云计算的网络负载均衡方法 |
CN103532823B (zh) * | 2012-07-04 | 2018-11-23 | 中兴通讯股份有限公司 | 物联网消息处理方法、装置及系统 |
CN106685691B (zh) * | 2016-11-09 | 2019-11-12 | 苏州数言信息技术有限公司 | 物联网系统中终端设备的高效更新配置方法 |
CN106850589B (zh) * | 2017-01-11 | 2020-08-18 | 杨立群 | 一种管控云计算终端和云服务器运作的方法 |
-
2019
- 2019-04-30 CN CN201910360627.0A patent/CN110058949B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106790706A (zh) * | 2017-02-27 | 2017-05-31 | 深圳先进技术研究院 | 一种数据资源优化的方法、平台及系统 |
CN107800796A (zh) * | 2017-11-01 | 2018-03-13 | 重庆邮电大学 | 一种智能照明管控系统实现方法 |
Non-Patent Citations (1)
Title |
---|
谢银波 ; 陈小桥 ; 杨剑锋 ; .基于传感云的无线图传网能耗控制问题研究.武汉大学学报(工学版).2018,(10),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN110058949A (zh) | 2019-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110058949B (zh) | 一种基于智能边缘计算的传感云低耦合控制方法 | |
US11507430B2 (en) | Accelerated resource allocation techniques | |
Wang et al. | An intelligent edge-computing-based method to counter coupling problems in cyber-physical systems | |
CN104969213B (zh) | 用于低延迟数据存取的数据流分割 | |
TWI547817B (zh) | 叢集運算架構的資源規劃方法、系統及裝置 | |
CN105933408B (zh) | 一种Redis通用中间件的实现方法及装置 | |
TW201820165A (zh) | 用於雲端巨量資料運算架構之伺服器及其雲端運算資源最佳化方法 | |
Xu et al. | Cnn partitioning and offloading for vehicular edge networks in web3 | |
CN101957863A (zh) | 数据并行处理方法、装置及系统 | |
KR20180125734A (ko) | 파라미터 공유 장치 및 방법 | |
CN104618304B (zh) | 数据处理方法及数据处理系统 | |
CN110417903A (zh) | 一种基于云计算的信息处理方法和系统 | |
CN104184832A (zh) | 网络应用中的数据提交方法及装置 | |
CN114827198A (zh) | 一种应用于车联网的多层中心异步联邦学习方法 | |
WO2023040538A1 (zh) | 一种数据迁移的方法、装置、设备、介质和计算机产品 | |
CN108111335A (zh) | 一种调度和链接虚拟网络功能的方法及系统 | |
WO2023159812A1 (zh) | 一种ami网络入侵检测的方法、装置及介质 | |
Tuli et al. | SplitPlace: AI augmented splitting and placement of large-scale neural networks in mobile edge environments | |
CN109376151A (zh) | 数据分库处理方法、系统、装置和存储介质 | |
CN105872082B (zh) | 基于容器集群负载均衡算法的细粒度资源响应系统 | |
CN113377817A (zh) | 数据处理方法、系统、设备及存储介质 | |
CN109743348A (zh) | 一种数据传输请求响应方法、系统、装置和存储介质 | |
Devagnanam et al. | Design and development of exponential lion algorithm for optimal allocation of cluster resources in cloud | |
CN114679283A (zh) | 区块链数据请求处理方法、装置、服务器及存储介质 | |
CN112398917A (zh) | 面向多站融合架构的实时任务调度方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |