发明内容
本发明所要解决的技术问题是提供一种用于电网巡检的无人机辅助边缘计算方法,采用全新设计,在完成电网巡检任务的条件下,实现了无人机能耗的最小化,进而延长了无人机的工作时间。
本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种用于电网巡
检的无人机辅助边缘计算方法,基于固定位置设置的中央基站,应用包含
个巡检无人机
的无人机群、以及一个增强无人机,针对包括电网设施、输电线路的目标电网区域进行巡
检;包括如下步骤:
步骤S1. 基于无人机群中各巡检无人机的飞行模式,构建无人机辅助电网巡检系统,其中,巡检无人机只负责对目标电网区中电网设施、输电线路进行视频图像采集,所获视频图像由增强无人机或中央基站进行数据处理,然后进入步骤S2;
步骤S2. 基于无人机辅助电网巡检系统模型,由无人机群中各巡检无人机对目标电网区中电网设施、输电线路进行视频图像采集,获得各巡检无人机分别对应各时隙采集所获得的视频图像数据,然后进入步骤S3;
步骤S3. 根据各巡检无人机分别对应各时隙采集所获得的视频图像数据,结合各巡检无人机的质量、信号发射功率、位置坐标,增强无人机的质量、信号发射功率、位置坐标、计算能力,中央基站的位置坐标、以及系统通信带宽,构建无人机辅助电网巡检系统的数字孪生网络,用于拟合各巡检无人机、增强无人机的位置坐标、以及系统的资源状态,然后进入步骤S4;
步骤S4. 根据无人机辅助电网巡检系统的数字孪生网络,基于电网巡检系统卸载时延、以及数据任务处理时延约束条件,构建无人机群分别对应各时隙的能耗模型,并进一步构建无人机群分别对应各时隙的能耗最小化目标函数,然后进入步骤S5;
步骤S5. 随机初始增强无人机的移动轨迹,并基于各巡检无人机分别对应第
个
时隙的位置坐标、视频图像数据,构建系统第
个时隙状态,然后进入步骤S6;
步骤S6. 基于增强无人机的移动轨迹,以及系统第
个时隙状态,采用深度强化学
习中的DDPG算法,根据无人机群分别对应各时隙的能耗最小化目标函数,求解无人机群分
别对应各时隙的能耗模型,获得系统第
个时隙状态结合增强无人机的移动轨迹所对应由
各巡检无人机分别对应第
个时隙的信号发射功率、关于增强无人机或中央基站的卸载方
式、增强无人机对应第
个时隙的信号发射功率和被分配的CPU计算频率,所组成的系统第
个时隙动作空间,即系统第
个时隙状态结合增强无人机移动轨迹所对应的系统第
个时隙
动作空间,然后进入步骤S7;
步骤S7. 判断是否满足迭代溢出条件,是则进入步骤S8,否则基于系统第
个时隙
状态结合增强无人机移动轨迹所对应系统第
个时隙动作空间中的系统资源分配、以及视
频图像数据卸载决策方案,采用遗传算法求解更新增强无人机的移动轨迹,并返回步骤S6;
步骤S8. 根据增强无人机的移动轨迹、以及相应系统第
个时隙动作空间中的系
统资源分配、以及视频图像数据卸载决策方案,针对步骤S2中各巡检无人机分别对应各时
隙采集所获得的视频图像数据进行处理,实现视频图像数据卸载至增强无人机或中央基站
进行处理。
本发明所述一种用于电网巡检的无人机辅助边缘计算方法,采用以上技术方案与现有技术相比,具有以下技术效果:
本发明所设计一种用于电网巡检的无人机辅助边缘计算方法,采用巡检无人机对目标电网区域进行视频图像采集工作,借助增强无人机辅助处理巡检无人机所采集的视频图像数据,以最小化系统无人机能耗为目标,采用深度强化学习中的DDPG算法与遗传算法相结合的方法求解增强无人机的轨迹、系统资源分配、以及任务卸载决策方案,确保系统无人机在能耗最小化的前提下实施电网巡检;其中,考虑到电网巡检区域的环境较为恶劣,设计采用无人机进行目标电网区的视频图像采集工作,降低了巡检成本;并以优化系统无人机能耗为目标,在同载能的条件下延长了无人机的工作时间;以及采用DDPG算法与遗传算法相结合的方法,求解增强无人机的轨迹、系统资源分配、以及任务卸载决策方案,该方法迭代速度较快,时间复杂度不高,可以提高系统的实时性。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明所设计一种用于电网巡检的无人机辅助边缘计算方法,如图2所示,基于固
定位置设置的中央基站,应用包含
个巡检无人机(UAV)的无人机群、以及一个增强无人机
(SUAV),针对包括电网设施、输电线路的目标电网区域进行巡检,其中,各巡检无人机分别
均配备高速图像捕获模块;实际应用当中,如图1所示,具体执行如下步骤S1至步骤S8。
步骤S1. 基于无人机群中各巡检无人机的飞行模式,构建无人机辅助电网巡检系统,其中,巡检无人机只负责对目标电网区中电网设施、输电线路进行视频图像采集,所获视频图像由增强无人机或中央基站进行数据处理,然后进入步骤S2。
实际应用当中,上述步骤S1具体执行如下步骤S11至步骤S13。
步骤S11. 基于各时隙内各巡检无人机的运动状态保持不变,分别针对各巡检无人机,按如下公式:
获得第
个巡检无人机对应第
个时隙的移动速度
、水平移动方向
、竖
直移动方向
,其中,
,
表示所有巡检无人机的平均移动速度,
表
示第
个巡检无人机对应前
个时隙内的平均水平方向移动角度,
表示第
个巡
检无人机对应前
个时隙内的平均竖直方向移动角度;
、
、
依次表示第
个巡检无人机对应前
个时隙的移动速度、水平移动方
向、竖直移动方向,
,
表示预设用于调整巡检无人机对应前
个时隙移
动速度对第
个时隙移动速度的影响参数,
,
表示预设用于调整巡检无人机
对应前
个时隙水平移动方向对第
个时隙水平移动方向的影响参数,
,
表示预设用于调整巡检无人机对应前
个时隙竖直移动方向对第
个时隙竖直移
动方向的影响参数,预设服从独立高斯分布的参数
表示第
个巡检无人机移动速度的
随机性,预设服从独立高斯分布的参数
表示第
个巡检无人机水平移动方向的随机性,
预设服从独立高斯分布的参数
表示第
个巡检无人机竖直移动方向的随机性,然后进
入步骤S12。
步骤S12. 根据各时隙长度
,分别针对各巡检无人机,按如下公式:
获得第
个巡检无人机对应第
个时隙的位置坐标
,其中,
、
、
表示第
个巡检无人机对应第
个时隙分别在
坐标轴上的值,
、
、
表示
第
个巡检无人机对应前
个时隙分别在
坐标轴上的值,然后进入步骤S13。
步骤S13. 根据各巡检无人机分别对应第
个时隙的移动速度、水平移动方向、竖
直移动方向、位置坐标,搭建无人机辅助电网巡检系统,其中,巡检无人机只负责对目标电
网区中电网设施、输电线路进行视频图像采集,所获视频图像由增强无人机或中央基站进
行数据处理,然后进入步骤S2。
步骤S2. 基于无人机辅助电网巡检系统模型,由无人机群中各巡检无人机对目标电网区中电网设施、输电线路进行视频图像采集,获得各巡检无人机分别对应各时隙采集所获得的视频图像数据,然后进入步骤S3。
步骤S3. 根据各巡检无人机分别对应各时隙采集所获得的视频图像数据,结合各巡检无人机的质量、信号发射功率、位置坐标,增强无人机的质量、信号发射功率、位置坐标、计算能力,中央基站的位置坐标、以及系统通信带宽,构建无人机辅助电网巡检系统的数字孪生网络,如图3所示,用于拟合各巡检无人机、增强无人机的位置坐标、以及系统的资源状态,然后进入步骤S4。
实际应用当中,上述步骤S3具体执行如下步骤S31至步骤S33。
步骤S31. 根据无人机辅助电网巡检系统,结合各巡检无人机的质量、以及分别对应各时隙所采集的视频图像数据、信号发射功率,增强无人机的质量、对应各时隙其被分配的CPU计算频率、信号发射功率,以及中央基站的位置坐标,构建现实物理实体网络,然后进入步骤S32。
步骤S32. 根据现实物理实体网络,按如下公式:
构建各巡检无人机分别对应各时隙的数字孪生模型,其中,
表示第
个
巡检无人机对应第
个时隙的数字孪生模型,
表示第
个巡检无人机的质量,
表示第
个巡检无人机对应第
个时隙所采集的视频图像数据,
表示第
个巡检无
人机对应第
个时隙的信号发射功率,
表示第
个巡检无人机对应第
个时隙的位
置坐标,
表示第
个巡检无人机对应第
个时隙的最大信号发射功率。
同时按如下公式:
构建增强无人机对应各时隙的数字孪生模型,其中,
表示增强无人机对应第
个
时隙的数字孪生模型,
表示增强无人机的质量,
表示增强无人机对应第
个
时隙被分配的CPU计算频率,
表示增强无人机对应第
个时隙的信号发射功率,
增强无人机对应第
个时隙的位置坐标,
表示增强无人机对应第
个时隙的
最大信号发射功率,
表示增强无人机的最大CPU计算频率,
表示增强无人机处理
1bit的数据所需要CPU的周期数。
以及按如下公式:
构建中央基站的数字孪生模型
,其中,
表示中央基站的位置坐标,然后进
入步骤S33。
步骤S33. 基于各巡检无人机分别对应各时隙的数字孪生模型、以及增强无人机对应各时隙的数字孪生模型、中央基站的数字孪生模型,构成无人机辅助电网巡检系统的数字孪生网络,用于拟合各巡检无人机、增强无人机的位置坐标、以及系统的资源状态,然后进入步骤S4。
步骤S4. 根据无人机辅助电网巡检系统的数字孪生网络,基于电网巡检系统卸载时延、以及数据任务处理时延约束条件,构建无人机群分别对应各时隙的能耗模型,并进一步构建无人机群分别对应各时隙的能耗最小化目标函数,然后进入步骤S5。
实际应用当中,上述步骤S4具体执行如下步骤S41至步骤S42。
步骤S41. 根据无人机辅助电网巡检系统的数字孪生网络,构建各巡检无人机各时隙所采集视频图像数据分别对应各卸载方式下的总时延模型,然后进入步骤S42。
这里上述步骤S41进一步具体执行如下步骤S411至步骤S413。
步骤S411. 基于各巡检无人机在任一时隙内仅能在增强无人机与中央基站之间
择一进行视频图像数据卸载,根据各巡检无人机分别与增强无人机之间采用NOMA的方式进
行通信,即各巡检无人机共用一个频谱与增强无人机进行通信,以及增强无人机与中央基
站之间采用OFDMA的方式进行通信,各巡检无人机分别与增强无人机之间对应第
个时隙的
数据传输速率
、增强无人机与中央基站之间对应第
个时隙的数据传输速率
,其中:
其中,
表示通信信道带宽,
表示附加的高斯白噪声;
表示在时隙
内,巡检无人机
与增强无人机之间的信道功率增益,其被定义为:
,
表示单位距离的路径损耗;增强无人机接收端
采用连续干扰消除的方式(SIC)对
个巡检无人机发射的叠加信号进行解码,其解码顺序
按照信道增益的降序执行,在第
个时隙内,信道增益的降序可表示为:
,降序序列中的第
个信道增益可表
示为:
;
表示巡检无人机
在上传数据时,其
余巡检无人机
对数据传输速率的干扰;
在任意时隙内,增强无人机与中央基站之间采用OFDMA(正交频分多址接入技术)的方式进行通信,根据香农公式,增强无人机与中央基站之间的数据传输速率为:
其中,
表示在第
个时隙内,增强无人机与中央基站之间的信道功率增益,
其被定义为:
。
对应第
个巡检无人机在第
个时隙所采集视频图像数据卸载到增强无人机进行
处理,由于处理结果的数据量较小,因此可以忽略处理结果从增强无人机至中央基站的传
输时延及传输能耗;对应第
个巡检无人机在第
个时隙所采集视频图像数据卸载到中央
基站进行处理,由于中央基站采用有线的方式进行供电,因此可忽略中央基站的计算能耗,
此外,在任一时隙内,巡检无人机
仅且只能选择其中一种卸载模式。
进一步按如下公式:
构建各巡检无人机与增强无人机之间分别对应各时隙的通信时延模型
,
表示第
个巡检无人机与增强无人机之间对应第
个时隙的通信时延,
表示第
个巡检无人机对应第
个时隙所采集的视频图像数
据。
以及按如下公式:
构建各巡检无人机分别对应各时隙所采集视频图像数据在增强无人机与中央基
站之间传输的通信时延模型
,
表示第
个巡检无人机对
应第
个时隙所采集视频图像数据在增强无人机与中央基站之间传输的通信时延;然后进
入步骤S412。
步骤S412. 基于定义
对应第
个巡检无人机在第
个时隙所采
集视频图像数据卸载到增强无人机进行处理,则按如下公式:
构建增强无人机接收端针对第
个巡检无人机在第
个时隙所采集视频图像数据
的数据处理时延模型
,其中,
表示增强无人机处理1bit的数据所需要CPU
的周期数,
表示增强无人机对应第
个时隙被分配的CPU计算频率。
并基于增强无人机采用非抢占的方式针对视频图像数据按照信道功率增益降序的方式进行处理,则按如下公式:
构建第
个巡检无人机在第
个时隙所采集视频图像数据在被增强无人机处理之
前所对应的队列等待时延模型
,
表示增强无人机依次处理第
个视频图像
数据所来自巡检无人机的序号,
表示第
个巡检无人机在第
个时隙所采集视频图像数
据在增强无人机等待处理的排序序号。
进而按如下公式:
构建第
个巡检无人机在第
个时隙所采集视频图像数据卸载到增强无人机进行
处理所对应的总时延模型
,然后进入步骤S413。
步骤S413. 基于定义
对应第
个巡检无人机在第
个时隙所采
集视频图像数据卸载到中央基站进行处理,则按如下公式:
构建第
个巡检无人机在第
个时隙所采集视频图像数据卸载到增强无人机进行
处理所对应的总时延模型
,然后进入步骤S42。
步骤S42. 根据各巡检无人机各时隙所采集视频图像数据分别对应各卸载方式下的总时延模型,基于电网巡检系统卸载时延、以及数据任务处理时延约束条件,构建无人机群分别对应各时隙的能耗模型,并进一步构建无人机群分别对应各时隙的能耗最小化目标函数,然后进入步骤S5。
实际应用当中,上述步骤S42进一步设计执行如下步骤S421至步骤S422。
步骤S421. 基于中央基站采用有线方式进行供电,按如下公式:
构建无人机群对应第
个时隙的能耗模型
,其中,
,
表示第
个巡检无人机在
第
个时隙内的飞行能耗;
,
表示增强无人机在第
个时隙内的飞行能耗;
,
表示第
个巡检无人机在第
个时隙所采集视频图像数据
卸载至增强无人机处理所消耗
的能量,
表示增强无人机CPU对应的有效开关电容;
,
表示第
个巡检无人机在
第
个时隙所采集视频图像数据
在与增强无人机之间的传输能耗;
,
表示数
据
在增强无人机与中央基站之间的传输能耗,然后进入步骤S422。
步骤S422. 根据无人机群对应第
个时隙的能耗模型
,按如下公式:
进一步构建无人机群分别对应各时隙的能耗最小化目标函数
,其中,
表示预设约束增强无人机的活动范围,
表
示增强无人机全双工通信的条件需求,
表示第
个巡检无人机在第
个时隙所采集视
频图像数据
需要在该时隙内卸载处理完毕。
步骤S5. 随机初始增强无人机的移动轨迹,并基于各巡检无人机分别对应第
个
时隙的位置坐标、视频图像数据,构建系统第
个时隙状态,然后进入步骤S6。
步骤S6. 基于增强无人机的移动轨迹,以及系统第
个时隙状态,采用深度强化学
习中的DDPG算法,根据无人机群分别对应各时隙的能耗最小化目标函数,求解无人机群分
别对应各时隙的能耗模型,获得系统第
个时隙状态结合增强无人机的移动轨迹所对应由
各巡检无人机分别对应第
个时隙的信号发射功率、关于增强无人机或中央基站的卸载方
式、增强无人机对应第
个时隙的信号发射功率和被分配的CPU计算频率,所组成的系统第
个时隙动作空间,即系统第
个时隙状态结合增强无人机移动轨迹所对应的系统第
个时隙
动作空间,然后进入步骤S7。
关于上述步骤S6,具体执行如下操作:
首先构建两组神经网络,分别为Actor网络组以及Critic网络组,其中Actor网络
组包括两个参数完全相同的深度神经网络:Actor策略网络,所有参数记为
、Actor目标
网络,所有参数记为
,Critic网络组包括两个参数完全相同的深度神经网络:Critic策
略网络,所有参数记为
、Critic目标网络,所有参数记为
。
然后基于增强无人机的移动轨迹,在第
个时隙内,Actor策略网络输入的是系统
当前状态
,输出行动
附加随机噪声
形成行动决策
与环境进行交互,即
,进而得到奖励
并进入系统下一个时隙状态
,同时将这一
记录
存至经验回放池中;
其中,系统当前状态
、动作空间
以及奖励函数
分别如下表示:
基于当前系统状态
以及该状态上的行动决策
,所获得的奖励
定义为:
其中,奖励函数中的-1000代表惩罚项,若增强无人机全双工通信的条件需求未得
到满足或
时隙内巡检无人机
所采集的数据未在该时隙内卸载处理完毕,则会相应给出
预设惩罚数值-1000。
上述关于步骤S6的具体执行操作,实际应用当中关于深度强化学习中的DDPG算法,如图4所示,具体如下执行。
S61,从第1个时隙开始,重复执行上述操作,直至经验回放池被填满;
S62,从经验回放池中随机抽取
个样本,并记其中的一个样本为
;
S63,将状态
、行动决策
输入至Critic目标网络,输出基于当
前状态以及行动决策所获得的
值:
,其中行动决策
基于
由Actor目标网络提供,并记:
;
S64,将状态
、行动决策
输入至Critic策略网络,输出基于当前状态以及行
动决策所获得的
值:
;
S65,采用如下损失函数更新Critic策略网络的参数
:
S66,采用策略梯度上升方法更新Actor策略网络的参数
,实现策略目标函数
的最大化:
其中,
为Actor策略网络基于状态
所获取的行动决策,
为Critic策略网络基于状态
以及行动决策
所获取的
值;
S67,采用软更新的方式定时更新Actor目标网络的参数
以及Critic目标网络
的参数
:
步骤S7. 判断是否满足迭代溢出条件,是则进入步骤S8,否则基于系统第
个时隙
状态结合增强无人机移动轨迹所对应系统第
个时隙动作空间中的系统资源分配、以及视
频图像数据卸载决策方案,采用遗传算法求解更新增强无人机的移动轨迹,并返回步骤S6。
其中,迭代溢出条件为最大预设迭代次数,或者以当前迭代起向历史迭代方向、预
设迭代次数内各迭代下无人机群对应第
个时隙能耗的方差小于预设能耗波动范围。
实际应用当中,上述步骤S7中,若不满足迭代溢出条件,则执行如下步骤S71至步骤S73。
步骤S71. 随机初始化第
个时隙种群
,其中,
,
表示第
个时
隙种群
中个体的个数,
表示第
个时隙种群
中第
条增强无人机移动轨
迹,然后进入步骤S72。
实际应用中,进一步将增强无人机位置坐标的表现型采用二进制编码的形式转换为基因型,二进制编码方式具体如下:
的范围为
,用长度为
的二进制编码符号来表示该参数,即该区
间被划分为
份,同理
、
也被划分为
份,
所对应的基
因型表示区间
中的数据,
、
同理,因此某一个体的基因型可表示
为:
。
步骤S72. 分别针对第
个时隙种群
中的各个个体,基于系统第
个时隙状态
结合增强无人机移动轨迹所对应系统第
个时隙动作空间中的系统资源分配、以及视频图
像数据卸载决策方案,按如下公式:
获得第
个时隙种群
中各个个体分别对应的适应度,然后进入步骤S73。
步骤S73. 判断第
个时隙种群
中各个个体分别所对应适应度是否均满足预
设适应度阈值,是则挑选最高适应度所对应的个体,即获得该个体所对应的增强无人机移
动轨迹,即更新增强无人机的移动轨迹,并返回步骤S6;否则基于第
个时隙种群
中各
个个体分别对应的适应度,对第
个时隙种群
中的数据进行选择、交叉、变异操作,更新
第
个时隙种群
中的各个个体,并返回步骤S72;其中,与步骤S71、步骤S72之间采用二
进制编码形式转换操作相对应的,这里解码(
、
同理):
实际应用当中,这里的预设适应度阈值为预设适应度下限,若预设适应度阈值为
预设适应度下限时,则判断第
个时隙种群
中各个个体分别所对应适应度是否均大于
预设适应度下限。
步骤S8. 根据增强无人机的移动轨迹、以及相应系统第
个时隙动作空间中的系
统资源分配、以及视频图像数据卸载决策方案,针对步骤S2中各巡检无人机分别对应各时
隙采集所获得的视频图像数据进行处理,实现视频图像数据卸载至增强无人机或中央基站
进行处理,由增强无人机或中央基站针对来自巡检无人机所卸载的视频图像数据执行电网
系统缺陷识别、以及电网系统缺陷定位。
将本发明所设计用于电网巡检的无人机辅助边缘计算方法,应用于实际当中,如图5给出的是本发明所设计的DDPG-GA算法收敛情况表现,由于DDPG网络模型的参数在训练阶段是随机确定的,因此此时的行动决策不是最优的,随着训练次序的不断递增,行动决策趋于最优化,奖励趋于最大化,同时奖励随训练次数的波动性也随之减小。从图中可以看出,经过约200次的训练之后,本发明所设计的DDPG-GA算法趋于收敛。
如图6所示,在不同算法分别在NOMA、OMA条件下的巡检无人机数量与无人机能耗对比图,算法包括DDPG以及DDPG-GA算法。整体来看,随着巡检无人机数量的增多,其所采集的数据量以及所需卸载的计算任务量也会随之增加,因此无人机的能耗增呈上升趋势。相较与DDPG算法,本发明所设计的DDPG-GA算法在无人机能耗方面的表现较优,当巡检无人机数量较小时,两种算法的表现差异不大,随着巡检无人机数量的增加,两种算法的表现差距开始拉大,这是因为随着巡检无人机数量的增加,两种算法的决策空间都会进一步扩大,但DDPG-GA算法决策空间相对较小,更容易根据网络模型做出最优决策。同时,从图中也可看出在采用NOMA通信模式下的系统无人机能耗小于OMA模式下的系统无人机能耗,这是因为NOMA模式可进一步降低传输时延,进而降低任务数据的传输能耗,从而达到降低系统无人机能耗的效果。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。