CN114531193B - 基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法 - Google Patents

基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法 Download PDF

Info

Publication number
CN114531193B
CN114531193B CN202210001872.4A CN202210001872A CN114531193B CN 114531193 B CN114531193 B CN 114531193B CN 202210001872 A CN202210001872 A CN 202210001872A CN 114531193 B CN114531193 B CN 114531193B
Authority
CN
China
Prior art keywords
bridge
unmanned aerial
aerial vehicle
state
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210001872.4A
Other languages
English (en)
Other versions
CN114531193A (zh
Inventor
朱军
张国春
付勇高
王磊
蔡嘉
唐袁袁
王振楠
唐寅伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Municipal Facilities Maintenance Management Co ltd
Original Assignee
Wuxi Municipal Facilities Maintenance Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Municipal Facilities Maintenance Management Co ltd filed Critical Wuxi Municipal Facilities Maintenance Management Co ltd
Priority to CN202210001872.4A priority Critical patent/CN114531193B/zh
Publication of CN114531193A publication Critical patent/CN114531193A/zh
Application granted granted Critical
Publication of CN114531193B publication Critical patent/CN114531193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/04—Communication route or path selection, e.g. power-based or shortest path routing based on wireless node resources
    • H04W40/10—Communication route or path selection, e.g. power-based or shortest path routing based on wireless node resources based on available power or energy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • H04W40/125—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality using a measured number of retransmissions as a link metric
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法。涉及无人机桥梁状态监测技术领域。该方法包括：若干个桥梁状态监测设备，桥梁表面数据采集无人机集群，地面信息处理系统。桥梁状态监测设备通过传感器对桥梁状态进行监测。无人机集群采用蜂窝拓扑组网实现对桥梁数据进行本地处理或作为中继节点传输桥梁监测数据。地面信息处理系统包括桥梁环境建模系统,无人机巡航路径规划系统,无人机蜂窝拓扑组网系统，桥梁状态识别系统，桥梁质量检测报告生成系统。本发明实现桥梁状态监测过程计算资源的优化配置,大幅提高状态监测资源利用效率,提高监测质量。

Description

基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测 方法
技术领域
本发明涉及无人机桥梁状态监测技术领域，尤其是基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法。
背景技术
桥梁城市交通的重要载体，然而大型重要桥梁存在巡检养护工作量大，难度高，而且存在一些人工无法准确识别的病害和安全监测死角，日益提高的监测标准与检测频率给巡检养护工作提出了新的要求。如今无人机技术发展迅猛，通过无人机集群对桥梁各结构进行信息采样，同时结合桥梁上安装的传感器，对桥梁健康状况进行监测，为桥梁的安全服役提供了一种有效的措施，但是桥梁健康实时监测所要求的设备之间传输的数据量，呈现出指数式增长的趋势。云计算可以提供集中的计算资源，但由于桥梁健康监测设备传输的数据量大，如果把所有的终端数据传送到云数据中心，将给网络带来庞大的拥挤压力和高延迟，从而严重影响桥梁状态监测的体验质量。为了解决这一问题，于是提出采用移动边缘计算，通过将基站与边缘服务器组成的服务节点下沉到桥梁终端设备附近的位置，在网络边缘为桥梁健康监测设备提供计算、通信与存储服务。将计算任务卸载至边缘服务节点中执行，从而降低系统延迟，提高服务质量。对于一些人工检测比较困难的情况，采用无人机辅助的监测方法,具有高效,灵活,省时省力省资源等优点。然而，无人机本身具有电池容量低、计算资源不充足等的问题，因此，存在性能的问题。通过无人机集群可同时对桥梁多个任务进行检测，缩短无人机巡航时间，通过合理分配，充分利用的计算资源，能极大提高检测效率。
发明内容
本发明针对上述问题及技术需求，提出了基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法。以蜂窝拓扑结构的方式部署若干个无人机，同时随机放置多个边缘服务器，位于该环境中的桥梁健康监测设备可将计算密集型任务卸载到边缘服务节点进行处理。而对于处在边缘服务器通信范围之外的设备无法对其任务进行有效稳定的卸载，则将无人机组网作为中继节点，为终端设备寻找经过无人机组网到边缘服务器的最优路径。本发明将路径选择设计为马尔可夫决策过程，并采用强化学习来获得最优路径。
本发明的技术方案如下：
一种基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法，其特征在于，部署在人工检测比较困难的桥梁环境下，包括桥梁表面数据采集无人机集群，桥梁状态监测设备，地面边缘计算信息处理系统。
进一步的，所述桥梁表面数据采集无人机集群可以贴近桥梁表面，实现对大型复杂桥梁的快速识别，同时可以作为边缘处理节点或者中继节点。
进一步的，所述桥梁状态监测设备包括温湿度传感器、风速风向传感器、系杆位移传感器、动挠度传感器、支座位移传感器、体外预应力传感器和伸缩缝位移传感器等，用于收集桥梁的运行状态。
进一步的，所述地面边缘计算信息处理系统包括桥梁环境建模系统,无人机巡航路径规划系统,无人机蜂窝拓扑组网系统，桥梁状态识别系统，桥梁质量检测报告生成系统。
进一步的，桥梁环境建模系统用于对桥梁及桥梁周围环境进行建模；无人机巡航路径规划系统采用基于重要性采样的强化学习来获得最优路径，用于规划无人机集群的巡航路径；无人机蜂窝拓扑组网系统根据无人机状态切换无人机状态为中继节点，选取最优路径，将任务传输到边缘服务器进行处理，或切换为移动服务器，进行桥梁状态数据的本地处理。桥梁状态识别系统用于根据桥梁传感器数据识别桥梁当前状态。桥梁质量检测报告生成系统用于生成桥梁的监测报告。
进一步的，所述无人机蜂窝拓扑组网系统基于无人机组网建立计算卸载模型，其中无人机不仅可以为近距离终端设备提供计算资源，同时可以为设备选取到达通信范围之外的边缘服务器的最优路径。
进一步的，所述无人机蜂窝拓扑组网系统包括：
在所述系统中有桥梁监测设备任务到达时，会首先将任务保存在云缓冲区中。云服务器根据用户设备本地资源，无人机资源，以及边缘服务器资源进行卸载决策。与此同时，假设用户设备通过正交多址的方式访问网络，其中不同用户设备使用正交频带实现互不干扰。
所述系统的高效计算卸载方案，同时考虑了终端设备，无人机和边缘服务器的延迟和有限的计算能力。所述的问题作为优化问题，以使无人机组网的能耗最小化，达到模型提供服务时间的最大化。
所述系统模型考虑到可用于路径选择的无人机的数量和通信条件的不确定性，所述的基于重要性采样的深度强化学习，以找到计算分流和资源分配的策略。
在所述的路径选择模块用于为处于边缘服务器通信范围之外的终端设备提供任务卸载的最优路径，从而尽可能的降低任务传输的功耗和延迟。
进一步的，通信模型的技术方案为：
当桥梁健康监测设备将任务卸载到不在设备可直接通信范围内的边缘服务器时，用户设备先通过上行链路将任务传输到无人机。通过下式计算用户设备和无人机之间信道增益
其中k0表示为距离为1m的信道增益，||*||表示为向量的欧几里得范数。
基于上述的信道增益，通过下式计算通信链路的传输速率和传输时间
其中Bi表示用户设备i用于任务传输的信道带宽，表示用户设备i的传输功率。同时，由于不同设备在传输任务时可能会复用同一信道。因此，
其中，δ为高斯白噪声。
用户设备通过上行链路发送数据给无人机时的能耗为：
进一步的，无人机将任务卸载到边缘服务器。通过下式计算无人机与边缘服务器之间的信道增益，传输速率以及传输时间分别表示为
其中表示分配给无人机m的信道带宽，/>表示无人机的发射功率，为对应的信道增益，δEFS为边缘服务器中的自然噪声。
无人机通过下行链路发送数据给边缘服务器时的损耗为：
进一步的，当处理的任务较大时，无法保证在对任务进行卸载时，用户设备与边缘服务器保持稳定通信。将无人机作为任务传输的中继节点，将任务卸载到更远的边缘服务器。通过下式计算无人机a与无人b之间的信道增益，传输速率以及传输时间：
其中为噪声功率，/>表示用于无人机之间信息传输的信道带宽，无人机a的发射功率为/>通过下式计算两个无人机之间传输时的能耗：
对于用户设备i，如果需要借助无人机将任务卸载到边缘服务器，则通过下式计算通过多个无人机进行任务传输的总能耗为：
其中va,b用来决定是否选择当前路线进行传输。
进一步的，移动边缘计算模型技术方案为：
每个无人机都拥有相同的计算能力为fUAV，当用户设备i中任务被卸载到无人机之后，通过下式计算执行完当前任务所需要的时间：
其中无人机中CPU分配给该任务的计算资源fi UAV为，因此就可以得出相应的功耗
其中k(fi UAV)3为CPU的功耗，k的取值跟无人机上CPU的架构有关，并且在同一个时间间隔内，无人机所能接收的最大任务请求满足以下约束：
进一步的技术方案为，通过基于重要性采样的强化学习得到无人机的飞行路径。桥梁状态监控设备决定把任务卸载到远处的边缘服务器时首先将任务经过若干个中继无人机传输，任务每到达一个无人机就决策下一次的传输节点，将无人机对下一步决策的过程看作马尔可夫决策过程。
进一步的设置状态空间。当决定把任务卸载到距离太远而无法直接通信的边缘服务器时，将无人机作为任务传输的中继节点，任务通过若干个无人机后，到达边缘服务器。对于桥梁状态监控设备i而言，当前任务的状态与可通信的无人机以及边缘服务器有关，通过下式计算当前无人机传输任务的状态变量si,path：
其中，与设备i可通信的无人机集合为k表示可用无人机数量,可用服务器集合为/>
进一步的设置奖励函数。用户设备先将任务卸载到无人机i，然后经过若干个中继无人机，传输到边缘服务器j。无人机i，边缘服务器j的坐标分别为采用蜂窝拓扑结构部署无人机组网，每个无人机周围有m∈[0,6]个无人机。通过下式计算任务在传输时每个状态-行为对的及时奖励函数：
其中，无人机k是当前任务已经传输到的无人机，无人机k周围的无人机集合为
进一步的设置状态行为价值函数。通过下式计算状态价值函数：
其中，si表示用户设备i的任务的当前阶段状态，ai表示即将采取的下一步动作,s'i表示采取完动作之后，下一个阶段状态。表示当任务开始被传输时的状态转移概率。通过下式计算在状态si采取ai动作之后，对应状态-动作对(si，ai)的动作价值函数:
假设为状态si在∏策略下，采取ai动作之后所能获得的最优值，那么状态si的最优价值函数/>满足如下等式：
进一步的处理路径选择问题。对于阶段t的每个桥梁健康监控设备，更新Q-table中对应(s，a)对的值。桥梁健康监控设备根据ε-greedy值选择随机策略或者贪婪策略进行下一步的任务卸载决策。之后根据该动作获得的立即回报以及和下一个状态动作的Q值的加权和，以及Q-Table中获得的当前状态和动作下的Q值，利用时间差分法对Q-Table进行更新，通过下式计算更新值：
Q(s,a)＝Q(s,a)+α[γmaxa'Q(s',a')-Q(s,a)+reward(s,a)]
其中α(0＜α＜1)为学习速率，用于权衡上一次学习到的结果占这一次学习结果的比重。γ为折扣因子，它用来定义未来奖励的重要性。
进一步的，使用卷积神经网络估算每个(s，a)对的Q(s,a)值，代替在内存维护一张复杂的Q-Table表。使用重要性采样以尽可能大的概率抽取到价值更高的样本，加快Q-table拟合速度,提高算法的性能。
使用卷积神经网络估算每个(s，a)对的Q(s,a)值使用到两个神经网络,它们的结构相同，一个用来选择动作，更新模型参数，另一个用于计算目标Q(s,a值，分别称为当前网络(Qcurrent(s,a,w))和目标网络(Qtarget(s,a,w'))。其中目标网络的网络参数不需要迭代更新，而是每隔一段时间将当前网络的权重参数w复制给目标网络w'，即延时更新。引入经验回放机制以便把系统探索环境得到的经验过渡元组(st,at,r(st，at),st+1,done)储存起来，然后随机选取批量样本来估算出两个网络分别对应的Q值以更新网络的参数。通过下式计算目标网络的Q值yi：
将(s,a)对的值输入给当前网络，获得当前网络的Q值，之后通过当前网络的Q值和yi值训练网络，通过下式计算损失函数：
Loss(θ)＝(r(s,a)+γmaxa'(Qtarget(s',a',w'))-Qcurrent(s,a,w))2
进一步的，采用经验回放打破样本之间关联。采用随机抽取样本的方式来更新参数，为样本设置优先级，对于价值越高的样本，优先级越高，抽取到的概率越大，价值较低的样本，也有一定的概率抽到。通过下式计算一个样本的价值：
δt＝r(s,a)+γmaxa'(Qtarget(s',a',w'))-Qcurrent(s,a,w)
每个样本被抽取的概率计算如下：
其中pi＝∣δt+∈∣,∈>0。由于为样本设置优先级引入了偏差，改变了数据分布和期望值，使用重要性采样方法来修正网络权重：
wj＝(N*P(j))-β/maxiwi
其中当β为1时完全消除偏置，越小则优先级大的样本对训练的影响越大。
其进一步的技术方案为，桥梁状态识别系统用于根据桥梁传感器数据识别桥梁当前状态。桥梁质量监测报告生成系统用于生成桥梁的监测报告。
本发明的有益技术效果是：
本申请提出的模型布置在人工难以监测的桥梁环境下，不仅可以利用无人机组网和边缘服务器组成的服务节点对现有通信网络进行有效补充，还可以将无人机转换成中继节点，将任务传输到更远处的边缘服务器进行处理，从而保证终端设备在大范围内能够对计算密集型任务进行有效卸载。移动终端不需要将计算密集的任务通过无线接入的方式迁移至云服务器，而是通过就近的边缘服务器来减少网络资源占有率，缩短网络时延。本发明实现桥梁状态监测过程计算资源的优化配置,大幅提高状态监测资源利用效率,提高监测质量。
附图说明
图1是本发明申请公开的桥梁状态监测系统框架图；
图2是本发明申请公开的桥梁监测数据传输模型图。
图3是本发明申请公开的计算卸载模型中路径选择的原理图；
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
如图1所示，本发明是一种基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法，包括桥梁表面数据采集无人机集群，桥梁状态监测设备，地面边缘计算信息处理系统。桥梁监测数据传输模型如图2所示。该方法包括：若干个桥梁状态监测设备，桥梁表面数据采集无人机集群，地面信息处理系统。桥梁状态监测设备通过传感器对桥梁状态进行监测。无人机集群用于对桥梁数据进行本地处理或作为中继节点传输桥梁数据。地面信息处理系统包括桥梁环境建模系统,无人机巡航路径规划系统,无人机蜂窝拓扑组网系统，桥梁状态识别系统，桥梁质量检测报告生成系统:桥梁环境建模系统用于对桥梁及桥梁周围环境进行建模；无人机巡航路径规划系统采用基于重要性采样的强化学习来获得最优路径，用于规划无人机集群的巡航路径；无人机蜂窝拓扑组网系统根据无人机状态切换无人机状态为中继节点，选取最优路径，将任务传输到边缘服务器进行处理，或切换为移动服务器，进行桥梁状态数据的本地处理。桥梁状态识别系统用于根据桥梁传感器数据识别桥梁当前状态。桥梁质量监测报告生成系统用于生成桥梁的监测报告。
步骤一：桥梁状态监测设备用于获取桥梁实时状态参数，如结构位移、应力、动挠度、温湿度、风速风向数据，基于无线传输网络，将监测数据卸载至桥梁表面数据采集无人机集群各中继节点。
步骤二：桥梁环境建模系统通过无人机对桥梁和周围环境信息进行采集，并通过3D建模建立坐标系还原真实场景。
步骤三：无人机巡航路径规划系统根据桥梁环境建模系统建立的三维模型，采用基于重要性采样的强化学习来获得最优路径，用于规划无人机集群的巡航路径与导航控制，并使无人机集群在各自对应的扫描检测区域执行任务。
步骤四：无人机蜂窝拓扑组网系统将桥梁状态监测设备上传的数据与无人机的检测数据进行实时分配，根据无人机状态切换无人机状态为中继节点，选取数据传输最优路径，将任务传输到边缘服务器进行处理，或切换为移动服务器，进行桥梁状态数据的本地处理。
步骤五：桥梁状态识别系统通过对传输的监测进行清洗，筛选出有效数据，并根据算法对传感数据与图像数据进行融合分析，计算各项安全指标，识别桥梁当前状态。
步骤六：桥梁质量检测报告生成系统根据养护标准，通过分析各项安全指标，生成桥梁的监测报告，实现对桥梁的在线监测。
图3是通过基于重要性采样的强化学习得到无人机的飞行路径。桥梁状态监控设备决定把任务卸载到远处的边缘服务器时首先将任务经过若干个中继无人机传输，任务每到达一个无人机就决策下一次的传输节点，将无人机对下一步决策的过程看作马尔可夫决策过程。
步骤一：设置状态空间。当决定把任务卸载到距离太远而无法直接通信的边缘服务器时，将无人机作为任务传输的中继节点，任务通过若干个无人机后，到达边缘服务器。对于桥梁状态监控设备i而言，当前任务的状态与可通信的无人机以及边缘服务器有关，通过下式计算当前无人机传输任务的状态变量si,path：
其中，与设备i可通信的无人机集合为k表示可用无人机数量,可用服务器集合为/>
步骤二：设置奖励函数。用户设备先将任务卸载到无人机i，然后经过若干个中继无人机，传输到边缘服务器j。无人机i，边缘服务器j的坐标分别为采用蜂窝拓扑结构部署无人机组网，每个无人机周围有m∈[0,6]个无人机。通过下式计算任务在传输时每个状态-行为对的及时奖励函数：
其中，无人机k是当前任务已经传输到的无人机，无人机k周围的无人机集合为
步骤三：设置状态行为价值函数。通过下式计算状态价值函数：
其中，si表示用户设备i的任务的当前阶段状态，ai表示即将采取的下一步动作,s'i表示采取完动作之后，下一个阶段状态。表示当任务开始被传输时的状态转移概率。通过下式计算在状态si采取ai动作之后，对应状态-动作对(si，ai)的动作价值函数:
假设为状态si在∏策略下，采取ai动作之后所能获得的最优值，那么状态si的最优价值函数/>满足如下等式：
步骤四：处理路径选择问题。对于阶段t的每个桥梁健康监控设备，更新Q-table中对应(s，a)对的值。桥梁健康监控设备根据ε-greedy值选择随机策略或者贪婪策略进行下一步的任务卸载决策。之后根据该动作获得的立即回报以及和下一个状态动作的Q值的加权和，以及Q-Table中获得的当前状态和动作下的Q值，利用时间差分法对Q-Table进行更新，通过下式计算更新值：
Q(s,a)＝Q(s,a)+α[γmaxa'Q(s',a')-Q(s,a)+reward(s,a)]
其中α(0＜α＜1)为学习速率，用于权衡上一次学习到的结果占这一次学习结果的比重。γ为折扣因子，它用来定义未来奖励的重要性。
步骤五：使用卷积神经网络估算每个(s，a)对的Q(s,a)值，代替在内存维护一张复杂的Q-Table表。使用重要性采样以尽可能大的概率抽取到价值更高的样本，加快Q-table拟合速度,提高算法的性能。
使用卷积神经网络估算每个(s，a)对的Q(s,a)值使用到两个神经网络, 它们的结构相同，一个用来选择动作，更新模型参数，另一个用于计算目标 Q(s,a)值，分别称为当前网络(Qcurrent(s,a,w))和目标网络(Qtarget(s,a,w'))。其中目标网络的网络参数不需要迭代更新，而是每隔一段时间将当前网络的权重参数w复制给目标网络w'，即延时更新。引入经验回放机制以便把系统探索环境得到的经验过渡元组(st,at,r(st，at),sx+1,done)储存起来，然后随机选取批量样本来估算出两个网络分别对应的Q值以更新网络的参数。通过下式计算目标网络的Q值yi：
将(s,a)对的值输入给当前网络，获得当前网络的Q值，之后通过当前网络的Q值和yi值训练网络，通过下式计算损失函数：
Loss(θ)＝(r(s,a)+γmaxa'(Qtarget(s',a',w'))-Qcurrent(s,a,w))2
步骤六：采用经验回放打破样本之间关联。采用随机抽取样本的方式来更新参数，为样本设置优先级，对于价值越高的样本，优先级越高，抽取到的概率越大，价值较低的样本，也有一定的概率抽到。通过下式计算一个样本的价值：
δt＝r(s,a)+γmaxa'(Qtarget(s',a',w'))-Qcurrent(s,a,w)
每个样本被抽取的概率计算如下：
其中pi＝∣δt+∈∣,∈>0。由于为样本设置优先级引入了偏差，改变了数据分布和期望值，使用重要性采样方法来修正网络权重：
wj＝(N*P(j))-β/maxiwi
其中当β为1时完全消除偏置，越小则优先级大的样本对训练的影响越大。
在本申请中，一种基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法。涉及无人机桥梁状态监测技术领域。本发明实现桥梁状态监测过程计算资源的优化配置,大幅提高状态监测资源利用效率,提高监测质量。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (6)

1.一种基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法，其特征在于，部署在人工检测比较困难的桥梁环境下，包括桥梁表面数据采集无人机集群，桥梁状态监测设备，地面边缘计算信息处理系统；
所述地面边缘计算信息处理系统包括桥梁环境建模系统,无人机巡航路径规划系统,无人机蜂窝拓扑组网系统，桥梁状态识别系统，桥梁质量检测报告生成系统；
桥梁环境建模系统用于对桥梁及桥梁周围环境进行建模；无人机巡航路径规划系统采用基于重要性采样的强化学习来获得最优路径，用于规划无人机集群的巡航路径;无人机蜂窝拓扑组网系统根据无人机状态切换无人机状态为中继节点，选取最优路径，将任务传输到边缘服务器进行处理，或切换为移动服务器，进行桥梁状态数据的本地处理；桥梁状态识别系统用于根据桥梁传感器数据识别桥梁当前状态；桥梁质量检测报告生成系统用于生成桥梁的监测报告；
所述无人机蜂窝拓扑组网系统基于无人机组网建立计算卸载模型，其中无人机不仅可以为近距离终端设备提供计算资源，同时可以为设备选取到达通信范围之外的边缘服务器的最优路径。
2.根据权利要求1所述的基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法，其特征在于，所述桥梁表面数据采集无人机集群可以贴近桥梁表面，实现对大型复杂桥梁的快速识别，同时可以作为边缘处理节点或者中继节点。
3.根据权利要求1所述的基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法，其特征在于，所述桥梁状态监测设备包括温湿度传感器、风速风向传感器、系杆位移传感器、动挠度传感器、支座位移传感器、体外预应力传感器和伸缩缝位移传感器等，用于收集桥梁的运行状态。
4.根据权利要求1所述的基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法，其特征在于，所述无人机蜂窝拓扑组网系统包括：
所述系统中有桥梁监测设备任务到达时，会首先将任务保存在云缓冲区中；云服务器根据用户设备本地资源，无人机资源，以及边缘服务器资源进行卸载决策；与此同时，假设用户设备通过正交多址的方式访问网络，其中不同用户设备使用正交频带实现互不干扰；
所述系统的高效计算卸载方案，同时考虑了终端设备，无人机和边缘服务器的延迟和有限的计算能力；以使无人机组网的能耗最小化，达到模型提供服务时间的最大化的优化问题；
所述系统考虑到可用于路径选择的无人机的数量和通信条件的不确定性，所述的基于重要性采样的深度强化学习，找到计算分流和资源分配策略；
路径选择模块用于为处于边缘服务器通信范围之外的终端设备提供无人机集群之中任务卸载的最优路径，从而尽可能的降低任务传输功耗和延迟。
5.根据权利要求4所述的基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法，其特征在于，任务一开始会被卸载到无人机，之后会根据规定的策略进行下一个行为的选取并且执行该行为；在行为完成之后，会获得在当前状态-行为对对应的奖励以及下一个状态，由此会产生一个包含五个元素的样本并将该样本优先级先设置为最高，存放在内存空间中；其中/>用来判断当前状态是否为终止状态即边缘固定服务器；当存放在内存空间中的样本数到达最小批处理数量时，开始抽取样本，训练模型，并在计算完时间差分误差之后，及时更新样本的优先级；在模型训练的次数达到一定阈值后，便把当前网络的权重赋值给目标网络权重；模型每训练一次便把当前状态保存至path数组中，并将/>作为当前状态重复上面的算法，直到/>的值为真，此时表明已找到从无人机/>到边缘固定服务器的路径；当用户设备的任务较大时就可以通过该路径将任务传输到边缘服务器进行处理。
6.根据权利要求5所述的基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法，其特征在于，计算卸载模块用于在每个时间间隔，首先找出处于用户设备可通信范围内的无人机，并且保存到集合中；任务的初始状态为用户设备本身，采用ε-贪心算法，根据随机产生的(0，1)之间的数与设定的阈值ε决定使用贪婪策略还是随机策略来选择行为a，当小于ε使用贪婪策略，反之使用随机策略；计算用户设备在当前行为a下的卸载时间是否超过最大延迟/>，如果超过，将无人机切换为只用作任务传输的中继节点，然后找到最近的边缘服务器，进行任务卸载；在执行完行为a后，任务状态变成/>；此刻状态/>对应的行为空间也就变为/>和最近边缘固定服务器的并集；依旧根据ε选取策略来获得行为，重复上面算法，直至算法收敛，用户设备就可以获得一个最优卸载策略/>。
CN202210001872.4A 2022-01-04 2022-01-04 基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法 Active CN114531193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210001872.4A CN114531193B (zh) 2022-01-04 2022-01-04 基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210001872.4A CN114531193B (zh) 2022-01-04 2022-01-04 基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法

Publications (2)

Publication Number Publication Date
CN114531193A CN114531193A (zh) 2022-05-24
CN114531193B true CN114531193B (zh) 2023-11-10

Family

ID=81621414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210001872.4A Active CN114531193B (zh) 2022-01-04 2022-01-04 基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法

Country Status (1)

Country Link
CN (1) CN114531193B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118695224A (zh) * 2024-08-26 2024-09-24 成都纵横通达信息工程有限公司 一种基于无线感知和视觉融合的桥梁健康监控系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207231523U (zh) * 2017-04-25 2018-04-13 无锡市城市道桥科技有限公司 一种基于无线网的桥梁健康监控系统
CN109286913A (zh) * 2018-09-29 2019-01-29 郑州航空工业管理学院 基于蜂窝网联的无人机移动边缘计算系统能耗优化方法
CN110703802A (zh) * 2019-11-04 2020-01-17 中国科学院自动化研究所 基于多无人机协同作业的桥梁自动检测方法及系统
CN111709582A (zh) * 2020-06-18 2020-09-25 广东电网有限责任公司 一种无人机边缘计算资源动态优化方法、系统及存储介质
CN112649002A (zh) * 2020-12-11 2021-04-13 南京邮电大学 一种基于边缘计算的野保无人机监测系统
CN112995913A (zh) * 2021-03-08 2021-06-18 南京航空航天大学 一种无人机轨迹、用户关联和资源分配联合优化方法
CN113259946A (zh) * 2021-01-14 2021-08-13 西安交通大学 基于集中式阵列天线的地空全覆盖功率控制与协议设计方法
CN113783599A (zh) * 2021-08-30 2021-12-10 吉林大学 一种无人机群的无线感知系统能量与信息传输方法
CN113791074A (zh) * 2021-08-12 2021-12-14 中国建筑股份有限公司 一种基于多传感器融合的无人机桥梁裂缝巡检系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207231523U (zh) * 2017-04-25 2018-04-13 无锡市城市道桥科技有限公司 一种基于无线网的桥梁健康监控系统
CN109286913A (zh) * 2018-09-29 2019-01-29 郑州航空工业管理学院 基于蜂窝网联的无人机移动边缘计算系统能耗优化方法
CN110703802A (zh) * 2019-11-04 2020-01-17 中国科学院自动化研究所 基于多无人机协同作业的桥梁自动检测方法及系统
CN111709582A (zh) * 2020-06-18 2020-09-25 广东电网有限责任公司 一种无人机边缘计算资源动态优化方法、系统及存储介质
CN112649002A (zh) * 2020-12-11 2021-04-13 南京邮电大学 一种基于边缘计算的野保无人机监测系统
CN113259946A (zh) * 2021-01-14 2021-08-13 西安交通大学 基于集中式阵列天线的地空全覆盖功率控制与协议设计方法
CN112995913A (zh) * 2021-03-08 2021-06-18 南京航空航天大学 一种无人机轨迹、用户关联和资源分配联合优化方法
CN113791074A (zh) * 2021-08-12 2021-12-14 中国建筑股份有限公司 一种基于多传感器融合的无人机桥梁裂缝巡检系统及方法
CN113783599A (zh) * 2021-08-30 2021-12-10 吉林大学 一种无人机群的无线感知系统能量与信息传输方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
UAV-Assisted Data Transmission in Blockchain-Enabled M2M Communications with Mobile Edge Computing;Li Meng等;《IEEE NETWORK》;第34卷(第6期);全文 *
融合MEC的星地协同网络：架构、关键技术与挑战;唐琴琴等;《通信学报》;全文 *
轻小型无人机低空遥感及其在生态学中的应用进展;孙中宇;陈燕乔;杨龙;唐光良;袁少雄;林志文;;应用生态学报(第02期);全文 *

Also Published As

Publication number Publication date
CN114531193A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
Ateya et al. Energy-and latency-aware hybrid offloading algorithm for UAVs
CN111629380B (zh) 面向高并发多业务工业5g网络的动态资源分配方法
CN109151864B (zh) 一种面向移动边缘计算超密集网络的迁移决策与资源优化分配方法
Callegaro et al. Optimal edge computing for infrastructure-assisted UAV systems
CN113156992B (zh) 面向边缘环境下无人机的三层架构协同优化方法
Lee et al. Online optimization for UAV-assisted distributed fog computing in smart factories of industry 4.0
CN109699033B (zh) 面向成本和负载均衡的LoRa电力物联网基站部署方法及装置
Chen et al. Minimizing age-of-information for fog computing-supported vehicular networks with deep Q-learning
CN115659803A (zh) 一种无人机孪生网络映射误差情况下计算任务智能卸载方法
CN114650567B (zh) 一种无人机辅助v2i网络任务卸载方法
CN114531193B (zh) 基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法
Zheng et al. Joint optimization of the deployment and resource allocation of UAVs in vehicular edge computing and networks
CN116546559A (zh) 分布式多目标空地联合轨迹规划和卸载调度方法及系统
CN117580105B (zh) 一种面向电网巡检的无人机任务卸载优化方法
Ma et al. Credibility Computation Offloading Based Task-Driven Routing Strategy for Emergency UAVs Network
CN114363803A (zh) 一种移动边缘计算网络节能的多任务分配方法及系统
CN113821346A (zh) 基于深度强化学习的边缘计算中计算卸载与资源管理方法
CN116737391A (zh) 一种联邦模式下基于混合策略的边缘计算协作方法
CN114928893B (zh) 一种基于智能反射面的架构及任务卸载方法
Xue et al. CoMap: Proactive Provision for Crowdsourcing Map in Automotive Edge Computing
CN112969157B (zh) 一种无人机网络负载均衡方法
CN114742166A (zh) 一种基于时延优化的通信网现场维护模型迁移方法
Ho et al. Optimized task offloading in UAV-assisted cloud robotics
Huang et al. Deep Reinforcement Learning-Driven UAV Data Collection Path Planning: A Study on Minimizing AoI
CN114268394B (zh) 基于数据判断的分布式网络无线频谱智能感知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant