CN113534829B - 一种基于边缘计算的无人机日常巡逻检测系统 - Google Patents
一种基于边缘计算的无人机日常巡逻检测系统 Download PDFInfo
- Publication number
- CN113534829B CN113534829B CN202110658356.4A CN202110658356A CN113534829B CN 113534829 B CN113534829 B CN 113534829B CN 202110658356 A CN202110658356 A CN 202110658356A CN 113534829 B CN113534829 B CN 113534829B
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- edge computing
- computing equipment
- rotor unmanned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 92
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 230000005855 radiation Effects 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims abstract 2
- 238000007689 inspection Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 17
- 238000013135 deep learning Methods 0.000 claims description 13
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 9
- 238000012423 maintenance Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000007599 discharging Methods 0.000 claims description 3
- 229910052751 metal Inorganic materials 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract description 2
- 230000002265 prevention Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 description 7
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 229910052744 lithium Inorganic materials 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000017525 heat dissipation Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Abstract
本发明公开了一种基于边缘计算的无人机日常巡检系统，包括无人机和边缘计算设备两个模块，通过在人口密度一般的非中心城市的聚居区、大人流区域制订巡逻路线，同时在路线临近区域部署一定数量边缘计算设备并使用多旋翼无人机进行日常化巡逻检测，无人机在每个边缘计算设备辐射范围内采集道路边及可视范围内的视频图像数据并传递边缘计算设备，区域内边缘计算设备通过CoPoly算法将视频图像处理任务进行分布式调度，计算后将结果发送回无人机，根据结果决定返回加量拍摄可疑或进入下一区域继续巡逻检测，解决了城镇化大背景下非中心城市的基建水平不高导致的区域内治安力量不支持大范围日常巡逻预防相关事件的问题。
Description
技术领域
本发明涉及无人机与边缘计算技术领域，具体是涉及一种基于边缘计算的无人机日常巡逻检测系统。
背景技术
近年来，随着我国经济与科技的蓬勃发展，大中型城市中监控设备逐渐普及，相关部门也在大力进行信息化建设，整体治安环境持续改善。
对比超一线、一二线中心城市的基础建设情况，人口密度一般的非中心城市在治安基础建设方面还是有较大的不足，主要体现在治安维持人员数量在区域人口中占比极低，监控设备覆盖率一般甚至较低等方面，致使相关部门无法对辖区内潜在危险信息进行有效掌握，同时即便安排了进行日常巡逻，海量的人流会极大降低工作效率且至多只能做到事件发生第一时间在现场控制事态，而利用监控设备进行事先排查也存在不小的问题，如监控设备天然存在众多死角，这些非中心城市较为一般的监控设备覆盖率更是雪上加霜，另外监控设备还存在图像分辨率低，信息采集效率较差，不能实时处理数据信息等问题，于是如何提前有效探查潜在危险，预防事件发生成为了这些人口密度一般的非中心城市相关部门的难题。
现有中国专利：一种基于云边协同和5G网络的无人机巡检系统，专利号：CN212785420 U，授权公告日：2021.03.23，可以提升业务的处理效率，使得电力巡检更加智能化，但是专利中将边缘计算设备挂载到无人机上，与地面传感器或交换机联通传递数据，并在无人机搭载的边缘计算设备上进行计算处理，这种结构的设计存在以下问题：无人机由于其自身大小与电源限制，挂载边缘计算设备后耗电量剧增，因此①无人机的飞行续航时间大大减少，使得每次执行任务时间缩水，探查区域较小；②挂载版本的边缘计算设备相较正常设备大小受限，所以边缘计算设备中负责计算处理部分的计算力与计算规模也相应受限，另外由于供电受限，无法使用正常功率进行计算，所以计算速度也大打折扣，因此需要提供一种基于边缘计算的无人机日常巡逻检测系统来解决上述问题。
发明内容
为解决上述技术问题，本发明提供一种基于边缘计算的无人机日常巡逻检测系统，包括多旋翼无人机和定制设计组装的边缘计算设备，所述边缘计算设备设置在地面上，所述多旋翼无人机包括控制导航模块：控制导航模块用于确认与修正无人机飞行方位、实时地理位置并确保航线与规定巡检路线一致，此外还承担了多旋翼无人机使用过程中处理指令与总控单元的作用；图像与视频采集模块：图像与视频采集模块用于采集地面信息；数据存储模块用于存储整个巡检过程中产生的处理前后图像视频数据与飞行日志；数据存储模块、飞行控制模块：所述飞行控制模块通过对电机、电调、螺旋桨发送实时指令实现多旋翼无人机的飞行轨迹、速度、姿态等的统一控制；无线通信模块：无线通信模块用于空中的多旋翼无人机与地面的边缘计算设备之间进行通信，传输图像视频数据、处理数据和控制指令；定制小轴距机架和多旋翼无人机电源：多旋翼无人机电源为便携式电池，需要定期进行充电与维护；所述定制设计组装的边缘计算设备包括中央处理模块：中央处理模块是边缘计算设备的控制核心，用于处理数据与指令并执行各类运算与控制操作；图形处理模块：图形处理模块用于图像和图形相关运算，通过根据特定数据集训练出的深度学习网络权重文件对多旋翼无人机采集传输的图像视频进行检测并将结果提交中央处理模块进行后续操作处理；数据存储模块、无线通信模块、定制金属外壳和边缘计算设备电源：边缘计算设备电源则是接地供电，保证电压稳定，需要持续供电与定期维护；所述多旋翼无人机通过图像与视频采集模块采集巡检路径覆盖的道路边及可视范围内的高清60帧分辨率视频数据，将其传递至边缘计算设备，所述边缘设备对视频抽帧并将数据分解调度至区域内其他边缘设备进行图像处理，收到其他设备发回的处理结果后对这些结果进行聚合并根据几种判定模式进行飞行控制指令计算，将处理后图像视频数据与飞行控制指令发回至所述多旋翼无人机，支持多旋翼无人机进行日常的巡逻检测任务。
本发明的进一步改进在于：所述边缘设备对任务进行分解调度的依据为CoPoly算
法，CoPoly算法包含4个步骤：首先设第一台与无人机连接并通信的边缘设备为第一节点，
第一节点计算当前区域内其他边缘设备（节点）与其物理直线距离，再按照公式计算得到基础分配调度值。同时对当前区域内其他节点与第一节点的通信
信道信噪比进行处理，计算其他节点与第一节点的信噪比的均值和标准差，对各个节
点的信噪比进行标准化(Normalization)处理：，得到另一基础分配调度值，其中为信号功率（瓦），为噪声功率（瓦）。最终根据加权公式
进行分配，得到不同节点的调度处理工作量，其中为物理距离因素的权重，为信噪比
因素的权重，另外i>1，A为总工作量（该时间段中需要处理图像帧的总数量），第一节点将抽
帧后的图像数据分别发送至不同节点进行进一步处理，最终的工作量分布如所示。
本发明的进一步改进在于：在巡检区域内根据建筑、基站数量等客观条件影响下的无线通信模块实际辐射范围进行规划，在确保设备最大化覆盖多旋翼无人机巡检路线和取得最稳定通信环境范围的条件下部署若干定制边缘计算设备，依靠点对点协议（PPP）进行无人机与边缘计算设备之间、边缘计算设备集群内的数据传输。
本发明的进一步改进在于：所述中央处理模块和图形处理模块作为边缘计算的核心，以无线通信模块接收到的多旋翼无人机发送的图像与视频数据为输入，使用在YOLO-v5深度学习网络预训练模型基础上根据特定数据集进行训练得到针对相关成员识别的指向性权重文件，进行检测操作，再将检测结果与预设判定模式进行比较，生成继续巡逻任务或返回进行加量拍摄的指令，通过无线通信模块发送回多旋翼无人机。
本发明的进一步改进在于：所述控制导航模块通过内置微型GPS设备确认与修正当前多旋翼无人机飞行方位与所处地理位置，并内置微型板载电脑进行基础指令处理，例如该模块命令图像与视频采集模块进行数据采集，在打上时间戳记录之后发送至数据存储模块，再通过无线通信模块发送至地面端边缘计算设备，在接收地面端回传信息后编译指令对飞行控制模块、图像与视频采集模块进行飞行与采集命令的调整。
本发明的进一步改进在于：所述多旋翼无人机电源为可移动串联式锂电池，支持无人机运行时间约为1小时，需要在每次任务结束后由负责人员进行充电与保养。
本发明的进一步改进在于：所述基于边缘计算的无人机日常巡逻检测系统的巡逻检测方法，包括以下步骤：
步骤一，本次巡检任务开始，相关机关负责人员放出多旋翼无人机；
步骤二，多旋翼无人机按照预先设定路线飞抵巡检区域开始既定路线巡检；
步骤三，多旋翼无人机匀速飞行，采集区域内图像视频数据，每间隔一定距离就发送至当前区域内距离最近的边缘计算设备；
步骤四，边缘计算设备对步骤三获取的图像视频数据信息进行抽帧处理，同时根据CoPoly算法对区域内边缘计算设备进行负载均衡调度，将抽帧后的图像数据分别传递至不同的边缘计算设备；
步骤五，区域内边缘计算设备收到分配的任务指令与数据后将数据输入图像处理模块使用YOLO-v5深度学习算法进行处理，输出的文件发送回负责抽帧与分配的边缘设备，该设备将收集到的所有处理结果聚合并编写指令，一并发送至多旋翼无人机；
步骤六，若当前区域内不存在检测可疑值大于预警界值，则执行步骤八；若存在则执行步骤七；
步骤七，多旋翼无人机根据边缘计算设备发回的处理结果与指令，返回可疑处进行短时间加量拍摄，采集更多图像数据并与先前数据一并存储，采集完成后，本区域内不再执行采集任务，执行步骤八；
步骤八，若巡检路程没有结束，存储该区域处理结果，并按照既定路线进入下一个边缘设备辐射范围开始采集图像数据，重复执行步骤三；若巡检路程已经结束，存储该区域处理结果，执行步骤九；
步骤九，按照预先设定返航路线返回出发点，负责人员取出存储器，对日志与处理结果进行入库记载，分析本日巡检过程中可疑值较大的数据并作进一步处理；进行机体维护与充电；
步骤十，本次巡逻检测任务结束。
本发明的有益效果：
将无人机与计算处理模块分离，实现功能隔离，无人机由搭载的便携式锂电池供电，地面边缘计算设备接地供电，电压稳定且能够实现持续供电，因此①无人机无需向边缘计算设备供电，其飞行续航时间大大增加，能够实现45分钟以上的持续飞行；②部署在地面的定制边缘计算设备，因为大小、散热、供电基本没有限制，边缘计算模块得到了解放，所以其计算处理模块的计算力与计算速度得到了极大的提升。
此外，在对接收到的无人机拍摄视频进行抽帧处理后，地面边缘计算设备根据部署在其上的COPOLY算法进行图片处理任务的调度，将总工作量拆分调度至区域内其他边缘设备上再进行处理，这样能够大大提升无人机拍摄的60帧高分辨率视频的计算处理速度，对目标的检测和识别更加清晰，所执行任务的效率和成效也因此获得了巨大的提升。
附图说明
图1为基于边缘计算的无人机日常巡逻检测系统的巡逻检测区域配置示意图；
图2为基于边缘计算的无人机日常巡逻检测系统的巡逻检测流程示意图；
图3为基于边缘计算的无人机日常巡逻检测系统的系统结构示意图；
图4为基于边缘计算的无人机日常巡逻检测系统的分布式调度CoPoly算法流程图；
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明作进一步的阐述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。如图1与图3所示，本实施例提供了一种基于边缘计算的无人机日常巡逻检测系统，包括多旋翼无人机和定制设计组装的边缘计算设备，所述边缘计算设备设置在地面上；所述多旋翼无人机包括控制导航模块、图像与视频采集模块、数据存储模块、飞行控制模块、无线通信模块、定制小轴距机架和电源；所述定制设计组装的边缘计算设备包括中央处理模块、图形处理模块、数据存储模块、无线通信模块、定制金属外壳和电源。其中，控制导航模块用于确认与修正无人机飞行方位、实时地理位置并确保航线与规定巡检路线一致，此外还承担了多旋翼无人机使用过程中处理指令与总控单元的作用；图像与视频采集模块用于采集地面信息；数据存储模块用于存储整个巡检过程中产生的处理前后图像视频数据与飞行日志；飞行控制模块用于根据指令对多旋翼无人机的飞行速度、方向和姿态进行控制；无线通信模块用于空中的多旋翼无人机与地面的边缘计算设备之间进行通信，传输图像视频数据、处理数据和控制指令；中央处理模块是边缘计算设备的控制核心，用于处理数据与指令并执行各类运算与控制操作；图形处理模块用于图像和图形相关运算，通过根据特定数据集训练出的深度学习网络权重文件对多旋翼无人机采集传输的图像视频进行检测并将结果提交中央处理模块进行后续操作处理；多旋翼无人机电源为便携式电池，需要定期进行充电与维护；边缘计算设备电源则是接地供电，保证电压稳定，需要持续供电与定期维护。所述多旋翼无人机通过图像与视频采集模块采集巡检路径覆盖的道路边及可视范围内的高清60帧分辨率视频数据，将其传递至边缘计算设备，所述边缘设备对视频抽帧并将数据分解调度至区域内其他边缘设备进行图像处理，收到其他设备发回的处理结果后对这些结果进行聚合并根据几种判定模式进行飞行控制指令计算，将处理后图像视频数据与飞行控制指令发回至所述多旋翼无人机，支持多旋翼无人机进行日常的巡逻检测任务。
接下来讨论边缘计算设备中图像处理模块的工作方式：在系统建立初期，通过调取相关系统内部资料与3D资源建模，制作数据增强后包含特定大型数据集，使用剪枝改进后的基于YOLO-v5算法的深度学习网络预训练模型，在高算力GPU支持下进行加速训练得到新的指向性深度学习网络权重文件。边缘计算设备中部署了图像检测环境，收到多旋翼无人机发送的多段时长为15-30秒的60帧分辨率视频，每间隔2帧抽取一张图片作为关键帧，每批次得到450-900张高清图片，按照CoPoly算法调度至区域内其他边缘计算设备，这些设备将抽帧后的图片放入YOLO-v5算法框架，结合指向性权重文件进行检测。对检测结果进行处理，如果图片中目标被YOLO-v5算法框选并判定为“可疑”，同时其置信度大于等于75，则判定为可疑目标，反之则为常规目标。
下面将结合图2，具体描述工作流程：
1.本次巡检任务开始，相关机关负责人员放出多旋翼无人机；
2.多旋翼无人机按照预先设定路线飞抵巡检区域开始既定路线巡检；
3.多旋翼无人机匀速飞行，采集区域内图像视频数据，每间隔一段距离就发送至区域内边缘计算设备；
4.边缘计算设备对收到的图像视频数据信息进行抽帧处理，同时根据CoPoly算法对区域内边缘计算设备进行负载均衡调度，将抽帧后的图像数据分别传递至不同的边缘计算设备；区域内边缘计算设备收到分配的任务指令与数据后将数据输入图像处理模块使用YOLO-v5深度学习算法进行处理，输出的文件发送回负责抽帧与分配的边缘设备，该设备将收集到的所有处理结果聚合并编写指令，一并发送至多旋翼无人机；
5.若当前区域内存在检测可疑值大于预警界值，则根据边缘计算设备发回的处理结果与指令，返回可疑处进行短时间加量拍摄，采集更多图像数据并与先前数据一并存储，采集完成后，本区域内不再执行采集任务；
6.若当前区域内不存在检测可疑值大于预警界值，且巡检路程没有结束，存储该区域处理结果，并按照既定路线进入下一个边缘设备辐射范围开始采集图像数据，继续与当前区域内边缘计算设备进行联动；若巡检路程已经结束，存储该区域处理结果并返航。
7.按照预先设定返航路线返回出发点，负责人员取出存储器，对日志与处理结果进行入库记载，分析本日巡检过程中可疑值较大的数据并作进一步处理，进行机体维护与充电，本次巡逻检测任务结束。
本发明中原创的CoPoly算法，影响无线通信的重要因素主要有物理距离、电磁波干扰、信道信噪比等，我们重点关注物理距离与信道信噪比，以此作为关键因素加入调度策略，计算得到区域内不同节点间的通信损失，再据此选取最优的分配调度方式，具体策略如下：
CoPoly算法包含4个步骤：
首先，设第一台与无人机连接并通信的边缘设备为第一节点，第一节点按照设定
好的抽帧规则对接收到的视频文件进行抽帧，得到A个关键帧图片；接着计算当前区域内其
他边缘设备（节点）与其物理直线距离，再按照公式计算得到基础分配调
度值。
其次，对当前区域内其他节点与第一节点的通信信道信噪比进行处理，计算其
他节点与第一节点的信噪比的均值和标准差，对各个节点的信噪比进行标准化
(Normalization)处理：，得到另一基础分配调度值，其中为信号功率（瓦），
为噪声功率（瓦）；最终根据加权公式进行分配，得到不同
节点的调度处理工作量，其中为物理距离因素的权重，为信噪比因素的权重，另外i>
1，A为总工作量（该时间段中需要处理图像帧的总数量即CoPoly第一步的结果），第一节点
将抽帧后的图像数据分别发送至不同节点进行进一步处理，最终的工作量分布如所示。
再次，进行实验测试，取无人机正常飞行拍摄的4K60帧高分辨率视频一段，时长90s，大小为1184Mb，按每2帧抽取关键帧的策略抽取出2700帧图片。首先在第一节点上通过YOLO-v5深度学习算法直接计算，生成结果文件用时91s。接着计算加入物理距离影响因子进行分配，第二节点处理1074帧，第三节点处理819帧，第四节点处理907帧，三个节点从第一节点接收数据用时分别为30s、25s、28s；在三个节点上分别通过YOLO-v5深度学习算法进行计算，第二节点用时38s，第三节点用时30s，第四节点用时32s；最后由于YOLO-v5深度学习算法的处理结果为txt文件，容量很小，所以各节点将结果发送回第一节点进行聚合的通信时间较短，分别为第二节点用时5s，第三节点用时4s，第四节点用时4s。
最后，加入信噪比影响因子进行分配，第二节点处理934帧，第三节点处理989帧，第四节点处理877帧，三个节点从第一节点接收数据用时分别为28s、29s、26s；在三个节点上分别通过YOLO-v5深度学习算法进行计算，第二节点用时35s，第三节点用时34s，第四节点用时35s；结果回传时间依然分别是5s，4s，4s。由此我们可以得到实验表格，如下表所示：
实验测试结果总结：
相对单一节点进行计算，引入两种影响因子的CoPoly算法将任务执行时间减少了将近25%，该算法优化了原本较长的计算处理时间，也就是提升了任务执行的效率，考虑到电池制约了无人机的续航时间，算法减少计算时间就等于为无人机延长任务执行时间，这就相当于进一步扩大了巡检范围，能够检视更大的区域与更多的可疑。
本发明的有益效果：
在人口密度一般的非中心城市人口聚居区域、大人流区域规划日常巡逻路线，在路线涉及街道与街道临近区域部署若干数量的定制边缘计算设备与日常巡逻多旋翼无人机进行联动，实现高效探查潜在危险，预防事件发生，解决了地方不足，监控设备数量少、信息采集效率低等问题，为维护社会安全与稳定，创造让人民群众安业安居安康安心的良好社会环境做出贡献；
在地面按辐射范围等科学依据进行部署一定数量的定制边缘计算设备，无人机上只有微型板载电脑负责运行指令与调用高清图像视频拍摄设备，两者通过PPP协议进行联通传递数据，在地面的边缘计算设备上进行分布式计算处理后结果发送回无人机。这样通过将无人机与计算处理模块分离，实现功能隔离，其中无人机由挂载的便携式锂电池供电，地面边缘计算设备接地供电，电压稳定且能够实现持续供电，因此①无人机携带的电池无需向边缘计算设备供电，其飞行续航时间大大增加，能够实现45分钟以上的持续飞行，大大扩展了任务执行区域；②部署在地面的定制边缘计算设备，因为大小、散热、供电基本没有限制，边缘计算模块得到了解放，所以其计算处理模块的计算力与计算速度得到了极大的提升。
此外，在对接收到的无人机拍摄视频进行抽帧处理后，地面边缘计算设备根据部署在其上的CoPoly算法进行图片处理任务的调度，将总工作量拆分调度至区域内其他边缘设备上再进行处理，这样能够大大提升无人机拍摄的60帧高分辨率视频的计算处理速度，对目标的检测和识别更加清晰，所执行任务的效率和成效也因此获得了巨大的提升。
本发明通过多旋翼无人机自动巡逻并与定制边缘计算设备联动进行图像视频检测，其优点在于费用低且效率高，大部分工作自动化、日常化，实现了高效探查潜在危险，预防事件发生，解决了地方不足，监控设备数量少、信息采集效率低等问题，为维护社会安全与稳定，创造让人民群众安业安居安康安心的良好社会环境做出贡献。
Claims (2)
1.一种基于边缘计算的无人机日常巡逻检测系统，其特征在于：包括多旋翼无人机和定制设计组装的边缘计算设备，所述边缘计算设备设置在地面上，所述多旋翼无人机包括控制导航模块、图像与视频采集模块、数据存储模块、飞行控制模块、无线通信模块、定制小轴距机架和多旋翼无人机电源，所述定制设计组装的边缘计算设备包括中央处理模块、图形处理模块、数据存储模块、无线通信模块、定制金属外壳和边缘计算设备电源，所述多旋翼无人机通过所述图像与视频采集模块采集巡检路径覆盖的道路边及可视范围内行人的高清视频图像数据，将其传递至所述边缘计算设备，所述边缘计算设备根据CoPoly算法对视频抽帧并将数据分解调度至区域内其他边缘计算设备进行图像处理，收到其他设备发回的处理结果后对这些结果进行聚合并根据几种判定模式进行飞行控制指令计算，将处理后图像视频数据与飞行控制指令发回至所述多旋翼无人机，支持所述多旋翼无人机进行日常的巡逻检测任务，所述无线通信模块依靠点对点协议PPP进行所述多旋翼无人机与所述边缘计算设备之间、所述边缘计算设备集群内的数据传输，所述中央处理模块和图形处理模块作为边缘计算的核心，以所述无线通信模块接收到的所述多旋翼无人机发送的图像与视频数据为输入，使用在YOLO-v5深度学习网络预训练模型基础上根据特定数据集进行训练得到可识别的指向性权重文件进行检测操作，再将检测结果与预设判定模式进行比较，生成继续巡逻任务或返回进行加量拍摄的指令，通过所述无线通信模块发送回所述多旋翼无人机，所述控制导航模块通过内置微型GPS设备确认与修正当前所述多旋翼无人机飞行的方位与所处地理位置，并内置微型板载电脑进行基础指令处理，所述多旋翼无人机电源为可移动串联式锂电池；所述边缘计算设备对任务进行分解调度的依据为CoPoly算法，首先设第一台与无人机连接并通信的边缘计算设备为第一节点，第一节点计算当前区域内其他边缘计算设备节点与其物理直线距离Ri，再按照公式计算得到基础分配调度值，同时对当前区域内其他节点与第一节点的通信信道信噪比/>进行处理，计算其他节点与第一节点的信噪比均值μ和标准差σ，对各个节点的信噪比进行标准化处理：/>得到另一基础分配调度值，其中Si为信号功率，单位为瓦，Ni为噪声功率，单位为瓦，最终根据加权公式/> 进行分配，得到不同节点的调度处理工作量，其中WR为物理距离因素的权重，/>为信噪比因素的权重，另外i>1，A总工作量为一定时间需要处理图像帧的总数量，第一节点将抽帧后的图像数据分别发送至不同节点进行进一步处理，最终的工作量分布如EG＝(E1,E2,E3,…,En)所示。
2.根据权利要求1所述基于边缘计算的无人机日常巡逻检测系统的巡逻检测方法，其特征在于：包括以下步骤：
步骤一，本次巡检任务开始，相关机关负责人员放出多旋翼无人机；
步骤二，多旋翼无人机按照预先设定路线飞抵巡检区域开始既定路线巡检；
步骤三，多旋翼无人机匀速飞行，采集区域内图像视频数据，每间隔一定距离就发送至当前区域内距离最近的边缘计算设备；
步骤四，边缘计算设备对步骤三获取的图像视频数据信息进行抽帧处理，同时根据CoPoly算法对区域内边缘计算设备进行负载均衡调度，将抽帧后的图像数据分别传递至不同的边缘计算设备；
步骤五，区域内边缘计算设备收到分配的任务指令与数据后将数据输入图像处理模块使用YOLO-v5深度学习算法进行处理，输出的文件发送回负责抽帧与分配的边缘计算设备，该设备将收集到的所有处理结果聚合并编写指令，一并发送至多旋翼无人机；
步骤六，若当前区域内不存在行人检测可疑值大于预警界值，则执行步骤八；若存在则执行步骤七；
步骤七，多旋翼无人机根据边缘计算设备发回的处理结果与指令，返回可疑行人处进行短时间加量拍摄，采集更多图像数据并与先前数据一并存储，采集完成后，本区域内不再执行采集任务，执行步骤八；
步骤八，若巡检路程没有结束，存储该区域处理结果，并按照既定路线进入下一个边缘计算设备辐射范围开始采集图像数据，重复执行步骤三；若巡检路程已经结束，存储该区域处理结果，执行步骤九；
步骤九，按照预先设定返航路线返回出发点，负责人员取出存储器，对日志与处理结果进行入库记载，分析本日巡检过程中可疑值较大的行人数据并作进一步处理；进行机体维护与充电；
步骤十，本次巡逻检测任务结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110658356.4A CN113534829B (zh) | 2021-06-11 | 2021-06-11 | 一种基于边缘计算的无人机日常巡逻检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110658356.4A CN113534829B (zh) | 2021-06-11 | 2021-06-11 | 一种基于边缘计算的无人机日常巡逻检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113534829A CN113534829A (zh) | 2021-10-22 |
| CN113534829B true CN113534829B (zh) | 2024-04-05 |
Family
ID=78124885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110658356.4A Active CN113534829B (zh) | 2021-06-11 | 2021-06-11 | 一种基于边缘计算的无人机日常巡逻检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113534829B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114394100B (zh) * | 2022-01-12 | 2024-04-05 | 深圳力维智联技术有限公司 | 一种无人巡逻车控制系统及无人车 |
| CN114895701B (zh) * | 2022-04-18 | 2023-04-25 | 深圳织算科技有限公司 | 一种无人机巡检方法及系统 |
| CN115249134B (zh) * | 2022-09-23 | 2022-12-23 | 江西锦路科技开发有限公司 | 一种用于无人机的资源分配方法、装置、设备及存储介质 |
| CN115713174A (zh) * | 2022-11-11 | 2023-02-24 | 中国地质大学（武汉） | 一种无人机城市巡检系统及方法 |
| CN116074323B (zh) * | 2023-03-10 | 2023-06-09 | 腾讯科技（深圳）有限公司 | 边缘计算节点的选择方法、装置、计算机设备及介质 |
| CN116721095B (zh) * | 2023-08-04 | 2023-11-03 | 杭州瑞琦信息技术有限公司 | 一种航拍式的道路照明故障检测方法及装置 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107241577A (zh) * | 2017-07-03 | 2017-10-10 | 华中科技大学 | 一种基于协作性组群机制的视频处理系统 |
| CN109194984A (zh) * | 2018-11-09 | 2019-01-11 | 中山大学 | 一种基于边缘计算的视频帧调度方法 |
| CN110177055A (zh) * | 2019-05-29 | 2019-08-27 | 电子科技大学 | 一种边缘计算场景下边缘域资源的预分配方法 |
| CN110287945A (zh) * | 2019-07-04 | 2019-09-27 | 山东浪潮人工智能研究院有限公司 | 一种5g环境下无人机目标检测方法 |
| CN110390246A (zh) * | 2019-04-16 | 2019-10-29 | 江苏慧中数据科技有限公司 | 一种边云环境中的视频分析方法 |
| CN110553629A (zh) * | 2019-09-20 | 2019-12-10 | 中南大学 | 一种基于边缘计算的无人机目标追踪功耗优化方法及系统 |
| CN110928691A (zh) * | 2019-12-26 | 2020-03-27 | 广东工业大学 | 一种面向交通数据的端边协同计算卸载方法 |
| CN111262644A (zh) * | 2020-01-16 | 2020-06-09 | 电子科技大学 | 一种提高边缘计算系统安全性能的传输方法 |
| CN111325943A (zh) * | 2020-02-26 | 2020-06-23 | 中电福富信息科技有限公司 | 基于无人机进行大范围森林防火巡护预警方法及其系统 |
| CN111753664A (zh) * | 2020-05-25 | 2020-10-09 | 西南石油大学 | 基于5g无线网络的嫌疑人识别与定位追踪系统及方法 |
| CN111787509A (zh) * | 2020-07-14 | 2020-10-16 | 中南大学 | 边缘计算中基于强化学习的无人机任务卸载方法及系统 |
| CN112463293A (zh) * | 2020-11-18 | 2021-03-09 | 之江实验室 | 边缘场景下基于容器的可扩展分布式双队列动态分配方法 |
| CN112511652A (zh) * | 2021-02-03 | 2021-03-16 | 电子科技大学 | 一种边缘计算下的合作计算任务分配方法 |
| CN112702382A (zh) * | 2020-09-17 | 2021-04-23 | 宁波市永能电力产业投资有限公司电力工程安装分公司 | 一种变电站施工用移动边缘计算节点的方法 |
| CN112860429A (zh) * | 2020-12-29 | 2021-05-28 | 重庆大学 | 一种移动边缘计算系统中任务卸载的成本效率优化系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10630410B2 (en) * | 2016-05-13 | 2020-04-21 | Telefonaktiebolaget Lm Ericsson (Publ) | Network architecture, methods, and devices for a wireless communications network |
| DE102019209546A1 (de) * | 2018-06-29 | 2020-01-02 | Electronics And Telecommunications Research Institute | Intelligentes Edge-Rechensystem für das Internet of Everything (IoE) für hochzuverlässigen Dienst für das Internet of Things (IoT) |
-
2021
- 2021-06-11 CN CN202110658356.4A patent/CN113534829B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107241577A (zh) * | 2017-07-03 | 2017-10-10 | 华中科技大学 | 一种基于协作性组群机制的视频处理系统 |
| CN109194984A (zh) * | 2018-11-09 | 2019-01-11 | 中山大学 | 一种基于边缘计算的视频帧调度方法 |
| CN110390246A (zh) * | 2019-04-16 | 2019-10-29 | 江苏慧中数据科技有限公司 | 一种边云环境中的视频分析方法 |
| CN110177055A (zh) * | 2019-05-29 | 2019-08-27 | 电子科技大学 | 一种边缘计算场景下边缘域资源的预分配方法 |
| CN110287945A (zh) * | 2019-07-04 | 2019-09-27 | 山东浪潮人工智能研究院有限公司 | 一种5g环境下无人机目标检测方法 |
| CN110553629A (zh) * | 2019-09-20 | 2019-12-10 | 中南大学 | 一种基于边缘计算的无人机目标追踪功耗优化方法及系统 |
| CN110928691A (zh) * | 2019-12-26 | 2020-03-27 | 广东工业大学 | 一种面向交通数据的端边协同计算卸载方法 |
| CN111262644A (zh) * | 2020-01-16 | 2020-06-09 | 电子科技大学 | 一种提高边缘计算系统安全性能的传输方法 |
| CN111325943A (zh) * | 2020-02-26 | 2020-06-23 | 中电福富信息科技有限公司 | 基于无人机进行大范围森林防火巡护预警方法及其系统 |
| CN111753664A (zh) * | 2020-05-25 | 2020-10-09 | 西南石油大学 | 基于5g无线网络的嫌疑人识别与定位追踪系统及方法 |
| CN111787509A (zh) * | 2020-07-14 | 2020-10-16 | 中南大学 | 边缘计算中基于强化学习的无人机任务卸载方法及系统 |
| CN112702382A (zh) * | 2020-09-17 | 2021-04-23 | 宁波市永能电力产业投资有限公司电力工程安装分公司 | 一种变电站施工用移动边缘计算节点的方法 |
| CN112463293A (zh) * | 2020-11-18 | 2021-03-09 | 之江实验室 | 边缘场景下基于容器的可扩展分布式双队列动态分配方法 |
| CN112860429A (zh) * | 2020-12-29 | 2021-05-28 | 重庆大学 | 一种移动边缘计算系统中任务卸载的成本效率优化系统及方法 |
| CN112511652A (zh) * | 2021-02-03 | 2021-03-16 | 电子科技大学 | 一种边缘计算下的合作计算任务分配方法 |
Non-Patent Citations (7)
| Title |
|---|
| 一种移动边缘云计算任务卸载算法;查易艺;袁烨;李金湖;柳欢;陈振兴;李进;;计算机应用与软件;20200612(第06期);论文第141-147页 * |
| 基于边缘计算模型的智能视频监控系统的设计;曾德生;骆金维;庞双龙;谢品章;陈晓丹;;智能计算机与应用;20191101(第06期);论文第261-268页 * |
| 移动边缘计算中任务卸载与资源分配的联合优化策略研究;杨小彤;中国优秀硕士学位论文全文数据库信息科技辑(第2期);论文第17-31页 * |
| 移动边缘计算中的联合优化迁移决策和资源分配;景天琦;刘婷薇;俞菲;杨绿溪;信号处理;20191231;第35卷(第008期);论文第1300-1307页 * |
| 移动边缘计算环境下基于信任模型的可靠多重计算卸载策略;齐平;王福成;徐佳;李学俊;;计算机集成制造系统;20200615(第06期);论文第176-187页 * |
| 边缘计算下的多无人机野外协同作业机制研究;季鹏飞 等;小型微型计算机系统;第40卷(第5期);论文第959-965页 * |
| 面向智能电力巡检的高可靠低时延移动边缘计算技术;周振宇;陈亚鹏;潘超;赵雄文;张磊;汪中原;;高电压技术;20200630(第06期);论文第48-55页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113534829A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113534829B (zh) | 一种基于边缘计算的无人机日常巡逻检测系统 | |
| CN104381240B (zh) | 一种电力输电线路高塔驱鸟系统 | |
| JP7221423B6 (ja) | 時間変動音量予測システム | |
| CN106952468A (zh) | 一种基于智慧灯杆的共享单车调度方法和系统、及智慧灯杆 | |
| CN106128169A (zh) | 一种用于禁飞区无人机管控的系统和方法 | |
| CN104581076A (zh) | 基于360度全景红外鱼眼摄像机之山火监控识别方法及装置 | |
| CN105843257B (zh) | 基于请求的信息采集系统及其信息采集方法 | |
| CN102243816B (zh) | 一种机场空域最大纵向飞行冲突风险计算方法 | |
| CN112418556B (zh) | 一种基于互联网共享平台下的网格化服务系统 | |
| CN105389750A (zh) | 移动决策气象服务系统 | |
| CN103020733B (zh) | 一种基于权重的机场单航班噪声预测方法及其系统 | |
| CN109740583A (zh) | Led路灯和基于人脸识别的智能视频监控系统 | |
| CN204270491U (zh) | 基于无人机和无线传感器网络的监控系统 | |
| CN106448243A (zh) | 一种停车场在线管理方法 | |
| JPWO2020008749A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN114971290A (zh) | 一种基于智慧路灯的园区管理系统及方法 | |
| CN106872799A (zh) | 电磁环境移动监测车 | |
| Tian et al. | Suburban sprawl measurement and landscape analysis of cropland and ecological land: A case study of Jiangsu Province, China | |
| CN105741545B (zh) | 一种基于公交车gnss时空轨迹数据判别交通状态的装置及方法 | |
| CN104700636B (zh) | 基于择路因子的警车信息物理融合系统部署调度方法 | |
| Guo et al. | Research on optimization model of multisource traffic information collection combination based on genetic algorithm | |
| CN117037557B (zh) | 一种综合交通感知技术培训系统及方法 | |
| CN202795467U (zh) | 一种基于rfid物联网外来流动人口综合管理系统 | |
| Zhang et al. | Big Data Cognition for City Emergency Rescue | |
| Wang et al. | DeepTravel: Online transport mode identification based on low-rate sampling sensors through deep neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |