CN113361504B - 一种基于无人机协同组网的边缘群体智能方法 - Google Patents

一种基于无人机协同组网的边缘群体智能方法 Download PDF

Info

Publication number
CN113361504B
CN113361504B CN202110911316.6A CN202110911316A CN113361504B CN 113361504 B CN113361504 B CN 113361504B CN 202110911316 A CN202110911316 A CN 202110911316A CN 113361504 B CN113361504 B CN 113361504B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
smoke
image
fire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110911316.6A
Other languages
English (en)
Other versions
CN113361504A (zh
Inventor
张晖
王呈呈
张晗
赵海涛
陆平
朱洪波
倪艺洋
夏文超
蔡艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Nanjing University of Posts and Telecommunications
Original Assignee
ZTE Corp
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp, Nanjing University of Posts and Telecommunications filed Critical ZTE Corp
Priority to CN202110911316.6A priority Critical patent/CN113361504B/zh
Publication of CN113361504A publication Critical patent/CN113361504A/zh
Application granted granted Critical
Publication of CN113361504B publication Critical patent/CN113361504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C19/00—Hand fire-extinguishers in which the extinguishing substance is expelled by an explosion; Exploding containers thrown into the fire
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/16—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了基于无人机协同组网的边缘群体智能方法，首先，通过一种面向森林火灾烟雾检测的具有自适应间隔的三帧差法提取运动区域，降低了单个无人机烟雾检测的数据运算成本，用烟雾颜色判据模型对运动区域进行提取，获得烟雾图像，再通过计算烟雾的面积变化率判断是否为烟雾图像，提高无人机烟雾检测的准确率；本发明提出了一种改进的分布式的粒子群算法，用多个侦查无人机协同工作，对森林火灾进行实时监控和定位，能够有效地识别森林火灾，降低漏检率，并对火灾做出及时响应，提高无人机组的工作效率；还提出了一种分层反馈校正机制，反馈调节、优化提升自适应间隔三帧差法和改进的分布式粒子群算法。

Description

一种基于无人机协同组网的边缘群体智能方法
技术领域
本发明涉及边缘群体智能领域，尤其涉及一种基于无人机协同组网的边缘群体智能方法。
背景技术
近年来，由于人类活动的复杂度不断增加，各种工作任务都交由多个智能设备进行处理，对智能设备群体智能协同工作方法的研究层出不穷，而且应用广泛，例如，由于人类的各种活动，导致全球天气发生异常而引发的森林火灾，在这种人工监督不适合的场景下，国内外开始研究各种群体智能方法，逐渐使用无人机代替人工检测的方式，不断的提高林火监测技术、优化监测方案。森林火灾的及时发现是减少人员伤亡、经济损失的重要手段，因此，具有十分重要意义。
目前存在森林火灾多处并发，且火灾初期人工检测难以发现的特点，人工检测成本高、监测区域小、工作效率低下，容易造成人员伤亡的现象。一些火灾烟雾检测算法应用于森林火灾识别场景中还是存在误检、抗干扰能力差的缺点，图片中如果存在干扰物的颜色与烟雾比较相似，如漂浮的雾气或云朵等，容易出现目标区域的错误分割，可能出现漏检，导致后续森林火灾的识别困难。随着我国经济的发展，各种科学技术发展迅速，无人机技术便是其中的一种。当前的无人机技术发展良好并逐渐走向成熟，在各领域的应用比较广泛，具有良好的前景，尤其是在森林的灭火防火领域具有人工没有的优势：无人机能在空中进行侦查，对火场的具体形式进行实时回传，能够给防火灭火指挥员提供准确信息，但是无人机存在数据处理运算成本高的问题。
发明内容
发明目的：针对目前火灾识别技术应用于森林火灾识别场景中识别率下降，检测方法存在自适应性不强、可能会出现烟雾漏检的情况和森林火灾具有多处并发，且火灾初期人工检测难以发现的特点；采用人工火灾监测和灭火成本过大，实时性较差、监测区域较小，容易造成人员伤亡；无人机作业效率低下、续航能力不足、数据处理成本较高等一系列问题，本发明提出了一种基于无人机协同组网的边缘群体智能方法。
技术方案：为了克服上述现有技术的不足，本发明提出一种基于无人机协同组网的边缘群体智能方法，包括以下步骤：
(1)将需要巡视的区域，划分成b×d个区域，每个区域都设置有一个无人机基站，无人机基站内设置有侦查无人机组、灭火无人机组和验证无人机组；所述需要巡视的区域可以是森林区域，草地等易发生火灾的区域。
(2)每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中的运动区域，然后用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步分割烟雾图像面积变化率ea，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为着火点，并将位置信息和烟雾面积变化率数据同步给基站；
(3)基站比较所有侦查无人机获取着火点处的烟雾面积变化率，找到最大烟雾面积变化率emax所对应的着火点的位置信息，视为所有侦查无人机共同认为的火灾最大的着火点，并将该着火点的位置信息共享给所有正在执行巡视任务的侦查无人机，然后每个侦查无人机比较自身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积变化率对应的着火点的位置信息，作为每个侦查无人机自身认为最大的着火点；每个侦查无人机再根据所有侦查无人机共同的火灾最大的着火点的位置和自身最大的着火点的位置，根据分布式的粒子群算法及时调整飞行速度的大小和方向，向所有侦查无人机共同的火灾最大的着火点的方向飞行进行火点检测，重复步骤(2)-(3)，直到定位出森林区域范围内的所有着火点；
(4)基站根据侦查无人机定位的着火点的位置信息，调度基站内的灭火无人机组对着火点进行灭火；
(5)验证无人机组检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，则采用分层反馈校正机制对自适应三帧差法的间隔进行反馈调整，以及对分布式粒子群算法的随机权值中的影响因子进行反馈调整以用于下次灭火任务。
优选的，步骤(2)中，每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中的运动区域，然后用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步分割烟雾图像面积变化率ea，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为着火点，包含如下步骤：
(21)设置一个初始间隔nk，k＝0；
(22)从侦查无人机巡航视频中的第k+1帧图像Ik开始，每隔nk帧提取两组连续的三帧图像；先将视频图像尺寸归一化为m×n大小的标准图像，然后进行灰度处理，得到第一组灰度图像
Figure GDA0003279522840000031
第二组灰度图像
Figure GDA0003279522840000032
m和n为整数；
(23)第一组和第二组灰度图像一一对应作差，根据设置的阈值T将差分图像分割为二值图像Δi，如下式所示：
Figure GDA0003279522840000033
Figure GDA0003279522840000034
Figure GDA0003279522840000035
其中，
Figure GDA0003279522840000036
代表第nk+1帧图像中坐标(x，y)处的像素值大小，
Figure GDA0003279522840000037
代表第nk+4帧图像中坐标(x，y)处的像素值大小，
Figure GDA0003279522840000038
代表第nk+2帧图像中坐标(x，y)处的像素值大小，
Figure GDA0003279522840000039
代表第nk+5帧图像中坐标(x，y)处的像素值大小，
Figure GDA00032795228400000310
代表第nk+3帧图像中坐标(x，y)处的像素值大小，
Figure GDA00032795228400000311
代表第nk+6帧图像中坐标(x，y)处的像素值大小；
然后通过逻辑与运算，获得图像中属于运动区域的像素点的坐标D(x，y)：
Figure GDA00032795228400000312
根据D(x，y)的坐标提取无人机视频巡航图像中的运动区域：
Figure GDA00032795228400000313
Figure GDA00032795228400000314
(24)提取
Figure GDA0003279522840000041
图像的RGB分量，得到
Figure GDA0003279522840000042
Figure GDA0003279522840000043
和
Figure GDA0003279522840000044
根据如下烟雾的颜色判据规则：
Figure GDA0003279522840000045
得到
Figure GDA0003279522840000046
和
Figure GDA0003279522840000047
这些符合条件的RGB图像的像素点，其中，G1＝0.319，G2＝0.3369，R1＝0.3139，R2＝0.3359，然后获得分割后烟雾图像
Figure GDA0003279522840000048
和
Figure GDA0003279522840000049
再计算烟雾的面积变化率ea：
Figure GDA00032795228400000410
其中，
Figure GDA00032795228400000411
是
Figure GDA00032795228400000412
中不为0像素值的个数，
Figure GDA00032795228400000413
是
Figure GDA00032795228400000414
中不为0像素值的个数，当满足eth0＜ea＜eth1时，认为是烟雾图像，则判定发生森林火灾，将着火点的位置信息和烟雾面积变化率数据同步给无人机基站；若判定是无烟图像，则舍弃图像，其中，eth0和eth1是烟雾面积变化率的阈值；
(25)求相关系数β1，β2和β3：
Figure GDA00032795228400000415
其中，
Figure GDA00032795228400000416
代表第r+nk张图像像素的平均值，
Figure GDA00032795228400000417
代表第r+nk+3张图像像素的平均值，
Figure GDA00032795228400000418
代表第r+nk张图像坐标(x，y)的像素值大小，
Figure GDA00032795228400000419
代表第r+nk+3张图像坐标(x，y)的像素值大小，r＝1时，β1为
Figure GDA00032795228400000420
和
Figure GDA00032795228400000421
的相关系数，r＝2时，β2为
Figure GDA00032795228400000422
和
Figure GDA00032795228400000423
的相关系数，r＝3时，β3为
Figure GDA00032795228400000424
和
Figure GDA00032795228400000425
的相关系数；
(26)计算平均相关系数
Figure GDA00032795228400000426
Figure GDA00032795228400000427
设置阈值
Figure GDA00032795228400000428
(27)根据如下公式更新间隔大小：
k＝k+1
Figure GDA0003279522840000051
其中，f表示间隔的自适应调节部分，初始状态下f＝0，ε是一个常数，nk-1代表上一次的间隔大小，nk代表更新后的间隔大小，nmax是设置的最大间隔；
(28)返回步骤(22)重复执行操作，直到所有的巡航视频图像帧处理完毕。
优选的，步骤(3)中，根据分布式的粒子群算法及时调整飞行速度的大小和方向，向所有侦查无人机共同认为火灾最大的着火点的方向飞行进行火点检测，重复步骤(2)-(3)，直到定位出森林区域范围内的所有着火点，包含如下步骤：
(31)每个侦查无人机以初始速度V0，初始位置X0，从基站起飞，每架侦查无人机检测到的着火点的位置记为：
pBesti＝{pBesti1，pBesti2}，i＝1，2，3，…，N
其中，侦查无人机飞行高度固定，pBesti1和pBesti2表示第i架侦查无人机检测到的着火点的在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标，N表示侦查无人机的个数，N个侦查无人机组成一个粒子群，每个侦查无人机作为一个粒子，对于所有的侦查无人机的速度V＝{V1，V2}和位置X＝{X1，X2}，要满足V1∈{Vmin，Vmax}、V2∈{Vmin，Vmax}，X1∈{Xmin，Xmax}、X2∈{Xmin，Xmax}，Vmin和Vmax是两个相互垂直的维度上速度分量的最小值和最大值，保证侦查无人机的速度不超速，Xmin和Xmax是两个相互垂直的维度上位置坐标分量的最小值和最大值，保证侦查无人机不飞出巡航范围；
(32)侦查无人机i第t次检测到着火点，将该着火点位置数据和烟雾面积变化率数据同步给无人机基站，然后侦查无人机i比较自身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积变化率对应的着火点的位置信息，记为
Figure GDA0003279522840000052
作为侦查无人机i自身最大的着火点；无人机基站再比较所有侦查无人机检测到的着火点的烟雾面积变化率，将最大的烟雾面积变化率所对应着火点的位置信息再同步给侦查无人机i，侦查无人机i记该位置为
Figure GDA0003279522840000053
视为所有侦查无人机共同的最大的着火点的位置，其中，
Figure GDA0003279522840000054
和
Figure GDA0003279522840000055
表示侦查无人机i第t次检测到的着火点在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标；
Figure GDA0003279522840000061
和
Figure GDA0003279522840000062
表示侦查无人机i第t次检测到着火点时，无人机基站通过比较所有的着火点处的烟雾面积变化率而得到的最大烟雾面积变化率所对应的着火点在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标；侦查无人机i第t+1次发现着火点时，需要更新速度为Vi t+1，Vi t+1的大小和方向，根据侦查无人机i自身最大的着火点位置数据
Figure GDA0003279522840000063
和所有侦查无人机共同的最大的着火点的位置数据
Figure GDA0003279522840000064
数据按照如下公式计算，向着最大的着火点的方向飞：
Figure GDA0003279522840000065
其中，c1和c2是学习因子，r1和r2是[0，1]区间的随机数，
Figure GDA0003279522840000066
是侦查无人机i第t次检测到着火点时更新的速度，其中，
Figure GDA0003279522840000067
和
Figure GDA0003279522840000068
是速度Vi t在两个相互垂直的维度上的速度分量，所以它可以改变侦查无人机i的飞行方向，
Figure GDA0003279522840000069
是侦查无人机i第t+1次检测到着火点时更新的速度，侦查无人机i保持该速度的大小和方向飞行，直到发现下一次着火点才更新它的速度的大小和方向，其中，
Figure GDA00032795228400000610
和
Figure GDA00032795228400000611
是速度Vi t+1在两个相互垂直的维度上的速度分量，
Figure GDA00032795228400000612
是无人机基站定位的侦查无人机i第t次检测到着火点时的位置，w是随机权重，用来调节侦查无人机的搜索火场的能力，μmin是随机惯性权重的最小值，μmax是随机惯性权重的最大值，rand()为区间[0，1]上的均匀分布的随机数，randn()为正态分布的随机数，λ为随机因子，是一个区间[0，1]上常数，用来控制随机性大小。
优选的，步骤(4)中的分层反馈校正机制，具体方法如下：
(41)检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，即基站派验证无人机组前去获取漏检火点的视频图像和位置信息，判断着火点的位置是否在侦查无人机的巡检轨迹上；若在轨迹上，则说明间隔更新公式需要调整，则对自适应三帧差法的间隔n的更新公式进行反馈：
步骤a，从p个漏检火点的拍摄视频中，分别选取M帧图像，对M帧烟雾图像先进行二值化处理，将像素值变为0和1；
步骤b，计算每处漏检火点烟雾图像的面积均值
Figure GDA0003279522840000071
其中
Figure GDA0003279522840000072
Figure GDA0003279522840000073
表示的是第y个漏检火点拍摄的视频中选取的第c帧图像的二值化之后的图像中像素值为1的个数，视为每帧图像烟雾的面积；
步骤c，计算M帧图像周长的均值
Figure GDA0003279522840000074
其中
Figure GDA0003279522840000075
Figure GDA0003279522840000076
表示的是第y个漏检火点拍摄的视频中选取的第c帧图像二值化之后的图像中烟雾区域边界像素值为1的个数，视为每帧图像烟雾的周长，然后计算每处漏检火点烟雾图像周长的标准差，
Figure GDA0003279522840000077
步骤d，计算烟雾浓度变化率：
Figure GDA0003279522840000078
其中，σy，y＝1，…，p，是每处漏检火点M帧烟雾图像周长的标准差，
Figure GDA0003279522840000079
是每处漏检火点M帧烟雾图像周长的均值，计算漏检度ρ：
Figure GDA00032795228400000710
其中，μy是每处漏检火点M帧烟雾图像的面积均值，y＝1，…，p；
步骤e，根据漏检度对自适应间隔三帧差法中间隔的更新公式中的自适应调节部分进行调节：
Figure GDA00032795228400000711
其中，θ是一个常数，nmin是设置的最小间隔；
(42)若漏检火点不在侦查无人机的巡航轨迹上，则说明分布式粒子群算法的随机性不足，巡航轨迹覆盖范围不足，就对改进的分布式粒子群算法的随机权值w中的影响因子λ进行反馈，加大其随机性，提高巡航路径的覆盖率，为下一次侦查无人机执行森林巡航任务做准备：
步骤a，计算各个漏检火点x＝{x1，x2，…，xp}到N个侦查无人机轨迹l＝{l1，l2，…，lN}的距离的最小值
Figure GDA00032795228400000712
其中，
Figure GDA00032795228400000713
表示第p个漏检火点到所有轨迹的最短距离；
步骤b，计算平均距离：
Figure GDA00032795228400000714
步骤c，对分布式粒子群算法中的速度更新公式中的随机因子λ进行更新：
Figure GDA0003279522840000081
其中，ψ是调整参数，λ是上一次侦查无人机组执行森林巡航任务时的随机因子大小；当侦查无人机组进行下一次森林巡航检测森林火灾时，将采用反馈更新后的自适应间隔的三帧差法和分布式粒子群算法进行工作。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
本发明提出的一种基于无人机协同组网的边缘群体智能方法。对侦查无人机获取的视频先用具有自适应间隔的三帧差法提取运动区域，能够减少运算成本，变相提高无人机的续航时间，适合无人机航拍视频的运动目标识别，而且不需要背景建模，计算量小，实时性好，可以捕捉到，运动缓慢的烟雾区域，得到的运动区域更加完整。采用烟雾颜色判决模型，获取烟雾初步分割图像，再计算面积增长率判断分割图像是否含有烟雾，有效排除太阳、晚霞和一些反光的、在森林场景下运动状态变化不大的物体，提高判断的准确性。针对森林火灾多处并发的规律，将林区进行区域划分，采用无人机组监督和灭火，减少成本、实时性好、监测区域较大、减少人员伤亡；利用改进的分布式的粒子群算法能更好的控制多个侦查无人机协同的、启发式的执行森林火灾识别的巡航任务，提高工作效率，能带来经济收益，最后引入一个分层反馈校正机制，能根据不同情况，对算法的相应参数做出调整，提高方法的自适应性和准确性。
附图说明
图1为本发明提供的一种基于无人机协同组网的边缘群体智能方法流程；
图2为本发明提供的林区划分和无人机及基站的部署示意图。
具体实施方式
为了更加详细的描述本发明提出的一种基于无人机协同组网的边缘群体智能方法，结合附图，举例说明如下：
图1显示了本发明提供的一种基于无人机协同组网的边缘群体智能方法流程，包括以下步骤：
(1)将需要巡视的区域，划分成b×d个区域，每个区域都设置有一个无人机基站，无人机基站内设置有侦查无人机组、灭火无人机组和验证无人机组；
(2)每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中的运动区域，然后用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步分割烟雾图像面积变化率ea，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为着火点，并将位置信息和烟雾面积变化率数据同步给基站；
(3)基站比较所有侦查无人机获取着火点处的烟雾面积变化率，找到最大烟雾面积变化率emax所对应的着火点的位置信息，视为所有侦查无人机共同认为的火灾最大的着火点，并将该着火点的位置信息共享给所有正在执行巡视任务的侦查无人机，然后每个侦查无人机比较自身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积率对应的着火点的位置信息，作为每个侦查无人机自身认为最大的着火点；每个侦查无人机再根据所有侦查无人机共同的火灾最大的着火点的位置和自身最大的着火点的位置，根据分布式的粒子群算法及时调整飞行速度的大小和方向，向所有侦查无人机共同的火灾最大的着火点的方向飞行进行火点检测，重复步骤(2)-(3)，直到定位出森林区域范围内的所有着火点；
(4)基站根据侦查无人机定位的着火点的位置信息，调度基站内的灭火无人机组对着火点进行灭火；
(5)验证无人机组检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，则采用分层反馈校正机制对自适应三帧差法的间隔进行反馈调整，以及对分布式粒子群算法的随机权值中的影响因子进行反馈调整以用于下次灭火任务。
步骤(2)中，每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中的运动区域，然后用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步分割烟雾图像面积变化率ea，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为着火点，包含如下步骤：
(21)设置一个初始间隔nk，k＝0；
(22)从侦查无人机巡航视频中的第k+1帧图像Ik开始，每隔nk帧提取两组连续的三帧图像；先将视频图像尺寸归一化为m×n大小的标准图像，然后进行灰度处理，得到第一组灰度图像
Figure GDA0003279522840000091
第二组灰度图像
Figure GDA0003279522840000092
m和n为整数；
(23)第一组和第二组灰度图像一一对应做差，根据设置的阈值T将差分图像分割为二值图像Δi，如下式所示：
Figure GDA0003279522840000093
Figure GDA0003279522840000101
Figure GDA0003279522840000102
其中，
Figure GDA0003279522840000103
代表第nk+1帧图像中坐标(x，y)处的像素值大小，
Figure GDA0003279522840000104
代表第nk+4帧图像中坐标(x，y)处的像素值大小，
Figure GDA0003279522840000105
代表第nk+2帧图像中坐标(x，y)处的像素值大小，
Figure GDA0003279522840000106
代表第nk+5帧图像中坐标(x，y)处的像素值大小，
Figure GDA0003279522840000107
代表第nk+3帧图像中坐标(x，y)处的像素值大小，
Figure GDA0003279522840000108
代表第nk+6帧图像中坐标(x，y)处的像素值大小；
然后通过逻辑与运算，获得图像中属于运动区域的像素点的坐标D(x，y)：
Figure GDA0003279522840000109
根据D(x，y)的坐标提取无人机视频巡航图像中的运动区域：
Figure GDA00032795228400001010
Figure GDA00032795228400001011
(24)提取
Figure GDA00032795228400001012
图像的RGB分量，得到
Figure GDA00032795228400001013
Figure GDA00032795228400001014
和
Figure GDA00032795228400001015
根据如下烟雾的颜色判据规则：
Figure GDA00032795228400001016
得到
Figure GDA00032795228400001017
和
Figure GDA00032795228400001018
这些符合条件的RGB图像的像素点，其中，G1＝0.319，G2＝0.3369，R1＝0.3139，R2＝0.3359，然后获得分割后烟雾图像
Figure GDA00032795228400001019
和
Figure GDA00032795228400001020
再计算烟雾的面积变化率ea：
Figure GDA0003279522840000111
其中，
Figure GDA0003279522840000112
是
Figure GDA0003279522840000113
中不为0像素值的个数，
Figure GDA0003279522840000114
是
Figure GDA0003279522840000115
中不为0像素值的个数，当满足eth0＜ea＜eth1时，认为是烟雾图像，则判定发生森林火灾，将着火点的位置信息和烟雾面积变化率数据同步给无人机基站；若判定是无烟图像，则舍弃图像，其中，eth0和eth1是烟雾面积变化率的阈值；
(25)求相关系数β1，β2和β3：
Figure GDA0003279522840000116
其中，
Figure GDA0003279522840000117
代表第r+nk张图像像素的平均值，
Figure GDA0003279522840000118
代表第r+nk+3张图像像素的平均值，
Figure GDA0003279522840000119
代表第r+nk张图像坐标(x，y)的像素值大小，
Figure GDA00032795228400001110
代表第r+nk+3张图像坐标(x，y)的像素值大小，r＝1时，β1为
Figure GDA00032795228400001111
和
Figure GDA00032795228400001112
的相关系数，r＝2时，β2为
Figure GDA00032795228400001113
和
Figure GDA00032795228400001114
的相关系数，r＝3时，β3为
Figure GDA00032795228400001115
和
Figure GDA00032795228400001116
的相关系数；
(26)计算平均相关系数
Figure GDA00032795228400001117
Figure GDA00032795228400001118
设置阈值
Figure GDA00032795228400001119
(27)根据如下公式更新间隔大小：
k＝k+1
Figure GDA00032795228400001120
其中，f表示间隔的自适应调节部分，初始状态下f＝0，ε是一个常数，nk-1代表上一次的间隔大小，nk代表更新后的间隔大小，nmax是设置的最大间隔；
(28)返回步骤(22)重复执行操作，直到所有的巡航视频图像帧处理完毕。
步骤(3)中，根据分布式的粒子群算法，侦查无人机及时调整飞行速度的大小和方向，向所有侦查无人机共同认为火灾最大的着火点的方向飞行进行火点检测，重复步骤(2)-(3)，直到定位出森林区域范围内的所有着火点，包含如下步骤：
(31)每个侦查无人机以初始速度V0，初始位置X0，从基站起飞，每架侦查无人机检测到的着火点的位置记为：
pBesti＝{pBesti1，pBesti2}，i＝1，2，3，…，N
其中，侦查无人机飞行高度固定，pBesti1和pBesti2表示第i架侦查无人机检测到的着火点的在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标，N表示侦查无人机的个数，N个侦查无人机组成一个粒子群，每个侦查无人机作为一个粒子，对于所有的侦查无人机的速度V＝{V1，V2}和位置x＝{X1，X2}，要满足V1∈{Vmin，Vmax}、V2∈{Vmin，Vmax}，X1∈{Xmin，Xmax}、X2∈{Xmin，Xmax}，Vmin和Vmax是两个相互垂直的维度上速度分量的最小值和最大值，保证侦查无人机的速度不超速，Xmin和Xmax是两个相互垂直的维度上位置坐标分量的最小值和最大值，保证侦查无人机不飞出巡航范围；
(32)侦查无人机i第t次检测到着火点，将该着火点位置数据和烟雾面积变化率数据同步给无人机基站，然后侦查无人机i比较自身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积率对应的着火点的位置信息，记为
Figure GDA0003279522840000121
作为侦查无人机i自身最大的着火点；无人机基站再比较所有侦查无人机检测到的着火点的烟雾变化率，将最大的烟雾面积变化率所对应着火点的位置信息再同步给侦查无人机i，侦查无人机i记该位置为
Figure GDA0003279522840000122
视为所有侦查无人机共同的最大的着火点的位置，其中，
Figure GDA0003279522840000123
和
Figure GDA0003279522840000124
表示侦查无人机i第t次检测到的着火点在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标；
Figure GDA0003279522840000125
和
Figure GDA0003279522840000126
表示侦查无人机i第t次检测到着火点时，无人机基站通过比较所有的着火点处的烟雾面积变化率而得到的最大烟雾面积变化率所对应的着火点在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标；侦查无人机i第t+1次发现着火点时更新的速度Vi t+1的大小和方向根据侦查无人机i自身最大的着火点位置数据
Figure GDA0003279522840000127
和所有侦查无人机共同的最大的着火点的位置数据
Figure GDA0003279522840000128
数据按照如下公式计算，向着最大的着火点的方向飞：
Figure GDA0003279522840000129
其中，c1和c2是学习因子，r1和r2是[0，1]区间的随机数，
Figure GDA0003279522840000131
是侦查无人机i第t次检测到着火点时更新的速度，其中，
Figure GDA0003279522840000132
和
Figure GDA0003279522840000133
是速度Vi t在两个相互垂直的维度上的速度分量，所以它可以改变侦查无人机i的飞行方向，
Figure GDA0003279522840000134
是侦查无人机第t+1次检测到着火点时更新的速度，侦查无人机i保持该速度的大小和方向飞行，直到发现下一次着火点才更新它的速度的大小和方向，其中，
Figure GDA0003279522840000135
科
Figure GDA0003279522840000136
是速度Vi t+1在两个相互垂直的维度上的速度分量，
Figure GDA0003279522840000137
是无人机基站定位的侦查无人机i第t次检测到着火点时的位置，w是随机权重，用来调节侦查无人机的搜索火场的能力，μmin是随机惯性权重的最小值，μmax是随机惯性权重的最大值，rand()为区间[0，1]上的均匀分布的随机数，randn()为正态分布的随机数，λ为随机因子，是一个区间[0，1]上常数，用来控制随机性大小。
步骤(4)中的分层反馈校正机制，具体方法如下：
(41)检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，即基站派验证无人机组前去获取漏检火点的视频图像和位置信息，判断着火点的位置是否在侦查无人机的巡检轨迹上；若在轨迹上，则说明间隔更新公式需要调整，则对自适应三帧差法的间隔n的更新公式进行反馈：
步骤a，从p个漏检火点的拍摄视频中，分别选取M帧图像，对M帧烟雾图像先进行二值化处理，将像素值变为0和1；
步骤b，计算每处漏检火点烟雾图像的面积均值
Figure GDA0003279522840000138
其中
Figure GDA0003279522840000139
Figure GDA00032795228400001310
表示的是第y个漏检火点拍摄的视频中选取的第c帧图像的二值化之后的图像中像素值为1的个数，视为每帧图像烟雾的面积；
步骤c，计算M帧图像周长的均值
Figure GDA00032795228400001311
其中
Figure GDA00032795228400001312
Figure GDA00032795228400001313
表示的是第y个漏检火点拍摄的视频中选取的第c帧图像二值化之后的图像中烟雾区域边界像素值为1的个数，视为每帧图像烟雾的周长，然后计算每处漏检火点烟雾图像周长的标准差，
Figure GDA0003279522840000141
步骤d，计算烟雾浓度变化率：
Figure GDA0003279522840000142
其中，σy，y＝1，…，p，是每处漏检火点M帧烟雾图像周长的标准差，
Figure GDA0003279522840000143
是每处漏检火点M帧烟雾图像周长的均值，计算漏检度ρ：
Figure GDA0003279522840000144
其中，μy是每处漏检火点M帧烟雾图像的面积均值，y＝1，…，p；
步骤e，根据漏检度对自适应间隔三帧差法中间隔的更新公式中的自适应调节部分进行调节：
Figure GDA0003279522840000145
其中，θ是一个常数，nmin是设置的最小间隔；
(42)若漏检火点不在侦查无人机的巡航轨迹上，则说明分布式粒子群算法的随机性不足，巡航轨迹覆盖范围不足，就对改进的分布式粒子群算法的随机权值w中的影响因子λ进行反馈，加大其随机性，提高巡航路径的覆盖率，为下一次侦查无人机执行森林巡航任务做准备：
步骤a，计算各个漏检火点x＝{x1，x2，…，xp}到N个侦查无人机轨迹l＝{l1，l2，…，lN}的距离的最小值
Figure GDA0003279522840000146
其中，
Figure GDA0003279522840000147
表示第p个漏检火点到所有轨迹的最短距离；
步骤b，计算平均距离：
Figure GDA0003279522840000148
步骤c，对分布式粒子群算法中的速度更新公式中的随机因子λ进行更新：
Figure GDA0003279522840000149
其中，ψ是调整参数，λ′是上一次侦查无人机组执行森林巡航任务时的随机因子大小；
当侦查无人机组进行下一次森林巡航检测森林火灾时，将采用反馈更新后的自适应间隔的三帧差法和分布式粒子群算法进行工作。

Claims (2)

1.一种基于无人机协同组网的边缘群体智能方法，其特征在于，该方法包括以下步骤：
(1)将巡视的区域划分成b×d个区域，每个区域设置一个无人机基站，无人机基站内设置有侦查无人机组、灭火无人机组和验证无人机组，其中，b和d为整数；
(2)每个基站内的侦查无人机使用自适应间隔三帧差法，提取巡航视频图像中的运动区域，使用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步分割烟雾图像面积变化率ea，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为着火点，并将着火点的位置信息和烟雾面积变化率数据同步给基站；步骤(2)中，每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中的运动区域，使用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步分割烟雾图像面积变化率ea，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为着火点，包含如下步骤：
(21)设置初始间隔nk，k＝0；
(22)从侦查无人机巡航视频中的第k+1帧图像Ik开始，每隔nk帧提取两组连续的三帧图像，先将视频图像尺寸归一化为m×n大小的标准图像，然后进行灰度处理得到第一组灰度图像
Figure FDA0003279522830000011
第二组灰度图像
Figure FDA0003279522830000012
m和n为整数；
(23)第一组和第二组灰度图像一一对应作差，根据设置的阈值T将差分图像分割为二值图像Δi，如下式所示：
Figure FDA0003279522830000013
Figure FDA0003279522830000014
Figure FDA0003279522830000015
其中，
Figure FDA0003279522830000021
代表第nk+1帧图像中坐标(x，y)处的像素值大小，
Figure FDA0003279522830000022
代表第nk+4帧图像中坐标(x，y)处的像素值大小，
Figure FDA0003279522830000023
代表第nk+2帧图像中坐标(x，y)处的像素值大小，
Figure FDA0003279522830000024
代表第nk+5帧图像中坐标(x，y)处的像素值大小，
Figure FDA0003279522830000025
代表第nk+3帧图像中坐标(x，y)处的像素值大小，
Figure FDA0003279522830000026
代表第nk+6帧图像中坐标(x，y)处的像素值大小；
通过逻辑与运算，获得图像中属于运动区域的像素点的坐标D(x，y)：
Figure FDA0003279522830000027
根据D(x，y)的坐标提取无人机视频巡航图像中的运动区域：
Figure FDA0003279522830000028
Figure FDA0003279522830000029
(24)提取
Figure FDA00032795228300000210
图像的RGB分量得到
Figure FDA00032795228300000211
Figure FDA00032795228300000212
和
Figure FDA00032795228300000213
根据如下烟雾的颜色判据规则：
Figure FDA00032795228300000214
得到
Figure FDA00032795228300000215
和
Figure FDA00032795228300000216
Figure FDA00032795228300000217
符合条件的RGB图像的像素点，其中，G1＝0.319，G2＝0.3369，R1＝0.3139，R2＝0.3359，然后获得分割后烟雾图像
Figure FDA00032795228300000218
和
Figure FDA00032795228300000219
Figure FDA00032795228300000220
再计算烟雾的面积变化率ea：
Figure FDA00032795228300000221
其中，
Figure FDA00032795228300000222
是
Figure FDA00032795228300000223
中不为0的像素值的个数，
Figure FDA00032795228300000224
是
Figure FDA00032795228300000225
中不为0像素值的个数，当满足eth0＜ea＜eth1时，认为是烟雾图像，则判定发生火灾，将着火点的位置信息和烟雾面积变化率数据同步给无人机基站；否则，判定为无烟图像，则舍弃图像，其中，eth0和eth1是烟雾面积变化率的阈值；
(25)求相关系数β1，β2和β3：
Figure FDA0003279522830000031
其中，
Figure FDA0003279522830000032
代表第r+nk张图像像素的平均值，
Figure FDA0003279522830000033
代表第r+nk+3张图像像素的平均值，
Figure FDA0003279522830000034
代表第r+nk张图像坐标(x，y)的像素值大小，
Figure FDA0003279522830000035
代表第r+nk+3张图像坐标(x，y)的像素值大小，r＝1时，β1为
Figure FDA0003279522830000036
和
Figure FDA0003279522830000037
的相关系数，r＝2时，β2为
Figure FDA0003279522830000038
和
Figure FDA0003279522830000039
的相关系数，r＝3时，β3为
Figure FDA00032795228300000310
和
Figure FDA00032795228300000311
的相关系数；
(26)计算平均相关系数
Figure FDA00032795228300000312
Figure FDA00032795228300000313
设置阈值
Figure FDA00032795228300000314
(27)根据如下公式更新间隔大小：
k＝k+1
Figure FDA00032795228300000315
其中，f表示间隔的自适应调节部分，初始状态下f＝0，ε是一个常数，nk-1代表上一次的间隔大小，nk代表更新后的间隔大小，nmax是设置的最大间隔；
(28)返回步骤(22)重复执行操作，直到所有的巡航视频图像帧处理完毕；
(3)基站比较所有侦查无人机获取着火点处的烟雾面积变化率，找到最大烟雾面积变化率emax所对应的着火点的位置，并视为所有侦查无人机共同的最大的着火点位置，将该着火点的位置信息共享给所有正在执行巡视任务的侦查无人机，每个侦查无人机比较自身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积变化率对应的着火点的位置作为每个侦查无人机自身最大的着火点位置；每个侦查无人机再根据所有侦查无人机共同的最大的着火点位置和自身最大的着火点位置，以及根据分布式的粒子群算法调整飞行速度的大小和方向，向所有侦查无人机共同的最大的着火点的方向飞行进行火点检测，重复步骤(2)-(3)，直到定位出巡视区域范围内的所有着火点；
(4)基站根据侦查无人机定位的着火点的位置信息，调度基站内的灭火无人机组对着火点进行灭火；
(5)检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，基站调度验证无人机组获取漏检火点的视频图像和位置信息，采用分层反馈校正机制对自适应间隔三帧差法的间隔进行反馈调整，以及对分布式粒子群算法的随机权值中的影响因子进行反馈调整以用于下次灭火任务；分层反馈校正机制的具体方法如下：
(41)检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，基站调度验证无人机组获取漏检火点的视频图像和位置信息，判断着火点的位置是否在侦查无人机的巡检轨迹上；若在轨迹上，则对间隔更新公式进行调整，对自适应间隔三帧差法的间隔的更新公式进行反馈：
步骤a，从p个漏检火点的拍摄视频中，分别选取M帧图像，对M帧烟雾图像先进行二值化处理，将像素值变为0和1；
步骤b，计算每处漏检火点烟雾图像的面积均值
Figure FDA0003279522830000041
其中，
Figure FDA0003279522830000042
Figure FDA0003279522830000043
表示的是第y个漏检火点拍摄的视频中选取的第c帧图像的二值化之后的图像中像素值为1的个数，视为每帧图像烟雾的面积；
步骤c，计算M帧图像周长的均值
Figure FDA0003279522830000044
其中，
Figure FDA0003279522830000045
Figure FDA0003279522830000046
表示的是第y个漏检火点拍摄的视频中选取的第c帧图像二值化之后的图像中烟雾区域边界像素值为1的个数，视为每帧图像烟雾的周长，计算每处漏检火点烟雾图像周长的标准差
Figure FDA0003279522830000051
步骤d，计算烟雾浓度变化率：
Figure FDA0003279522830000052
其中，σy是每处漏检火点M帧烟雾图像周长的标准差，
Figure FDA0003279522830000053
是每处漏检火点M帧烟雾图像周长的均值，计算漏检度ρ：
Figure FDA0003279522830000054
其中，μy是每处漏检火点M帧烟雾图像的面积均值；
步骤e，根据漏检度对自适应间隔三帧差法中间隔的更新公式中的自适应调节部分进行调节：
Figure FDA0003279522830000055
其中，θ是一个常数，nmin是设置的最小间隔；
(42)若漏检火点不在侦查无人机的巡航轨迹上，对分布式粒子群算法的随机权值中的影响因子进行反馈：
步骤a，计算各个漏检火点x＝{x1，x2，…，xp}到N个侦查无人机轨迹l＝{l1，l2，…，lN}的距离的最小值
Figure FDA0003279522830000056
其中，
Figure FDA0003279522830000057
表示第p个漏检火点到所有轨迹的最短距离；
步骤b，计算平均距离：
Figure FDA0003279522830000058
步骤c，对分布式粒子群算法中的速度更新公式中的随机因子λ进行更新：
Figure FDA0003279522830000059
其中，ψ是调整参数，λ是上一次侦查无人机组执行巡航任务时的随机因子大小。
2.根据权利要求1所述的一种基于无人机协同组网的边缘群体智能方法，其特征在于，步骤(3)中，根据分布式的粒子群算法调整飞行速度的大小和方向，向所有侦查无人机共同的最大的着火点的方向飞行进行火点检测，重复步骤(2)-(3)，直到定位出巡视区域范围内的所有着火点，包含如下步骤：
(31)每个侦查无人机以初始速度V0，初始位置X0，从基站起飞，每架侦查无人机检测到的着火点的位置记为：
pBesti＝{pBesti1，pBesti2}，i＝1，2，3，…，N；
其中，侦查无人机飞行高度固定，pBesti1和pBesti2表示第i架侦查无人机检测到的着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标，N表示侦查无人机的个数，N个侦查无人机组成一个粒子群，每个侦查无人机作为一个粒子，对于所有的侦查无人机的速度V＝{V1，V2}和位置X＝{X1，X2}，满足V1∈{Vmin，Vmax}、V2∈{Vmin，Vmax}，X1∈{Xmin，Xmax}、X2∈{Xmin，Xmax}，Vmin和Vmax是两个相互垂直的维度上速度分量的最小值和最大值，Xmin和Xmax是两个相互垂直的维度上位置坐标分量的最小值和最大值；
(32)侦查无人机i第t次检测到着火点，将该着火点位置数据和烟雾面积变化率数据同步给无人机基站，然后侦查无人机i比较自身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积变化率对应的着火点的位置信息，记为
Figure FDA0003279522830000061
作为侦查无人机i自身最大的着火点位置；无人机基站再比较所有侦查无人机检测到的着火点的烟雾面积变化率，将最大的烟雾面积变化率所对应着火点的位置信息再同步给侦查无人机i，侦查无人机i记该位置为
Figure FDA0003279522830000062
视为所有侦查无人机共同的最大的着火点位置，其中，
Figure FDA0003279522830000063
和
Figure FDA0003279522830000064
表示侦查无人机i第t次检测到的着火点在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标；
Figure FDA0003279522830000065
和
Figure FDA0003279522830000066
表示侦查无人机i第t次检测到着火点时，无人机基站通过比较所有的着火点处的烟雾面积变化率以得到最大烟雾面积变化率所对应的着火点，并得到最大烟雾面积变化率所对应的着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标；侦查无人机i第t+1次发现着火点时，改变它的速度为Vi t+1，Vi t+1的大小和方向，根据侦查无人机i自身最大的着火点位置数据
Figure FDA0003279522830000067
和所有侦查无人机共同的最大的着火点的位置数据
Figure FDA0003279522830000068
按照如下公式计算，向着最大的着火点的方向飞行：
Figure FDA0003279522830000069
其中，c1和c2是学习因子，r1和r2是区间[0，1]上的随机数，
Figure FDA0003279522830000071
是侦查无人机i第t次检测到着火点时更新的速度，其中，
Figure FDA0003279522830000072
和
Figure FDA0003279522830000073
是速度Vi t在两个相互垂直的维度上的速度分量，
Figure FDA0003279522830000074
是侦查无人机i第t+1次检测到着火点时更新的速度，侦查无人机i保持该速度的大小和方向飞行，直到发现下一次着火点才更新它的速度的大小和方向，其中，
Figure FDA0003279522830000075
和
Figure FDA0003279522830000076
是速度Vi t+1在两个相互垂直的维度上的速度分量，
Figure FDA0003279522830000077
是侦查无人机i第t次检测到着火点时的位置，w是随机权重，用来调节侦查无人机的搜索火场的能力，μmin是随机惯性权重的最小值，μmax是随机惯性权重的最大值，rand()为区间[0，1]上的均匀分布的随机数，rand()为正态分布的随机数，λ为随机因子，其是一个区间[0，1]上的常数，用来控制随机性大小。
CN202110911316.6A 2021-08-10 2021-08-10 一种基于无人机协同组网的边缘群体智能方法 Active CN113361504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110911316.6A CN113361504B (zh) 2021-08-10 2021-08-10 一种基于无人机协同组网的边缘群体智能方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110911316.6A CN113361504B (zh) 2021-08-10 2021-08-10 一种基于无人机协同组网的边缘群体智能方法

Publications (2)

Publication Number Publication Date
CN113361504A CN113361504A (zh) 2021-09-07
CN113361504B true CN113361504B (zh) 2021-11-16

Family

ID=77540781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110911316.6A Active CN113361504B (zh) 2021-08-10 2021-08-10 一种基于无人机协同组网的边缘群体智能方法

Country Status (1)

Country Link
CN (1) CN113361504B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105892480A (zh) * 2016-03-21 2016-08-24 南京航空航天大学 异构多无人机系统协同察打任务自组织方法
CN106408846A (zh) * 2016-11-29 2017-02-15 周川 基于视频监控平台的图像火灾检测方法
CN109350882A (zh) * 2018-09-26 2019-02-19 山东科技大学 一种基于飞轮电池的高层消防无人机
CN109871032A (zh) * 2019-03-04 2019-06-11 中科院成都信息技术股份有限公司 一种基于模型预测控制的多无人机编队协同控制方法
CN110853077A (zh) * 2019-10-17 2020-02-28 广西电网有限责任公司电力科学研究院 一种基于形态变化估计的自适应红外动态帧特征提取方法
CN111325943A (zh) * 2020-02-26 2020-06-23 中电福富信息科技有限公司 基于无人机进行大范围森林防火巡护预警方法及其系统
US10712739B1 (en) * 2014-10-31 2020-07-14 State Farm Mutual Automobile Insurance Company Feedback to facilitate control of unmanned aerial vehicles (UAVs)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10102586B1 (en) * 2015-04-30 2018-10-16 Allstate Insurance Company Enhanced unmanned aerial vehicles for damage inspection
CN105354791B (zh) * 2015-08-21 2019-01-11 华南农业大学 一种改进的自适应混合高斯前景检测方法
CN108830257A (zh) * 2018-06-29 2018-11-16 电子科技大学 一种基于单目光流的潜在障碍物检测方法
US10877488B1 (en) * 2019-06-06 2020-12-29 Honey Well International Inc. Unmanned aerial vehicle (UAV) intelligent emergency voice report system and method
CN112435427B (zh) * 2020-11-12 2022-05-13 光谷技术有限公司 一种森林火灾监测系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10712739B1 (en) * 2014-10-31 2020-07-14 State Farm Mutual Automobile Insurance Company Feedback to facilitate control of unmanned aerial vehicles (UAVs)
CN105892480A (zh) * 2016-03-21 2016-08-24 南京航空航天大学 异构多无人机系统协同察打任务自组织方法
CN106408846A (zh) * 2016-11-29 2017-02-15 周川 基于视频监控平台的图像火灾检测方法
CN109350882A (zh) * 2018-09-26 2019-02-19 山东科技大学 一种基于飞轮电池的高层消防无人机
CN109871032A (zh) * 2019-03-04 2019-06-11 中科院成都信息技术股份有限公司 一种基于模型预测控制的多无人机编队协同控制方法
CN110853077A (zh) * 2019-10-17 2020-02-28 广西电网有限责任公司电力科学研究院 一种基于形态变化估计的自适应红外动态帧特征提取方法
CN111325943A (zh) * 2020-02-26 2020-06-23 中电福富信息科技有限公司 基于无人机进行大范围森林防火巡护预警方法及其系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Multiple UAVs in forest fire fighting mission using particle swarm optimization";K. A. Ghamry等;《2017 International Conference on Unmanned Aircraft Systems (ICUAS)》;20170727;全文 *
"UAV-based forest fire detection and tracking using image processing techniques";C. Yuan等;《2015 International Conference on Unmanned Aircraft Systems (ICUAS)》;20150709;全文 *
"森林防火无人机系统的研究";焦振田;《中国优秀博硕士学位论文全文数据库(硕士)·工程科技Ⅱ辑》;20190815;第2019年卷(第08期);全文 *

Also Published As

Publication number Publication date
CN113361504A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
WO2020187095A1 (zh) 一种目标跟踪方法、装置和无人机
CN110619276B (zh) 基于无人机移动监控的异常及暴力检测系统和方法
WO2021212443A1 (zh) 一种基于轻量化3D-RDNet模型的烟雾视频检测方法及系统
JP2019526846A (ja) ビークルのための受動光学検出方法およびシステム
CN110427922A (zh) 一种基于机器视觉和卷积神经网络病虫害识别系统和方法
CN104811667A (zh) 一种无人机跟踪目标的方法及系统
CN109002048B (zh) 多旋翼无人机规模化集中式光伏电站图像数据采集方法
CN110390788A (zh) 一种森林防火烟火识别方法及其系统
CN110490043A (zh) 一种基于区域划分和特征提取的森林烟火检测方法
CN108108697A (zh) 一种实时无人机视频目标检测与跟踪方法
CN110334660A (zh) 一种雾天条件下基于机器视觉的森林火灾监测方法
CN106056624A (zh) 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法
CN111679695A (zh) 一种基于深度学习技术的无人机巡航及追踪系统和方法
CN110567324B (zh) 一种基于ds证据理论的多目标群威胁度预测装置及方法
CN113362374A (zh) 一种基于目标跟踪网络的高空抛物检测方法及系统
CN114139373B (zh) 一种面向无人机反制车的多传感器自动协同管理方法
CN113361504B (zh) 一种基于无人机协同组网的边缘群体智能方法
CN115131937A (zh) 一种基于传感器与深度学习的森林火情预警方法
KR102349818B1 (ko) 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론
CN113449566B (zh) 人在回路的“低慢小”目标智能图像跟踪方法及系统
CN112861737A (zh) 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法
CN107301653A (zh) 基于bp神经网络的视频图像火灾火焰检测方法
CN115407799A (zh) 一种用于垂直起降飞行器的飞行控制系统
CN110956611A (zh) 一种集成卷积神经网络的烟雾检测方法
CN115601736A (zh) 一种机场飞行区道面异物协同检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant