CN113361504A - 一种基于无人机协同组网的边缘群体智能方法 - Google Patents

一种基于无人机协同组网的边缘群体智能方法 Download PDF

Info

Publication number
CN113361504A
CN113361504A CN202110911316.6A CN202110911316A CN113361504A CN 113361504 A CN113361504 A CN 113361504A CN 202110911316 A CN202110911316 A CN 202110911316A CN 113361504 A CN113361504 A CN 113361504A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
image
smoke
fire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110911316.6A
Other languages
English (en)
Other versions
CN113361504B (zh
Inventor
张晖
王呈呈
张晗
赵海涛
陆平
朱洪波
倪艺洋
夏文超
蔡艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Nanjing University of Posts and Telecommunications
Original Assignee
ZTE Corp
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp, Nanjing University of Posts and Telecommunications filed Critical ZTE Corp
Priority to CN202110911316.6A priority Critical patent/CN113361504B/zh
Publication of CN113361504A publication Critical patent/CN113361504A/zh
Application granted granted Critical
Publication of CN113361504B publication Critical patent/CN113361504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A62—LIFE-SAVING; FIRE-FIGHTING
    • A62C—FIRE-FIGHTING
    • A62C19/00—Hand fire-extinguishers in which the extinguishing substance is expelled by an explosion; Exploding containers thrown into the fire
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/16—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了基于无人机协同组网的边缘群体智能方法，首先，通过一种面向森林火灾烟雾检测的具有自适应间隔的三帧差法提取运动区域，降低了单个无人机烟雾检测的数据运算成本，用烟雾颜色判据模型对运动区域进行提取，获得烟雾图像，再通过计算烟雾的面积变化率判断是否为烟雾图像，提高无人机烟雾检测的准确率；本发明提出了一种改进的分布式的粒子群算法，用多个侦查无人机协同工作，对森林火灾进行实时监控和定位，能够有效地识别森林火灾，降低漏检率，并对火灾做出及时响应，提高无人机组的工作效率；还提出了一种分层反馈校正机制，反馈调节、优化提升自适应间隔三帧差法和改进的分布式粒子群算法。

Description

一种基于无人机协同组网的边缘群体智能方法
技术领域
本发明涉及边缘群体智能领域，尤其涉及一种基于无人机协同组网的边缘群体智能方法。
背景技术
近年来，由于人类活动的复杂度不断增加，各种工作任务都交由多个智能设备进行处理，对智能设备群体智能协同工作方法的研究层出不穷，而且应用广泛，例如，由于人类的各种活动，导致全球天气发生异常而引发的森林火灾，在这种人工监督不适合的场景下，国内外开始研究各种群体智能方法，逐渐使用无人机代替人工检测的方式，不断的提高林火监测技术，优化监测方案。森林火灾的及时发现是减少人员伤亡、经济损失的重要手段，因此，具有十分重要的意义。
目前存在森林火灾多处并发，且火灾初期人工检测难以发现的特点，人工检测成本高、监测区域小、工作效率低下，容易造成人员伤亡的现象。一些火灾烟雾检测算法应用于森林火灾识别场景中还是存在误检、抗干扰能力差的缺点，图片中如果存在干扰物的颜色与烟雾比较相似，如漂浮的雾气或云朵等，容易出现目标区域的错误分割，可能出现漏检，导致后续森林火灾的识别困难。随着经济的发展，各种科学技术发展迅速，无人机技术便是其中的一种。当前的无人机技术发展良好并逐渐走向成熟，在各领域的应用比较广泛，具有良好的前景，尤其是在森林的灭火防火领域具有人工没有的优势：无人机能在空中进行侦查，对火场的具体形式进行实时回传，能够给防火灭火指挥员提供准确信息，但是无人机存在数据处理运算成本高的问题。
发明内容
发明目的：针对目前火灾识别技术应用于森林火灾识别场景中识别率下降，检测方法自适应性不强、可能会出现烟雾漏检的情况和森林火灾具有多处并发，且火灾初期人工检测难以发现的特点；采用人工火灾监测和灭火成本过大，实时性较差、监测区域较小，容易造成人员伤亡；无人机作业效率低下、续航能力不足、数据处理成本较高等一系列问题，本发明提出了一种基于无人机协同组网的边缘群体智能方法。
技术方案：为了克服上述现有技术的不足，本发明提出一种基于无人机协同组网的边缘群体智能方法，包括以下步骤：
（1）将需要巡视的区域划分成
Figure 435822DEST_PATH_IMAGE001
个区域，每个区域都设置有一个无人机基站， 无人机基站内设置有侦查无人机组、灭火无人机组和验证无人机组；所述需要巡视的区域 可以是森林区域，草地等易发生火灾的区域；
（2）每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中 的运动区域，然后用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步 分割烟雾图像面积变化率
Figure 160808DEST_PATH_IMAGE002
，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为 着火点，并将位置信息和烟雾面积变化率数据同步给基站；
（3）基站比较所有侦察无人机获取着火点处的烟雾面积变化率，找到最大烟雾面 积变化率
Figure 822733DEST_PATH_IMAGE003
所对应的着火点的位置信息，视为所有侦察无人机共同认为的火灾最大的 着火点，并将该着火点的位置信息共享给所有正在执行巡视任务的侦察无人机，然后每个 侦查无人机比较自身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积变化率对 应的着火点的位置信息，作为每个侦察无人机自身认为最大的着火点；每个侦察无人机再 根据所有侦察无人机共同的火灾最大的着火点的位置和自身最大的着火点的位置，根据分 布式的粒子群算法及时调整飞行速度的大小和方向，向所有侦察无人机共同的火灾最大的 着火点的方向飞行进行火点检测，重复步骤（2）-（3），直到定位出森林区域范围内的所有着 火点；
（4）基站根据侦查无人机定位的着火点的位置信息，调度基站内的灭火无人机组对着火点进行灭火；
（5）验证无人机组检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，则采用分层反馈校正机制对自适应三帧差法的间隔进行反馈调整，以及对分布式粒子群算法的随机权值中的影响因子进行反馈调整以用于下次灭火任务。
优选的，步骤（2）中，每个基站内的侦查无人机使用自适应间隔的三帧差法，提取 巡航视频图像中的运动区域，然后用烟雾颜色判据对运动区域进行分割，获取初步分割烟 雾图像，计算初步分割烟雾图像面积变化率
Figure 492749DEST_PATH_IMAGE004
，判断该图像是否为烟雾图像，若是烟雾图 像，则判定此处为着火点，包含如下步骤：
（21）设置一个初始间隔
Figure 607336DEST_PATH_IMAGE005
，
Figure 138942DEST_PATH_IMAGE006
；
（22）从侦察无人机巡航视频中的第
Figure 655374DEST_PATH_IMAGE007
帧图像
Figure 496291DEST_PATH_IMAGE008
开始，每隔
Figure 98174DEST_PATH_IMAGE009
帧提取两组连 续的三帧图像；先将视频图像尺寸归一化为
Figure 433471DEST_PATH_IMAGE010
大小的标准图像，然后进行灰度处理， 得到第一组灰度图像
Figure 601148DEST_PATH_IMAGE011
、
Figure 612966DEST_PATH_IMAGE012
、
Figure 921719DEST_PATH_IMAGE013
，第二组灰度图像
Figure 309975DEST_PATH_IMAGE014
、
Figure 535420DEST_PATH_IMAGE015
、
Figure 718139DEST_PATH_IMAGE016
，m和n为 整数；
（23）第一组和第二组灰度图像一一对应作差，根据设置的阈值T将差分图像分割 为二值图像
Figure 839155DEST_PATH_IMAGE017
，如下式所示：
Figure 765522DEST_PATH_IMAGE018
Figure 845474DEST_PATH_IMAGE019
Figure 215406DEST_PATH_IMAGE020
其中，
Figure 13598DEST_PATH_IMAGE021
代表第
Figure 212498DEST_PATH_IMAGE022
帧图像中坐标
Figure 412535DEST_PATH_IMAGE023
处的像素值大小，
Figure 750107DEST_PATH_IMAGE024
代表第
Figure 504436DEST_PATH_IMAGE025
帧图像中坐标
Figure 38186DEST_PATH_IMAGE026
处的像素值大小，
Figure 640200DEST_PATH_IMAGE027
代表第
Figure 70044DEST_PATH_IMAGE028
帧图像中坐标
Figure 842828DEST_PATH_IMAGE029
处的像素值大小，
Figure 662492DEST_PATH_IMAGE030
代表第
Figure 571542DEST_PATH_IMAGE031
帧图像中坐标
Figure 703446DEST_PATH_IMAGE032
处的像素值大小，
Figure 697947DEST_PATH_IMAGE033
代表第
Figure 324231DEST_PATH_IMAGE034
帧图像中坐标
Figure 353367DEST_PATH_IMAGE029
处的像素值大 小，
Figure 187331DEST_PATH_IMAGE035
代表第
Figure 685440DEST_PATH_IMAGE036
帧图像中坐标
Figure 99103DEST_PATH_IMAGE037
处的像素值大小；
然后通过逻辑与运算，获得图像中属于运动区域的像素点的坐标
Figure 982746DEST_PATH_IMAGE038
：
Figure 925294DEST_PATH_IMAGE039
根据
Figure 645119DEST_PATH_IMAGE040
的坐标提取无人机视频巡航图像中的运动区域：
Figure 862474DEST_PATH_IMAGE041
Figure 600623DEST_PATH_IMAGE042
（24）提取
Figure 789771DEST_PATH_IMAGE043
、
Figure 777319DEST_PATH_IMAGE044
图像的RGB分量，得到
Figure 532785DEST_PATH_IMAGE045
、
Figure 141752DEST_PATH_IMAGE046
、
Figure 957262DEST_PATH_IMAGE047
和
Figure 635368DEST_PATH_IMAGE048
、
Figure 194525DEST_PATH_IMAGE049
、
Figure 392419DEST_PATH_IMAGE050
，根据如下烟雾的颜色判据规则：
Figure 378830DEST_PATH_IMAGE051
得到
Figure 606549DEST_PATH_IMAGE052
、
Figure 454550DEST_PATH_IMAGE053
、
Figure 21798DEST_PATH_IMAGE054
和
Figure 179110DEST_PATH_IMAGE055
、
Figure 831808DEST_PATH_IMAGE056
、
Figure 504008DEST_PATH_IMAGE057
这些符合条件的RGB图像的像素点，其中，
Figure 191341DEST_PATH_IMAGE058
，
Figure 519554DEST_PATH_IMAGE059
，
Figure 659549DEST_PATH_IMAGE060
，
Figure 114932DEST_PATH_IMAGE061
，然后获得分割后烟雾图像
Figure 922351DEST_PATH_IMAGE062
和
Figure 421466DEST_PATH_IMAGE063
，再计算烟雾的面积 变化率
Figure 799488DEST_PATH_IMAGE064
：
Figure 42251DEST_PATH_IMAGE065
，其中，
Figure 704176DEST_PATH_IMAGE066
是
Figure 374192DEST_PATH_IMAGE067
中像素值不为 0的个数，
Figure 973932DEST_PATH_IMAGE068
是
Figure 20385DEST_PATH_IMAGE069
中像素值不为0的个数，当满足
Figure 536817DEST_PATH_IMAGE070
时，认为 是烟雾图像，则判定发生森林火灾，将着火点的位置信息和烟雾面积变化率数据同步给无 人机基站；若判定是无烟图像，则舍弃图像，其中，
Figure 377734DEST_PATH_IMAGE071
和
Figure 461840DEST_PATH_IMAGE072
是烟雾面积变化率的阈值；
（25）求相关系数
Figure 46406DEST_PATH_IMAGE073
，
Figure 417344DEST_PATH_IMAGE074
和
Figure 429162DEST_PATH_IMAGE075
：
Figure 269074DEST_PATH_IMAGE076
其中，
Figure 595013DEST_PATH_IMAGE077
代表第
Figure 882775DEST_PATH_IMAGE078
张图像像素的平均值，
Figure 65494DEST_PATH_IMAGE079
代表第
Figure 127122DEST_PATH_IMAGE080
张图像像素的平均值，
Figure 787911DEST_PATH_IMAGE081
代表第
Figure 133441DEST_PATH_IMAGE082
张图像坐标
Figure 34532DEST_PATH_IMAGE083
的像素值大小，
Figure 832724DEST_PATH_IMAGE084
代表第
Figure 297204DEST_PATH_IMAGE085
张图像坐标
Figure 497241DEST_PATH_IMAGE086
的像素值大小，
Figure 566303DEST_PATH_IMAGE087
时，
Figure 851791DEST_PATH_IMAGE088
为
Figure 385541DEST_PATH_IMAGE089
和
Figure 190817DEST_PATH_IMAGE090
的相关系数，
Figure 89503DEST_PATH_IMAGE091
时，
Figure 862287DEST_PATH_IMAGE092
为
Figure 934148DEST_PATH_IMAGE093
和
Figure 843198DEST_PATH_IMAGE094
的 相关系数，
Figure 725834DEST_PATH_IMAGE095
时，
Figure 720335DEST_PATH_IMAGE096
为
Figure 861467DEST_PATH_IMAGE097
和
Figure 625023DEST_PATH_IMAGE098
的相关系数；
（26）计算平均相关系数
Figure 678561DEST_PATH_IMAGE099
，
Figure 160358DEST_PATH_IMAGE100
，设置阈值
Figure 574022DEST_PATH_IMAGE101
；
（27）根据如下公式更新间隔大小：
Figure 457664DEST_PATH_IMAGE102
Figure 679174DEST_PATH_IMAGE103
其中，f表示间隔的自适应调节部分，初始状态下
Figure 648267DEST_PATH_IMAGE104
，
Figure 865621DEST_PATH_IMAGE105
是一个常数，
Figure 603770DEST_PATH_IMAGE106
代 表上一次的间隔大小，
Figure 999111DEST_PATH_IMAGE107
代表更新后的间隔大小，
Figure 658762DEST_PATH_IMAGE108
是设置的最大间隔；
（28）返回步骤（22）重复执行操作，直到所有的巡航视频图像帧处理完毕。
优选的，步骤（3）中，根据分布式的粒子群算法及时调整飞行速度的大小和方向，向所有侦察无人机共同认为火灾最大的着火点的方向飞行进行火点检测，重复步骤（2）-（3），直到定位出森林区域范围内的所有着火点，包含如下步骤：
（31）每个侦查无人机以初始速度
Figure 414228DEST_PATH_IMAGE109
，初始位置
Figure 272463DEST_PATH_IMAGE110
，从基站起飞，每架侦查无人机 检测到的着火点的位置记为：
Figure 369863DEST_PATH_IMAGE111
其中，侦查无人机飞行高度固定，
Figure 313548DEST_PATH_IMAGE112
和
Figure 607126DEST_PATH_IMAGE113
表示第i架侦查无人机检测 到的着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标，N表示侦查无 人机的个数，N个侦查无人机组成一个粒子群，每个侦查无人机作为一个粒子，对于所有的 侦察无人机的速度
Figure 867338DEST_PATH_IMAGE114
和位置
Figure 588169DEST_PATH_IMAGE115
，要满足
Figure 753571DEST_PATH_IMAGE116
、
Figure 850840DEST_PATH_IMAGE117
，
Figure 431470DEST_PATH_IMAGE118
、
Figure 588781DEST_PATH_IMAGE119
，
Figure 241480DEST_PATH_IMAGE120
和
Figure 408019DEST_PATH_IMAGE121
是两个相互垂 直的维度上速度分量的最小值和最大值，保证侦察无人机的速度不超速，
Figure 846085DEST_PATH_IMAGE122
和
Figure 174298DEST_PATH_IMAGE123
是 两个相互垂直的维度上位置坐标分量的最小值和最大值，保证侦察无人机不飞出巡航范 围；
（32）侦查无人机i第t次检测到着火点，将该着火点位置数据和烟雾面积变化率数 据同步给无人机基站，然后侦查无人机i比较自身检测到的所有着火点的烟雾面积变化率， 找到最大烟雾面积变化率对应的着火点的位置信息，记为
Figure 314292DEST_PATH_IMAGE124
， 作为侦察无人机i自身最大的着火点；无人机基站再比较所有侦查无人机检测到的着火点 的烟雾面积变化率，将最大的烟雾面积变化率所对应着火点的位置信息再同步给侦察无人 机i，侦察无人机i记该位置为
Figure 753364DEST_PATH_IMAGE125
，视为所有侦察无人机共 同的最大的着火点的位置，其中，
Figure 45936DEST_PATH_IMAGE126
和
Figure 545050DEST_PATH_IMAGE127
表示侦察无人机i第t次检测到的着 火点在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标；
Figure 375603DEST_PATH_IMAGE128
和
Figure 618366DEST_PATH_IMAGE129
表示侦察无人机i第t次检测到着火点时，无人机基站通过比较所有的着火点处的 烟雾面积变化率以得到最大烟雾面积变化率所对应的着火点，并得到最大烟雾面积变化率 所对应的着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标；侦察无人 机i第t+1次发现着火点时，需要更新速度为
Figure 14712DEST_PATH_IMAGE130
，
Figure 435460DEST_PATH_IMAGE131
的大小和方向，根据侦察无人机i 自身最大的着火点位置数据
Figure 550047DEST_PATH_IMAGE132
和所有侦察无人机共同的最大的着火点的位置数据
Figure 596500DEST_PATH_IMAGE133
按照如下公式计算，向着最大的着火点的方向飞：
Figure 847353DEST_PATH_IMAGE134
其中，
Figure 232810DEST_PATH_IMAGE135
和
Figure 37955DEST_PATH_IMAGE136
是学习因子，
Figure 622520DEST_PATH_IMAGE137
和
Figure 993459DEST_PATH_IMAGE138
是区间
Figure 756009DEST_PATH_IMAGE139
上的随机数，
Figure 110767DEST_PATH_IMAGE140
是 侦察无人机i第t次检测到着火点时更新的速度，其中，
Figure 967865DEST_PATH_IMAGE141
和
Figure 193310DEST_PATH_IMAGE142
是速度
Figure 189079DEST_PATH_IMAGE143
在两个相互垂 直的维度上的速度分量，所以它可以改变侦查无人机i的飞行方向，
Figure 234395DEST_PATH_IMAGE144
是侦查无人机i第t+1次检测到着火点时更新的速度，侦查无人机i保持该速度的大小和方 向飞行，直到发现下一次着火点才更新它的速度的大小和方向，其中，
Figure 708233DEST_PATH_IMAGE145
和
Figure 53764DEST_PATH_IMAGE146
是速度
Figure 407385DEST_PATH_IMAGE147
在两个相互垂直的维度上的速度分量，
Figure 939997DEST_PATH_IMAGE148
是无人机基站定位的侦察无 人机i第t次检测到着火点时的位置，w是随机权重，用来调节侦察无人机的搜索火场的能 力，
Figure 683438DEST_PATH_IMAGE149
是随机惯性权重的最小值，
Figure 883475DEST_PATH_IMAGE150
是随机惯性权重的最大值，
Figure 407997DEST_PATH_IMAGE151
为区间
Figure 693485DEST_PATH_IMAGE152
上 的均匀分布的随机数，
Figure 712388DEST_PATH_IMAGE153
为正态分布的随机数，
Figure 970194DEST_PATH_IMAGE154
为随机因子，是区间
Figure 931197DEST_PATH_IMAGE155
上的常 数，用来控制随机性大小。
优选的，步骤（4）中的分层反馈校正机制，具体方法如下：
（41）检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，即基站派验 证无人机组前去获取漏检火点的视频图像和位置信息，判断着火点的位置是否在侦察无人 机的巡检轨迹上；若在轨迹上，则说明间隔更新公式需要调整，则对自适应三帧差法的间隔
Figure 703981DEST_PATH_IMAGE156
的更新公式进行反馈：
步骤a，从p个漏检火点的拍摄视频中，分别选取M帧图像，对M帧烟雾图像先进行二值化处理，将像素值变为0和1；
步骤b，计算每处漏检火点烟雾图像的面积均值
Figure 510262DEST_PATH_IMAGE157
， 其中
Figure 435624DEST_PATH_IMAGE158
，
Figure 301949DEST_PATH_IMAGE159
表示的是第y个漏检火点 拍摄的视频中选取的第c帧图像的二值化之后的图像中像素值为1的个数，视为每帧图像烟 雾的面积；
步骤c，计算M帧图像周长的均值
Figure 827608DEST_PATH_IMAGE160
，其中
Figure 172002DEST_PATH_IMAGE161
，
Figure 217450DEST_PATH_IMAGE162
表示的是第y个漏检火点拍摄的 视频中选取的第c帧图像二值化之后的图像中烟雾区域边界像素值为1的个数，视为每帧图 像烟雾的周长，然后计算每处漏检火点烟雾图像周长的标准差，
Figure 520255DEST_PATH_IMAGE163
；
步骤d，计算烟雾浓度变化率：
Figure 2052DEST_PATH_IMAGE164
，其中，
Figure 415716DEST_PATH_IMAGE165
，
Figure 47161DEST_PATH_IMAGE166
，是每 处漏检火点M帧烟雾图像周长的标准差
Figure 520867DEST_PATH_IMAGE167
，
Figure 489960DEST_PATH_IMAGE168
，是每处漏检火点M帧烟雾图像 周长的均值，计算漏检度
Figure 441736DEST_PATH_IMAGE169
：
Figure 196196DEST_PATH_IMAGE170
，其中，
Figure 840804DEST_PATH_IMAGE171
是每处漏检火点M帧烟雾图像 的面积均值，
Figure 297194DEST_PATH_IMAGE172
；
步骤e，根据漏检度对自适应间隔三帧差法中间隔的更新公式中的自适应调节部 分进行调节：
Figure 52660DEST_PATH_IMAGE173
，其中，
Figure 130469DEST_PATH_IMAGE174
是一个常数，
Figure 742715DEST_PATH_IMAGE175
是设置 的最小间隔；
（42）若漏检火点不在侦查无人机的巡航轨迹上，则说明分布式粒子群算法的随机 性不足，巡航轨迹覆盖范围不足，就对改进的分布式粒子群算法的随机权值w中的影响因子
Figure 702712DEST_PATH_IMAGE176
进行反馈，加大其随机性，提高巡航路径的覆盖率，为下一次侦察无人机执行森林巡航任 务做准备：
步骤a，计算各个漏检火点
Figure 261870DEST_PATH_IMAGE177
到N个侦察无人机轨迹
Figure 974611DEST_PATH_IMAGE178
的距离的最小值
Figure 695442DEST_PATH_IMAGE179
，其中，
Figure 210164DEST_PATH_IMAGE180
表示第p个 漏检火点到所有轨迹的最短距离；
步骤b，计算平均距离：
Figure 307433DEST_PATH_IMAGE181
；
步骤c，对分布式粒子群算法中的速度更新公式中的随机因子
Figure 140259DEST_PATH_IMAGE182
进行更新：
Figure 31992DEST_PATH_IMAGE183
，其中，
Figure 701002DEST_PATH_IMAGE184
是调整参数，
Figure 867541DEST_PATH_IMAGE185
是上一次侦查无人机组执行森 林巡航任务时的随机因子大小；
当侦察无人机组进行下一次森林巡航检测森林火灾时，将采用反馈更新后的自适应间隔的三帧差法和分布式粒子群算法进行工作。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
本发明提出的一种基于无人机协同组网的边缘群体智能方法。对侦查无人机获取的视频先用具有自适应间隔的三帧差法提取运动区域，能够减少运算成本，变相提高无人机的续航时间，适合无人机航拍视频的运动目标识别，而且不需要背景建模，计算量小，实时性好，可以捕捉到运动缓慢的烟雾区域，得到的运动区域更加完整。采用烟雾颜色判决模型，获取烟雾初步分割图像，再计算面积增长率判断分割图像是否含有烟雾，有效排除太阳、晚霞和一些反光的、在森林场景下运动状态变化不大的物体，提高判断的准确性。针对森林火灾多处并发的规律，将林区进行区域划分，采用无人机组监督和灭火，减少成本、实时性好、监测区域较大、减少人员伤亡；利用改进的分布式的粒子群算法能更好的控制多个侦查无人机协同的、启发式的执行森林火灾识别的巡航任务，提高工作效率，能带来经济收益，最后引入一个分层反馈校正机制，能根据不同情况对算法的相应参数做出调整，提高方法的自适应性和准确性。
附图说明
图1为本发明提供的一种基于无人机协同组网的边缘群体智能方法流程图；
图2为本发明提供的林区划分和无人机及基站的部署示意图。
具体实施方式
为了更加详细的描述本发明提出的一种基于无人机协同组网的边缘群体智能方法，结合附图，举例说明如下：
图1显示了本发明提供的一种基于无人机协同组网的边缘群体智能方法流程，包括以下步骤：
（1）参考图2，将需要巡视的区域划分成
Figure 289295DEST_PATH_IMAGE186
个区域，每个区域都设置有一个无人 机基站，无人机基站内设置有侦查无人机组、灭火无人机组和验证无人机组；
（2）每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中 的运动区域，然后用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步 分割烟雾图像面积变化率
Figure 617508DEST_PATH_IMAGE187
，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为 着火点，并将位置信息和烟雾面积变化率数据同步给基站；
（3）基站比较所有侦察无人机获取着火点处的烟雾面积变化率，找到最大烟雾面 积变化率
Figure 508235DEST_PATH_IMAGE188
所对应的着火点的位置信息，视为所有侦察无人机共同认为的火灾最大的 着火点，并将该着火点的位置信息共享给所有正在执行巡视任务的侦察无人机，然后每个 侦查无人机比较自身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积变化率对 应的着火点的位置信息，作为每个侦察无人机自身认为最大的着火点；每个侦察无人机再 根据所有侦察无人机共同的火灾最大的着火点的位置和自身最大的着火点的位置，根据分 布式的粒子群算法及时调整飞行速度的大小和方向，向所有侦察无人机共同的火灾最大的 着火点的方向飞行进行火点检测，重复步骤（2）-（3），直到定位出森林区域范围内的所有着 火点；
（4）基站根据侦查无人机定位的着火点的位置信息，调度基站内的灭火无人机组对着火点进行灭火；
（5）验证无人机组检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，则采用分层反馈校正机制对自适应三帧差法的间隔进行反馈调整，以及对分布式粒子群算法的随机权值中的影响因子进行反馈调整以用于下次灭火任务。
步骤（2）中，每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频 图像中的运动区域，然后用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计 算初步分割烟雾图像面积变化率
Figure 212886DEST_PATH_IMAGE189
，判断该图像是否为烟雾图像，若是烟雾图像，则判定 此处为着火点，包含如下步骤：
（21）设置一个初始间隔
Figure 754726DEST_PATH_IMAGE190
，
Figure 988261DEST_PATH_IMAGE191
；
（22）从侦察无人机巡航视频中的第
Figure 631863DEST_PATH_IMAGE192
帧图像
Figure 874625DEST_PATH_IMAGE193
开始，每隔
Figure 270972DEST_PATH_IMAGE194
帧提取两组连 续的三帧图像；先将视频图像尺寸归一化为
Figure 940987DEST_PATH_IMAGE195
大小的标准图像，然后进行灰度处理， 得到第一组灰度图像
Figure 258836DEST_PATH_IMAGE196
、
Figure 584251DEST_PATH_IMAGE197
、
Figure 100683DEST_PATH_IMAGE198
，第二组灰度图像
Figure 144862DEST_PATH_IMAGE199
、
Figure 746745DEST_PATH_IMAGE200
、
Figure 82042DEST_PATH_IMAGE201
，m和n为 整数；
（23）第一组和第二组灰度图像一一对应作差，根据设置的阈值T将差分图像分割 为二值图像
Figure 452981DEST_PATH_IMAGE202
，如下式所示：
Figure 464799DEST_PATH_IMAGE203
Figure 288399DEST_PATH_IMAGE204
Figure 224125DEST_PATH_IMAGE205
其中，
Figure 183991DEST_PATH_IMAGE206
代表第
Figure 366710DEST_PATH_IMAGE207
帧图像中坐标
Figure 490655DEST_PATH_IMAGE208
处的像素值大小,
Figure 417023DEST_PATH_IMAGE209
代表第
Figure 496974DEST_PATH_IMAGE210
帧图像中坐标
Figure 863977DEST_PATH_IMAGE211
处的像素值大小，
Figure 662169DEST_PATH_IMAGE212
代表第
Figure 392228DEST_PATH_IMAGE213
帧图像中坐标
Figure 529948DEST_PATH_IMAGE214
处的像素值大小，
Figure 320049DEST_PATH_IMAGE215
代表第
Figure 356270DEST_PATH_IMAGE216
帧图像中坐 标
Figure 624440DEST_PATH_IMAGE217
处的像素值大小，
Figure 678984DEST_PATH_IMAGE218
代表第
Figure 639986DEST_PATH_IMAGE219
帧图像中坐标
Figure 897924DEST_PATH_IMAGE220
处的像素 值大小，
Figure 235364DEST_PATH_IMAGE221
代表第
Figure 409993DEST_PATH_IMAGE222
帧图像中坐标
Figure 276318DEST_PATH_IMAGE223
处的像素值大小；
然后通过逻辑与运算获得图像中属于运动区域的像素点的坐标
Figure 287131DEST_PATH_IMAGE224
：
Figure 897104DEST_PATH_IMAGE225
根据
Figure 926239DEST_PATH_IMAGE226
的坐标提取无人机视频巡航图像中的运动区域：
Figure 963466DEST_PATH_IMAGE227
Figure 914104DEST_PATH_IMAGE228
（24）提取
Figure 872308DEST_PATH_IMAGE229
、
Figure 755951DEST_PATH_IMAGE230
图像的RGB分量，得到
Figure 432920DEST_PATH_IMAGE231
、
Figure 949483DEST_PATH_IMAGE232
、
Figure 901258DEST_PATH_IMAGE233
和
Figure 639407DEST_PATH_IMAGE234
、
Figure 284015DEST_PATH_IMAGE235
、
Figure 225557DEST_PATH_IMAGE236
，根据如下烟雾的颜色判据规 则：
Figure 981024DEST_PATH_IMAGE237
得到
Figure 635996DEST_PATH_IMAGE238
、
Figure 202238DEST_PATH_IMAGE239
、
Figure 880344DEST_PATH_IMAGE240
和
Figure 173922DEST_PATH_IMAGE241
、
Figure 886663DEST_PATH_IMAGE242
、
Figure 620876DEST_PATH_IMAGE243
这 些符合条件的RGB图像的像素点，其中，
Figure 317437DEST_PATH_IMAGE244
，
Figure 414706DEST_PATH_IMAGE245
，
Figure 716374DEST_PATH_IMAGE246
，
Figure 624418DEST_PATH_IMAGE247
，然后获得分割后烟雾图像
Figure 808275DEST_PATH_IMAGE248
和
Figure 443656DEST_PATH_IMAGE249
，再计算烟雾的面积变 化率
Figure 130989DEST_PATH_IMAGE250
：
Figure 209935DEST_PATH_IMAGE251
，其中，
Figure 349929DEST_PATH_IMAGE252
是
Figure 54580DEST_PATH_IMAGE253
中像素值不为0的 个数，
Figure 596420DEST_PATH_IMAGE254
是
Figure 846266DEST_PATH_IMAGE255
中像素值不为0的个数，当满足
Figure 473557DEST_PATH_IMAGE256
时，认为是烟 雾图像，则判定发生森林火灾，将着火点的位置信息和烟雾面积变化率数据同步给无人机 基站；若判定是无烟图像，则舍弃图像，其中，
Figure 450740DEST_PATH_IMAGE257
和
Figure 315928DEST_PATH_IMAGE258
是烟雾面积变化率的阈值；
（25）求相关系数
Figure 985944DEST_PATH_IMAGE259
，
Figure 848333DEST_PATH_IMAGE260
和
Figure 629207DEST_PATH_IMAGE261
：
Figure 145639DEST_PATH_IMAGE076
其中，
Figure 986556DEST_PATH_IMAGE262
代表第
Figure 339171DEST_PATH_IMAGE263
张图像像素的平均值，
Figure 189316DEST_PATH_IMAGE264
代表第
Figure 294675DEST_PATH_IMAGE265
张 图像像素的平均值，
Figure 572072DEST_PATH_IMAGE266
代表第
Figure 880825DEST_PATH_IMAGE267
张图像坐标
Figure 65819DEST_PATH_IMAGE268
的像素值大小，
Figure 25685DEST_PATH_IMAGE269
代表第
Figure 959137DEST_PATH_IMAGE270
张图像坐标
Figure 535611DEST_PATH_IMAGE271
的像素值大小，
Figure 461979DEST_PATH_IMAGE272
时，
Figure 541931DEST_PATH_IMAGE273
为
Figure 908934DEST_PATH_IMAGE274
和
Figure 707125DEST_PATH_IMAGE275
的相关系数，
Figure 437184DEST_PATH_IMAGE276
时，
Figure 637221DEST_PATH_IMAGE277
为
Figure 178055DEST_PATH_IMAGE278
和
Figure 197964DEST_PATH_IMAGE279
的 相关系数，
Figure 731713DEST_PATH_IMAGE280
时，
Figure 786257DEST_PATH_IMAGE281
为
Figure 684943DEST_PATH_IMAGE282
和
Figure 208459DEST_PATH_IMAGE283
的相关系数；
（26）计算平均相关系数
Figure 280320DEST_PATH_IMAGE284
，
Figure 189370DEST_PATH_IMAGE285
，设置阈值
Figure 321274DEST_PATH_IMAGE286
；
（27）根据如下公式更新间隔大小：
Figure 66508DEST_PATH_IMAGE287
Figure 942060DEST_PATH_IMAGE288
其中，f表示间隔的自适应调节部分，初始状态下
Figure 971196DEST_PATH_IMAGE289
，
Figure 8422DEST_PATH_IMAGE290
是一个常数，
Figure 503601DEST_PATH_IMAGE291
代表上一次的间隔大小，
Figure 917264DEST_PATH_IMAGE292
代表更新后的间隔大小，
Figure 66486DEST_PATH_IMAGE293
是设置的最大间隔；
（28）返回步骤（22）重复执行操作，直到所有的巡航视频图像帧处理完毕。
步骤（3）中，根据分布式的粒子群算法，侦察无人机及时调整飞行速度的大小和方向，向所有侦察无人机共同认为火灾最大的着火点的方向飞行进行火点检测，重复步骤（2）-（3），直到定位出森林区域范围内的所有着火点，包含如下步骤：
（31）每个侦查无人机以初始速度
Figure 274613DEST_PATH_IMAGE294
，初始位置
Figure 994439DEST_PATH_IMAGE295
，从基站起飞，每架侦查无人机 检测到的着火点的位置记为：
Figure 211794DEST_PATH_IMAGE296
；
其中，侦查无人机的飞行高度固定，
Figure 949943DEST_PATH_IMAGE297
和
Figure 594550DEST_PATH_IMAGE298
表示第i架侦查无人机 检测到的着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标，N表示侦 查无人机的个数，N个侦查无人机组成一个粒子群，每个侦查无人机作为一个粒子，对于所 有的侦察无人机的速度
Figure 801672DEST_PATH_IMAGE299
和位置
Figure 291559DEST_PATH_IMAGE300
，满足
Figure 680952DEST_PATH_IMAGE301
、
Figure 247194DEST_PATH_IMAGE302
，
Figure 925300DEST_PATH_IMAGE303
、
Figure 281195DEST_PATH_IMAGE304
，
Figure 499597DEST_PATH_IMAGE305
和
Figure 486008DEST_PATH_IMAGE306
是两个相互垂 直的维度上速度分量的最小值和最大值，保证侦察无人机的速度不超速，
Figure 916989DEST_PATH_IMAGE307
和
Figure 14258DEST_PATH_IMAGE308
是 两个相互垂直的维度上位置坐标分量的最小值和最大值，保证侦察无人机不飞出巡航范 围；
（32）侦查无人机i第t次检测到着火点，将该着火点位置数据和烟雾面积变化率数 据同步给无人机基站，然后侦查无人机i比较自身检测到的所有着火点的烟雾面积变化率， 找到最大烟雾面积变化率对应的着火点的位置信息，记为
Figure 332238DEST_PATH_IMAGE309
，作 为侦察无人机i自身最大的着火点；无人机基站再比较所有侦查无人机检测到的着火点的 烟雾面积变化率，将最大的烟雾面积变化率所对应的着火点的位置信息再同步给侦察无人 机i，侦察无人机i记该位置为
Figure 489550DEST_PATH_IMAGE310
，视为所有侦察无人机共 同的最大的着火点的位置，其中，
Figure 142248DEST_PATH_IMAGE311
和
Figure 43208DEST_PATH_IMAGE312
表示侦察无人机i第t次检测到的着火 点在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标；
Figure 746853DEST_PATH_IMAGE313
和
Figure 75066DEST_PATH_IMAGE314
表示侦察无人机i第t次检测到着火点时，无人机基站通过比较所有的着火点处的烟雾面积 变化率以得到最大烟雾面积变化率所对应的着火点，并得到最大烟雾面积变化率所对应的 着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标；侦察无人机i第t+1 次发现着火点时更新的速度
Figure 215060DEST_PATH_IMAGE315
的大小和方向，根据侦察无人机i自身最大的着火点位置 数据
Figure 654132DEST_PATH_IMAGE316
和所有侦察无人机共同的最大的着火点的位置数据
Figure 946704DEST_PATH_IMAGE317
按照如下公式计 算，向着最大的着火点的方向飞行：
Figure 445819DEST_PATH_IMAGE318
其中，
Figure 73109DEST_PATH_IMAGE319
和
Figure 519134DEST_PATH_IMAGE320
是学习因子，
Figure 181059DEST_PATH_IMAGE321
和
Figure 598878DEST_PATH_IMAGE322
是区间
Figure 447885DEST_PATH_IMAGE323
上的随机数，
Figure 494339DEST_PATH_IMAGE324
是 侦察无人机i第t次检测到着火点时更新的速度，其中，
Figure 10770DEST_PATH_IMAGE325
和
Figure 867999DEST_PATH_IMAGE326
是速度
Figure 204303DEST_PATH_IMAGE327
在两个相互垂 直的维度上的速度分量，所以它可以改变侦查无人机i的飞行方向，
Figure 788868DEST_PATH_IMAGE328
是 侦查无人机i第t+1次检测到着火点时更新的速度，侦查无人机i保持该速度的大小和方向 飞行，直到发现下一次着火点才更新它的速度的大小和方向，其中，
Figure 159806DEST_PATH_IMAGE329
和
Figure 922357DEST_PATH_IMAGE330
是速度
Figure 11536DEST_PATH_IMAGE331
在两个相互垂直的维度上的速度分量，
Figure 134212DEST_PATH_IMAGE332
是无人机基站定位的侦察无 人机i第t次检测到着火点时的位置，w是随机权重，用来调节侦察无人机的搜索火场的能 力，
Figure 359657DEST_PATH_IMAGE333
是随机惯性权重的最小值，
Figure 89847DEST_PATH_IMAGE334
是随机惯性权重的最大值，
Figure 135164DEST_PATH_IMAGE335
为区间
Figure 61531DEST_PATH_IMAGE336
上的均匀分布的随机数，
Figure 154865DEST_PATH_IMAGE337
为正态分布的随机数，
Figure 774065DEST_PATH_IMAGE338
为随机因子，是区间
Figure 572257DEST_PATH_IMAGE339
上的常数，用来控制随机性大小。
步骤（4）中的分层反馈校正机制，具体方法如下：
（41）检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，即基站派验证无人机组前去获取漏检火点的视频图像和位置信息，判断着火点的位置是否在侦察无人机的巡检轨迹上；若在轨迹上，则说明间隔更新公式需要调整，则对自适应三帧差法的间隔n的更新公式进行反馈：
步骤a，从p个漏检火点的拍摄视频中，分别选取M帧图像，对M帧烟雾图像先进行二值化处理，将像素值变为0和1；
步骤b，计算每处漏检火点烟雾图像的面积均值
Figure 302315DEST_PATH_IMAGE340
， 其中
Figure 253085DEST_PATH_IMAGE341
，
Figure 980869DEST_PATH_IMAGE342
表示的是第y个漏检火点拍 摄的视频中选取的第c帧图像的二值化之后的图像中像素值为1的个数，视为每帧图像烟雾 的面积；
步骤c，计算M帧图像周长的均值
Figure 266357DEST_PATH_IMAGE343
，其中
Figure 800107DEST_PATH_IMAGE344
，
Figure 854650DEST_PATH_IMAGE345
表示的是第y个漏检火点拍摄的视频中选取的 第c帧图像二值化之后的图像中烟雾区域边界像素值为1的个数，视为每帧图像烟雾的周 长，然后计算每处漏检火点烟雾图像周长的标准差：
Figure 300806DEST_PATH_IMAGE346
；
步骤d，计算烟雾浓度变化率：
Figure 73590DEST_PATH_IMAGE347
，其中，
Figure 411031DEST_PATH_IMAGE348
，
Figure 320081DEST_PATH_IMAGE349
，是每处 漏检火点M帧烟雾图像周长的标准差，
Figure 202717DEST_PATH_IMAGE350
，
Figure 197218DEST_PATH_IMAGE351
，是每处漏检火点M帧烟雾图像周 长的均值，计算漏检度
Figure 72770DEST_PATH_IMAGE352
：
Figure 39589DEST_PATH_IMAGE353
，其中，
Figure 342395DEST_PATH_IMAGE354
是每处漏检火点M帧烟雾图像的面 积均值，
Figure 571994DEST_PATH_IMAGE355
；
步骤e，根据漏检度对自适应间隔三帧差法中间隔的更新公式中的自适应调节部 分进行调节：
Figure 985658DEST_PATH_IMAGE356
，其中，
Figure 869301DEST_PATH_IMAGE357
是一个常数，
Figure 343007DEST_PATH_IMAGE358
是设置的最 小间隔；
（42）若漏检火点不在侦查无人机的巡航轨迹上，则说明分布式粒子群算法的随机 性不足，巡航轨迹覆盖范围不足，就对改进的分布式粒子群算法的随机权值w中的影响因子
Figure 62833DEST_PATH_IMAGE359
进行反馈，加大其随机性，提高巡航路径的覆盖率，为下一次侦察无人机执行森林巡航任 务做准备：
步骤a，计算各个漏检火点
Figure 545767DEST_PATH_IMAGE360
到N个侦察无人机轨迹
Figure 283915DEST_PATH_IMAGE361
的距离的最小值
Figure 928523DEST_PATH_IMAGE362
，其中，
Figure 135645DEST_PATH_IMAGE363
表示第p 个漏检火点到所有轨迹的最短距离；
步骤b，计算平均距离：
Figure 625532DEST_PATH_IMAGE364
；
步骤c，对分布式粒子群算法中的速度更新公式中的随机因子
Figure 483767DEST_PATH_IMAGE365
进行更新：
Figure 33697DEST_PATH_IMAGE366
，其中，
Figure 524852DEST_PATH_IMAGE367
是调整参数，
Figure 84009DEST_PATH_IMAGE368
是上一次侦查无人机组执行 森林巡航任务时的随机因子大小；
当侦察无人机组进行下一次森林巡航检测森林火灾时，将采用反馈更新后的自适应间隔的三帧差法和分布式粒子群算法进行工作。

Claims (4)

1.一种基于无人机协同组网的边缘群体智能方法，其特征在于，该方法包括以下步骤：
（1）将巡视的区域划分成
Figure 687191DEST_PATH_IMAGE001
个区域，每个区域设置一个无人机基站，无人机基站内 设置有侦查无人机组、灭火无人机组和验证无人机组，其中，b和d为整数；
（2）每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中的运 动区域，使用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步分割烟 雾图像面积变化率
Figure 135490DEST_PATH_IMAGE002
，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为着火点， 并将着火点的位置信息和烟雾面积变化率数据同步给基站；
（3）基站比较所有侦察无人机获取着火点处的烟雾面积变化率，找到最大烟雾面积变 化率
Figure 446386DEST_PATH_IMAGE003
所对应的着火点的位置，并视为所有侦察无人机共同的最大的着火点位置，将 该着火点的位置信息共享给所有正在执行巡视任务的侦察无人机，每个侦查无人机比较自 身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积变化率对应的着火点的位置 作为每个侦察无人机自身最大的着火点位置；每个侦察无人机再根据所有侦察无人机共同 的最大的着火点位置和自身最大的着火点位置，以及根据分布式的粒子群算法调整飞行速 度的大小和方向，向所有侦察无人机共同的最大的着火点的方向飞行进行火点检测，重复 步骤（2）-（3），直到定位出巡视区域范围内的所有着火点；
（4）基站根据侦查无人机定位的着火点的位置信息，调度基站内的灭火无人机组对着火点进行灭火；
（5）检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，基站调度验证无人机组获取漏检火点的视频图像和位置信息，采用分层反馈校正机制对自适应三帧差法的间隔进行反馈调整，以及对分布式粒子群算法的随机权值中的影响因子进行反馈调整以用于下次灭火任务。
2.根据权利要求1所述的一种基于无人机协同组网的边缘群体智能方法，其特征在于， 步骤（2）中，每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中的 运动区域，使用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步分割 烟雾图像面积变化率
Figure 576016DEST_PATH_IMAGE004
，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为着火 点，包含如下步骤：
（21）设置初始间隔
Figure 187126DEST_PATH_IMAGE005
，
Figure 744009DEST_PATH_IMAGE006
；
（22）从侦察无人机巡航视频中的第
Figure 292933DEST_PATH_IMAGE007
帧图像
Figure 288571DEST_PATH_IMAGE008
开始，每隔
Figure 488608DEST_PATH_IMAGE009
帧提取两组连续的三 帧图像，先将视频图像尺寸归一化为
Figure 216393DEST_PATH_IMAGE010
大小的标准图像，然后进行灰度处理得到第一 组灰度图像
Figure 767460DEST_PATH_IMAGE011
、
Figure 786362DEST_PATH_IMAGE012
、
Figure 44168DEST_PATH_IMAGE013
，第二组灰度图像
Figure 270750DEST_PATH_IMAGE014
、
Figure 43534DEST_PATH_IMAGE015
、
Figure 53079DEST_PATH_IMAGE016
，m和n为整数；
（23）第一组和第二组灰度图像一一对应作差，根据设置的阈值T将差分图像分割为二 值图像
Figure 493287DEST_PATH_IMAGE017
，如下式所示：
Figure 107415DEST_PATH_IMAGE018
Figure 570757DEST_PATH_IMAGE019
Figure 446309DEST_PATH_IMAGE020
其中，
Figure 475445DEST_PATH_IMAGE021
代表第
Figure 981513DEST_PATH_IMAGE022
帧图像中坐标
Figure 728889DEST_PATH_IMAGE023
处的像素值大小，
Figure 893285DEST_PATH_IMAGE024
代 表第
Figure 980190DEST_PATH_IMAGE025
帧图像中坐标
Figure 719476DEST_PATH_IMAGE026
处的像素值大小，
Figure 688569DEST_PATH_IMAGE027
代表第
Figure 843607DEST_PATH_IMAGE028
帧图像中坐标
Figure 847335DEST_PATH_IMAGE029
处的像素值大小，
Figure 508254DEST_PATH_IMAGE030
代表第
Figure 167906DEST_PATH_IMAGE031
帧图像中坐标
Figure 923372DEST_PATH_IMAGE032
处的像素值大小，
Figure 781607DEST_PATH_IMAGE033
代表第
Figure 597116DEST_PATH_IMAGE034
帧图像中坐标
Figure 744064DEST_PATH_IMAGE035
处的像素值大小，
Figure 53953DEST_PATH_IMAGE036
代表第
Figure 32274DEST_PATH_IMAGE037
帧图像中坐标
Figure 753105DEST_PATH_IMAGE038
处的像素值大小；
通过逻辑与运算，获得图像中属于运动区域的像素点的坐标
Figure 387349DEST_PATH_IMAGE039
：
Figure 750197DEST_PATH_IMAGE040
根据
Figure 348405DEST_PATH_IMAGE041
的坐标提取无人机视频巡航图像中的运动区域：
Figure 443400DEST_PATH_IMAGE042
Figure 361677DEST_PATH_IMAGE043
（24）提取
Figure 528216DEST_PATH_IMAGE044
、
Figure 153233DEST_PATH_IMAGE045
图像的RGB分量得到
Figure 747025DEST_PATH_IMAGE046
、
Figure 637752DEST_PATH_IMAGE047
、
Figure 545665DEST_PATH_IMAGE048
和
Figure 87505DEST_PATH_IMAGE049
、
Figure 852198DEST_PATH_IMAGE050
、
Figure 682751DEST_PATH_IMAGE051
，根据如下烟雾的颜色判据规则：
Figure 925514DEST_PATH_IMAGE052
得到
Figure 338171DEST_PATH_IMAGE053
、
Figure 211450DEST_PATH_IMAGE054
、
Figure 326036DEST_PATH_IMAGE055
和
Figure 372489DEST_PATH_IMAGE056
、
Figure 888921DEST_PATH_IMAGE057
、
Figure 933101DEST_PATH_IMAGE058
符 合条件的RGB图像的像素点，其中，
Figure 551295DEST_PATH_IMAGE059
，
Figure 339123DEST_PATH_IMAGE060
，
Figure 710061DEST_PATH_IMAGE061
，
Figure 987459DEST_PATH_IMAGE062
，然后获得分割后烟雾图像
Figure 14320DEST_PATH_IMAGE063
和
Figure 402576DEST_PATH_IMAGE064
，再计算烟雾的面积变 化率
Figure 641403DEST_PATH_IMAGE065
：
Figure 824123DEST_PATH_IMAGE066
，其中，
Figure 603860DEST_PATH_IMAGE067
是
Figure 795807DEST_PATH_IMAGE068
中不为0的像素值的个 数，
Figure 875759DEST_PATH_IMAGE069
是
Figure 698221DEST_PATH_IMAGE070
中不为0像素值的个数，当满足
Figure 512724DEST_PATH_IMAGE071
时，认为是烟雾图 像，则判定发生火灾，将着火点的位置信息和烟雾面积变化率数据同步给无人机基站；否 则，判定为无烟图像，则舍弃图像，其中，
Figure 242783DEST_PATH_IMAGE072
和
Figure 380503DEST_PATH_IMAGE073
是烟雾面积变化率的阈值；
（25）求相关系数
Figure 436184DEST_PATH_IMAGE074
，
Figure 721672DEST_PATH_IMAGE075
和
Figure 740575DEST_PATH_IMAGE076
：
Figure 998381DEST_PATH_IMAGE077
其中，
Figure 959383DEST_PATH_IMAGE078
代表第
Figure 732167DEST_PATH_IMAGE079
张图像像素的平均值，
Figure 804029DEST_PATH_IMAGE080
代表第
Figure 181920DEST_PATH_IMAGE081
张图 像像素的平均值，
Figure 595715DEST_PATH_IMAGE082
代表第
Figure 855795DEST_PATH_IMAGE083
张图像坐标
Figure 669030DEST_PATH_IMAGE084
的像素值大小，
Figure 698166DEST_PATH_IMAGE085
代表第
Figure 489055DEST_PATH_IMAGE086
张图像坐标
Figure 502010DEST_PATH_IMAGE087
的像素值大小，
Figure 915674DEST_PATH_IMAGE088
时，
Figure 2578DEST_PATH_IMAGE089
为
Figure 741864DEST_PATH_IMAGE090
和
Figure 461690DEST_PATH_IMAGE091
的相关系数，
Figure 616728DEST_PATH_IMAGE092
时，
Figure 886035DEST_PATH_IMAGE093
为
Figure 265064DEST_PATH_IMAGE094
和
Figure 924715DEST_PATH_IMAGE095
的 相关系数，
Figure 945761DEST_PATH_IMAGE096
时，
Figure 554728DEST_PATH_IMAGE097
为
Figure 573499DEST_PATH_IMAGE098
和
Figure 782764DEST_PATH_IMAGE099
的相关系数；
（26）计算平均相关系数
Figure 76342DEST_PATH_IMAGE100
，
Figure 992345DEST_PATH_IMAGE101
，设置阈值
Figure 978756DEST_PATH_IMAGE102
；
（27）根据如下公式更新间隔大小：
Figure 426049DEST_PATH_IMAGE103
Figure 726580DEST_PATH_IMAGE104
其中，f表示间隔的自适应调节部分，初始状态下
Figure 293828DEST_PATH_IMAGE105
，
Figure 716719DEST_PATH_IMAGE106
是一个常数，
Figure 838259DEST_PATH_IMAGE107
代表上 一次的间隔大小，
Figure 473639DEST_PATH_IMAGE108
代表更新后的间隔大小，
Figure 908775DEST_PATH_IMAGE109
是设置的最大间隔；
（28）返回步骤（22）重复执行操作，直到所有的巡航视频图像帧处理完毕。
3.根据权利要求1所述的一种基于无人机协同组网的边缘群体智能方法，其特征在于，步骤（3）中，根据分布式的粒子群算法调整飞行速度的大小和方向，向所有侦察无人机共同的最大的着火点的方向飞行进行火点检测，重复步骤（2）-（3），直到定位出巡视区域范围内的所有着火点，包含如下步骤：
（31）每个侦查无人机以初始速度
Figure 502568DEST_PATH_IMAGE110
，初始位置
Figure 845824DEST_PATH_IMAGE111
，从基站起飞，每架侦查无人机检测 到的着火点的位置记为：
Figure 550475DEST_PATH_IMAGE112
；
其中，侦查无人机飞行高度固定，
Figure 357894DEST_PATH_IMAGE113
和
Figure 607741DEST_PATH_IMAGE114
表示第i架侦查无人机检测到的 着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标，N表示侦查无人机 的个数，N个侦查无人机组成一个粒子群，每个侦查无人机作为一个粒子，对于所有的侦察 无人机的速度
Figure 438294DEST_PATH_IMAGE115
和位置
Figure 681056DEST_PATH_IMAGE116
，满足
Figure 342982DEST_PATH_IMAGE117
、
Figure 216260DEST_PATH_IMAGE118
，
Figure 596426DEST_PATH_IMAGE119
、
Figure 128032DEST_PATH_IMAGE120
，
Figure 847727DEST_PATH_IMAGE121
和
Figure 954223DEST_PATH_IMAGE122
是两个相互垂直的维度上速度分量 的最小值和最大值，
Figure 556105DEST_PATH_IMAGE123
和
Figure 343933DEST_PATH_IMAGE124
是两个相互垂直的维度上位置坐标分量的最小值和最大 值；
（32）侦查无人机i第t次检测到着火点，将该着火点位置数据和烟雾面积变化率数据同 步给无人机基站，然后侦查无人机i比较自身检测到的所有着火点的烟雾面积变化率，找到 最大烟雾面积变化率对应的着火点的位置信息，记为
Figure 714871DEST_PATH_IMAGE125
，作为 侦察无人机i自身最大的着火点位置；无人机基站再比较所有侦查无人机检测到的着火点 的烟雾面积变化率，将最大的烟雾面积变化率所对应着火点的位置信息再同步给侦察无人 机i，侦察无人机i记该位置为
Figure 743001DEST_PATH_IMAGE126
，视为所有侦察无人机共同 的最大的着火点位置，其中，
Figure 769863DEST_PATH_IMAGE127
和
Figure 158119DEST_PATH_IMAGE128
表示侦察无人机i第t次检测到的着火点在 固定高度的平面上的两个相互垂直的维度上的位置的二维坐标；
Figure 649143DEST_PATH_IMAGE129
和
Figure 35125DEST_PATH_IMAGE130
表示 侦察无人机i第t次检测到着火点时，无人机基站通过比较所有的着火点处的烟雾面积变化 率以得到最大烟雾面积变化率所对应的着火点，并得到最大烟雾面积变化率所对应的着火 点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标；侦察无人机i第t+1次发 现着火点时，改变它的速度为
Figure 611600DEST_PATH_IMAGE131
，
Figure 545491DEST_PATH_IMAGE132
的大小和方向，根据侦察无人机i自身最大的着 火点位置数据
Figure 828704DEST_PATH_IMAGE133
和所有侦察无人机共同的最大的着火点的位置数据
Figure 447904DEST_PATH_IMAGE134
按照 如下公式计算，向着最大的着火点的方向飞行：
Figure 511675DEST_PATH_IMAGE135
其中，
Figure 179417DEST_PATH_IMAGE136
和
Figure 379454DEST_PATH_IMAGE137
是学习因子，
Figure 185867DEST_PATH_IMAGE138
和
Figure 409038DEST_PATH_IMAGE139
是区间
Figure 942788DEST_PATH_IMAGE140
上的随机数，
Figure 262911DEST_PATH_IMAGE141
是侦 察无人机i第t次检测到着火点时更新的速度，其中，
Figure 161597DEST_PATH_IMAGE142
和
Figure 934381DEST_PATH_IMAGE143
是速度
Figure 22553DEST_PATH_IMAGE144
在两个相互垂 直的维度上的速度分量，
Figure 134866DEST_PATH_IMAGE145
是侦查无人机i第t+1次检测到着火点时更 新的速度，侦查无人机i保持该速度的大小和方向飞行，直到发现下一次着火点才更新它的 速度的大小和方向，其中，
Figure 266770DEST_PATH_IMAGE146
和
Figure 526850DEST_PATH_IMAGE147
是速度
Figure 402402DEST_PATH_IMAGE148
在两个相互垂直的维度上的速度分量，
Figure 634800DEST_PATH_IMAGE149
是侦察无人机i第t次检测到着火点时的位置，w是随机权重，用来调节侦 察无人机的搜索火场的能力，
Figure 688338DEST_PATH_IMAGE150
是随机惯性权重的最小值，
Figure 435714DEST_PATH_IMAGE151
是随机惯性权重的 最大值，
Figure 52640DEST_PATH_IMAGE152
为区间
Figure 201862DEST_PATH_IMAGE153
上的均匀分布的随机数，
Figure 409989DEST_PATH_IMAGE154
为正态分布的随机数，
Figure 582345DEST_PATH_IMAGE155
为随机因子，其是一个区间
Figure 813082DEST_PATH_IMAGE156
上的常数，用来控制随机性大小。
4.根据权利要求1所述的一种基于无人机协同组网的边缘群体智能方法，其特征在于，步骤（4）中的分层反馈校正机制，具体方法如下：
（41）检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，基站调度验证无人机组获取漏检火点的视频图像和位置信息，判断着火点的位置是否在侦察无人机的巡检轨迹上；若在轨迹上，则对间隔更新公式进行调整，对自适应三帧差法的间隔的更新公式进行反馈：
步骤a，从p个漏检火点的拍摄视频中，分别选取M帧图像，对M帧烟雾图像先进行二值化处理，将像素值变为0和1；
步骤b，计算每处漏检火点烟雾图像的面积均值
Figure 551230DEST_PATH_IMAGE157
，其中，
Figure 399101DEST_PATH_IMAGE158
，
Figure 121069DEST_PATH_IMAGE159
表示的是第y个漏检火点拍 摄的视频中选取的第c帧图像的二值化之后的图像中像素值为1的个数，视为每帧图像烟雾 的面积；
步骤c，计算M帧图像周长的均值
Figure 876535DEST_PATH_IMAGE160
，其中，
Figure 938032DEST_PATH_IMAGE161
，
Figure 769853DEST_PATH_IMAGE162
表示的是第y个漏检火点拍摄的视频中 选取的第c帧图像二值化之后的图像中烟雾区域边界像素值为1的个数，视为每帧图像烟雾 的周长，计算每处漏检火点烟雾图像周长的标准差
Figure 447959DEST_PATH_IMAGE163
；
步骤d，计算烟雾浓度变化率：
Figure 210379DEST_PATH_IMAGE164
，其中，
Figure 188699DEST_PATH_IMAGE165
是每处漏检火点M帧烟雾 图像周长的标准差，
Figure 175110DEST_PATH_IMAGE166
是每处漏检火点M帧烟雾图像周长的均值，计算漏检度
Figure 809353DEST_PATH_IMAGE167
：
Figure 922934DEST_PATH_IMAGE168
，其中，
Figure 490182DEST_PATH_IMAGE169
是每处漏检火点M帧烟雾图像的面积均值；
步骤e，根据漏检度对自适应间隔三帧差法中间隔的更新公式中的自适应调节部分进 行调节：
Figure 850756DEST_PATH_IMAGE170
，其中，
Figure 769033DEST_PATH_IMAGE171
是一个常数，
Figure 669993DEST_PATH_IMAGE172
是设置的最小 间隔；
（42）若漏检火点不在侦查无人机的巡航轨迹上，对分布式粒子群算法的随机权值中的影响因子进行反馈：
步骤a，计算各个漏检火点
Figure 560589DEST_PATH_IMAGE173
到N个侦察无人机轨迹
Figure 639534DEST_PATH_IMAGE174
的距离的最小值
Figure 45108DEST_PATH_IMAGE175
，其中，
Figure 687442DEST_PATH_IMAGE176
表示第p个漏检火点到所有轨 迹的最短距离；
步骤b，计算平均距离：
Figure 229282DEST_PATH_IMAGE177
；
步骤c，对分布式粒子群算法中的速度更新公式中的随机因子
Figure 993975DEST_PATH_IMAGE178
进行更新：
Figure 824528DEST_PATH_IMAGE179
，其中，
Figure 820953DEST_PATH_IMAGE180
是调整参数，
Figure 748457DEST_PATH_IMAGE181
是上一次侦查无人机组执行巡航任务 时的随机因子大小。
CN202110911316.6A 2021-08-10 2021-08-10 一种基于无人机协同组网的边缘群体智能方法 Active CN113361504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110911316.6A CN113361504B (zh) 2021-08-10 2021-08-10 一种基于无人机协同组网的边缘群体智能方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110911316.6A CN113361504B (zh) 2021-08-10 2021-08-10 一种基于无人机协同组网的边缘群体智能方法

Publications (2)

Publication Number Publication Date
CN113361504A true CN113361504A (zh) 2021-09-07
CN113361504B CN113361504B (zh) 2021-11-16

Family

ID=77540781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110911316.6A Active CN113361504B (zh) 2021-08-10 2021-08-10 一种基于无人机协同组网的边缘群体智能方法

Country Status (1)

Country Link
CN (1) CN113361504B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354791A (zh) * 2015-08-21 2016-02-24 华南农业大学 一种改进的自适应混合高斯前景检测方法
CN105892480A (zh) * 2016-03-21 2016-08-24 南京航空航天大学 异构多无人机系统协同察打任务自组织方法
CN106408846A (zh) * 2016-11-29 2017-02-15 周川 基于视频监控平台的图像火灾检测方法
US10102586B1 (en) * 2015-04-30 2018-10-16 Allstate Insurance Company Enhanced unmanned aerial vehicles for damage inspection
CN108830257A (zh) * 2018-06-29 2018-11-16 电子科技大学 一种基于单目光流的潜在障碍物检测方法
CN109350882A (zh) * 2018-09-26 2019-02-19 山东科技大学 一种基于飞轮电池的高层消防无人机
CN109871032A (zh) * 2019-03-04 2019-06-11 中科院成都信息技术股份有限公司 一种基于模型预测控制的多无人机编队协同控制方法
CN110853077A (zh) * 2019-10-17 2020-02-28 广西电网有限责任公司电力科学研究院 一种基于形态变化估计的自适应红外动态帧特征提取方法
CN111325943A (zh) * 2020-02-26 2020-06-23 中电福富信息科技有限公司 基于无人机进行大范围森林防火巡护预警方法及其系统
US10712739B1 (en) * 2014-10-31 2020-07-14 State Farm Mutual Automobile Insurance Company Feedback to facilitate control of unmanned aerial vehicles (UAVs)
US20200387175A1 (en) * 2019-06-06 2020-12-10 Honeywell International Inc. Unmanned aerial vehicle (uav) intelligent emergency voice report system and method
CN112435427A (zh) * 2020-11-12 2021-03-02 光谷技术股份公司 一种森林火灾监测系统和方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10712739B1 (en) * 2014-10-31 2020-07-14 State Farm Mutual Automobile Insurance Company Feedback to facilitate control of unmanned aerial vehicles (UAVs)
US10102586B1 (en) * 2015-04-30 2018-10-16 Allstate Insurance Company Enhanced unmanned aerial vehicles for damage inspection
CN105354791A (zh) * 2015-08-21 2016-02-24 华南农业大学 一种改进的自适应混合高斯前景检测方法
CN105892480A (zh) * 2016-03-21 2016-08-24 南京航空航天大学 异构多无人机系统协同察打任务自组织方法
CN106408846A (zh) * 2016-11-29 2017-02-15 周川 基于视频监控平台的图像火灾检测方法
CN108830257A (zh) * 2018-06-29 2018-11-16 电子科技大学 一种基于单目光流的潜在障碍物检测方法
CN109350882A (zh) * 2018-09-26 2019-02-19 山东科技大学 一种基于飞轮电池的高层消防无人机
CN109871032A (zh) * 2019-03-04 2019-06-11 中科院成都信息技术股份有限公司 一种基于模型预测控制的多无人机编队协同控制方法
US20200387175A1 (en) * 2019-06-06 2020-12-10 Honeywell International Inc. Unmanned aerial vehicle (uav) intelligent emergency voice report system and method
CN110853077A (zh) * 2019-10-17 2020-02-28 广西电网有限责任公司电力科学研究院 一种基于形态变化估计的自适应红外动态帧特征提取方法
CN111325943A (zh) * 2020-02-26 2020-06-23 中电福富信息科技有限公司 基于无人机进行大范围森林防火巡护预警方法及其系统
CN112435427A (zh) * 2020-11-12 2021-03-02 光谷技术股份公司 一种森林火灾监测系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
C. YUAN等: ""UAV-based forest fire detection and tracking using image processing techniques"", 《2015 INTERNATIONAL CONFERENCE ON UNMANNED AIRCRAFT SYSTEMS (ICUAS)》 *
K. A. GHAMRY等: ""Multiple UAVs in forest fire fighting mission using particle swarm optimization"", 《2017 INTERNATIONAL CONFERENCE ON UNMANNED AIRCRAFT SYSTEMS (ICUAS)》 *
焦振田: ""森林防火无人机系统的研究"", 《中国优秀博硕士学位论文全文数据库(硕士)·工程科技Ⅱ辑》 *

Also Published As

Publication number Publication date
CN113361504B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN105957109A (zh) 目标跟踪方法和装置
CN109002048B (zh) 多旋翼无人机规模化集中式光伏电站图像数据采集方法
CN108596883B (zh) 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法
CN110619276B (zh) 基于无人机移动监控的异常及暴力检测系统和方法
JP2019526846A (ja) ビークルのための受動光学検出方法およびシステム
CN110490043A (zh) 一种基于区域划分和特征提取的森林烟火检测方法
CN108108697A (zh) 一种实时无人机视频目标检测与跟踪方法
CN106056624A (zh) 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法
CN111414807A (zh) 一种基于yolo技术的潮水识别与危机预警方法
Petso et al. Automatic animal identification from drone camera based on point pattern analysis of herd behaviour
CN112613334A (zh) 无人机在输电线路上高精度自主巡检图像识别方法
CN111354016A (zh) 基于深度学习和差异值哈希的无人机舰船跟踪方法及系统
CN114419444A (zh) 一种基于深度学习网络的轻量化的高分辨率鸟群识别方法
Liu et al. Multi-UAV Cooperative Task Planning for Border Patrol based on Hierarchical Optimization.
KR102349818B1 (ko) 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론
CN113449566B (zh) 人在回路的“低慢小”目标智能图像跟踪方法及系统
CN114022682A (zh) 一种基于注意力的二次特征融合机制的弱小目标检测方法
CN113361504B (zh) 一种基于无人机协同组网的边缘群体智能方法
CN112861737A (zh) 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法
CN112818964A (zh) 基于FoveaBox无锚神经网络的无人机检测方法
CN116753778A (zh) 一种基于信息融合与任务分配的无人机反制系统和方法
CN110956611A (zh) 一种集成卷积神经网络的烟雾检测方法
CN112241180B (zh) 一种无人机移动平台降落引导的视觉处理方法
CN112493228B (zh) 一种基于三维信息估算的激光驱鸟方法及系统
CN115407799A (zh) 一种用于垂直起降飞行器的飞行控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant