CN113361504A - 一种基于无人机协同组网的边缘群体智能方法 - Google Patents
一种基于无人机协同组网的边缘群体智能方法 Download PDFInfo
- Publication number
- CN113361504A CN113361504A CN202110911316.6A CN202110911316A CN113361504A CN 113361504 A CN113361504 A CN 113361504A CN 202110911316 A CN202110911316 A CN 202110911316A CN 113361504 A CN113361504 A CN 113361504A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- image
- smoke
- fire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000006855 networking Effects 0.000 title claims abstract description 14
- 239000000779 smoke Substances 0.000 claims abstract description 125
- 238000001514 detection method Methods 0.000 claims abstract description 73
- 230000008859 change Effects 0.000 claims abstract description 60
- 239000002245 particle Substances 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 8
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 238000011835 investigation Methods 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 15
- 239000000126 substance Substances 0.000 claims description 12
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims 2
- 238000009795 derivation Methods 0.000 claims 1
- 230000009123 feedback regulation Effects 0.000 abstract 1
- 238000005457 optimization Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A62—LIFE-SAVING; FIRE-FIGHTING
- A62C—FIRE-FIGHTING
- A62C19/00—Hand fire-extinguishers in which the extinguishing substance is expelled by an explosion; Exploding containers thrown into the fire
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
- B64D1/16—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了基于无人机协同组网的边缘群体智能方法,首先,通过一种面向森林火灾烟雾检测的具有自适应间隔的三帧差法提取运动区域,降低了单个无人机烟雾检测的数据运算成本,用烟雾颜色判据模型对运动区域进行提取,获得烟雾图像,再通过计算烟雾的面积变化率判断是否为烟雾图像,提高无人机烟雾检测的准确率;本发明提出了一种改进的分布式的粒子群算法,用多个侦查无人机协同工作,对森林火灾进行实时监控和定位,能够有效地识别森林火灾,降低漏检率,并对火灾做出及时响应,提高无人机组的工作效率;还提出了一种分层反馈校正机制,反馈调节、优化提升自适应间隔三帧差法和改进的分布式粒子群算法。
Description
技术领域
本发明涉及边缘群体智能领域,尤其涉及一种基于无人机协同组网的边缘群体智能方法。
背景技术
近年来,由于人类活动的复杂度不断增加,各种工作任务都交由多个智能设备进行处理,对智能设备群体智能协同工作方法的研究层出不穷,而且应用广泛,例如,由于人类的各种活动,导致全球天气发生异常而引发的森林火灾,在这种人工监督不适合的场景下,国内外开始研究各种群体智能方法,逐渐使用无人机代替人工检测的方式,不断的提高林火监测技术,优化监测方案。森林火灾的及时发现是减少人员伤亡、经济损失的重要手段,因此,具有十分重要的意义。
目前存在森林火灾多处并发,且火灾初期人工检测难以发现的特点,人工检测成本高、监测区域小、工作效率低下,容易造成人员伤亡的现象。一些火灾烟雾检测算法应用于森林火灾识别场景中还是存在误检、抗干扰能力差的缺点,图片中如果存在干扰物的颜色与烟雾比较相似,如漂浮的雾气或云朵等,容易出现目标区域的错误分割,可能出现漏检,导致后续森林火灾的识别困难。随着经济的发展,各种科学技术发展迅速,无人机技术便是其中的一种。当前的无人机技术发展良好并逐渐走向成熟,在各领域的应用比较广泛,具有良好的前景,尤其是在森林的灭火防火领域具有人工没有的优势:无人机能在空中进行侦查,对火场的具体形式进行实时回传,能够给防火灭火指挥员提供准确信息,但是无人机存在数据处理运算成本高的问题。
发明内容
发明目的:针对目前火灾识别技术应用于森林火灾识别场景中识别率下降,检测方法自适应性不强、可能会出现烟雾漏检的情况和森林火灾具有多处并发,且火灾初期人工检测难以发现的特点;采用人工火灾监测和灭火成本过大,实时性较差、监测区域较小,容易造成人员伤亡;无人机作业效率低下、续航能力不足、数据处理成本较高等一系列问题,本发明提出了一种基于无人机协同组网的边缘群体智能方法。
技术方案:为了克服上述现有技术的不足,本发明提出一种基于无人机协同组网的边缘群体智能方法,包括以下步骤:
(2)每个基站内的侦查无人机使用自适应间隔的三帧差法,提取巡航视频图像中
的运动区域,然后用烟雾颜色判据对运动区域进行分割,获取初步分割烟雾图像,计算初步
分割烟雾图像面积变化率,判断该图像是否为烟雾图像,若是烟雾图像,则判定此处为
着火点,并将位置信息和烟雾面积变化率数据同步给基站;
(3)基站比较所有侦察无人机获取着火点处的烟雾面积变化率,找到最大烟雾面
积变化率所对应的着火点的位置信息,视为所有侦察无人机共同认为的火灾最大的
着火点,并将该着火点的位置信息共享给所有正在执行巡视任务的侦察无人机,然后每个
侦查无人机比较自身检测到的所有着火点的烟雾面积变化率,找到最大烟雾面积变化率对
应的着火点的位置信息,作为每个侦察无人机自身认为最大的着火点;每个侦察无人机再
根据所有侦察无人机共同的火灾最大的着火点的位置和自身最大的着火点的位置,根据分
布式的粒子群算法及时调整飞行速度的大小和方向,向所有侦察无人机共同的火灾最大的
着火点的方向飞行进行火点检测,重复步骤(2)-(3),直到定位出森林区域范围内的所有着
火点;
(4)基站根据侦查无人机定位的着火点的位置信息,调度基站内的灭火无人机组对着火点进行灭火;
(5)验证无人机组检查是否存在巡航检测过程中遗漏的着火点,若存在漏检火点,则采用分层反馈校正机制对自适应三帧差法的间隔进行反馈调整,以及对分布式粒子群算法的随机权值中的影响因子进行反馈调整以用于下次灭火任务。
优选的,步骤(2)中,每个基站内的侦查无人机使用自适应间隔的三帧差法,提取
巡航视频图像中的运动区域,然后用烟雾颜色判据对运动区域进行分割,获取初步分割烟
雾图像,计算初步分割烟雾图像面积变化率,判断该图像是否为烟雾图像,若是烟雾图
像,则判定此处为着火点,包含如下步骤:
其中,代表第帧图像中坐标处的像素值大小,代表第帧图像中坐标处的像素值大小,代表第帧图像中坐标处的像素值大小,代表第帧图像中坐标处的像素值大小,代表第帧图像中坐标处的像素值大
小,代表第帧图像中坐标处的像素值大小;
得到、、和、、
这些符合条件的RGB图像的像素点,其中,,,,,然后获得分割后烟雾图像和,再计算烟雾的面积
变化率:,其中,是中像素值不为
0的个数,是中像素值不为0的个数,当满足时,认为
是烟雾图像,则判定发生森林火灾,将着火点的位置信息和烟雾面积变化率数据同步给无
人机基站;若判定是无烟图像,则舍弃图像,其中,和是烟雾面积变化率的阈值;
(27)根据如下公式更新间隔大小:
(28)返回步骤(22)重复执行操作,直到所有的巡航视频图像帧处理完毕。
优选的,步骤(3)中,根据分布式的粒子群算法及时调整飞行速度的大小和方向,向所有侦察无人机共同认为火灾最大的着火点的方向飞行进行火点检测,重复步骤(2)-(3),直到定位出森林区域范围内的所有着火点,包含如下步骤:
其中,侦查无人机飞行高度固定,和表示第i架侦查无人机检测
到的着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标,N表示侦查无
人机的个数,N个侦查无人机组成一个粒子群,每个侦查无人机作为一个粒子,对于所有的
侦察无人机的速度和位置,要满足、,、,和是两个相互垂
直的维度上速度分量的最小值和最大值,保证侦察无人机的速度不超速,和是
两个相互垂直的维度上位置坐标分量的最小值和最大值,保证侦察无人机不飞出巡航范
围;
(32)侦查无人机i第t次检测到着火点,将该着火点位置数据和烟雾面积变化率数
据同步给无人机基站,然后侦查无人机i比较自身检测到的所有着火点的烟雾面积变化率,
找到最大烟雾面积变化率对应的着火点的位置信息,记为,
作为侦察无人机i自身最大的着火点;无人机基站再比较所有侦查无人机检测到的着火点
的烟雾面积变化率,将最大的烟雾面积变化率所对应着火点的位置信息再同步给侦察无人
机i,侦察无人机i记该位置为,视为所有侦察无人机共
同的最大的着火点的位置,其中,和表示侦察无人机i第t次检测到的着
火点在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标;和表示侦察无人机i第t次检测到着火点时,无人机基站通过比较所有的着火点处的
烟雾面积变化率以得到最大烟雾面积变化率所对应的着火点,并得到最大烟雾面积变化率
所对应的着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标;侦察无人
机i第t+1次发现着火点时,需要更新速度为,的大小和方向,根据侦察无人机i
自身最大的着火点位置数据和所有侦察无人机共同的最大的着火点的位置数据按照如下公式计算,向着最大的着火点的方向飞:
其中,和是学习因子,和是区间上的随机数,是
侦察无人机i第t次检测到着火点时更新的速度,其中,和是速度在两个相互垂
直的维度上的速度分量,所以它可以改变侦查无人机i的飞行方向,
是侦查无人机i第t+1次检测到着火点时更新的速度,侦查无人机i保持该速度的大小和方
向飞行,直到发现下一次着火点才更新它的速度的大小和方向,其中,和是速度在两个相互垂直的维度上的速度分量,是无人机基站定位的侦察无
人机i第t次检测到着火点时的位置,w是随机权重,用来调节侦察无人机的搜索火场的能
力,是随机惯性权重的最小值,是随机惯性权重的最大值,为区间上
的均匀分布的随机数,为正态分布的随机数,为随机因子,是区间上的常
数,用来控制随机性大小。
优选的,步骤(4)中的分层反馈校正机制,具体方法如下:
(41)检查是否存在巡航检测过程中遗漏的着火点,若存在漏检火点,即基站派验
证无人机组前去获取漏检火点的视频图像和位置信息,判断着火点的位置是否在侦察无人
机的巡检轨迹上;若在轨迹上,则说明间隔更新公式需要调整,则对自适应三帧差法的间隔的更新公式进行反馈:
步骤a,从p个漏检火点的拍摄视频中,分别选取M帧图像,对M帧烟雾图像先进行二值化处理,将像素值变为0和1;
步骤c,计算M帧图像周长的均值,其中,表示的是第y个漏检火点拍摄的
视频中选取的第c帧图像二值化之后的图像中烟雾区域边界像素值为1的个数,视为每帧图
像烟雾的周长,然后计算每处漏检火点烟雾图像周长的标准差,;
(42)若漏检火点不在侦查无人机的巡航轨迹上,则说明分布式粒子群算法的随机
性不足,巡航轨迹覆盖范围不足,就对改进的分布式粒子群算法的随机权值w中的影响因子进行反馈,加大其随机性,提高巡航路径的覆盖率,为下一次侦察无人机执行森林巡航任
务做准备:
当侦察无人机组进行下一次森林巡航检测森林火灾时,将采用反馈更新后的自适应间隔的三帧差法和分布式粒子群算法进行工作。
有益效果:与现有技术相比,本发明的技术方案具有以下有益技术效果:
本发明提出的一种基于无人机协同组网的边缘群体智能方法。对侦查无人机获取的视频先用具有自适应间隔的三帧差法提取运动区域,能够减少运算成本,变相提高无人机的续航时间,适合无人机航拍视频的运动目标识别,而且不需要背景建模,计算量小,实时性好,可以捕捉到运动缓慢的烟雾区域,得到的运动区域更加完整。采用烟雾颜色判决模型,获取烟雾初步分割图像,再计算面积增长率判断分割图像是否含有烟雾,有效排除太阳、晚霞和一些反光的、在森林场景下运动状态变化不大的物体,提高判断的准确性。针对森林火灾多处并发的规律,将林区进行区域划分,采用无人机组监督和灭火,减少成本、实时性好、监测区域较大、减少人员伤亡;利用改进的分布式的粒子群算法能更好的控制多个侦查无人机协同的、启发式的执行森林火灾识别的巡航任务,提高工作效率,能带来经济收益,最后引入一个分层反馈校正机制,能根据不同情况对算法的相应参数做出调整,提高方法的自适应性和准确性。
附图说明
图1为本发明提供的一种基于无人机协同组网的边缘群体智能方法流程图;
图2为本发明提供的林区划分和无人机及基站的部署示意图。
具体实施方式
为了更加详细的描述本发明提出的一种基于无人机协同组网的边缘群体智能方法,结合附图,举例说明如下:
图1显示了本发明提供的一种基于无人机协同组网的边缘群体智能方法流程,包括以下步骤:
(2)每个基站内的侦查无人机使用自适应间隔的三帧差法,提取巡航视频图像中
的运动区域,然后用烟雾颜色判据对运动区域进行分割,获取初步分割烟雾图像,计算初步
分割烟雾图像面积变化率,判断该图像是否为烟雾图像,若是烟雾图像,则判定此处为
着火点,并将位置信息和烟雾面积变化率数据同步给基站;
(3)基站比较所有侦察无人机获取着火点处的烟雾面积变化率,找到最大烟雾面
积变化率所对应的着火点的位置信息,视为所有侦察无人机共同认为的火灾最大的
着火点,并将该着火点的位置信息共享给所有正在执行巡视任务的侦察无人机,然后每个
侦查无人机比较自身检测到的所有着火点的烟雾面积变化率,找到最大烟雾面积变化率对
应的着火点的位置信息,作为每个侦察无人机自身认为最大的着火点;每个侦察无人机再
根据所有侦察无人机共同的火灾最大的着火点的位置和自身最大的着火点的位置,根据分
布式的粒子群算法及时调整飞行速度的大小和方向,向所有侦察无人机共同的火灾最大的
着火点的方向飞行进行火点检测,重复步骤(2)-(3),直到定位出森林区域范围内的所有着
火点;
(4)基站根据侦查无人机定位的着火点的位置信息,调度基站内的灭火无人机组对着火点进行灭火;
(5)验证无人机组检查是否存在巡航检测过程中遗漏的着火点,若存在漏检火点,则采用分层反馈校正机制对自适应三帧差法的间隔进行反馈调整,以及对分布式粒子群算法的随机权值中的影响因子进行反馈调整以用于下次灭火任务。
步骤(2)中,每个基站内的侦查无人机使用自适应间隔的三帧差法,提取巡航视频
图像中的运动区域,然后用烟雾颜色判据对运动区域进行分割,获取初步分割烟雾图像,计
算初步分割烟雾图像面积变化率,判断该图像是否为烟雾图像,若是烟雾图像,则判定
此处为着火点,包含如下步骤:
其中,代表第帧图像中坐标处的像素值大小, 代表第帧图像中坐标处的像素值大小,代表第帧图像中坐标处的像素值大小,代表第帧图像中坐
标处的像素值大小,代表第帧图像中坐标处的像素
值大小,代表第帧图像中坐标处的像素值大小;
得到、、和、、这
些符合条件的RGB图像的像素点,其中,,,,,然后获得分割后烟雾图像和,再计算烟雾的面积变
化率:,其中,是中像素值不为0的
个数,是中像素值不为0的个数,当满足时,认为是烟
雾图像,则判定发生森林火灾,将着火点的位置信息和烟雾面积变化率数据同步给无人机
基站;若判定是无烟图像,则舍弃图像,其中,和是烟雾面积变化率的阈值;
(27)根据如下公式更新间隔大小:
(28)返回步骤(22)重复执行操作,直到所有的巡航视频图像帧处理完毕。
步骤(3)中,根据分布式的粒子群算法,侦察无人机及时调整飞行速度的大小和方向,向所有侦察无人机共同认为火灾最大的着火点的方向飞行进行火点检测,重复步骤(2)-(3),直到定位出森林区域范围内的所有着火点,包含如下步骤:
其中,侦查无人机的飞行高度固定,和表示第i架侦查无人机
检测到的着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标,N表示侦
查无人机的个数,N个侦查无人机组成一个粒子群,每个侦查无人机作为一个粒子,对于所
有的侦察无人机的速度和位置,满足、,、,和是两个相互垂
直的维度上速度分量的最小值和最大值,保证侦察无人机的速度不超速,和是
两个相互垂直的维度上位置坐标分量的最小值和最大值,保证侦察无人机不飞出巡航范
围;
(32)侦查无人机i第t次检测到着火点,将该着火点位置数据和烟雾面积变化率数
据同步给无人机基站,然后侦查无人机i比较自身检测到的所有着火点的烟雾面积变化率,
找到最大烟雾面积变化率对应的着火点的位置信息,记为,作
为侦察无人机i自身最大的着火点;无人机基站再比较所有侦查无人机检测到的着火点的
烟雾面积变化率,将最大的烟雾面积变化率所对应的着火点的位置信息再同步给侦察无人
机i,侦察无人机i记该位置为,视为所有侦察无人机共
同的最大的着火点的位置,其中,和表示侦察无人机i第t次检测到的着火
点在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标;和
表示侦察无人机i第t次检测到着火点时,无人机基站通过比较所有的着火点处的烟雾面积
变化率以得到最大烟雾面积变化率所对应的着火点,并得到最大烟雾面积变化率所对应的
着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标;侦察无人机i第t+1
次发现着火点时更新的速度的大小和方向,根据侦察无人机i自身最大的着火点位置
数据和所有侦察无人机共同的最大的着火点的位置数据按照如下公式计
算,向着最大的着火点的方向飞行:
其中,和是学习因子,和是区间上的随机数,是
侦察无人机i第t次检测到着火点时更新的速度,其中,和是速度在两个相互垂
直的维度上的速度分量,所以它可以改变侦查无人机i的飞行方向,是
侦查无人机i第t+1次检测到着火点时更新的速度,侦查无人机i保持该速度的大小和方向
飞行,直到发现下一次着火点才更新它的速度的大小和方向,其中,和是速度在两个相互垂直的维度上的速度分量,是无人机基站定位的侦察无
人机i第t次检测到着火点时的位置,w是随机权重,用来调节侦察无人机的搜索火场的能
力,是随机惯性权重的最小值,是随机惯性权重的最大值,为区间上的均匀分布的随机数,为正态分布的随机数,为随机因子,是区间上的常数,用来控制随机性大小。
步骤(4)中的分层反馈校正机制,具体方法如下:
(41)检查是否存在巡航检测过程中遗漏的着火点,若存在漏检火点,即基站派验证无人机组前去获取漏检火点的视频图像和位置信息,判断着火点的位置是否在侦察无人机的巡检轨迹上;若在轨迹上,则说明间隔更新公式需要调整,则对自适应三帧差法的间隔n的更新公式进行反馈:
步骤a,从p个漏检火点的拍摄视频中,分别选取M帧图像,对M帧烟雾图像先进行二值化处理,将像素值变为0和1;
步骤c,计算M帧图像周长的均值,其中,表示的是第y个漏检火点拍摄的视频中选取的
第c帧图像二值化之后的图像中烟雾区域边界像素值为1的个数,视为每帧图像烟雾的周
长,然后计算每处漏检火点烟雾图像周长的标准差:;
(42)若漏检火点不在侦查无人机的巡航轨迹上,则说明分布式粒子群算法的随机
性不足,巡航轨迹覆盖范围不足,就对改进的分布式粒子群算法的随机权值w中的影响因子进行反馈,加大其随机性,提高巡航路径的覆盖率,为下一次侦察无人机执行森林巡航任
务做准备:
当侦察无人机组进行下一次森林巡航检测森林火灾时,将采用反馈更新后的自适应间隔的三帧差法和分布式粒子群算法进行工作。
Claims (4)
1.一种基于无人机协同组网的边缘群体智能方法,其特征在于,该方法包括以下步骤:
(2)每个基站内的侦查无人机使用自适应间隔的三帧差法,提取巡航视频图像中的运
动区域,使用烟雾颜色判据对运动区域进行分割,获取初步分割烟雾图像,计算初步分割烟
雾图像面积变化率 ,判断该图像是否为烟雾图像,若是烟雾图像,则判定此处为着火点,
并将着火点的位置信息和烟雾面积变化率数据同步给基站;
(3)基站比较所有侦察无人机获取着火点处的烟雾面积变化率,找到最大烟雾面积变
化率 所对应的着火点的位置,并视为所有侦察无人机共同的最大的着火点位置,将
该着火点的位置信息共享给所有正在执行巡视任务的侦察无人机,每个侦查无人机比较自
身检测到的所有着火点的烟雾面积变化率,找到最大烟雾面积变化率对应的着火点的位置
作为每个侦察无人机自身最大的着火点位置;每个侦察无人机再根据所有侦察无人机共同
的最大的着火点位置和自身最大的着火点位置,以及根据分布式的粒子群算法调整飞行速
度的大小和方向,向所有侦察无人机共同的最大的着火点的方向飞行进行火点检测,重复
步骤(2)-(3),直到定位出巡视区域范围内的所有着火点;
(4)基站根据侦查无人机定位的着火点的位置信息,调度基站内的灭火无人机组对着火点进行灭火;
(5)检查是否存在巡航检测过程中遗漏的着火点,若存在漏检火点,基站调度验证无人机组获取漏检火点的视频图像和位置信息,采用分层反馈校正机制对自适应三帧差法的间隔进行反馈调整,以及对分布式粒子群算法的随机权值中的影响因子进行反馈调整以用于下次灭火任务。
2.根据权利要求1所述的一种基于无人机协同组网的边缘群体智能方法,其特征在于,
步骤(2)中,每个基站内的侦查无人机使用自适应间隔的三帧差法,提取巡航视频图像中的
运动区域,使用烟雾颜色判据对运动区域进行分割,获取初步分割烟雾图像,计算初步分割
烟雾图像面积变化率,判断该图像是否为烟雾图像,若是烟雾图像,则判定此处为着火
点,包含如下步骤:
其中,代表第帧图像中坐标处的像素值大小,代
表第帧图像中坐标处的像素值大小,代表第帧图像中坐标处的像素值大小,代表第帧图像中坐标处的像素值大小,代表第帧图像中坐标处的像素值大小,代表第帧图像中坐标处的像素值大小;
得到、、和、、符
合条件的RGB图像的像素点,其中,,,,,然后获得分割后烟雾图像和,再计算烟雾的面积变
化率:,其中,是中不为0的像素值的个
数,是中不为0像素值的个数,当满足时,认为是烟雾图
像,则判定发生火灾,将着火点的位置信息和烟雾面积变化率数据同步给无人机基站;否
则,判定为无烟图像,则舍弃图像,其中,和是烟雾面积变化率的阈值;
(27)根据如下公式更新间隔大小:
(28)返回步骤(22)重复执行操作,直到所有的巡航视频图像帧处理完毕。
3.根据权利要求1所述的一种基于无人机协同组网的边缘群体智能方法,其特征在于,步骤(3)中,根据分布式的粒子群算法调整飞行速度的大小和方向,向所有侦察无人机共同的最大的着火点的方向飞行进行火点检测,重复步骤(2)-(3),直到定位出巡视区域范围内的所有着火点,包含如下步骤:
其中,侦查无人机飞行高度固定,和表示第i架侦查无人机检测到的
着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标,N表示侦查无人机
的个数,N个侦查无人机组成一个粒子群,每个侦查无人机作为一个粒子,对于所有的侦察
无人机的速度和位置,满足、,、,和是两个相互垂直的维度上速度分量
的最小值和最大值,和是两个相互垂直的维度上位置坐标分量的最小值和最大
值;
(32)侦查无人机i第t次检测到着火点,将该着火点位置数据和烟雾面积变化率数据同
步给无人机基站,然后侦查无人机i比较自身检测到的所有着火点的烟雾面积变化率,找到
最大烟雾面积变化率对应的着火点的位置信息,记为,作为
侦察无人机i自身最大的着火点位置;无人机基站再比较所有侦查无人机检测到的着火点
的烟雾面积变化率,将最大的烟雾面积变化率所对应着火点的位置信息再同步给侦察无人
机i,侦察无人机i记该位置为,视为所有侦察无人机共同
的最大的着火点位置,其中,和表示侦察无人机i第t次检测到的着火点在
固定高度的平面上的两个相互垂直的维度上的位置的二维坐标;和表示
侦察无人机i第t次检测到着火点时,无人机基站通过比较所有的着火点处的烟雾面积变化
率以得到最大烟雾面积变化率所对应的着火点,并得到最大烟雾面积变化率所对应的着火
点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标;侦察无人机i第t+1次发
现着火点时,改变它的速度为,的大小和方向,根据侦察无人机i自身最大的着
火点位置数据和所有侦察无人机共同的最大的着火点的位置数据按照
如下公式计算,向着最大的着火点的方向飞行:
4.根据权利要求1所述的一种基于无人机协同组网的边缘群体智能方法,其特征在于,步骤(4)中的分层反馈校正机制,具体方法如下:
(41)检查是否存在巡航检测过程中遗漏的着火点,若存在漏检火点,基站调度验证无人机组获取漏检火点的视频图像和位置信息,判断着火点的位置是否在侦察无人机的巡检轨迹上;若在轨迹上,则对间隔更新公式进行调整,对自适应三帧差法的间隔的更新公式进行反馈:
步骤a,从p个漏检火点的拍摄视频中,分别选取M帧图像,对M帧烟雾图像先进行二值化处理,将像素值变为0和1;
步骤c,计算M帧图像周长的均值,其中,,表示的是第y个漏检火点拍摄的视频中
选取的第c帧图像二值化之后的图像中烟雾区域边界像素值为1的个数,视为每帧图像烟雾
的周长,计算每处漏检火点烟雾图像周长的标准差;
(42)若漏检火点不在侦查无人机的巡航轨迹上,对分布式粒子群算法的随机权值中的影响因子进行反馈:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110911316.6A CN113361504B (zh) | 2021-08-10 | 2021-08-10 | 一种基于无人机协同组网的边缘群体智能方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110911316.6A CN113361504B (zh) | 2021-08-10 | 2021-08-10 | 一种基于无人机协同组网的边缘群体智能方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113361504A true CN113361504A (zh) | 2021-09-07 |
CN113361504B CN113361504B (zh) | 2021-11-16 |
Family
ID=77540781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110911316.6A Active CN113361504B (zh) | 2021-08-10 | 2021-08-10 | 一种基于无人机协同组网的边缘群体智能方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113361504B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105354791A (zh) * | 2015-08-21 | 2016-02-24 | 华南农业大学 | 一种改进的自适应混合高斯前景检测方法 |
CN105892480A (zh) * | 2016-03-21 | 2016-08-24 | 南京航空航天大学 | 异构多无人机系统协同察打任务自组织方法 |
CN106408846A (zh) * | 2016-11-29 | 2017-02-15 | 周川 | 基于视频监控平台的图像火灾检测方法 |
US10102586B1 (en) * | 2015-04-30 | 2018-10-16 | Allstate Insurance Company | Enhanced unmanned aerial vehicles for damage inspection |
CN108830257A (zh) * | 2018-06-29 | 2018-11-16 | 电子科技大学 | 一种基于单目光流的潜在障碍物检测方法 |
CN109350882A (zh) * | 2018-09-26 | 2019-02-19 | 山东科技大学 | 一种基于飞轮电池的高层消防无人机 |
CN109871032A (zh) * | 2019-03-04 | 2019-06-11 | 中科院成都信息技术股份有限公司 | 一种基于模型预测控制的多无人机编队协同控制方法 |
CN110853077A (zh) * | 2019-10-17 | 2020-02-28 | 广西电网有限责任公司电力科学研究院 | 一种基于形态变化估计的自适应红外动态帧特征提取方法 |
CN111325943A (zh) * | 2020-02-26 | 2020-06-23 | 中电福富信息科技有限公司 | 基于无人机进行大范围森林防火巡护预警方法及其系统 |
US10712739B1 (en) * | 2014-10-31 | 2020-07-14 | State Farm Mutual Automobile Insurance Company | Feedback to facilitate control of unmanned aerial vehicles (UAVs) |
US20200387175A1 (en) * | 2019-06-06 | 2020-12-10 | Honeywell International Inc. | Unmanned aerial vehicle (uav) intelligent emergency voice report system and method |
CN112435427A (zh) * | 2020-11-12 | 2021-03-02 | 光谷技术股份公司 | 一种森林火灾监测系统和方法 |
-
2021
- 2021-08-10 CN CN202110911316.6A patent/CN113361504B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10712739B1 (en) * | 2014-10-31 | 2020-07-14 | State Farm Mutual Automobile Insurance Company | Feedback to facilitate control of unmanned aerial vehicles (UAVs) |
US10102586B1 (en) * | 2015-04-30 | 2018-10-16 | Allstate Insurance Company | Enhanced unmanned aerial vehicles for damage inspection |
CN105354791A (zh) * | 2015-08-21 | 2016-02-24 | 华南农业大学 | 一种改进的自适应混合高斯前景检测方法 |
CN105892480A (zh) * | 2016-03-21 | 2016-08-24 | 南京航空航天大学 | 异构多无人机系统协同察打任务自组织方法 |
CN106408846A (zh) * | 2016-11-29 | 2017-02-15 | 周川 | 基于视频监控平台的图像火灾检测方法 |
CN108830257A (zh) * | 2018-06-29 | 2018-11-16 | 电子科技大学 | 一种基于单目光流的潜在障碍物检测方法 |
CN109350882A (zh) * | 2018-09-26 | 2019-02-19 | 山东科技大学 | 一种基于飞轮电池的高层消防无人机 |
CN109871032A (zh) * | 2019-03-04 | 2019-06-11 | 中科院成都信息技术股份有限公司 | 一种基于模型预测控制的多无人机编队协同控制方法 |
US20200387175A1 (en) * | 2019-06-06 | 2020-12-10 | Honeywell International Inc. | Unmanned aerial vehicle (uav) intelligent emergency voice report system and method |
CN110853077A (zh) * | 2019-10-17 | 2020-02-28 | 广西电网有限责任公司电力科学研究院 | 一种基于形态变化估计的自适应红外动态帧特征提取方法 |
CN111325943A (zh) * | 2020-02-26 | 2020-06-23 | 中电福富信息科技有限公司 | 基于无人机进行大范围森林防火巡护预警方法及其系统 |
CN112435427A (zh) * | 2020-11-12 | 2021-03-02 | 光谷技术股份公司 | 一种森林火灾监测系统和方法 |
Non-Patent Citations (3)
Title |
---|
C. YUAN等: ""UAV-based forest fire detection and tracking using image processing techniques"", 《2015 INTERNATIONAL CONFERENCE ON UNMANNED AIRCRAFT SYSTEMS (ICUAS)》 * |
K. A. GHAMRY等: ""Multiple UAVs in forest fire fighting mission using particle swarm optimization"", 《2017 INTERNATIONAL CONFERENCE ON UNMANNED AIRCRAFT SYSTEMS (ICUAS)》 * |
焦振田: ""森林防火无人机系统的研究"", 《中国优秀博硕士学位论文全文数据库(硕士)·工程科技Ⅱ辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113361504B (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105957109A (zh) | 目标跟踪方法和装置 | |
CN109002048B (zh) | 多旋翼无人机规模化集中式光伏电站图像数据采集方法 | |
CN110619276B (zh) | 基于无人机移动监控的异常及暴力检测系统和方法 | |
CN108596883B (zh) | 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法 | |
CN110490043A (zh) | 一种基于区域划分和特征提取的森林烟火检测方法 | |
CN106056624A (zh) | 无人机高清图像小目标检测与跟踪系统及其检测跟踪方法 | |
CN111414807A (zh) | 一种基于yolo技术的潮水识别与危机预警方法 | |
Petso et al. | Automatic animal identification from drone camera based on point pattern analysis of herd behaviour | |
Liu et al. | Multi-UAV Cooperative Task Planning for Border Patrol based on Hierarchical Optimization. | |
CN111354016A (zh) | 基于深度学习和差异值哈希的无人机舰船跟踪方法及系统 | |
CN114419444A (zh) | 一种基于深度学习网络的轻量化的高分辨率鸟群识别方法 | |
KR102349818B1 (ko) | 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론 | |
CN113449566B (zh) | 人在回路的“低慢小”目标智能图像跟踪方法及系统 | |
CN113361504B (zh) | 一种基于无人机协同组网的边缘群体智能方法 | |
CN112861737A (zh) | 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法 | |
CN115393738A (zh) | 一种基于无人机的papi飞行校验方法和系统 | |
CN112818964A (zh) | 基于FoveaBox无锚神经网络的无人机检测方法 | |
CN112686921A (zh) | 一种基于轨迹特征的多干扰无人机检测跟踪方法 | |
CN116753778A (zh) | 一种基于信息融合与任务分配的无人机反制系统和方法 | |
CN110956611A (zh) | 一种集成卷积神经网络的烟雾检测方法 | |
CN112241180B (zh) | 一种无人机移动平台降落引导的视觉处理方法 | |
CN112493228B (zh) | 一种基于三维信息估算的激光驱鸟方法及系统 | |
CN115407799A (zh) | 一种用于垂直起降飞行器的飞行控制系统 | |
CN115018883A (zh) | 一种基于光流和卡尔曼滤波的输电线路无人机红外自主巡检方法 | |
CN113949826A (zh) | 一种通信带宽有限条件下无人机集群协同侦察方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |