CN114782805A - 一种面向无人机巡逻的人在环路混合增强目标识别方法 - Google Patents

一种面向无人机巡逻的人在环路混合增强目标识别方法 Download PDF

Info

Publication number
CN114782805A
CN114782805A CN202210320085.6A CN202210320085A CN114782805A CN 114782805 A CN114782805 A CN 114782805A CN 202210320085 A CN202210320085 A CN 202210320085A CN 114782805 A CN114782805 A CN 114782805A
Authority
CN
China
Prior art keywords
target
image
unmanned aerial
aerial vehicle
patrol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210320085.6A
Other languages
English (en)
Other versions
CN114782805B (zh
Inventor
耿虎军
仇梓峰
闫玉巧
胡炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN202210320085.6A priority Critical patent/CN114782805B/zh
Publication of CN114782805A publication Critical patent/CN114782805A/zh
Application granted granted Critical
Publication of CN114782805B publication Critical patent/CN114782805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Abstract

本发明公开了一种面向无人机巡逻的人在环路混合增强目标识别方法，属于无人机巡逻领域。本发明中，利用轻量级神经网络和显著性目标检测功能对载荷图像进行处理，生成检测到目标所在区域的图像切片；专家评估决策模块将切片进行个性化显示，专家根据自身经验对显示的目标进行判决，选定巡逻过程中需要重点关注的目标，生成控制指令；此外，网络增量升级模块根据选定的目标生成目标所在时空的标准图像，并对图像进行标注，将标注的样本加入到原样本库中进行训练，将训练后的模型更新到轻量级神经网络中。本发明通过人在环路混合增强的方法，实现了无人机巡逻过程中，对目标快速准确全面的识别。

Description

一种面向无人机巡逻的人在环路混合增强目标识别方法
技术领域
本发明涉及无人机巡逻领域，特别是指一种面向无人机巡逻的人在环路混合增强目标识别方法。
背景技术
目前，在无人机巡逻领域，一般是通过深度学习、图像处理等自动处理或人眼识别等人工处理的方法进行可疑目标识别。然而，自动处理方法存在巡逻目标识别不全面的缺点，人工处理方法有着巡逻目标识别速度慢的不足。
近年来，出现使用自动处理和人工处理相结合的方式进行目标识别的方法，但是系统设计存在结合方式单一、不能持续进化等缺点。
发明内容
有鉴于此，本发明提供一种面向无人机巡逻的人在环路混合增强快速识别方法，本发明在通过人在环路混合增强的方法，实现了无人机巡逻过程中，对目标快速准确全面的识别。
为了实现上述目的，本发明采用的技术方案为：
一种面向无人机巡逻的人在环路混合增强目标识别方法，包括以下步骤：
（1）在巡逻前，根据地形进行无人机路径规划和载荷动作规划，在巡逻时，将获取到的载荷图像传输到目标快速提取模块；
（2）目标快速提取模块利用轻量级神经网络和显著性目标检测对获取到的载荷图像进行处理，生成目标所在区域的图像切片，并将生成的图像切片传输到专家评估决策模块；
（3）专家评估决策模块首先将图像切片根据目标权重排序并进行个性化显示，专家根据自身经验对显示的目标进行判决，选定巡逻过程中需要重点关注的目标，选定后生成控制指令，并根据控制指令进行无人机路径规划及载荷动作规划；
（4）专家评估决策模块在选定目标后，网络增量升级模块根据选定的目标，生成目标所在时空的标准图像，并对图像进行标注，将标注的样本加入到原样本库中进行训练，将训练后的模型更新到轻量级神经网络中。
进一步的，步骤（1）中，所述巡逻，指的是无人机在空中对地面上的情况进行巡查，以达到发现并识别地面目标的过程；所述无人机路径规划，指的是根据地形为无人机寻找一条遍历经过所有地面范围的规划航线；所述载荷动作规划，指的是载荷在无人机上进行方位角、俯仰角、焦距的调整。
进一步的，步骤（2）中，所述轻量级神经网络，指的是使用深度学习方法的目标检测模型；所述显著性目标检测，指的是使用图像处理方式检测载荷图像中显著性目标的方法；所述图像切片，指的是使用轻量级神经网络和显著性目标检测对载荷图像进行处理，得到目标在载荷图像中的坐标后，按照坐标切割出的一块图像。
进一步的，步骤（3）中，所述目标权重，指的是轻量级神经网络对图像进行目标检测时，输出的置信度参数；所述个性化显示，指的是所有检测到的目标根据置信度参数进行有序排列；所述控制指令，指的是无人机航线、载荷方位角、载荷俯仰角、载荷焦距的变化的指令。
进一步的，步骤（4）中，所述目标所在时空的标准图像，指的是根据选定目标时对应的时间及空间，找到载荷所采集的单帧图像；所述标注，指的是将目标在标准图像中的坐标及类别导出为可被读取的文本文件；所述原样本库，指的是本次巡逻所使用的轻量级神经网络训练的样本库。
本发明的有益效果在于：
1、本发明综合使用深度学习、图像处理、专家知识等多种技术，达到快速准确全面的巡逻目标识别效果。
2、本发明设计的系统能够在每次巡逻中将专家知识转化为深度学习模型的训练样本，从而持续增强系统的巡逻能力。
附图说明
图1为本发明实施例的原理示意图；
图2为本发明实施例中无人机路径规划和载荷动作规划的示意图；
图3为本发明实施例中图像切片的示意图。
具体实施方式
下面，结合附图对本发明的技术方案做进一步说明。显然，这些内容仅是本发明的一部分实施例，而不是全部的实施例。基于以下实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明的保护范围。
参见图1，一种面向无人机巡逻的人在环路混合增强目标识别方法，具体过程如下：
（1）在巡逻前，根据地形进行无人机路径规划和载荷动作规划，在巡逻时，将获取到的载荷图像传输到目标快速提取模块；
（2）目标快速提取模块利用轻量级神经网络和显著性目标检测功能对获取到的载荷图像进行处理，生成检测到目标所在区域的图像切片，并将生成的图像切片传输到专家评估决策模块；
（3）专家评估决策模块首先将图像切片根据目标权重排序并进行个性化显示，专家根据自身经验对显示的目标进行判决，选定巡逻过程中需要重点关注的目标，选定后生成控制指令并发送给无人机路径规划及载荷动作规划；
（4）专家评估决策模块在选定目标后，网络增量升级模块会根据选定的目标生成目标所在时空的标准图像，并对图像进行标注，将标注的样本加入到原样本库中进行训练，将训练后的模型更新到轻量级神经网络中。
在步骤（1）中，巡逻指的是无人机在空中对地面上的情况进行巡查，以达到发现并识别地面目标的过程；无人机路径规划指的是根据地形为无人机寻找一条遍历经过所有地面范围的规划航线；载荷动作规划指的是载荷在无人机上进行方位角、俯仰角、焦距等可变参数的调整。如图2所示，无人机（UAV）在区域S中进行巡逻，首先规划一条航线（A-B-C-D），在按照航线飞行过程中，可进行方位角、俯仰角、焦距等参数变化的载荷动作规划。
在步骤（2）中，轻量级神经网络指的是使用深度学习技术，且参数量少、模型尺寸小、运行时间快的目标检测模型，例如Yolo-V4-Tiny网络；显著性目标检测指的是使用图像处理技术，可检测出图像中显著性目标的算法，例如基于颜色和纹理的目标检测算法；图像切片指的是使用轻量级神经网络和显著性目标检测技术对图像进行处理，得到目标在图像中的坐标（P1,P2,P3,P4）后，按照坐标切割出的一块图像，如图3所示。
在步骤（3）中，目标权重指的是轻量级神经网络对图像进行目标检测时，输出的置信度参数；个性化显示指的是所有检测到的目标会根据置信度参数进行有序排列；控制指令指的是无人机航线、载荷方位角、载荷俯仰角、载荷焦距等变化指令。
例如，对载荷图像帧Pic1进行处理，共检测到6个目标（T1,T2,T3,T4,T5,T6），这6个目标的置信度分别为（0.85,0.92,0.71,0.65,0.33,0.88），根据置信度由高到低对目标进行排序为（T2,T6,T1,T3,T4,T5）,之后按照顺序显示在专家面前。专家根据自身经验和知识对最感兴趣的目标进行选定，选定后系统会将该目标的坐标（P21,P22,P23,P24）发送给无人机，无人机会调整载荷参数或无人机航线以达到放大该目标在载荷图像中占比的目的。
在步骤（4）中，目标所在时空的标准图像指的是根据选定目标时对应的时间及空间，找到载荷所采集的单帧图像；标注指的是将目标在标准图像中的坐标及类别导出为可被读取的文本文件；原样本库指的是本次巡逻所使用的轻量级神经网络训练的样本库。
例如，本次巡逻共选定了N个目标，可生成标准图像及其对应的标注共N套，分别为（Sam1、Sam2、Sam3、…、SamN）。原样本库有M套样本，本次巡逻可新增N套样本，构成了包含M+N套样本的新样本库。
本发明适用于多种无人机平台，通过人在环路混合增强的方法，实现了无人机巡逻过程中，对目标快速准确全面的识别。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种面向无人机巡逻的人在环路混合增强目标识别方法，其特征在于，包括以下步骤：
（1）在巡逻前，根据地形进行无人机路径规划和载荷动作规划，在巡逻时，将获取到的载荷图像传输到目标快速提取模块；
（2）目标快速提取模块利用轻量级神经网络和显著性目标检测对获取到的载荷图像进行处理，生成目标所在区域的图像切片，并将生成的图像切片传输到专家评估决策模块；
（3）专家评估决策模块首先将图像切片根据目标权重排序并进行个性化显示，专家根据自身经验对显示的目标进行判决，选定巡逻过程中需要重点关注的目标，选定后生成控制指令，并根据控制指令进行无人机路径规划及载荷动作规划；
（4）专家评估决策模块在选定目标后，网络增量升级模块根据选定的目标，生成目标所在时空的标准图像，并对图像进行标注，将标注的样本加入到原样本库中进行训练，将训练后的模型更新到轻量级神经网络中。
2.根据权利要求1所述的一种面向无人机巡逻的人在环路混合增强目标识别方法，其特征在于，步骤（1）中，所述巡逻，指的是无人机在空中对地面上的情况进行巡查，以达到发现并识别地面目标的过程；所述无人机路径规划，指的是根据地形为无人机寻找一条遍历经过所有地面范围的规划航线；所述载荷动作规划，指的是载荷在无人机上进行方位角、俯仰角、焦距的调整。
3.根据权利要求1所述的一种面向无人机巡逻的人在环路混合增强目标识别方法，其特征在于，步骤（2）中，所述轻量级神经网络，指的是使用深度学习方法的目标检测模型；所述显著性目标检测，指的是使用图像处理方式检测载荷图像中显著性目标的方法；所述图像切片，指的是使用轻量级神经网络和显著性目标检测对载荷图像进行处理，得到目标在载荷图像中的坐标后，按照坐标切割出的一块图像。
4.根据权利要求1所述的一种面向无人机巡逻的人在环路混合增强目标识别方法，其特征在于，步骤（3）中，所述目标权重，指的是轻量级神经网络对图像进行目标检测时，输出的置信度参数；所述个性化显示，指的是所有检测到的目标根据置信度参数进行有序排列；所述控制指令，指的是无人机航线、载荷方位角、载荷俯仰角、载荷焦距的变化的指令。
5.根据权利要求1所述的一种面向无人机巡逻的人在环路混合增强目标识别方法，其特征在于，步骤（4）中，所述目标所在时空的标准图像，指的是根据选定目标时对应的时间及空间，找到载荷所采集的单帧图像；所述标注，指的是将目标在标准图像中的坐标及类别导出为可被读取的文本文件；所述原样本库，指的是本次巡逻所使用的轻量级神经网络训练的样本库。
CN202210320085.6A 2022-03-29 2022-03-29 一种面向无人机巡逻的人在环路混合增强目标识别方法 Active CN114782805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210320085.6A CN114782805B (zh) 2022-03-29 2022-03-29 一种面向无人机巡逻的人在环路混合增强目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210320085.6A CN114782805B (zh) 2022-03-29 2022-03-29 一种面向无人机巡逻的人在环路混合增强目标识别方法

Publications (2)

Publication Number Publication Date
CN114782805A true CN114782805A (zh) 2022-07-22
CN114782805B CN114782805B (zh) 2023-05-30

Family

ID=82426233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210320085.6A Active CN114782805B (zh) 2022-03-29 2022-03-29 一种面向无人机巡逻的人在环路混合增强目标识别方法

Country Status (1)

Country Link
CN (1) CN114782805B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324937A (zh) * 2012-03-21 2013-09-25 日电（中国）有限公司 标注目标的方法和装置
CN107229918A (zh) * 2017-05-26 2017-10-03 西安电子科技大学 一种基于全卷积神经网络的sar图像目标检测方法
US10007863B1 (en) * 2015-06-05 2018-06-26 Gracenote, Inc. Logo recognition in images and videos
CN108898145A (zh) * 2018-06-15 2018-11-27 西南交通大学 一种结合深度学习的图像显著目标检测方法
CN109241913A (zh) * 2018-09-10 2019-01-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109961460A (zh) * 2018-12-26 2019-07-02 国网浙江省电力有限公司 一种基于改进YOLOv3模型的多目标巡检方法
CN110909780A (zh) * 2019-11-14 2020-03-24 腾讯科技（深圳）有限公司 一种图像识别模型训练和图像识别方法、装置及系统
CN111582117A (zh) * 2020-04-29 2020-08-25 长江大学 一种无人机违章建筑物巡检方法、设备及存储介质
US20200371535A1 (en) * 2018-02-14 2020-11-26 SZ DJI Technology Co., Ltd. Automatic image capturing method and device, unmanned aerial vehicle and storage medium
CN112329762A (zh) * 2019-12-12 2021-02-05 北京沃东天骏信息技术有限公司 图像处理方法、模型训练方法、装置、计算机设备和介质
CN112489089A (zh) * 2020-12-15 2021-03-12 中国人民解放军国防科技大学 一种微型固定翼无人机机载地面运动目标识别与跟踪方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324937A (zh) * 2012-03-21 2013-09-25 日电（中国）有限公司 标注目标的方法和装置
US10007863B1 (en) * 2015-06-05 2018-06-26 Gracenote, Inc. Logo recognition in images and videos
CN107229918A (zh) * 2017-05-26 2017-10-03 西安电子科技大学 一种基于全卷积神经网络的sar图像目标检测方法
US20200371535A1 (en) * 2018-02-14 2020-11-26 SZ DJI Technology Co., Ltd. Automatic image capturing method and device, unmanned aerial vehicle and storage medium
CN108898145A (zh) * 2018-06-15 2018-11-27 西南交通大学 一种结合深度学习的图像显著目标检测方法
CN109241913A (zh) * 2018-09-10 2019-01-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109961460A (zh) * 2018-12-26 2019-07-02 国网浙江省电力有限公司 一种基于改进YOLOv3模型的多目标巡检方法
CN110909780A (zh) * 2019-11-14 2020-03-24 腾讯科技（深圳）有限公司 一种图像识别模型训练和图像识别方法、装置及系统
CN112329762A (zh) * 2019-12-12 2021-02-05 北京沃东天骏信息技术有限公司 图像处理方法、模型训练方法、装置、计算机设备和介质
CN111582117A (zh) * 2020-04-29 2020-08-25 长江大学 一种无人机违章建筑物巡检方法、设备及存储介质
CN112489089A (zh) * 2020-12-15 2021-03-12 中国人民解放军国防科技大学 一种微型固定翼无人机机载地面运动目标识别与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柴兴华 等: "无人机智能测控技术研究综述", 无线电工程, vol. 49, no. 10, pages 855 - 860 *

Also Published As

Publication number Publication date
CN114782805B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
Vandapel et al. Natural terrain classification using 3-d ladar data
CN104463249B (zh) 一种基于弱监督学习框架的遥感图像机场检测方法
CN109344753A (zh) 一种基于深度学习的航拍图像输电线路细小金具识别方法
Alexandrov et al. Analysis of machine learning methods for wildfire security monitoring with an unmanned aerial vehicles
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN114299417A (zh) 一种基于雷视融合的多目标跟踪方法
Shi et al. Objects detection of UAV for anti-UAV based on YOLOv4
CN108875803B (zh) 一种基于视频图像的危化品运输车辆检测与识别方法
CN108920711B (zh) 面向无人机起降引导的深度学习标签数据生成方法
CN111831010A (zh) 一种基于数字空间切片的无人机避障飞行方法
CN113128476A (zh) 一种基于计算机视觉目标检测的低功耗实时头盔检测方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN111241905A (zh) 基于改进ssd算法的输电线路鸟窝检测方法
CN113327253A (zh) 一种基于星载红外遥感影像的弱小目标检测方法
CN112861737A (zh) 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法
CN106169086B (zh) 导航数据辅助下的高分辨率光学影像损毁道路提取方法
CN114782805A (zh) 一种面向无人机巡逻的人在环路混合增强目标识别方法
CN109389152B (zh) 一种输电线路垂坠物的精细化识别方法
CN114415726B (zh) 一种基于图像分析的无人机避障控制系统及方法
Majidi et al. Real time aerial natural image interpretation for autonomous ranger drone navigation
CN115619719A (zh) 一种基于改进Yolo v3网络模型的松材线虫病疫木检测方法
Valaboju et al. Drone Detection and Classification using Computer Vision
CN114898319A (zh) 基于多传感器决策级信息融合的车型识别方法及系统
Wang et al. Road anomaly detection with group intelligence perception

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant