CN116109956A - 一种无人机自适应变焦高精度目标检测智能巡检方法 - Google Patents

一种无人机自适应变焦高精度目标检测智能巡检方法 Download PDF

Info

Publication number
CN116109956A
CN116109956A CN202310386878.2A CN202310386878A CN116109956A CN 116109956 A CN116109956 A CN 116109956A CN 202310386878 A CN202310386878 A CN 202310386878A CN 116109956 A CN116109956 A CN 116109956A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
target
wide
photo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310386878.2A
Other languages
English (en)
Inventor
黄超超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Kongan Information Technology Co ltd
Original Assignee
Anhui Kongan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Kongan Information Technology Co ltd filed Critical Anhui Kongan Information Technology Co ltd
Priority to CN202310386878.2A priority Critical patent/CN116109956A/zh
Publication of CN116109956A publication Critical patent/CN116109956A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种无人机自适应变焦高精度目标检测智能巡检方法，涉及数据识别技术领域，本发明利用无人机广角和长焦各自优势，进行先整体后局部的智能化自适应变焦高精度目标检测方式，有效利用无人机广角和长焦段拍摄影像特点，通过目标粗检及目标高精度识别两种智能算法，完成对划定区域内固定目标或移动目标的智能检测识别，有效提升目标检测的效率和准确率，解决了现有技术中存在的为了拍摄到目标照片，往往需要贴近拍摄目标或者使用高倍焦段，视场角比较有限，使得整个的巡检时间较长，对于没有目标的区域也同样需要耗时拍摄，效率低下的技术问题。

Description

一种无人机自适应变焦高精度目标检测智能巡检方法
技术领域
本发明涉及数据识别技术领域，特别涉及一种无人机自适应变焦高精度目标检测智能巡检方法。
背景技术
在进行森林巡检松材线虫病树检测、河道巡检污染物检测、交通巡检违停车辆检测和取证、安防巡检有害植物检测和取证操作时，由于检查的范围较广，经常使用无人机对检查位置进行拍照，然后对拍摄的照片进行处理，以对疑似目标位置进行快速查找，目前利用多旋翼无人机进行目标检测的方法主要有两种，一种是规划巡检区域，然后使用无人机拍摄二维正射图像，然后对拼接好的二维正射图像使用智能目标检测算法进行目标检测，并对位置进行标注，这种方法为了拍摄到目标照片，往往需要贴近拍摄目标或者使用高倍焦段，视场角比较有限，使得整个的巡检时间较长，对于没有目标的区域也同样需要耗时拍摄，效率低下。同时如果无人机距离目标较近，也会存在飞行安全问题；
例如在公开号为CN111723774A的中国专利中公开了一种基于无人机巡检的输电设备目标识别方法，先通过无人机采集影像数据，提取影像数据中待识别目标的图像并建立目标样本集，然后对目标样本集中的图像进行人工标注，创建巡检影像的缺陷样本库，然后采用巡检影像的缺陷样本库作为训练样本，创建基于Faster-RCNN网络的缺陷标定模型，然后采用无人机采集实时巡检影像数据，将实时巡检影像数据输入缺陷标定模型，最后输出目标识别结果并将其进行结构化存储；本发明能够对海量的无人机巡检影像进行统一的智能化管理，提高杆塔级、金具级的自动化影像分类能力，提高分析的准确性，且大大减少人工分析处理的工作量；
而在公开号为CN110796050A的中国专利中公开了一种无人机巡检过程中目标物体的识别方法，包括接收原始图像，并对所述原始图像进行灰度化处理得到灰度图像；对所述灰度图像进行直线检测与角点检测；根据直线检测与角点检测的检测结果确定杆塔的位置；根据目标物体的颜色特征在所述杆塔的位置识别所述目标物体。该无人机巡检过程中目标物体的识别方法能够精确识别杆塔上的目标物体，提高识别精度。
以上专利均存在本背景技术提出的问题，本发明是为了解决这一问题，提出一种无人机自适应变焦高精度目标检测智能巡检方法。
发明内容
本发明的主要目的在于提供一种无人机自适应变焦高精度目标检测智能巡检方法，能够有效解决背景技术中的问题。
为实现上述目的，本发明采取的技术方案为：
一种无人机自适应变焦高精度目标检测智能巡检方法，包括以下具体步骤：
S1、使用电子地图设定需巡查区域，以及无人机飞行高度、镜头焦段和检测目标类型参数；
S2、根据无人机广角拍摄范围计算生成航拍子区域划分，并确保子区域交界处重合，覆盖完整的巡查区域；
S3、无人机依次飞往航拍子区域指定点进行广角探头的拍摄，获得拍摄的广角照片；
S4、对广角照片进行分析和处理，获取广角照片中的目标信息，对检测疑似目标信息进行提取；
S5、对含有疑似目标信息的区域，调整无人机姿态，使无人机的长焦探头依次拍摄疑似目标的长焦照片；
S6、对获得的长焦照片进行处理，并对长焦照片中的检测目标数据进行获取，进而对检测目标进行分类；
S7、无人机依次飞往下一个子区域进行疑似目标的获取，以进行区域目标的获取，对获取数据进行储存传输，重复步骤S3-S6。
本发明进一步的改进在于，所述S2的具体步骤为：
S201、提取巡查区域图片，将图片的轮廓进行连线提取，得出图片的轮廓图形，对实际巡检区域进行采集计算，采集计算方式为：取巡查区域经纬度的最大值和最小值，其中包括经度最大值
Figure SMS_3
，经度最小值
Figure SMS_6
，纬度最大值
Figure SMS_9
，纬度最小值
Figure SMS_4
，以（
Figure SMS_5
，
Figure SMS_8
）、（
Figure SMS_11
，
Figure SMS_1
）、（
Figure SMS_7
，
Figure SMS_10
）和（
Figure SMS_12
，
Figure SMS_2
）
四点连线作为实际巡检区域；
S202、采集无人机飞行高度
Figure SMS_13
、无人机的广角探头镜头焦段
Figure SMS_14
，对广角探头的拍摄范围进行计算，扫描的广度的计算公式为：
Figure SMS_15
，其中k为广角探头的广度；
S203、确保子区域交界处重合经度大于5%，按照计算划分子区域的最小个数，划分的个数计算公式为：
Figure SMS_16
，s为该位置1度经度所对应的距离；
S204、通过划分的个数对巡查区域进行均匀划分。
本发明进一步的改进在于，所述S4的具体步骤为：
S401、对获取到的无人机拍摄的广角照片进行预处理；
S402、将预处理后照片传入到已训练好的yolov8目标检测模型中进行推理；
S403、将yolov8推理后的结果进行NMS计算，过滤掉冗余的结果；
S404、根据NMS计算的结果，得到疑似目标的种类及在广角照片上的位置坐标。
本发明进一步的改进在于，所述的S401的具体步骤为：
S4011、采集广角照片
Figure SMS_17
的高度
Figure SMS_18
、宽度
Figure SMS_19
，设定预处理后的照片
Figure SMS_20
的高度
Figure SMS_21
，宽度
Figure SMS_22
；
S4012、计算广角照片
Figure SMS_23
的缩小后的高度和宽度，计算公式为
Figure SMS_24
，
Figure SMS_25
，其中
Figure SMS_26
为缩小后的高度，
Figure SMS_27
为缩小后的宽度，
Figure SMS_28
为缩小比例，计算公式为
Figure SMS_29
；
S4013、根据
Figure SMS_30
，
Figure SMS_31
对广角照片
Figure SMS_32
进行双线性插值，得到缩小后的广角照片
Figure SMS_33
；
S4014、计算缩小后的广角照片
Figure SMS_34
需填充的上下高度和左右宽度，计算公式为：
Figure SMS_35
，
Figure SMS_36
，其中
Figure SMS_37
为需填充的上下高度，
Figure SMS_38
为需填充的左右宽度；
S4015、根据
Figure SMS_39
、
Figure SMS_40
对缩小后的广角照片
Figure SMS_41
进行像素填充，得到预处理后的照片
Figure SMS_42
，其高度、宽度分别为
Figure SMS_43
、
Figure SMS_44
。
本发明进一步的改进在于，所述的S402中的yolov8目标检测模型所采用的激活函数为Silu，其函数公式为：
Figure SMS_45
，其中
Figure SMS_46
，其中，
Figure SMS_47
为归一化层的输出。
本发明进一步的改进在于，所述的S403的具体步骤为：
S4031、将yolov8计算出的检测框output-bbox按照置信度cls-score做降序排序得到序列list-des;
S4032、从list-des中取出第一个检测框bbox-top，并将bbox-top加入列表list-result中，将bbox-top分别与list-des中的其他检测框bbox-other做IOU计算，若IOU大于阈值T，则将bbox-other从list-des中移除；
S4033、若list-des不为空，则重复S4032操作，若为空，则list-result为NMS的计算结果。
本发明进一步的改进在于，所述IOU计算公式为
Figure SMS_49
，其中
Figure SMS_53
，
Figure SMS_57
，
Figure SMS_48
，
Figure SMS_54
表示检测框
Figure SMS_58
的左上角坐标，
Figure SMS_61
表示
Figure SMS_51
的右下角坐标，
Figure SMS_55
表示检测框
Figure SMS_59
的左上角坐标，
Figure SMS_62
表示
Figure SMS_50
的右下角坐标，其中
Figure SMS_52
，
Figure SMS_56
，
Figure SMS_60
。
本发明进一步的改进在于，所述S6的具体步骤为：
S601、对获取到的长焦照片进行预处理；
S602、将预处理后的照片传入到已训练好的ResNet分类模型中；
S603、模型进行推理，对长焦照片中的物体进行分类识别。
本发明进一步的改进在于，所述的S602中ResNet所用的激活函数为
Figure SMS_63
，其函数公式为
Figure SMS_64
。
本发明进一步的改进在于，所述的S603中模型推理后经过
Figure SMS_65
函数将ResNet输出的结果转化为概率分布，其函数公式为：
Figure SMS_66
，其中，
Figure SMS_67
为第i个节点的输出值，
Figure SMS_68
为第j个节点的输出值，
Figure SMS_69
为分类数。
本发明进一步的改进在于，所述S7的具体步骤包括：将各个位置的目标标记点和目标种类储存，并生成目标表格传输至控制中心。
本发明进一步的改进在于，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述的方法的步骤。
本发明进一步的改进在于，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
与现有技术相比，本发明具有如下有益效果：
该方法有效利用无人机广角和长焦段拍摄影像特点，通过目标粗检及目标高精度识别两种智能算法，采用先整体后局部的自适应变焦检测方式，完成对划定区域内固定目标或移动目标的智能检测识别，有效提升目标检测的效率和准确率。
附图说明
图1为本发明一种无人机自适应变焦高精度目标检测智能巡检方法的流程示意图。
图2为本发明一种无人机自适应变焦高精度目标检测智能巡检方法的区域划分示意图。
图3为本发明一种无人机自适应变焦高精度目标检测智能巡检方法的巡检标记示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“一号”、“二号”、“三号”仅用于描述目的，而不能理解为指示或暗示相对重要性。下面结合具体实施方式，进一步阐述本发明。
实施例1
本实施例有效利用无人机广角和长焦段拍摄影像特点，通过目标粗检及目标高精度识别两种智能算法，采用先整体后局部的自适应变焦检测方式，完成对划定区域内固定目标或移动目标的智能检测识别，有效提升目标检测的效率和准确率，具体方案为，如图1-图3所示，一种无人机自适应变焦高精度目标检测智能巡检方法，包括以下具体步骤：
S1、使用电子地图设定需巡查区域，以及无人机飞行高度、镜头焦段和检测目标类型参数；
S2、根据无人机广角拍摄范围计算生成航拍子区域划分，并确保子区域交界处重合，覆盖完整的巡查区域；
S3、无人机依次飞往航拍子区域指定点进行广角探头的拍摄，获得拍摄的广角照片；
S4、对广角照片进行分析和处理，获取广角照片中的目标信息，对检测疑似目标信息进行提取；
S5、对含有疑似目标信息的区域，调整无人机姿态，使无人机的长焦探头依次拍摄疑似目标的长焦照片；
S6、对获得的长焦照片进行处理，并对长焦照片中的检测目标数据进行获取，进而对检测目标进行分类；
S7、无人机依次飞往下一个子区域进行疑似目标的获取，以进行区域目标的获取，对获取数据进行储存传输，重复步骤S3-S6。
在本实施例中，S2的具体步骤为：
S201、提取巡查区域图片，将图片的轮廓进行连线提取，得出图片的轮廓图形，对实际巡检区域进行采集计算，采集计算方式为：取巡查区域经纬度的最大值和最小值，其中包括经度最大值
Figure SMS_72
，经度最小值
Figure SMS_74
，纬度最大值
Figure SMS_77
，纬度最小值
Figure SMS_71
，以（
Figure SMS_76
，
Figure SMS_79
）、（
Figure SMS_81
，
Figure SMS_70
）、（
Figure SMS_75
，
Figure SMS_78
）和（
Figure SMS_80
，
Figure SMS_73
）
四点连线作为实际巡检区域；
S202、采集无人机飞行高度
Figure SMS_82
、无人机的广角探头镜头焦段
Figure SMS_83
，对广角探头的拍摄范围进行计算，扫描的广度的计算公式为：
Figure SMS_84
，其中k为广角探头的广度；
S203、确保子区域交界处重合经度大于5%，按照计算划分子区域的最小个数，划分的个数计算公式为：
Figure SMS_85
，s为该位置1度经度所对应的距离；
S204、通过划分的个数对巡查区域进行均匀划分，这样对巡查区域进行均匀划分，确保划分区域之间存在5%的重叠区域，保证对区域进行完整巡查，如图1所示。
在本实施例中，S4的具体步骤为：
S401、对获取到的无人机拍摄的广角照片进行预处理；
S402、将预处理后照片传入到已训练好的yolov8目标检测模型中进行推理；
S403、将yolov8推理后的结果进行NMS计算，过滤掉冗余的结果；
S404、根据NMS计算的结果，得到疑似目标的种类及在广角照片上的位置坐标。
在本实施例中，S401的具体步骤为：
S4011、采集广角照片
Figure SMS_86
的高度
Figure SMS_87
、宽度
Figure SMS_88
，设定预处理后的照片
Figure SMS_89
的高度
Figure SMS_90
，宽度
Figure SMS_91
；
S4012、计算广角照片
Figure SMS_92
的缩小后的高度和宽度，计算公式为
Figure SMS_93
，
Figure SMS_94
，其中
Figure SMS_95
为缩小后的高度，
Figure SMS_96
为缩小后的宽度，
Figure SMS_97
为缩小比例，计算公式为
Figure SMS_98
；
S4013、根据
Figure SMS_99
，
Figure SMS_100
对广角照片
Figure SMS_101
进行双线性插值，得到缩小后的广角照片
Figure SMS_102
；
S4014、计算缩小后的广角照片
Figure SMS_103
需填充的上下高度和左右宽度，计算公式为：
Figure SMS_104
，
Figure SMS_105
，其中
Figure SMS_106
为需填充的上下高度，
Figure SMS_107
为需填充的左右宽度；
S4015、根据
Figure SMS_108
、
Figure SMS_109
对缩小后的广角照片
Figure SMS_110
进行像素填充，得到预处理后的照片
Figure SMS_111
，其高度、宽度分别为
Figure SMS_112
、
Figure SMS_113
。
在本实施例中，S402中的yolov8目标检测模型所采用的激活函数为Silu，其函数公式为：
Figure SMS_114
，其中
Figure SMS_115
，其中，
Figure SMS_116
为归一化层的输出。
在本实施例中，IOU计算公式为
Figure SMS_118
，其中
Figure SMS_124
，
Figure SMS_128
，
Figure SMS_119
，
Figure SMS_122
表示检测框
Figure SMS_126
的左上角坐标，
Figure SMS_129
表示
Figure SMS_117
的右下角坐标，
Figure SMS_121
表示检测框
Figure SMS_123
的左上角坐标，
Figure SMS_127
表示
Figure SMS_120
的右下角坐标，其中
Figure SMS_125
，
Figure SMS_130
，
Figure SMS_131
。
在本实施例中，S5的具体步骤为：
S501、对子区域中的含有疑似目标的位置坐标点进行提取，并将数据传输至无人机姿态计算模块计算各疑似目标位置坐标点到无人机的距离和方向；
S502、对无人机到达各疑似目标位置坐标点的距离进行提取，并进行距离最小值查找，以查找无人机到达各疑似目标位置坐标点的距离的最小值点，设为第一监测点；
S503、以无人机当前位置与第一监测点的连线作为无人机的飞行轨迹，前往第一监测点进行长焦照片的拍摄；
S504、拍摄完毕后，重复S501-S503操作对各疑似目标位置坐标点进行长焦照片的拍摄。
在本实施例中，S6的具体步骤为：
S601、对获取到的长焦照片进行预处理；
S602、将预处理后的照片传入到已训练好的ResNet分类模型中；
S603、模型进行推理，对长焦照片中的物体进行分类识别。
在本实施例中，S602中ResNet所用的激活函数为
Figure SMS_132
，其函数公式为
Figure SMS_133
。
在本实施例中，S603中模型推理后经过
Figure SMS_134
函数将ResNet输出的结果转化为概率分布，其函数公式为：
Figure SMS_135
，其中，
Figure SMS_136
为第i个节点的输出值，
Figure SMS_137
为第j个节点的输出值，
Figure SMS_138
为分类数。
在本实施例中，S501中的计算各疑似目标位置坐标点到无人机的距离和方向的具体步骤为：
S5011、提取无人机实时的朝向角度
Figure SMS_139
、无人机实时的经度latA、纬度lungA和疑似目标位置的经度值latB、纬度值lungB；
S5012、计算无人机实时与疑似目标位置的角度值
Figure SMS_140
，计算无人机需要转动的角度为
Figure SMS_141
；
S5013、计算无人机实时与疑似目标位置距离：
Figure SMS_142
，其中R为地球半径，这样根据无人机与疑似目标的实时位置进行无人机轨迹的规划。
在本实施例中，S7的具体步骤包括：将各个位置的目标标记点和目标种类储存，并生成目标表格传输至控制中心。
在本实施例中，一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
在本实施例中，一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。
实施例2
一种无人机自适应变焦高精度目标检测智能巡检方法，包括以下具体步骤：
S1、使用电子地图设定需巡查区域，以及无人机飞行高度、镜头焦段和检测目标类型参数；
S2、根据无人机广角拍摄范围计算生成航拍子区域划分，并确保子区域交界处重合，覆盖完整的巡查区域；
S3、无人机依次飞往航拍子区域指定点进行广角探头的拍摄，获得拍摄的广角照片；
S4、对广角照片进行分析和处理，获取广角照片中的目标信息，对检测疑似目标信息进行提取；
S5、对含有疑似目标信息的区域，调整无人机姿态，使无人机的长焦探头依次拍摄疑似目标的长焦照片；
S6、对获得的长焦照片进行处理，并对长焦照片中的检测目标数据进行获取，进而对检测目标进行分类；
S7、无人机依次飞往下一个子区域进行疑似目标的获取，以进行区域目标的获取，对获取数据进行储存传输，重复步骤S3-S6。
在本实施例中，S2的具体步骤为：
S201、提取巡查区域图片，将图片的轮廓进行连线提取，得出图片的轮廓图形，对实际巡检区域进行采集计算，采集计算方式为：取巡查区域经纬度的最大值和最小值，其中包括经度最大值
Figure SMS_145
，经度最小值
Figure SMS_148
，纬度最大值
Figure SMS_151
，纬度最小值
Figure SMS_146
，以（
Figure SMS_147
，
Figure SMS_150
）、（
Figure SMS_153
，
Figure SMS_143
）、（
Figure SMS_149
，
Figure SMS_152
）和（
Figure SMS_154
，
Figure SMS_144
）四点连线作为实际巡检区域；
S202、采集无人机飞行高度
Figure SMS_155
、无人机的广角探头镜头焦段
Figure SMS_156
，对广角探头的拍摄范围进行计算，扫描的广度的计算公式为：
Figure SMS_157
，其中k为广角探头的广度；
S203、确保子区域交界处重合经度大于5%，按照计算划分子区域的最小个数，划分的个数计算公式为：
Figure SMS_158
，s为该位置1度经度所对应的距离；
S204、通过划分的个数对巡查区域进行均匀划分，这样对巡查区域进行均匀划分，确保划分区域之间存在5%的重叠区域，保证对区域进行完整巡查，如图1所示。
在本实施例中，S4的具体步骤为：
S401、对获取到的无人机拍摄的广角照片进行预处理；
S402、将预处理后照片传入到已训练好的yolov8目标检测模型中进行推理；
S403、将yolov8推理后的结果进行NMS计算，过滤掉一部分冗余的结果；
S404、根据NMS计算的结果，得到疑似目标的种类及在广角照片上的位置坐标。
在本实施例中，S401的具体步骤为：
S4011、采集广角照片
Figure SMS_159
的高度
Figure SMS_160
、宽度
Figure SMS_161
，设定预处理后的照片
Figure SMS_162
的高度
Figure SMS_163
，宽度
Figure SMS_164
；
S4012、计算广角照片
Figure SMS_165
的缩小后的高度和宽度，计算公式为
Figure SMS_166
，
Figure SMS_167
，其中
Figure SMS_168
为缩小后的高度，
Figure SMS_169
为缩小后的宽度，
Figure SMS_170
为缩小比例，计算公式为
Figure SMS_171
；
S4013、根据
Figure SMS_172
，
Figure SMS_173
对广角照片
Figure SMS_174
进行双线性插值，得到缩小后的广角照片
Figure SMS_175
；
S4014、计算缩小后的广角照片
Figure SMS_176
需填充的上下高度和左右宽度，计算公式为：
Figure SMS_177
，
Figure SMS_178
，其中
Figure SMS_179
为需填充的上下高度，
Figure SMS_180
为需填充的左右宽度；
S4015、根据
Figure SMS_181
、
Figure SMS_182
对缩小后的广角照片
Figure SMS_183
进行像素填充，得到预处理后的照片
Figure SMS_184
，其高度、宽度分别为
Figure SMS_185
、
Figure SMS_186
。
在本实施例中，S402中的yolov8目标检测模型所采用的激活函数为Silu，其函数公式为：
Figure SMS_187
，其中
Figure SMS_188
，其中，
Figure SMS_189
为归一化层的输出。
在本实施例中，IOU计算公式为
Figure SMS_191
，其中
Figure SMS_195
，
Figure SMS_198
，
Figure SMS_193
，
Figure SMS_194
表示检测框
Figure SMS_197
的左上角坐标，
Figure SMS_201
表示
Figure SMS_190
的右下角坐标，
Figure SMS_196
表示检测框
Figure SMS_200
的左上角坐标，
Figure SMS_202
表示
Figure SMS_192
的右下角坐标，其中
Figure SMS_199
，
Figure SMS_203
，
Figure SMS_204
。
在本实施例中，S6的具体步骤为：
S601、对获取到的长焦照片进行预处理；
S602、将预处理后的照片传入到已训练好的ResNet分类模型中；
S603、模型进行推理，对长焦照片中的物体进行分类识别。
在本实施例中，S602中ResNet所用的激活函数为
Figure SMS_205
，其函数公式为
Figure SMS_206
。
在本实施例中，S603中模型推理后经过
Figure SMS_207
函数将ResNet输出的结果转化为概率分布，其函数公式为：
Figure SMS_208
，其中，
Figure SMS_209
为第i个节点的输出值，
Figure SMS_210
为第j个节点的输出值，
Figure SMS_211
为分类数。
在本实施例中，S7的具体步骤包括：将各个位置的目标标记点和目标种类储存，并生成目标表格传输至控制中心。
在本实施例中，一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
在本实施例中，一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。
下面提供一个具体实施例来说明：
首先使用电子地图根据林区区域设定需巡查区域，以及无人机飞行高度、镜头焦段和检测目标类型参数，其中检测目标类型为松材线虫病树；
根据无人机广角拍摄范围自动计算生成航拍子区域划分，如图2所示，并确保子区域相互重叠，覆盖完整的巡查区域；
无人机依次飞往航拍子区域指定点进行广角单张航拍，并通过目标粗检算法分析出其中疑似的病树目标，如图3所示；
无人机通过计算疑似病树目标在视场中的位置，依次将镜头对准疑似目标，并自动切换到长焦段进行疑似目标高放大倍数拍照（28倍），可以对同一疑似目标拍摄多张不同焦段的照片以便于针对不同目标类型进行后续分析处理，如图3所示；
对长焦拍摄到的疑似目标类型或分析目标缺陷结果进行输出，并将结果进行保存；
飞完所有子区域拍摄和目标检测，任务结束。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中，上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑（如专门的处理器，FPGA或ASIC）来完成相应操作。硬件单元还可以包括可编程逻辑或电路（如通用处理器或其它可编程处理器），可以由软件进行临时的设置以完成相应操作。具体的实现方式（机械方式、或专用的永久性电路、或者临时设置的电路）可以基于成本和时间上的考虑来确定。
以上通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (12)

1.一种无人机自适应变焦高精度目标检测智能巡检方法，其特征在于：包括以下具体步骤：
S1、使用电子地图设定需巡查区域，以及无人机飞行高度、镜头焦段和检测目标类型参数；
S2、根据无人机广角拍摄范围计算生成航拍子区域划分，并确保子区域交界处重合，覆盖完整的巡查区域；
S3、无人机依次飞往航拍子区域指定点进行广角探头的拍摄，获得拍摄的广角照片；
S4、对广角照片进行分析和处理，获取广角照片中的目标信息，对检测疑似目标信息进行提取；
S5、对含有疑似目标信息的区域，调整无人机姿态，使无人机的长焦探头依次拍摄疑似目标的长焦照片；
S6、对获得的长焦照片进行处理，并对长焦照片中的检测目标数据进行获取，进而对检测目标进行分类；
S7、无人机依次飞往下一个子区域进行疑似目标的获取，以进行区域目标的获取，对获取数据进行储存传输，重复步骤S3-S6；
所述S2的具体步骤为：
S201、提取巡查区域图片，将图片的轮廓进行连线提取，得出图片的轮廓图形，对实际巡检区域进行采集计算，采集计算方式为：取巡查区域经纬度的最大值和最小值，其中包括经度最大值
Figure QLYQS_4
，经度最小值
Figure QLYQS_7
，纬度最大值
Figure QLYQS_9
，纬度最小值
Figure QLYQS_8
，以（
Figure QLYQS_10
，
Figure QLYQS_11
）、（
Figure QLYQS_12
，
Figure QLYQS_1
）、（
Figure QLYQS_2
，
Figure QLYQS_3
）和（
Figure QLYQS_5
，
Figure QLYQS_6
）四点连线作为实际巡检区域；
S202、采集无人机飞行高度
Figure QLYQS_13
、无人机的广角探头镜头焦段
Figure QLYQS_14
，对广角探头的拍摄范围进行计算，扫描的广度的计算公式为：
Figure QLYQS_15
，其中k为广角探头的广度；
S203、确保子区域交界处重合经度大于5%，按照计算划分子区域的最小个数，划分的个数计算公式为：
Figure QLYQS_16
，s为该位置1度经度所对应的距离；
S204、通过划分的个数对巡查区域进行均匀划分。
2.根据权利要求1所述的一种无人机自适应变焦高精度目标检测智能巡检方法，其特征在于：所述S4的具体步骤为：
S401、对获取到的无人机拍摄的广角照片进行预处理；
S402、将预处理后照片传入到已训练好的yolov8目标检测模型中进行推理；
S403、将yolov8推理后的结果进行NMS计算，过滤掉冗余的结果；
S404、根据NMS计算的结果，得到疑似目标的种类及在广角照片上的位置坐标。
3.根据权利要求2所述的一种无人机自适应变焦高精度目标检测智能巡检方法，其特征在于：所述S401的具体步骤为：
S4011、采集广角照片
Figure QLYQS_17
的高度
Figure QLYQS_18
、宽度
Figure QLYQS_19
，设定预处理后的照片
Figure QLYQS_20
的高度
Figure QLYQS_21
，宽度
Figure QLYQS_22
；
S4012、计算广角照片
Figure QLYQS_23
的缩小后的高度和宽度，计算公式为
Figure QLYQS_24
，
Figure QLYQS_25
，其中
Figure QLYQS_26
为缩小后的高度，
Figure QLYQS_27
为缩小后的宽度，
Figure QLYQS_28
为缩小比例，计算公式为
Figure QLYQS_29
；
S4013、根据
Figure QLYQS_30
，
Figure QLYQS_31
对广角照片
Figure QLYQS_32
进行双线性插值，得到缩小后的广角照片
Figure QLYQS_33
；
S4014、计算缩小后的广角照片
Figure QLYQS_34
填充的上下高度和左右宽度，计算公式为：
Figure QLYQS_35
，
Figure QLYQS_36
，其中
Figure QLYQS_37
为填充的上下高度，
Figure QLYQS_38
为填充的左右宽度；
S4015、根据
Figure QLYQS_39
、
Figure QLYQS_40
对缩小后的广角照片
Figure QLYQS_41
进行像素填充，得到预处理后的照片
Figure QLYQS_42
，其高度、宽度分别为
Figure QLYQS_43
、
Figure QLYQS_44
。
4.根据权利要求3所述的一种无人机自适应变焦高精度目标检测智能巡检方法，其特征在于：所述S402中的yolov8目标检测模型所采用的激活函数为Silu，其函数公式为：
Figure QLYQS_45
，其
Figure QLYQS_46
，
Figure QLYQS_47
为归一化层的输出。
5.根据权利要求4所述的一种无人机自适应变焦高精度目标检测智能巡检方法，其特征在于：所述S403的具体步骤为：
S4031、将yolov8计算出的检测框output-bbox按照置信度cls-score做降序排序得到序列list-des;
S4032、从list-des中取出第一个检测框bbox-top，并将bbox-top加入列表list-result中，将bbox-top分别与list-des中的其他检测框bbox-other做IOU计算，若IOU大于阈值T，则将bbox-other从list-des中移除；
S4033、若list-des不为空，则重复S4032操作，若为空，则list-result为NMS的计算结果。
6.根据权利要求5所述的一种无人机自适应变焦高精度目标检测智能巡检方法，其特征在于：所述IOU计算公式为
Figure QLYQS_48
，其中
Figure QLYQS_49
，
Figure QLYQS_50
，
Figure QLYQS_51
，
Figure QLYQS_55
表示检测框
Figure QLYQS_57
的左上角坐标，
Figure QLYQS_53
表示
Figure QLYQS_56
的右下角坐标，
Figure QLYQS_59
表示检测框
Figure QLYQS_60
的左上角坐标，
Figure QLYQS_54
表示
Figure QLYQS_58
的右下角坐标，其中
Figure QLYQS_61
，
Figure QLYQS_62
，
Figure QLYQS_52
。
7.根据权利要求6所述的一种无人机自适应变焦高精度目标检测智能巡检方法，其特征在于：所述S6的具体步骤为：
S601、对获取到的长焦照片进行预处理；
S602、将预处理后的照片传入到已训练好的ResNet分类模型中；
S603、模型进行推理，对长焦照片中的物体进行分类识别。
8.根据权利要求7所述的一种无人机自适应变焦高精度目标检测智能巡检方法，其特征在于：所述S602中ResNet所用的激活函数为
Figure QLYQS_63
，其函数公式为
Figure QLYQS_64
。
9.根据权利要求8所述的一种无人机自适应变焦高精度目标检测智能巡检方法，其特征在于：所述S603中模型推理后经过
Figure QLYQS_65
函数将ResNet输出的结果转化为概率分布，其函数公式为：
Figure QLYQS_66
，其中，
Figure QLYQS_67
为第i个节点的输出值，
Figure QLYQS_68
为第j个节点的输出值，
Figure QLYQS_69
为分类数。
10.根据权利要求1所述的一种无人机自适应变焦高精度目标检测智能巡检方法，其特征在于：所述S7的具体步骤包括：将各个位置的目标标记点和目标种类储存，并生成目标表格传输至控制中心。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的一种无人机自适应变焦高精度目标检测智能巡检方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的一种无人机自适应变焦高精度目标检测智能巡检方法的步骤。
CN202310386878.2A 2023-04-12 2023-04-12 一种无人机自适应变焦高精度目标检测智能巡检方法 Pending CN116109956A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310386878.2A CN116109956A (zh) 2023-04-12 2023-04-12 一种无人机自适应变焦高精度目标检测智能巡检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310386878.2A CN116109956A (zh) 2023-04-12 2023-04-12 一种无人机自适应变焦高精度目标检测智能巡检方法

Publications (1)

Publication Number Publication Date
CN116109956A true CN116109956A (zh) 2023-05-12

Family

ID=86260135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310386878.2A Pending CN116109956A (zh) 2023-04-12 2023-04-12 一种无人机自适应变焦高精度目标检测智能巡检方法

Country Status (1)

Country Link
CN (1) CN116109956A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106707296A (zh) * 2017-01-09 2017-05-24 华中科技大学 一种基于双孔径光电成像系统的无人机检测与识别方法
WO2019127395A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 一种无人机拍照方法、图像处理方法和装置
CN111292439A (zh) * 2020-01-22 2020-06-16 上海杰狮信息技术有限公司 一种城市管网无人机巡检方法及巡检系统
CN113438399A (zh) * 2021-06-25 2021-09-24 北京冠林威航科技有限公司 用于无人机的目标导引系统、方法、无人机和存储介质
CN113506286A (zh) * 2021-07-27 2021-10-15 西安电子科技大学 基于YOLOv5算法小样本数据集实现微波芯片缺陷检测方法
CN113642545A (zh) * 2021-10-15 2021-11-12 北京万里红科技有限公司 一种基于多任务学习的人脸图像处理方法
CN113762081A (zh) * 2021-08-09 2021-12-07 江苏大学 一种基于YOLOv5s的粮仓害虫检测方法
CN113837039A (zh) * 2021-09-13 2021-12-24 常州大学 一种基于卷积神经网络的果实生长形态视觉辨识方法
KR102358999B1 (ko) * 2021-04-21 2022-02-08 윤정인 드론 촬영 사진 분석 방법 및 장소별 인구 밀집 정보 제공 시스템
CN114037907A (zh) * 2021-11-15 2022-02-11 南方电网通用航空服务有限公司 输电线路的检测方法、装置、计算机设备、存储介质
US20220254154A1 (en) * 2019-03-18 2022-08-11 Ntt Docomo, Inc. Information processing device and information processing method
CN114981746A (zh) * 2020-12-31 2022-08-30 深圳市大疆创新科技有限公司 无人机控制方法、装置及计算机可读存储介质
US20220332415A1 (en) * 2021-04-20 2022-10-20 Guangdong University Of Technology Landing tracking control method and system based on lightweight twin network and unmanned aerial vehicle

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106707296A (zh) * 2017-01-09 2017-05-24 华中科技大学 一种基于双孔径光电成像系统的无人机检测与识别方法
WO2019127395A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 一种无人机拍照方法、图像处理方法和装置
US20220254154A1 (en) * 2019-03-18 2022-08-11 Ntt Docomo, Inc. Information processing device and information processing method
CN111292439A (zh) * 2020-01-22 2020-06-16 上海杰狮信息技术有限公司 一种城市管网无人机巡检方法及巡检系统
CN114981746A (zh) * 2020-12-31 2022-08-30 深圳市大疆创新科技有限公司 无人机控制方法、装置及计算机可读存储介质
US20220332415A1 (en) * 2021-04-20 2022-10-20 Guangdong University Of Technology Landing tracking control method and system based on lightweight twin network and unmanned aerial vehicle
KR102358999B1 (ko) * 2021-04-21 2022-02-08 윤정인 드론 촬영 사진 분석 방법 및 장소별 인구 밀집 정보 제공 시스템
CN113438399A (zh) * 2021-06-25 2021-09-24 北京冠林威航科技有限公司 用于无人机的目标导引系统、方法、无人机和存储介质
CN113506286A (zh) * 2021-07-27 2021-10-15 西安电子科技大学 基于YOLOv5算法小样本数据集实现微波芯片缺陷检测方法
CN113762081A (zh) * 2021-08-09 2021-12-07 江苏大学 一种基于YOLOv5s的粮仓害虫检测方法
CN113837039A (zh) * 2021-09-13 2021-12-24 常州大学 一种基于卷积神经网络的果实生长形态视觉辨识方法
CN113642545A (zh) * 2021-10-15 2021-11-12 北京万里红科技有限公司 一种基于多任务学习的人脸图像处理方法
CN114037907A (zh) * 2021-11-15 2022-02-11 南方电网通用航空服务有限公司 输电线路的检测方法、装置、计算机设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘树春: "《深度实践OCR 基于深度学习的文字识别》", 机械工业出版社, pages: 186 - 187 *

Similar Documents

Publication Publication Date Title
Zhao et al. Detection, tracking, and geolocation of moving vehicle from uav using monocular camera
CN115439424B (zh) 一种无人机航拍视频图像智能检测方法
KR101105795B1 (ko) 항공 화상의 자동 처리
CN106529538A (zh) 一种飞行器的定位方法和装置
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
KR102507501B1 (ko) 인공지능 기반 수계오염원 모니터링 시스템 및 방법
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
KR102308456B1 (ko) 라이다 및 카메라 수집정보 기반 수종탐지 시스템 및 이를 이용한 수종탐지방법, 수종탐지방법을 수행하는 프로그램이 수록된 기록매체
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN115690610A (zh) 一种基于图像匹配的无人机导航方法
CN113449692A (zh) 一种基于无人机的地图车道信息更新方法及其系统
CN113379738A (zh) 一种基于图像的疫木检测与定位方法及系统
CN116030194A (zh) 一种基于目标检测规避的空地协同实景三维建模优化方法
CN109883400B (zh) 基于yolo-sitcol的固定站自动目标检测与空间定位方法
CN117215316B (zh) 基于协同控制与深度学习的驾驶环境感知的方法和系统
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN111758118B (zh) 一种视觉定位方法、装置、设备及可读存储介质
CN111723643B (zh) 一种基于固定区域周期性图像采集的目标检测方法
CN112633114A (zh) 面向建筑物变化事件的无人机巡查智能预警方法和装置
KR102416714B1 (ko) 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법
CN116109956A (zh) 一种无人机自适应变焦高精度目标检测智能巡检方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230512

RJ01 Rejection of invention patent application after publication