CN115019064A - 一种针对旋翼无人机防控的双阶段关键部位识别方法 - Google Patents

一种针对旋翼无人机防控的双阶段关键部位识别方法 Download PDF

Info

Publication number
CN115019064A
CN115019064A CN202210740974.8A CN202210740974A CN115019064A CN 115019064 A CN115019064 A CN 115019064A CN 202210740974 A CN202210740974 A CN 202210740974A CN 115019064 A CN115019064 A CN 115019064A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
frame
key part
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210740974.8A
Other languages
English (en)
Inventor
颜露新
徐昆仑
邹旭
徐文辉
钟胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Shenzhen Huazhong University of Science and Technology Research Institute
Original Assignee
Huazhong University of Science and Technology
Shenzhen Huazhong University of Science and Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Shenzhen Huazhong University of Science and Technology Research Institute filed Critical Huazhong University of Science and Technology
Priority to CN202210740974.8A priority Critical patent/CN115019064A/zh
Publication of CN115019064A publication Critical patent/CN115019064A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对旋翼无人机防控的双阶段关键部位识别方法，属于图像处理领域。本发明将旋翼无人机部位识别转化成关键部位中心点识别，利用了关键点检测网络强大的结构建模能力，不仅可对清晰可见的部位进行准确定位，也可对模糊、被遮挡部位给出可靠的位置预测。此外，本发明采用双阶段检测方式，即先检测旋翼无人机目标区域，再对目标区域进行缩放和关键部位中心点检测；一方面固定了输入旋翼无人机的尺度，降低了输入复杂度，有助于提升检测效果，另一方面，克服了旋翼无人机尺寸过小时，部位定位困难、相对误差大的问题。因此，本发明可实现旋翼无人机关键部位准确定位，有助于提高无人机防控系统工作性能。

Description

一种针对旋翼无人机防控的双阶段关键部位识别方法
技术领域
本发明属于图像处理技术领域，更具体地，涉及一种针对旋翼无人机防控的双阶段关键部位识别方法。
背景技术
因此，无人机防控具有十分重大的安全意义，其中，激光毁伤是一种重要手段，具有反应灵敏、无电磁污染、作用距离远等优点，而旋翼无人机部件识别是提高毁伤率的重要途径。
在进行旋翼无人机毁伤时，对动力系统进行破坏是一种高效的攻击手段，主要攻击包括电机、机臂和电池。其中电机是位于旋翼下方的动力装置，是旋翼转动的动力来源；机臂为连接电机和机身的机械装置，内部藏有输电线路；电池位于旋翼无人机机身中部，为供能装置。故破坏电机、机臂、电池部位之一均可使旋翼无人机动力系统瘫痪。
由于无人机的姿态多变，无人机部位间距离近甚至相互遮挡的情况经常出现，而目标检测领域内惯用的边框非极大值抑制(NMS)策略会抑制边框重叠度高的检测结果，容易导致当两部位距离近或者部分遮挡时只能识别出其中一个的情况。
由于上述三种部位在图像中的尺寸往往十分微小，一阶段的检测技术难以将其检测出来。武汉大学在其专利申请“一种基于部件的多层并行网络 SAR图像飞机目标检测方法”(专利申请号：CN201710852460.0，专利公开号：CN107657224A)中直接标注飞机部件包围框并训练改进的YOLO算法网络，该方法考虑到“图像中飞机目标较小，通常由数十个或者上百个像素点组成，子部件过于细分之后，每个部件所拥有的像素点更小，给检测带来很大的难度”，因此仅将飞机划分为两个子部件(两部件像素数各为飞机 50％左右)。所以一阶段的检测技术难以实现部件的精细识别。
此外，若仅考虑部件中心点预测性能，当部件越小时，采用一阶段的检测方法相对误差越大。例如，假设网络对各尺度部件的识别偏差均为Δ，部件尺度为s，则部件识别的相对误差为
Figure BDA0003715728000000021
所以，当部件越小时，一阶段检测方法的可靠性越低。
综上所述，需要提高旋翼无人机关键部位的识别性能，以解决部件距离近和部件尺寸微小时容易出现漏检、部件尺寸小越小时检测结果相对误差越大的技术问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种针对旋翼无人机防控的双阶段关键部位识别方法，其目的在于实现高精度的旋翼无人机关键部位识别性能，为旋翼无人机防控提供精确的部件位置信息，由此解决部件距离近和部件尺寸微小时容易出现漏检、部件尺寸小越小时检测结果相对误差越大的技术问题。
为实现上述目的，本发明提供了一种针对旋翼无人机防控的双阶段关键部位识别方法，包括：
S1.构建数据库；
对收集的无人机图像中无人机边框和关键部位中心点进行标注；
关键部位中心点标记内容包括坐标和类别；关键部位中心点所属类别包括电机、机臂和电池；
S2.离线训练；
构建旋翼无人机边框检测网络，并利用无人机图像和无人机边框标注信息对其进行训练，得到旋翼无人机边框检测模型；
构建基于热力图回归的关键部位中心点检测网络，并利用无人机图像、无人机边框标注信息和关键部位中心点标注信息对其进行训练，得到关键部位中心点检测模型；
S3.在线识别；
采集待识别的无人机图像，输入至旋翼无人机边框检测模型，得到旋翼无人机边框，将边框内的区域作为关键部位识别的目标区域；
将所述目标区域缩放至固定尺寸后，输入关键部位中心点检测模型，得到关键部位中心点热力图，对所述热力图进行后处理得到关键部位中心点所处的位置和类别。
进一步地，所述旋翼无人机边框检测网络在YOLO v4目标检测网络的基础上，采用Res50作为骨干网络，采用SPP和PAN作为特征融合模块，采用YOLO head作为网络的检测头；其中YOLO head的检测类别数设置为 1。
进一步地，基于热力图回归的关键部位中心点检测网络采用Res18和反卷积网络作为特征提取网络，采用1×1卷积作为检测头；其中反卷积网络包含3个反卷积模块，每个反卷积模块由ConvTransposed2d、ReLU、 BatchNorm组成。
进一步地，训练关键部位中心点检测网络过程中，执行以下数据预处理：
对无人机图像进行随机左右翻转；
对无人机边框进行数据增强：将旋翼无人机边框绕边框中心随机旋转，旋转角度范围为[-45°,45°]、对旋翼无人机边框分别沿横向和纵向进行随机平移，平移范围分别为[-w*0.2,w*0.2]和[-h*0.2,h*0.2]，其中w、h分别表示边框的宽度和高度，以及对旋翼无人机边框进行随机缩放，其中缩放比率范围为[0.7-1.3]；
将数据增强后边框内的无人机区域，缩放至256*256分辨率。
进一步地，训练关键部位中心点检测网络过程中，通过如下过程获取网络监督的标签图：
计算每个关键部位中心点在输入图像上的坐标；
对于每一个中心点坐标(x0,y0)，按照公式(1)生成
Figure BDA0003715728000000041
大小的标签图，其中D为特征提取模块的下采样率；
Figure BDA0003715728000000042
对同一部位类型的标签图按照公式(2)求和，分别得到三类关键部位用于网络监督的标签图；
f1(x,y)+f2(x,y)＝max{f1(x,y),f2(x,y)} (2)
f1(x,y),f2(x,y)表示不同的标签图，(x,y)为标签图上的坐标
进一步地，训练关键部位中心点检测网络采用的损失函数为：
Figure BDA0003715728000000043
D表示网络下采样率，i表示行数，j表示列数，k表示通道数，x(i,j,k)表示网络输出值，y(i,j,k)表示标签值。
进一步地，后处理过程具体为：
将关键部位中心点检测网络的输出通过公式
Figure BDA0003715728000000044
转化为概率，得到概率图
Figure BDA0003715728000000045
其中
Figure BDA0003715728000000046
和
Figure BDA0003715728000000047
分别为概率图的长度和宽度，3为概率图的通道数；
在每个通道上对概率图进行邻域抑制处理：若一个点的概率值比8邻域其余点的概率值大，则保持其概率值不变，否则将其概率值赋为0；
将每个通道中概率大于阈值T的点，分别作为关键部位中心点的相对预测位置；
将相对预测位置通过
Figure BDA0003715728000000051
处理得到在原始图像上的关键部位中心点的预测结果；其中(xr,yr)表示相对预测位置，D 表示特征提取网络下采样率，(x′,y′,w′,h′)表示无人机边框，(x′,y′)表示无人机边框中心坐标，w′、h′分别表示无人机边框的宽度和高度。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
本发明可实现旋翼无人机关键部位的精细识别；本发明采用先检测旋翼无人机再检测其关键部件的双阶段方式，其中在第二阶段先将旋翼无人机区域缩放到固定尺度再检测，可大幅提高小尺度部件的识别率；
本发明将关键部位识别问题转化成关键部位中心点检测任务，摒弃了目标检测领域惯用的边框NMS过程，缓解了部位距离近时正确检测结果被抑制的情况，提高了整体部件检测识别率。
本发明提出的方法利用了关键点检测网络强大的结构建模能力，既可以对运动、离焦、分辨率低等因素造成的模糊部位进行准确的识别，又可以对被自身完全遮挡的部位给出可靠的预测。
附图说明
图1为本发明方法整体流程图；
图2为本发明旋翼无人机的标注示例；
图3为本发明推理过程及关键部位中心点识别网络的一种实现方式；
图4为本发明所采用的反卷积模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提出了一种针对旋翼无人机防控的双阶段关键部位识别方法，包括构建数据库、离线训练、在线识别三个部分；在构建数据库阶段，根据旋翼无人机防控需求定义关键部位类别并将关键部位中心点作为本发明的识别目标，设计了数据标注规则，采集并标注数据；在离线训练阶段，分别构建基于YOLO v4旋翼无人机检测网络和基于热力图回归的关键部位中心点检测网络并进行独立训练；在在线识别阶段，采用先检测旋翼无人机再识别其关键部位的双阶段检测方式，先通过YOLO v4网络模型检测旋翼无人机边框，然后将旋翼无人机区域缩放到固定尺寸，采用关键部位中心检测网络进行部件定位。本发明在线检测第二阶段的无人机裁剪缩放过程使无人机变换到固定尺度，一方面可避免因无人机部位过小而难以识别，另一方面减小了输入复杂度，保障了部位中心点检测网络的性能；此外，本发明采用关键点检测网络代替边框检测网络实现部位检测，一方面可以摒弃NMS过程，缓解部位距离近时正确检测结果被抑制的情况；另一方面得利于关键点检测网络强大的结构建模能力，网络既可以对运动、离焦、分辨率低等因素造成的模糊部位进行准确的识别，又可以对被自身完全遮挡的部位给出可靠的预测。
参考图1，本发明提供的一种针对旋翼无人机防控的双阶段关键部位识别方法，包含以下步骤：
S1、构建数据库；
S11、定义无人机关键部位和设置识别目标；
具体地，定义无人机关键部位为电机、机臂和电池；本发明无人机关键部位定义出于破坏无人机动力系统的目的进行考虑：无人机飞行的升力来源于电机转动带动旋翼旋转，而电机转动需要位于机身的电池通过机臂中的导线进行供电，故破坏电机、机臂、电池部位之一均可使旋翼无人机动力系统瘫痪；
本发明将关键部位中心点作为识别目标，原因在于：一方面，在进行部位打击时，通常以部位中心点作为攻击目标；另一方面，虽然多数部位识别算法将部位边框作为检测检测目标，但是由于旋翼无人机具有多个旋翼、机臂部位，且部位边框常常出现重叠现象，边框检测方法惯用的边框非极大值抑制(NMS)策略容易造成重叠部位检测框被抑制，造成部位识别率降低，而将部位中心点作为检测目标时，多数情况下可避免重叠部位检测结果相互抑制的情况，从而提高识别率；
S12、设计标注内容和标注规则；
设计标注内容：标注内容分为无人机边框和关键部位中心点；需标注的无人机边框为水平或竖直的矩形框；需标注关键部位中心点包含坐标、类别、可见性三个部分，坐标为部位中心点相对于图像左上角的坐标，类别为关键部位的种类，可见性包含可见(visible)、遮挡(occluded)和图像外(out)三种；
边框标注规则：标注的旋翼无人机边框为水平或竖直的矩形框，边框内需包含图像中所有的旋翼无人机部位且框内背景尽可能少；
设计关键点标注规则：当关键部位在图像上可见时，记录关键部位中心点坐标和类别，部位可见性设置为“可见(visible)”；当关键部位在图像中但是被遮挡时，记录肉眼估计出的关键部位中心点坐标及其类别，部位可见性设置为“遮挡(occluded)”；当关键部位在图像范围外时，选取旋翼无人机上任意一点作为关键部位中心点并记录其坐标和类别，部位可见性设置为“图像外(out)”；在标注时，对于同类部位，先标注图像左上(如果图像中没有，则选取最顶端)位置的部位中心点，然后沿顺时针逐个标注；
标注示例如图2所示；矩形框为旋翼无人机边框标注；圆形为电机中心点标注，标注顺序为①②③④，六角星为机臂中心点标注，标注顺序为⑤⑥⑦⑧，菱形为电池中心点标注；
S13、收集图像数据并利用VGG Image Annotator标注图像；
S2、离线训练；
S21、从数据库获取训练图像及其标注；
S22、构建基于YOLO v4的旋翼无人机检测网络并进行训练，所述旋翼无人机边框检测网络在YOLO v4目标检测网络的基础上，采用Res50作为骨干网络，采用SPP和PAN作为特征融合模块，采用YOLO head作为网络的检测头；其中YOLO head的检测类别数设置为1；采用Res50作为骨干网络的原因是：Res50具有更简洁的网络结构，便于根据实际应用调节网络参数，同时，由于检测目标单一，采用Res50可达到比CSPDarknet53 更好或者相近的性能；
S23、构建基于热力图回归的关键部位中心点检测网络并进行训练；
网络构建：如图3所示，采用串联的Res18网络和反卷积网络作为特征提取器；Res18对输入图像进行五次下采样，生成的特征图尺寸变成输入图像的1/32；反卷积网络由三个反卷积模块组成，反卷积模块结构如图4所示，其中ConvTransposed2d表示反卷积核，ReLU为激活函数，BatchNorm 为批量归一化层；第一个ConvTransposed2d输入通道为2048，输出通道为 256，卷积核大小为4，步长为2；第二个和第三个ConvTransposed2d输入通道为256，输出通道为256，卷积核大小为4，步长为2；BatchNorm的特征数均设置为256；特征提取网络下采样率为D＝4；采用输入通道数为 256、输出通道数为3的1×1卷积层作为输出层；
网络训练：数据预处理：图像随机左右翻转；对旋翼无人机边框进行数据增强；获取数据增强后边框内的无人机区域，将其缩放到256*256分辨率作为网络的输入图像；
旋翼无人机边框数据增强方法包括：将旋翼无人机边框绕边框中心随机旋转，旋转角度范围为(-45°-45°)；对旋翼无人机边框分别沿横向和纵向进行随机平移，平移范围分别为(-w*0.2,w*0.2)和(-h*0.2,h*0.2)，其中w,h分别表示边框的宽度和高度；对旋翼无人机边框进行随机缩放，其中缩放比率范围为(0.7-1.3)；
标签生成：根据标注数据和图像增强缩放过程，计算每个部位中心点在输入图像上的坐标，假设计算得电机、机臂、电池中心点集合分别为
Figure BDA0003715728000000091
其中P为电机和旋翼的个数；对于每一个中心点(x0,y0)，按照公式(1)生成
Figure BDA0003715728000000092
大小的标签图；
Figure BDA0003715728000000093
假设电机、机臂、电池的标签图集合分别为
Figure BDA0003715728000000094
Figure BDA0003715728000000095
对同一部位类型的标签图按照公式(2)求和，分别得到三类部位用于网络监督的标签图fM，fA，fB；
f1(x,y)+f2(x,y)＝max{f1(x,y),f2(x,y)} (2)
公式(1)为归一化的离散高斯核函数，其物理含义为，距离标注点越近的点为关键部位中心点的概率越大，最大概率为1，距离标注点越远的点为关键部位中心点的概率越小，最小概率为0。本发明采用公式(1)的原因为：一般而言，标注人员对关键部位中心点的标注是在真实位置的周围呈高斯分布，即标注点不一定为真实的关键部位中心点，但是真实的关键部位中心点在关键点附近，且越靠近标注点的位置，是真实的关键部位中心点概率越高。
公式(2)表示标签图f1和f2相加的过程，其中(x,y)表示标签图上点的坐标，其物理含义为当进行标签图求和时，保留相同位置点概率值中的最大值。本发明采用公式(2)的原因为：通常的单目标关键点检测(如问题姿态估计，人脸标志点检测)不需要标签图求和，这是因为人体、人脸的每一类关键点只有一个，故每一类关键点可以单独预测。但是由于旋翼无人机的旋翼和机臂部件均有多个，且同种类的各部件间均无特殊区别，故无法将每个部件单独作为一个类别，同类部件需共享网络参数才能在训练过程中实现稳定优化，因此，本发明将同类别的各部件间的标签进行融合以促使网络以相同的参数输出所有同类关键点的预测结果。
损失函数：假设网络的输出为
Figure BDA0003715728000000101
将fM，fA，fB在通道维度组合(concatenate)得到
Figure BDA0003715728000000102
作为网络的监督，采用公式(3)计算损失；
Figure BDA0003715728000000103
D表示网络下采样率，i表示行数，j表示列数，k表示通道数，x(i,j,k)表示网络输出值，y(i,j,k)表示标签值。上述公式的物理意义为：标签值y(i,j,k)越接近1，x(i,j,k)越大，损失越小；标签值y(i,j,k)越接近0，x(i,j,k)越小，损失越小。故上述公式可引导网络在关键部位中心点所在位置输出大的数值，在非关键点位置输出小的数值。采用该公式作为损失函数的优点为：网络的输出取值范围为(-∞,+∞)，进一步通过公式
Figure BDA0003715728000000104
可转化成取值在区间(0,1)的概率值，相比较于关键点检测领域常用的MSE损失，避免了概率值小于0和大于1的情况出现，可为实际应用提供更加可靠的指导信息。
S3、在线识别；
S31、采集无人机图像并通过旋翼无人机检测模型进行处理，对网络输出预测边框进行边框非极大值抑制(NMS)，将检测分数大于0.5的边框作为无人机检测结果，边框内的区域为旋翼无人机目标区域；
S32、将旋翼无人机目标区域缩放到固定尺寸(256*256)；
S33、通过关键部位中心点检测网络模型得到关键部位中心点热力图；
S34、通过热力图后处理得到稀疏的关键部位中心点识别结果；
热力图后处理过程，包括：
将网络的输出
Figure BDA0003715728000000111
通过公式(4)转化成概率
Figure BDA0003715728000000112
Figure BDA0003715728000000113
对y进行非极大值抑制，即若某像素分数值比8邻域内其他位置分数值大则保留分数，否则分数设置为0；
记录每个通道中分数大于阈值T的点，分别作为电机、机臂、电池中心点的相对预测位置，分别对应点集MR，AR，BR；
假设旋翼无人机检测框为(x′，y′，w′，h′)，(x′，y′)其中表示检测框中心位置，w′、h′分别表示无人机边框的宽度和高度；将MR，AR，BR中的点根据公式(5)进行处理得到在原始图像上的预测点集合MO，AO，BO；
Figure BDA0003715728000000114
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种针对旋翼无人机防控的双阶段关键部位识别方法，其特征在于，包括：
S1.构建数据库；
对收集的无人机图像中无人机边框和关键部位中心点进行标注；
关键部位中心点标记内容包括坐标和类别；关键部位中心点所属类别包括电机、机臂和电池；
S2.离线训练；
构建旋翼无人机边框检测网络，并利用无人机图像和无人机边框标注信息对其进行训练，得到旋翼无人机边框检测模型；
构建基于热力图回归的关键部位中心点检测网络，并利用无人机图像、无人机边框标注信息和关键部位中心点标注信息对其进行训练，得到关键部位中心点检测模型；
S3.在线识别；
采集待识别的无人机图像，输入至旋翼无人机边框检测模型，得到旋翼无人机边框，将边框内的区域作为关键部位识别的目标区域；
将所述目标区域缩放至固定尺寸后，输入关键部位中心点检测模型，得到关键部位中心点热力图，对所述热力图进行后处理得到关键部位中心点所处的位置和类别。
2.根据1所述的一种针对旋翼无人机防控的双阶段关键部位识别方法，其特征在于，所述旋翼无人机边框检测网络在YOLO v4目标检测网络的基础上，采用Res50作为骨干网络，采用SPP和PAN作为特征融合模块，采用YOLO head作为网络的检测头；其中YOLO head的检测类别数设置为1。
3.根据权利要求1所述的一种针对旋翼无人机防控的双阶段关键部位识别方法，其特征在于，基于热力图回归的关键部位中心点检测网络采用Res18和反卷积网络作为特征提取网络，采用1×1卷积作为检测头；其中反卷积网络包含3个反卷积模块，每个反卷积模块由ConvTransposed2d、ReLU、BatchNorm组成。
4.根据权利要求1-3任一项所述的一种针对旋翼无人机防控的双阶段关键部位识别方法，其特征在于，训练关键部位中心点检测网络过程中，执行以下数据预处理：
对无人机图像进行随机左右翻转；
对无人机边框进行数据增强：将旋翼无人机边框绕边框中心随机旋转，旋转角度范围为[-45°，45°]、对旋翼无人机边框分别沿横向和纵向进行随机平移，平移范围分别为[-w*0.2，w*0.2]和[-h*0.2，h*0.2]，其中w、h分别表示边框的宽度和高度，以及对旋翼无人机边框进行随机缩放，其中缩放比率范围为[0.7-1.3]；
将数据增强后边框内的无人机区域，缩放至256*256分辨率。
5.根据权利要求4所述的一种针对旋翼无人机防控的双阶段关键部位识别方法，其特征在于，训练关键部位中心点检测网络过程中，通过如下过程获取网络监督的标签图：
计算每个关键部位中心点在输入图像上的坐标；
对于每一个中心点坐标(x0，y0)，按照公式(1)生成
Figure FDA0003715727990000021
大小的标签图，其中D为特征提取模块的下采样率；
Figure FDA0003715727990000022
对同一部位类型的标签图按照公式(2)求和，分别得到三类关键部位用于网络监督的标签图；
f1(x，y)+f2(x，y)＝max{f1(x，y)，f2(x，y)} (2)
f1(x，y)，f2(x，y)表示不同的标签图，(x，y)为标签图上的坐标。
6.根据权利要求5所述的一种针对旋翼无人机防控的双阶段关键部位识别方法，其特征在于，训练关键部位中心点检测网络采用的损失函数为：
Figure FDA0003715727990000031
D表示网络下采样率，i表示行数，j表示列数，k表示通道数，x(i，j，k)表示网络输出值，y(i，j，k)表示标签值。
7.根据权利要求6所述的一种针对旋翼无人机防控的双阶段关键部位识别方法，其特征在于，后处理过程具体为：
将关键部位中心点检测网络的输出通过公式
Figure FDA0003715727990000032
转化为概率，得到概率图
Figure FDA0003715727990000033
其中
Figure FDA0003715727990000034
和
Figure FDA0003715727990000035
分别为概率图的长度和宽度，3为概率图的通道数；
在每个通道上对概率图进行邻域抑制处理：若一个点的概率值比8邻域其余点的概率值大，则保持其概率值不变，否则将其概率值赋为0；
将每个通道中概率大于阈值T的点，分别作为关键部位中心点的相对预测位置；
将相对预测位置通过
Figure FDA0003715727990000036
处理得到在原始图像上的关键部位中心点的预测结果；其中(xr，yr)表示相对预测位置，D表示特征提取网络下采样率，(x′，y′，w′，h′)表示无人机边框，(x′，y′)表示无人机边框中心坐标，w′、h′分别表示无人机边框的宽度和高度。
CN202210740974.8A 2022-06-27 2022-06-27 一种针对旋翼无人机防控的双阶段关键部位识别方法 Pending CN115019064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210740974.8A CN115019064A (zh) 2022-06-27 2022-06-27 一种针对旋翼无人机防控的双阶段关键部位识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210740974.8A CN115019064A (zh) 2022-06-27 2022-06-27 一种针对旋翼无人机防控的双阶段关键部位识别方法

Publications (1)

Publication Number Publication Date
CN115019064A true CN115019064A (zh) 2022-09-06

Family

ID=83076937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210740974.8A Pending CN115019064A (zh) 2022-06-27 2022-06-27 一种针对旋翼无人机防控的双阶段关键部位识别方法

Country Status (1)

Country Link
CN (1) CN115019064A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580290A (zh) * 2023-07-11 2023-08-11 成都庆龙航空科技有限公司 无人机的识别方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580290A (zh) * 2023-07-11 2023-08-11 成都庆龙航空科技有限公司 无人机的识别方法、装置及存储介质
CN116580290B (zh) * 2023-07-11 2023-10-20 成都庆龙航空科技有限公司 无人机的识别方法、装置及存储介质

Similar Documents

Publication Publication Date Title
Wang et al. Insulator identification from aerial images using support vector machine with background suppression
CN111784746B (zh) 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机系统
WO2020062433A1 (zh) 一种神经网络模型训练及通用接地线的检测方法
CN111784747B (zh) 一种基于关键点检测和校正的车辆多目标跟踪系统及方法
CN110009029B (zh) 基于点云分割的特征匹配方法
CN114820702A (zh) 一种基于yolov5的Deepsort无人机视角行人多目标跟踪方法
CN111310631A (zh) 一种旋翼作业飞行机器人目标跟踪方法及系统
Zhao et al. Palletizing robot positioning bolt detection based on improved YOLO-V3
CN116912238B (zh) 基于多维识别网络级联融合的焊缝管道识别方法及系统
CN108460799A (zh) 一种逐步逼近亚像素图像定位方法和系统
CN115019064A (zh) 一种针对旋翼无人机防控的双阶段关键部位识别方法
Liu et al. Review of data analysis in vision inspection of power lines with an in-depth discussion of deep learning technology
CN114029941B (zh) 一种机器人抓取方法、装置、电子设备及计算机介质
CN112598698B (zh) 长时间单目标跟踪方法及系统
CN114419428A (zh) 一种目标检测方法、目标检测装置和计算机可读存储介质
CN113379795A (zh) 一种基于条件卷积和光流特征的多目标跟踪与分割方法
CN117292330A (zh) 一种适用于时序数据运维的智能监测系统
CN117392565A (zh) 一种无人机电力巡检缺陷自动识别方法
CN117331071A (zh) 一种基于毫米波雷达与视觉多模态融合的目标检测方法
Fucen et al. The object recognition and adaptive threshold selection in the vision system for landing an unmanned aerial vehicle
Chu et al. A fine-grained attention model for high accuracy operational robot guidance
GONG et al. Non-segmented Chinese license plate recognition algorithm based on deep neural networks
CN113771029A (zh) 一种基于视频增量学习的机器人操作系统及方法
CN114359614A (zh) 具有针对补丁攻击进行防御的鲁棒分类器的系统和方法
Fan et al. A learning framework for robust bin picking by customized grippers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination