CN117636060A - 一种基于翼身融合特征的无人机检测方法 - Google Patents

Abstract

本发明提供一种基于翼身融合特征的无人机检测方法，涉及无人机检测技术领域。该方法首先收集和构建符合YOLO标注格式的无人机样本数据集，预处理数据集，将无人机样本数据集格式转换为YOLO可训练和识别的格式，并分别构建出机身数据集和机翼数据集；再采用YOLOv5模型对无人机的机身数据集进行训练，并对YOLOv5模型结构和权重参数进行优化调节；采用YOLOv7模型对无人机的机翼数据集进行训练，并对YOLOv7模型结构和权重参数进行优化调节；最后利用训练好的YOLOv5模型和YOLOv7模型分别进行无人机机身和机翼的检测；利用无人机机身机翼检测结果通过距离和置信度判定级得到最后无人机检测结果。该方法提高了无人机的检测精度，具有检测效率高、识别准确性高、鲁棒性强等优点。

Description

一种基于翼身融合特征的无人机检测方法

技术领域

本发明涉及无人机检测技术领域，尤其涉及一种基于翼身融合特征的无人机检测方法。

背景技术

随着信息、通讯和控制技术的快速发展，原本在军事领域大放异彩的无人机打开了消费领域的市场。目前无人机的应用范围十分广泛，包括但不限于无人机大型灯光秀，无人机森林防火和电力巡检，无人机电影拍摄和小视频创作，无人机用作快递物流，无人机航拍测绘等。无人机以其机动性高，体积小，不受复杂地形影响，成本低的特点而广受人们喜爱，普及率也一再增高。

但是随着新事物的产生也出现了一系列安全问题，无人机被利用造成的违法犯罪和由于使用人的安全意识淡薄造成的危害社会公共安全的事件屡见不鲜。虽然已有一些法规去规范无人机市场，例如设置限飞和禁飞区域，从而对无人机飞行活动进行管理等，但仍旧发生多起事故。这些问题一方面说明新的管理办法不完善，另一方面大多数地方出于人工或者设备成本的考虑没有密切监管，无人机的合理使用仍然需要依赖于使用人的“守法”意识，使得无人机的事故还是时有发生，造成了很大的经济损失，成为了威胁国民安全的隐患。因此使用技术对无人机进行反制十分有必要。其中无人机检测识别是无人机反制至关重要的一部分。

随着图像处理和计算机视觉的快速发展，使用图像的方式来检测目标成为一种简单有效的手段，广泛的应用于各个领域，相较于一般目标检测任务，无人机检测技术具有以下难点：

(1)无人机图像模糊，分辨率较低，其像素在整幅图像中占比极少，导致包含的信息量十分有限。由于无人机细节信息的缺失，使得对外观相似物体的辨别难度大幅增加。

(2)无人机目标检测受复杂背景干扰。复杂环境噪声具有大量的高频分量，极易淹没无人机微不足道的信息量，造成检测效果不理想。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于翼身融合特征的无人机检测方法，实现对无人机的检测。

为解决上述技术问题，本发明所采取的技术方案是：一种基于翼身融合特征的无人机检测方法，包括以下步骤：

步骤1、收集和构建符合YOLO标注格式的无人机样本数据集，预处理数据集，将无人机样本数据集格式转换为YOLO可训练和识别的.txt格式，并分别构建出机身数据集和机翼数据集；

收集数据集主要是从国内外网页上搜索无人机图片或视频，或者采用手机拍摄无人机视频图片，然后进行筛选和整合处理，自制无人机样本图片，构成无人机样本数据集；先标记无人机整体机身数据，构成机身数据集，再裁剪出无人机各旋翼图片，对其进行标注处理，构成机翼数据集；

无人机样本数据集的标注采用XML文件标注，对每一幅图片中的检测对象分别标注类别信息和检测区域BoundingBox数据，数据格式为VOC格式；YOLO的数据集识别格式为Label、X_center/Width、Y_center/High、Bbox/Width和Bbox/High；

对标注后的无人机样本数据集进行预处理，将数据集图片重塑形状，进行数据增强操作，即通过旋转、平移和裁剪，增加数据集的多样性；对转换后的数据信息存储于.txt格式文件内，每一张图片样本对应一个.txt文件，.txt文件内标注数量为图片内的目标样本数量，每个目标样本占一行，包含类别信息、目标样本中心点横坐标与图像整体宽度的比值，目标样本中心点纵坐标与图像整体宽度的比值，识别区域宽度与图像整体宽度比值以及识别区域高度与图像整体宽度比值；

步骤2、采用YOLOv5模型对无人机的机身数据集进行训练，并对YOLOv5模型结构和权重参数进行优化调节；

将机身数据集划分为训练集、验证集和测试集，对机身数据集图像进行预处理，以符合YOLOv5模型的输入要求，用YOLOv5模型对机身进行训练；

机身数据集中的机身图像预处理之后经过YOLOv5模型的主干网络结构进行特征提取，再经过颈部网络增强模型对不同尺寸的无人机检测，从而能够识别不同大小的无人机；最后在检测头部分得到边界框预测结果；

经过多次循环迭代，不断更新YOLOv5模型网络参数，直至达到预定要求；

步骤3、采用YOLOv7模型对无人机的机翼数据集进行训练，并对YOLOv7模型结构和权重参数进行优化调节，使得YOLOv7模型网络结构更好的适应小样本数据集的学习；

将机翼数据集划分为训练集、验证集和测试集；

由于机翼属于小目标检测，选用YOLOv7模型对机翼进行训练；首先，图片经过输入部分数据增强等一系列操作进行预处理后，被送入YOLOv7模型的主干网络对处理后的图片提取特征；随后，提取到的特征经过颈部模块特征融合处理得到大、中、小三种尺寸的特征；最终，融合后的特征被送入检测头，经过检测之后输出得到结果；

经过多次循环迭代，不断更新YOLOv7模型网络参数，直至达到预定要求；

步骤4、利用训练好的YOLOv5模型和YOLOv7模型分别进行无人机机身和机翼的检测；利用无人机机身机翼检测结果通过距离和置信度判定级得到最后无人机检测结果；

步骤4.1、对YOLOv5模型和YOLOv7模型识别出的无人机机身和机翼进行距离判别；

采用欧氏距离对YOLOv5模型和YOLOv7模型识别出的机身机翼进行距离判别；将无人机机身和机翼的中心位置表示为二维坐标(x₁,y₁)和(x₂,y₂)，则无人机的机身和机翼之间的欧氏距离，公式如下所示：

d＝sqrt((x₂-x₁)²+(y₂+y₁)²)

其中，d表示机身和机翼之间的欧氏距离；

如果机身机翼的欧氏距离在设定范围内，则判定机身和机翼为同一架无人机；否则执行步骤4.2，利用置信度判定公式判断识别出的机身和机翼是否属于同一架无人机；

步骤4.2、利用置信度判定公式进行机身机翼目标关联，判断识别出的机身和机翼是否属于同一架无人机；

经过步骤2、步骤3得到的训练权重对无人机图片进行检测得到无人机的位置以及机身置信度和机翼的置信度，利用如下置信度判定公式对机身机翼进行目标关联：

p＝w₁*X₁+w₂*X₂

其中，w₁为机翼的权重，X₁为机翼的置信度；w₂为机身的权重，X₂为机身的置信度，p为无人机的置信度；

机翼的权重其中n为无人机机翼的个数，α为根据无人机实际情况设定的常数，0<α<1；机身的权重w₂＝1-w₁；机翼的置信度/>也就是无人机各机翼的平均置信度；则无人机的最终置信度判定公式为：

最后将计算得到的无人机的最终置信度与置信度阈值进行比较；如果该无人机的最终置信度高于置信度阈值，则识别出的机身和机翼属于同一架无人机，认为该检测结果是一个可信度较高的无人机。

采用上述技术方案所产生的有益效果在于：本发明提供的一种基于翼身融合特征的无人机检测方法，根据机身机翼的特点选用适合的网络进行训练，能提高对无人机的检测精度，该方法具有检测效率高、识别准确性高、鲁棒性强等优点。

本发明对机身机翼联合判别做了距离和置信度判定级，在遮挡等复杂环境下可以对机翼进行检测，若检测到了机翼可以通过判定机制判断是否存在无人机，提升了复杂环境下检测的准确度。同时加快的运算速度，从而实现对非法“黑飞”无人机的检测。

附图说明

图1为本发明实施例提供的一种基于翼身融合特征的无人机检测方法的流程图；

图2为本发明实施例提供的YOLOv5模型结构示意图；

图3为本发明实施例提供的YOLOv7模型结构示意图；

图4为本发明实施例提供的无人机置信度判定机制的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例中，一种基于翼身融合特征的无人机检测方法，如图1所示，包括以下步骤：

步骤1、收集和构建符合YOLO标注格式的无人机样本数据集，预处理数据集，将无人机样本数据集格式转换为YOLO可训练和识别的.txt格式，并分别构建出机身数据集和机翼数据集；

收集数据集主要是从国内外网页上搜索无人机图片或视频，或者采用手机拍摄无人机视频图片，然后进行筛选和整合处理，自制无人机样本图片，构成无人机样本数据集；先标记无人机整体机身数据，构成机身数据集，再裁剪出无人机各旋翼图片，对其进行标注处理，构成机翼数据集；

无人机样本数据集的标注采用XML文件标注，对每一幅图片中的检测对象分别标注类别信息和检测区域BoundingBox数据，数据格式为VOC格式；YOLO的数据集识别格式为Label、X_center/Width、Y_center/High、Bbox/Width和Bbox/High；

对标注后的无人机样本数据集进行预处理，将数据集图片重塑形状，进行数据增强操作，即通过旋转、平移和裁剪，增加数据集的多样性；对转换后的数据信息存储于.txt格式文件内，每一张图片样本对应一个.txt文件，.txt文件内标注数量为图片内的目标样本数量，每个目标样本占一行，包含类别信息、目标样本中心点横坐标与图像整体宽度的比值，目标样本中心点纵坐标与图像整体宽度的比值，识别区域宽度与图像整体宽度比值以及识别区域高度与图像整体宽度比值；

步骤2、采用YOLOv5模型对无人机的机身数据集进行训练，并对YOLOv5模型结构和权重参数进行优化调节；

将机身数据集划分为训练集、验证集和测试集，对机身数据集图像进行预处理，以符合YOLOv5模型的输入要求，用YOLOv5模型对机身进行训练；对机身数据集图像进行的预处理包括调整大小、裁剪、缩放、归一化等操作；

机身数据集中的机身图像预处理之后经过YOLOv5模型的主干网络结构进行特征提取，再经过颈部网络增强模型对不同尺寸的无人机检测，从而能够识别不同大小的无人机；最后在检测头部分得到边界框预测结果；

经过多次循环迭代，不断更新YOLOv5模型网络参数，直至达到预定要求；

本实施例利用服务器对YOLOv5网络对机身进行训练，训练环境选择Python3.8，深度学习框架为PyTorch1.8.1，CDUA为11.1，操作系统选择win11，处理器为16核心Inter i9-12900KF，内存32GB，显卡为NVIDIARTX3090Ti，显存24GB，具体包括以下步骤：

S1、获取机身训练集，从训练集中选取训练图片，获得训练图片中物体的中心点p和真实框宽高[W,H]；将训练无人机图片输入基于如图2所示的YOLOv5的物体检测模型，先采用Mosaic方式处理无人机数据集，将四张图片进行翻转、缩放、色域变化等操作，在随机剪裁后进行拼接，从而形成一张新的无人机图片作为数据集进行模型的训练。

S2、经过预处理的无人机数据集经过主干网络CSP(Cross Stage ParitialNetwork)跨阶段局部网络结构提取特征，然后经过Focus结构将无人机图片进行下采样。然后再经过Neck网络进一步丰富特征的多样性以达到提升模型鲁棒性的目的。这一部分对特征进行特征融合，可以获取三个输出特征图对应的训练标签，三个输出特征图包括：第一输出特征图、第二输出特征图和第三输出特征图，输出特征图的信息包括：有无类别信息、类别信息、中心点信息和宽高信息.具体实现中，优选地将第一输出特征图的宽高大小为20×20，第二输出特征图的宽高大小为40×40，第三输出特征图的宽高大小为80×80。

S3、将物体的中心点和真实框宽高按照第一输出特征图、第二输出特征图和第三输出特征图的宽高进行比例缩放，获得各输出特征图对应的训练标签。进而得到物体在各输出特征图的参考框和锚点。通过计算各锚点与对应的输出特征图中关于物体中心点、宽高信息的数学关系，获得物体在各输出特征图中的预测中心点、预测宽高。

S4、计算物体的预测中心点和预测宽高，与物体的中心点和宽高之间的损失，获得模型的第一损失值，将第一损失值与物体类别的损失值相加，获得模型的整体损失值；这里的损失函数采用的是CIoU损失函数，如下公式所示：

CIoU式子中，ρ²(b,b_g ^t)代表预测框与真实框的中心点欧氏距离，c代表能够同时包含预测框和真实框的最小闭包区域的对角线距离，IoU是一种测量在特定数据集中检测相应物体准确度的标准。

S5、将所述整体损失值输入Adam优化器进行优化，经过多次循环迭代，不断更新网络参数，直至达到预定要求。获得训练好的基于YOLOV5的无人机预测模型。

步骤3、采用YOLOv7模型对无人机的机翼数据集进行训练，并对YOLOv7模型结构和权重参数进行优化调节，使得YOLOv7模型网络结构更好的适应小样本数据集的学习；

将机翼数据集划分为训练集、验证集和测试集；

由于机翼属于小目标检测，选用YOLOv7模型对机翼进行训练；首先，图片经过输入部分数据增强等一系列操作进行预处理后，被送入YOLOv7模型的主干网络对处理后的图片提取特征；随后，提取到的特征经过颈部模块特征融合处理得到大、中、小三种尺寸的特征；最终，融合后的特征被送入检测头，经过检测之后输出得到结果；

经过多次循环迭代，不断更新YOLOv7模型网络参数，直至达到预定要求，具体包括以下步骤：

A1、先对输入的图片预处理，包括图像缩放、裁剪、归一化等操作，对齐成640×640大小的RGB图片。

A2、将预处理的图片输入到如图3所示的YOLOv7模型的骨干网络中，使用骨干网络对预处理后的图片进行特征提取。首先是经过4层卷积层后，无人机特征图变为160×160×128大小。随后无人机特征图会经过ELAN模块。然后后面就是三个MP+ELAN的输出，对应的就是C3、C4、C5的无人机特征图输出，大小分别为80×80×512，40×40×1024，20×20×1024。再将特征图输入到Neck网络，这部分采用的是传统的PAFPN结构。在主干部分获得的三个有效特征层会在这一部分进行特征融合，在FPN部分，已经获得的有效特征层被用于继续提取特征。然后使用Panet结构，对特征进行上采样和下采样实现特征融合。再经过RepConv结构将复杂的残差结构等效于一个普通的3×3卷积在不降低网络预测性的情况下降低网络的复杂度。通过Backbone和FPN，可以获得三个加强过的有效特征层，这些特征图包含了不同层次、不同尺度的特征信息。每一个特征层都有宽、高和通道数，此时我们可以将特征图看作一个又一个特征点的集合，每个特征点上有三个先验框，每一个先验框都有通道数个特征。进而得到机翼预测信息。

A3、损失函数分为坐标损失、目标置信度损失和分类损失三部分，其中目标置信度损失和坐标损失采用CIoU损失函数，分类损失采用BCEWithLogitsLoss。

A4、选取Adam优化器，参数选用默认参数，初始学习率设置为1e-3，随着训练的加深，其以十分之一的速率进行下降；将原图像集的输出结果，即区域坐标、置信度、分类标签，分别作为三类损失函数的输入，通过损失函数计算结果，实施反向传播，进行网络参数更新，经过预设的训练周期，获得训练好的卷积神经网络。

步骤4、利用训练好的YOLOv5模型和YOLOv7模型分别进行无人机机身和机翼的检测；利用无人机机身机翼检测结果通过距离和置信度判定级得到最后无人机检测结果，如图4所示；

步骤4.1、对YOLOv5模型和YOLOv7模型识别出的无人机机身和机翼进行距离判别；

采用欧氏距离对YOLOv5模型和YOLOv7模型识别出的机身机翼进行距离判别；将无人机机身和机翼的中心位置表示为二维坐标(x₁,y₁)和(x₂,y₂)，则无人机的机身和机翼之间的欧氏距离，公式如下所示：

d＝sqrt((x₂-x₁)²+(y₂+y₁)²)

其中，d表示机身和机翼之间的欧氏距离；

如果机身机翼的欧氏距离在设定范围内，则判定机身和机翼为同一架无人机；否则执行步骤4.2，利用置信度判定公式判断识别出的机身和机翼是否属于同一架无人机；

步骤4.2、利用置信度判定公式进行机身机翼目标关联，判断识别出的机身和机翼是否属于同一架无人机；

经过步骤2、步骤3得到的训练权重对无人机图片进行检测得到无人机的位置以及机身置信度和机翼的置信度，利用如下置信度判定公式对机身机翼进行目标关联：

p＝w₁*X₁+w₂*X₂

其中，w₁为机翼的权重，X₁为机翼的置信度；w₂为机身的权重，X₂为机身的置信度，p为无人机的置信度；

机翼的权重其中n为无人机机翼的个数，α为根据无人机实际情况设定的常数，0<α<1；机身的权重w₂＝1-w₁；机翼的置信度/>也就是无人机各机翼的平均置信度；则无人机的最终置信度判定公式为：

最后将计算得到的无人机的最终置信度与置信度阈值进行比较；如果该无人机的最终置信度高于置信度阈值，则识别出的机身和机翼属于同一架无人机，认为该检测结果是一个可信度较高的无人机。

先对待检测的图像进行预处理，包括图像缩放、归一化、通道转换等操作，以适应模型的输入要求。将无人机图片输入网络中，图片经过训练好的权重模型分别检测图片中无人机的机身与机翼的置信度等信息，对检测结果进行后处理，包括非极大值抑制(NMS)、置信度筛选等。NMS的目的是消除重叠的检测框，从而得到更准确的检测结果。置信度筛选是为了去除置信度较低的检测结果。输出检测结果，包括机身机翼类别、位置、置信度等信息。然后进行信息融合，得到的信息将通过自定义的置信度判定级计算出图片中无人机的置信度。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (6)

1.一种基于翼身融合特征的无人机检测方法，其特征在于：包括以下步骤：

步骤1、收集和构建符合YOLO标注格式的无人机样本数据集，预处理数据集，将无人机样本数据集格式转换为YOLO可训练和识别的格式，并分别构建出机身数据集和机翼数据集；

步骤2、采用YOLOv5模型对无人机的机身数据集进行训练，并对YOLOv5模型结构和权重参数进行优化调节；

步骤3、采用YOLOv7模型对无人机的机翼数据集进行训练，并对YOLOv7模型结构和权重参数进行优化调节，使得YOLOv7模型网络结构更好的适应小样本数据集的学习；

步骤4、利用训练好的YOLOv5模型和YOLOv7模型分别进行无人机机身和机翼的检测；利用无人机机身机翼检测结果通过距离和置信度判定级得到最后无人机检测结果。

2.根据权利要求1所述的一种基于翼身融合特征的无人机检测方法，其特征在于：所述步骤1搜集无人机图片或视频，然后进行筛选和整合处理，自制无人机样本图片，构成无人机样本数据集；先标记无人机整体机身数据，构成机身数据集，再裁剪出无人机各旋翼图片，对其进行标注处理，构成机翼数据集。

3.根据权利要求2所述的一种基于翼身融合特征的无人机检测方法，其特征在于：所述步骤1采用XML文件标注无人机样本数据集，对每一幅图片中的检测对象分别标注类别信息和检测区域BoundingBox数据，数据格式为VOC格式；YOLO的数据集识别格式为Label、X_center/Width、Y_center/High、Bbox/Width和Bbox/High；

对标注后的无人机样本数据集进行预处理，将数据集图片重塑形状，进行数据增强操作，即通过旋转、平移和裁剪，增加数据集的多样性；对转换后的数据信息存储于.txt格式文件内，每一张图片样本对应一个.txt文件，.txt文件内标注数量为图片内的目标样本数量，每个目标样本占一行，包含类别信息、目标样本中心点横坐标与图像整体宽度的比值，目标样本中心点纵坐标与图像整体宽度的比值，识别区域宽度与图像整体宽度比值以及识别区域高度与图像整体宽度比值。

4.根据权利要求3所述的一种基于翼身融合特征的无人机检测方法，其特征在于：所述步骤2的具体方法为：

将机身数据集划分为训练集、验证集和测试集，对机身数据集图像进行预处理，以符合YOLOv5模型的输入要求，用YOLOv5模型对机身进行训练；

机身数据集中的机身图像预处理之后经过YOLOv5模型的主干网络结构进行特征提取，再经过颈部网络增强模型对不同尺寸的无人机检测，从而能够识别不同大小的无人机；最后在检测头部分得到边界框预测结果；

经过多次循环迭代，不断更新YOLOv5模型网络参数，直至达到预定要求。

5.根据权利要求4所述的一种基于翼身融合特征的无人机检测方法，其特征在于：所述步骤3的具体方法为：

将机翼数据集划分为训练集、验证集和测试集；

由于机翼属于小目标检测，选用YOLOv7模型对机翼进行训练；首先，图片经过输入部分数据增强等一系列操作进行预处理后，被送入YOLOv7模型的主干网络对处理后的图片提取特征；随后，提取到的特征经过颈部模块特征融合处理得到大、中、小三种尺寸的特征；最终，融合后的特征被送入检测头，经过检测之后输出得到结果；

经过多次循环迭代，不断更新YOLOv7模型网络参数，直至达到预定要求。

6.根据权利要求5所述的一种基于翼身融合特征的无人机检测方法，其特征在于：所述步骤4的具体方法为：

步骤4.1、对YOLOv5模型和YOLOv7模型识别出的无人机机身和机翼进行距离判别；

采用欧氏距离对YOLOv5模型和YOLOv7模型识别出的机身机翼进行距离判别；将无人机机身和机翼的中心位置表示为二维坐标(x₁,y₁)和(x₂,y₂)，则无人机的机身和机翼之间的欧氏距离，公式如下所示：

d＝sqrt((x₂-x₁)²+(y₂+y₁)²)

其中，d表示机身和机翼之间的欧氏距离；

如果机身机翼的欧氏距离在设定范围内，则判定机身和机翼为同一架无人机；否则执行步骤4.2，利用置信度判定公式判断识别出的机身和机翼是否属于同一架无人机；

步骤4.2、利用置信度判定公式进行机身机翼目标关联，判断识别出的机身和机翼是否属于同一架无人机；

经过步骤2、步骤3得到的训练权重对无人机图片进行检测得到无人机的位置以及机身置信度和机翼的置信度，利用如下置信度判定公式对机身机翼进行目标关联：

p＝w₁*X₁+w₂*X₂

其中，w₁为机翼的权重，X₁为机翼的置信度；w₂为机身的权重，X₂为机身的置信度，p为无人机的置信度；

机翼的权重其中n为无人机机翼的个数，α为根据无人机实际情况设定的常数，0<α<1；机身的权重w₂＝1-w₁；机翼的置信度/>也就是无人机各机翼的平均置信度；则无人机的最终置信度判定公式为：

最后将计算得到的无人机的最终置信度与置信度阈值进行比较；如果该无人机的最终置信度高于置信度阈值，则识别出的机身和机翼属于同一架无人机，认为该检测结果是一个可信度较高的无人机。