CN117576724A - 一种无人机飞鸟检测方法、系统、设备和介质 - Google Patents
一种无人机飞鸟检测方法、系统、设备和介质 Download PDFInfo
- Publication number
- CN117576724A CN117576724A CN202311518616.3A CN202311518616A CN117576724A CN 117576724 A CN117576724 A CN 117576724A CN 202311518616 A CN202311518616 A CN 202311518616A CN 117576724 A CN117576724 A CN 117576724A
- Authority
- CN
- China
- Prior art keywords
- bird
- generate
- yolov5
- feature
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 109
- 238000012549 training Methods 0.000 claims abstract description 91
- 238000012795 verification Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims description 41
- 230000007246 mechanism Effects 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 24
- 230000006872 improvement Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 8
- 238000010200 validation analysis Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 28
- 238000005286 illumination Methods 0.000 abstract description 8
- 238000007689 inspection Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 7
- 230000036544 posture Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无人机飞鸟检测方法、系统、设备和介质，涉及无人机技术领域。通过获取无人机航拍的历史视频和实时视频，将历史视频进行加透射光处理，生成训练集和验证集。采用训练集对初始Yolov5改进模型进行模型训练，生成中间Yolov5改进模型。采用验证集对中间Yolov5改进模型进行模型验证，确定目标Yolov5改进模型。将实时视频输入目标Yolov5改进模型进行飞鸟检测，生成无人机对应的飞鸟检测数据。考虑无人机航拍的飞鸟检测经常会在晴天作业，太阳光对相机存在透射光对鸟类识别的影响，增加了对历史视频进行加透射光处理的数据增强策略，使训练得到模型可以更好地理解和适应不同的光照条件下的图像。
Description
技术领域
本发明涉及无人机技术领域，尤其涉及无人机飞鸟检测方法、系统、设备和介质。
背景技术
无人机巡检是一种基于无人机技术的巡视、监测和检查方法，它利用无人机平台搭载的传感器和摄像设备，可以实现高空俯瞰、远程控制和自主飞行等功能。无人机巡检在各个领域具有重要的背景和意义。首先，无人机巡检可以提高巡检效率和准确性。相比传统的人工巡视，无人机可以快速覆盖大范围的区域，并且能够获取高分辨率的图像和数据。这样可以节省时间和人力资源，并且可以提供更详细和全面的信息，有助于及早发现问题和隐患。其次，无人机巡检在危险和复杂环境中具有优势。无人机可以进入人类难以到达或存在安全风险的区域，如高海拔地区、火灾现场、化工厂等，实现远程监测和检查。这样可以保护人员的安全，减少人为因素的干扰，并且提供实时的数据和情报支持。
但现有的无人机巡检在进行飞鸟检测时只关注图像特征的通道信息或空间信息，无法从多个方面考虑特征信息的关联性，无法更好地捕捉在各种飞行姿态下的飞鸟，导致检测结果准确性低。
发明内容
本发明提供了一种无人机飞鸟检测方法、系统、设备和介质，解决了现有的无人机巡检在进行飞鸟检测时只关注图像特征的通道信息或空间信息，无法从多个方面考虑特征信息的关联性，无法更好地捕捉在各种飞行姿态下的飞鸟，导致检测结果准确性低的技术问题。
本发明提供的一种无人机飞鸟检测方法，包括：
获取无人机航拍的历史视频和实时视频，将所述历史视频进行加透射光处理，生成训练集和验证集；
采用所述训练集对初始Yolov5改进模型进行模型训练，生成中间Yolov5改进模型；
采用所述验证集对所述中间Yolov5改进模型进行模型验证，确定目标Yolov5改进模型；
将所述实时视频输入所述目标Yolov5改进模型进行飞鸟检测，生成所述无人机对应的飞鸟检测数据。
可选地，所述将所述历史视频进行加透射光处理，生成训练集和验证集的步骤，包括：
按照预设提取要求将所述历史视频进行视频帧提取，生成初始飞鸟图像集；
将所述初始飞鸟图像集进行加透射光处理，生成中间飞鸟图像集；
采用所述初始飞鸟图像集和所述中间飞鸟图像集，构建目标飞鸟图像集；
按照预设划分比例划分所述目标飞鸟图像集，生成训练集和验证集。
可选地，所述初始Yolov5改进模型包括主干网络层、特征融合层和检测头；所述采用所述训练集对初始Yolov5改进模型进行模型训练，生成中间Yolov5改进模型的步骤，包括：
将所述训练集输入所述主干网络层进行特征提取，生成多张目标特征图；
通过所述特征融合层按照尺寸对所述目标特征图进行特征融合和降噪，生成特征数据；
通过所述检测头采用所述特征数据与对应的标签信息进行交叉熵和广义交并比计算，生成检测数据；
采用所述检测数据更新所述初始Yolov5改进模型的模型参数，生成中间Yolov5改进模型。
可选地，所述主干网络层包括聚焦层、变形卷积注意力模块、多个三卷积层和多个第一卷积层；所述训练集包括多张训练图像；所述将所述训练集输入所述主干网络层进行特征提取，生成多张目标特征图的步骤，包括：
分别通过所述聚焦层对所述训练图像进行感兴趣区域聚焦，生成所述初始训练图像对应的聚焦图像；
通过所述变形卷积注意力模块对所述聚焦图像进行自适应特征提取，生成初始特征图；
通过所述三卷积层对所述初始特征图进行深度特征提取，生成中间特征图；
通过所述第一卷积层对所述中间特征图进行卷积操作，生成所述初始训练图像对应的目标特征图。
可选地，所述变形卷积注意力模块包括第二卷积层、归一化函数、激活函数、可变性卷积层、空间注意力机制、通道注意力机制、第三卷积层和融合层；所述通过所述变形卷积注意力模块对所述聚焦图像进行自适应特征提取，生成初始特征图的步骤，包括：
通过所述第二卷积层改变所述聚焦图像的通道数，生成第一特征图；
采用所述归一化函数对所述第一特征图进行批量归一化，生成第二特征图；
采用所述激活函数对所述第二特征图进行数据增强处理，生成第三特征图；
通过所述可变性卷积层对所述聚焦图像进行自适应特征提取，生成第四特征图；
通过所述空间注意力机制和所述通道注意力机制分别提取所述第四特征图的空间信息和特征通道关注度，生成空间信息和特征通道关注度；
通过所述第三卷积层将所述空间信息和所述特征通道关注度进行卷积操作，生成第五特征图；
通过所述融合层将所述第三特征图和所述第五特征图进行特征融合，生成初始特征图。
可选地，所述通过所述检测头采用所述特征数据与对应的标签信息进行交叉熵和广义交并比计算，生成检测数据的步骤，包括：
通过所述检测头将所述特征数据与对应的标签信息代入预设交叉熵计算公式，计算得到交叉熵；
所述预设交叉熵计算公式为：
其中，H(p,q)表示交叉熵；p表示真实分布；q表示预测分布；pi表示真实分布中第i个事件发生的概率；qi表示模型预测分布中第i个事件发生的概率；n表示事件总数；
通过所述检测头将所述特征数据与对应的标签信息代入预设广义交并比计算公式，计算得到广义交并比值；
所述预设广义交并比计算公式为：
其中，LGIOU表示广义交并比值；IOU表示A区域与B区域的交集区域；C表示A区域与B区域用最小矩形框起来的边界；A表示预测框；B表示真实框。
本发明还提供了一种无人机飞鸟检测系统，包括：
训练集和验证集生成模块，用于获取无人机航拍的历史视频和实时视频，将所述历史视频进行加透射光处理，生成训练集和验证集；
中间Yolov5改进模型生成模块，用于采用所述训练集对初始Yolov5改进模型进行模型训练，生成中间Yolov5改进模型；
目标Yolov5改进模型确定模块，用于采用所述验证集对所述中间Yolov5改进模型进行模型验证，确定目标Yolov5改进模型；
飞鸟检测数据生成模块，用于将所述实时视频输入所述目标Yolov5改进模型进行飞鸟检测，生成所述无人机对应的飞鸟检测数据。
可选地，所述训练集和验证集生成模块，包括：
初始飞鸟图像集生成模块，用于按照预设提取要求将所述历史视频进行视频帧提取，生成初始飞鸟图像集；
中间飞鸟图像集生成模块，用于将所述初始飞鸟图像集进行加透射光处理，生成中间飞鸟图像集；
目标飞鸟图像集构建模块，用于采用所述初始飞鸟图像集和所述中间飞鸟图像集，构建目标飞鸟图像集；
训练集和验证集生成子模块，用于按照预设划分比例划分所述目标飞鸟图像集，生成训练集和验证集。
本发明还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行实现如上述任一项无人机飞鸟检测方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述任一项无人机飞鸟检测方法。
从以上技术方案可以看出，本发明具有以下优点：
本发明通过获取无人机航拍的历史视频和实时视频，将历史视频进行加透射光处理，生成训练集和验证集。采用训练集对初始Yolov5改进模型进行模型训练，生成中间Yolov5改进模型。采用验证集对中间Yolov5改进模型进行模型验证，确定目标Yolov5改进模型。将实时视频输入目标Yolov5改进模型进行飞鸟检测，生成无人机对应的飞鸟检测数据。解决了现有的无人机巡检在进行飞鸟检测时只关注图像特征的通道信息或空间信息，无法从多个方面考虑特征信息的关联性，无法更好地捕捉在各种飞行姿态下的飞鸟，导致检测结果准确性低的技术问题。考虑无人机航拍的飞鸟检测经常会在晴天作业，太阳光对相机存在透射光对鸟类识别的影响，增加了对历史视频进行加透射光处理的数据增强策略，使训练得到模型可以更好地理解和适应不同的光照条件下的图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的一种无人机飞鸟检测方法的步骤流程图；
图2为本发明实施例一提供的初始Yolov5改进模型的结构示意图；
图3为本发明实施例二提供的一种无人机飞鸟检测方法的步骤流程图；
图4为本发明实施例二提供的不同光照条件下的飞鸟图像的示意图；
图5为本发明实施例二提供的变形卷积注意力模块的结构示意图；
图6为本发明实施例二提供的空间注意力机制的结构示意图；
图7为本发明实施例二提供的通道注意力机制的结构示意图；
图8为本发明实施例二提供的预测框与真实框之间的结构示意图；
图9为本发明实施例三提供的一种无人机飞鸟检测系统的结构框图。
具体实施方式
本发明实施例提供了一种无人机飞鸟检测方法、系统、设备和介质，用于解决现有的无人机巡检在进行飞鸟检测时只关注图像特征的通道信息或空间信息，无法从多个方面考虑特征信息的关联性，无法更好地捕捉在各种飞行姿态下的飞鸟，导致检测结果准确性低的技术问题。
在现有技术中，传统的注意力机制模块通常只关注图像特征的通道信息或空间信息，无法从多个方面考虑特征信息的关联性，同时不容易精确把握重点区域的关注问题。目前Yolov5模型以及大部分基于Yolov5的改进模型仍采用传统的正方形3×3卷积核作为特征提取的主要手段，但其卷积不变形无法提供位置敏感的特征表示，无法更好地捕捉在各种飞行姿态下的飞鸟。基于深度学习的目标检测模型在训练的过程中往往使用到随机旋转、缩放平移、色彩变换等操作，但缺少模拟真实场景，需要针对性地在无人机巡检飞鸟场景中引入模拟真实环境的数据增强操作。因此，为了解决上述问题，本发明实施例提供了一种无人机飞鸟检测方法、系统、设备和介质。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例一提供的一种无人机飞鸟检测方法的步骤流程图。
本发明实例一提供的一种无人机飞鸟检测方法，包括：
步骤101、获取无人机航拍的历史视频和实时视频，将历史视频进行加透射光处理，生成训练集和验证集。
在本发明实施例中，从无人机航拍视频的历史视频中获取高分辨率飞鸟图像，人工对部分无人机航拍图像飞鸟进行标注，构建初始飞鸟图像集。将初始飞鸟图像集进行加透射光处理，生成中间飞鸟图像集。采用初始飞鸟图像集和中间飞鸟图像集，构建目标飞鸟图像集。按照预设划分比例划分目标飞鸟图像集，生成训练集和验证集。
步骤102、采用训练集对初始Yolov5改进模型进行模型训练，生成中间Yolov5改进模型。
在本发明实施例中，如图2所示，初始Yolov5改进模型包括主干网络层Backbone、特征融合层Neck和检测头Head。Backbone以一张640×640尺寸的图像作为输入，首先采用聚焦层集focus模块对输入特征图中感兴趣的区域进行聚焦，利用三层卷积层即C3模块进行特征提取操作，其中使用可变形卷积模块来自适应调整卷积核的形状以进行有效目标的针对性特征提取。Neck部分利用连续的上采样和下采样操作，将相同尺寸的featuremap(目标特征图)进行特征的融合和降噪。最后数据传入Head部分与标签信息进行交叉熵、GIOU(广义交并比)的计算，通过对模型的多次训练不断反向迭代更新模型参数，最后获得高精度的图像分类和定位结果。
将训练集输入主干网络层进行特征提取，生成多张目标特征图。通过特征融合层按照尺寸对目标特征图进行特征融合和降噪，生成特征数据。通过检测头采用特征数据与对应的标签信息进行交叉熵和广义交并比计算，生成检测数据。采用检测数据更新初始Yolov5改进模型的模型参数，生成中间Yolov5改进模型。
步骤103、采用验证集对中间Yolov5改进模型进行模型验证，确定目标Yolov5改进模型。
在本发明实施例中，采用验证集测试中间Yolov5改进模型的精度，当模型开始收敛时停止训练并保存所有参数，从而得到目标Yolov5改进模型。
步骤104、将实时视频输入目标Yolov5改进模型进行飞鸟检测，生成无人机对应的飞鸟检测数据。
在本发明实施例中，采用已训练好的目标Yolov5改进模型对待检测的无人机航拍视频即进行飞鸟目标检测，从而得到无人机对应的飞鸟检测数据。
在本发明实施例中，通过获取无人机航拍的历史视频和实时视频，将历史视频进行加透射光处理，生成训练集和验证集。采用训练集对初始Yolov5改进模型进行模型训练，生成中间Yolov5改进模型。采用验证集对中间Yolov5改进模型进行模型验证，确定目标Yolov5改进模型。将实时视频输入目标Yolov5改进模型进行飞鸟检测，生成无人机对应的飞鸟检测数据。解决了现有的无人机巡检在进行飞鸟检测时只关注图像特征的通道信息或空间信息，无法从多个方面考虑特征信息的关联性，无法更好地捕捉在各种飞行姿态下的飞鸟，导致检测结果准确性低的技术问题。考虑无人机航拍的飞鸟检测经常会在晴天作业，太阳光对相机存在透射光对鸟类识别的影响，增加了对历史视频进行加透射光处理的数据增强策略，使训练得到模型可以更好地理解和适应不同的光照条件下的图像。
请参阅图3，图3为本发明实施例二提供的一种无人机飞鸟检测方法的步骤流程图。
本发明实例二提供的另一种无人机飞鸟检测方法，包括：
步骤301、获取无人机航拍的历史视频和实时视频，将历史视频进行加透射光处理，生成训练集和验证集。
进一步地，步骤301可以包括以下子步骤S11-S14：
S11、按照预设提取要求将历史视频进行视频帧提取，生成初始飞鸟图像集。
S12、将初始飞鸟图像集进行加透射光处理，生成中间飞鸟图像集。
S13、采用初始飞鸟图像集和中间飞鸟图像集，构建目标飞鸟图像集。
S14、按照预设划分比例划分目标飞鸟图像集，生成训练集和验证集。
预设提取要求是指基于实际需要设置的划分历史视频提取图像的标准。
预设划分比例是指基于实际需要事先设定训练集和验证集的比例，通常按9：1比例划分训练集和验证集。
在本发明实施例中，如图4所示，虑到基于航拍的目标检测经常会在晴天作业，而由于晴天进入相机的透射光影响，视频中飞鸟清晰度会随光照强度增大而模糊，对识别小目标的飞鸟检测造成严重影响。因此，除YOLOv5算法本身的数据增强手段外，本发明还增加了对历史视频进行加透射光处理的数据增强策略，用于提升算法的泛化性、鲁棒性。
具体地，按照预设提取要求将历史视频进行视频帧提取，生成初始飞鸟图像集，对初始飞鸟图像集的部分数据做不同光照条件的处理后，得到中间飞鸟图像集，将中间飞鸟图像集与初始飞鸟图像集，构建目标飞鸟图像集，采用目标飞鸟图像集对模型进行训练。透射光属于不同光照条件，考虑在正常拍摄时，太阳光会使拍摄照片留有透射光的效果，对检测目标造成模糊影响，干扰检测，因此在训练的数据集上对部分数据集手动做透射光的处理以提高模型的泛化性。将目标飞鸟图像集进行数据增强扩大数据集样本后，按照预设划分比例将目标飞鸟图像集按9：1比例划分训练集和验证集。
步骤302、将训练集输入主干网络层进行特征提取，生成多张目标特征图。
进一步地，主干网络层包括聚焦层、变形卷积注意力模块、多个三卷积层和多个第一卷积层。训练集包括多张训练图像。步骤302可以包括以下子步骤S21-S24：
S21、分别通过聚焦层对训练图像进行感兴趣区域聚焦，生成初始训练图像对应的聚焦图像。
S22、通过变形卷积注意力模块对聚焦图像进行自适应特征提取，生成初始特征图。
S23、通过三卷积层对初始特征图进行深度特征提取，生成中间特征图。
S24、通过第一卷积层对中间特征图进行卷积操作，生成初始训练图像对应的目标特征图。
在本发明实施例中，如图2所示，初始Yolov5改进模型分三部分组成，其中主干网络层部分由Focus(聚焦层)、CSDC(变形卷积注意力模块)、C3(三卷积层)、第一卷积层四种模块组成。其中，图2中的卷积层按照连接位置分别指主干网络层中的第一卷积层以及变形卷积注意力模块中的第二卷积层和第三卷积层。首先将训练集中的训练图像分别输入Focus模块即聚焦层进行感兴趣区域聚焦，得到的聚焦图像。将聚焦图像进入CSDC模块即变形卷积注意力模块，对聚焦图像目标进行自适应特征提取，针对性获取不同形态不同尺度的目标信息，得到初始特征图。接着通过C3模块即三卷积层对初始特征图进行深度特征提取，得到中间特征图。最后通过第一卷积层对中间特征图进行卷积操作，此处采用卷积操作替换池化操作，可以实现在完成图像尺寸缩小的同时尽可能保留原有的特征信息，从而得到对应的目标特征图。
进一步地，变形卷积注意力模块包括第二卷积层、归一化函数、激活函数、可变性卷积层、空间注意力机制、通道注意力机制、第三卷积层和融合层。步骤S22可以包括以下子步骤S221-S227：
S221、通过第二卷积层改变聚焦图像的通道数，生成第一特征图。
S222、采用归一化函数对第一特征图进行批量归一化，生成第二特征图。
S223、采用激活函数对第二特征图进行数据增强处理，生成第三特征图。
S224、通过可变性卷积层对聚焦图像进行自适应特征提取，生成第四特征图。
S225、通过空间注意力机制和通道注意力机制分别提取第四特征图的空间信息和特征通道关注度，生成空间信息和特征通道关注度。
S226、通过第三卷积层将空间信息和特征通道关注度进行卷积操作，生成第五特征图。
S227、通过融合层将第三特征图和第五特征图进行特征融合，生成初始特征图。
在本发明实施例中，如图5所示，特征融合模块CSDC有两条分支，第一条分支输入是经特征提取操作得到的第三特征图，第二卷积层是对聚焦图像做1×1卷积改变聚焦图像的通道数，BN是批量归一化即采用归一化函数对第一特征图进行批量归一化，生成第二特征图，用于加速和稳定神经网络的训练。采用激活函数对第二特征图进行数据增强处理，生成第三特征图，LeakyRelu激活函数可以增强模型的表达能力。第二条分支有DCN可变性卷积，对目标进行自适应特征提取，即通过可变性卷积层对聚焦图像进行自适应特征提取，生成第四特征图。另外STN空间注意力机制与CA通道注意力机制的并行用于提取目标的空间信息以及特征通道的关注度。即通过空间注意力机制和通道注意力机制分别提取第四特征图的空间信息和特征通道关注度，生成空间信息和特征通道关注度。
进一步地，可变性卷积层DCN在原普通卷积的基础上加上偏移量offsets，在可变性卷积中用于进一步调整卷积核的形变，具体过程包括：
其中，y(p0)表示偏移像素值；p0表示当前的位置信息；pn表示偏移量；R表示任何实数；w(pn)表示偏移后像素值计算所分配的权重；Δpn表示对偏移量进行微小修正的增量，{Δpn|n＝1，...，N}，在可变性卷积中用于进一步调整卷积核的形变，p表示位置信息x，y；x表示像素值。
在对图片的像素进行整合是需要偏移像素，然而针对偏移量Δpn往往是以浮点数的形式产生，在进行偏移量的反向传播时需要引入的是整形数据，因此需要考虑将偏移量转换为整形数据作为反向传播对象，选择双线性差值来对偏移量数据进行处理，具体过程包括：
x(p)＝∑qG(q，p)·x(q)；
其中，x(p)表示在x方向上与p对应的像素值；q表示枚举了特征映射x中所有积分空间位置；G(q，p)表示双线性插值核，并且被分为两个一维的核；x(q)表示在x方向上与q对应的像素值；p表示任意(分数)位置(对于p＝p0+pn+Δpn)。
像素偏移计算的反向传播函数利用原像素偏移公式计算，该公式的右边部分是对所有邻近像素pn的权重和梯度的加权求和，具体过程为：
其中，p0表示当前的位置信息；pn表示偏移量；R表示任何实数；w(pn)表示偏移后像素值计算所分配的权重；Δpn表示对偏移量进行微小修正的增量，{Δpn|n＝1，...，N}；q表示枚举了特征映射x中所有积分空间位置；G(q，p)表示双线性插值核，并且被分为两个一维的核；x(q)表示在x方向上与q对应的像素值；表示双线性插值函数G在点(q，p0+pn+Δpn)处对于Δpn的偏导数。
双线性插值的权重计算公式为：
G(q，p)＝g(qx，px)·g(qy，py)；
其中，G(q，p)表示q和p对应的双线性插值核；g(qx，px)表示x方向的差值权重；g(qy，py)表示y方向的差值权重。
where g(a，b)＝max(0，1-|a-b|)；
上述公式的作用是根据a和b之间的距离，给出一个衰减的权重值。当a和b相等时，权重值为1，表示完全匹配；当a和b距离较远时，权重值接近于0，表示匹配程度较低。使用这个权重函数来计算目标位置a和邻近像素b之间的权重，进行插值计算。
如图6所示，空间注意力机制STN，首先，通过局部化网络学习输入数据中感兴趣区域的定位和识别参数。接下来，使用参数化变换器根据学习到的参数对输入数据进行几何变换，生成变换后的特征图。然后，通过网格生成器生成一个规则的网格，定义了输入特征图中每个像素在变换后特征图中的对应位置。最后，变换后的特征图经过采样和插值操作得到最终的输出特征图。
如图7所示，通道注意力机制CA，首先，通过全局池化操作对输入特征图进行通道维度的压缩，得到全局特征描述向量。然后，使用一个全连接层或卷积层对全局特征描述向量进行映射和激活，从而得到通道注意力权重。这些权重用于对输入特征图中的每个通道进行加权，以突出重要的通道信息或抑制不重要的通道信息。最后，将加权后的特征图作为输出，供后续的网络层进行处理。
步骤303、通过特征融合层按照尺寸对目标特征图进行特征融合和降噪，生成特征数据。
在本发明实施例中，Neck部分即特征融合层采用传统的上下文多尺度融合操作。利用连续的上采样和下采样操作，将相同尺寸的目标特征图进行特征的融合和降噪，从而得到特征数据。
步骤304、通过检测头采用特征数据与对应的标签信息进行交叉熵和广义交并比计算，生成检测数据。
进一步地，步骤304可以包括以下子步骤S31-S32：
S31、通过检测头将特征数据与对应的标签信息代入预设交叉熵计算公式，计算得到交叉熵。
预设交叉熵计算公式为：
其中，H(p,q)表示交叉熵；p表示真实分布；q表示预测分布；pi表示真实分布中第i个事件发生的概率；qi表示模型预测分布中第i个事件发生的概率；n表示事件总数。
S32、通过检测头将特征数据与对应的标签信息代入预设广义交并比计算公式，计算得到广义交并比值。
预设广义交并比计算公式为：
其中，LGIOU表示广义交并比值；IOU表示A区域与B区域的交集区域；C表示A区域与B区域用最小矩形框起来的边界；A表示预测框；B表示真实框。
在本发明实施例中，Head由三个串有CSDC模块(变形卷积注意力模块)的分支组成，其中CSDC模块分别获取不同尺度下目标的空间关系信息以及目标不同的目标形态信息等，更加有利识别无人机视频下不同形态的小目标飞鸟。通过Head部分将特征数据与对应的标签信息进行交叉熵、GIOU(广义交并比)的计算，从而得到对应的交叉熵和广义交并比值。
如图8所示，矩形框A为预测框，矩形框B为真实框，其两个矩形用最小矩形框起来的边界就记为C框，计算这个值与C面积的比值，IOU为A与B区域的交集区域，用AB的IoU减去这个比值得到广义交并比值。
步骤305、采用检测数据更新初始Yolov5改进模型的模型参数，生成中间Yolov5改进模型。
在本发明实施例中，Yolov5改进模型将用于特征提取的普通卷积改为可变性卷积，结合双分支注意力机制模型构建CSDC模块，图像经过特征提取和特征融合模块，最后输出图像位置及分类信息，接着将训练集输入到所构建的网络模型即初始Yolov5改进模型中，对初始Yolov5改进模型进行训练，按照训练得到的检测数据更新初始Yolov5改进模型的模型参数，从而得到中间Yolov5改进模型。
步骤306、采用验证集对中间Yolov5改进模型进行模型验证，确定目标Yolov5改进模型。
在本发明实施例中，步骤306的具体实施过程与步骤103类似，在此不再赘述。
步骤307、将实时视频输入目标Yolov5改进模型进行飞鸟检测，生成无人机对应的飞鸟检测数据。
在本发明实施例中，步骤307的具体实施过程与步骤104类似，在此不再赘述。
在本发明实施例中，将无人机航拍视频的视频帧作为输入，采用结合了可变形卷积以及双分支STN空间注意力机制及CA通道注意力机制并行结构的CSDC模块进行图像的特征提取，经由C3组成的特征提取模块对输入图像进行深入的特征提取和降噪工作，在经过Neck网络进行特征的融合，通过反向传播迭代更新参数后的模型，最后输出图片检测的分类及位置信息，获取高精度的图像检测结果。考虑晴天透射光的数据增强策略。考虑无人机航拍的飞鸟检测经常会在晴天作业，太阳光对相机存在透射光对鸟类识别的影响，视频中飞鸟清晰度会随光照强度增大而模糊，而传统的数据集缺乏这方面的训练样本，对识别小目标的飞鸟检测造成严重影响。因此，除YOLOv5算法本身的数据增强手段外，本发明还增加了对原始数据进行加透射光处理的数据增强策略，用于提升算法的泛化性、鲁棒性。
本发明使用可变形卷积替换Yolov5框架用于特征提取的普通卷积，使得在处理具有复杂形状和结构的图像时更加灵活和有效，在结合了可变形卷积的CSDC结构还引入了空间注意力机制与通道注意力机制并行处理结构，相比现有的单个注意力机制或串行结构，CSDC结构强化了感知和表达能力，减少过拟合现象，并且在针对无人机视频下的飞鸟检测场景拥有更好的可解释性，由于空间和通道注意力机制都可以看作是在输入特征图上的操作，它们对输出结果的影响是可解释的。
本发明提出的考虑晴天透射光的数据增强策略与现有技术相比很好地解决了模型在晴天下无人机拍摄视频因出现透射光现象而导致检测的泛化性差的问题，加入透射光的数据增强策略可以模拟不同光照条件下的飞鸟图像，从而提高模型的泛化性和鲁棒性。由于晴天透射光会使得图像中的小目标变得模糊，这会给小目标检测带来挑战。而加入透射光的数据增强策略可以增加小目标模糊的情况，从而可以更好地训练模型，提高小目标检测的准确率；加入透射光的数据增强策略可以将原始数据进行变换，从而增加数据集的多样性。这种多样性可以帮助模型更好地理解和适应不同的光照条件下的图像。
请参阅图9，图9为本发明实施例三提供的一种无人机飞鸟检测系统的结构框图。
本发明实例三提供的一种无人机飞鸟检测系统，包括：
训练集和验证集生成模块901，用于获取无人机航拍的历史视频和实时视频，将历史视频进行加透射光处理，生成训练集和验证集。
中间Yolov5改进模型生成模块902，用于采用训练集对初始Yolov5改进模型进行模型训练，生成中间Yolov5改进模型。
目标Yolov5改进模型确定模块903，用于采用验证集对中间Yolov5改进模型进行模型验证，确定目标Yolov5改进模型。
飞鸟检测数据生成模块904，用于将实时视频输入目标Yolov5改进模型进行飞鸟检测，生成无人机对应的飞鸟检测数据。
可选地，训练集和验证集生成模块901，包括：
初始飞鸟图像集生成模块，用于按照预设提取要求将历史视频进行视频帧提取，生成初始飞鸟图像集。
中间飞鸟图像集生成模块，用于将初始飞鸟图像集进行加透射光处理，生成中间飞鸟图像集。
目标飞鸟图像集构建模块，用于采用初始飞鸟图像集和中间飞鸟图像集，构建目标飞鸟图像集。
训练集和验证集生成子模块，用于按照预设划分比例划分目标飞鸟图像集，生成训练集和验证集。
可选地，初始Yolov5改进模型包括主干网络层、特征融合层和检测头。
中间Yolov5改进模型生成模块902包括：
目标特征图生成模块，用于将训练集输入主干网络层进行特征提取，生成多张目标特征图。
特征数据生成模块，用于通过特征融合层按照尺寸对目标特征图进行特征融合和降噪，生成特征数据。
检测数据生成模块，用于通过检测头采用特征数据与对应的标签信息进行交叉熵和广义交并比计算，生成检测数据。
中间Yolov5改进模型生成子模块，用于采用检测数据更新初始Yolov5改进模型的模型参数，生成中间Yolov5改进模型。
可选地，主干网络层包括聚焦层、变形卷积注意力模块、多个三卷积层和多个第一卷积层；训练集包括多张训练图像。目标特征图生成模块包括：
聚焦图像生成模块，用于分别通过聚焦层对训练图像进行感兴趣区域聚焦，生成初始训练图像对应的聚焦图像。
初始特征图生成模块，用于通过变形卷积注意力模块对聚焦图像进行自适应特征提取，生成初始特征图。
中间特征图生成模块，用于通过三卷积层对初始特征图进行深度特征提取，生成中间特征图。
目标特征图生成模块，用于通过第一卷积层对中间特征图进行卷积操作，生成初始训练图像对应的目标特征图。
可选地，变形卷积注意力模块包括第二卷积层、归一化函数、激活函数、可变性卷积层、空间注意力机制、通道注意力机制、第三卷积层和融合层。初始特征图生成模块可以执行以下步骤：
通过第二卷积层改变聚焦图像的通道数，生成第一特征图；
采用归一化函数对第一特征图进行批量归一化，生成第二特征图；
采用激活函数对第二特征图进行数据增强处理，生成第三特征图；
通过可变性卷积层对聚焦图像进行自适应特征提取，生成第四特征图；
通过空间注意力机制和通道注意力机制分别提取第四特征图的空间信息和特征通道关注度，生成空间信息和特征通道关注度；
通过第三卷积层将空间信息和特征通道关注度进行卷积操作，生成第五特征图；
通过融合层将第三特征图和第五特征图进行特征融合，生成初始特征图。
可选地，检测数据生成模块可以执行以下步骤：
通过检测头将特征数据与对应的标签信息代入预设交叉熵计算公式，计算得到交叉熵；
预设交叉熵计算公式为：
其中，H(p,q)表示交叉熵；p表示真实分布；q表示预测分布；pi表示真实分布中第i个事件发生的概率；qi表示模型预测分布中第i个事件发生的概率；n表示事件总数；
通过检测头将特征数据与对应的标签信息代入预设广义交并比计算公式，计算得到广义交并比值；
预设广义交并比计算公式为：
其中，LGIOU表示广义交并比值；IOU表示A区域与B区域的交集区域；C表示A区域与B区域用最小矩形框起来的边界；A表示预测框；B表示真实框。
本发明实施例还提供了一种电子设备，电子设备包括：存储器及处理器，存储器中储存有计算机程序；计算机程序被处理器执行时，使得处理器执行如上述任一实施例的无人机飞鸟检测方法。
存储器可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器具有用于执行上述方法中的任何方法步骤的程序代码的存储空间。例如，用于程序代码的存储空间可以包括分别用于实现上面的方法中的各种步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。程序代码可以例如以适当形式进行压缩。这些代码当由计算处理设备运行时，导致该计算处理设备执行上面所描述的无人机飞鸟检测方法中的各个步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一实施例的无人机飞鸟检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种无人机飞鸟检测方法，其特征在于，包括：
获取无人机航拍的历史视频和实时视频，将所述历史视频进行加透射光处理，生成训练集和验证集；
采用所述训练集对初始Yolov5改进模型进行模型训练，生成中间Yolov5改进模型；
采用所述验证集对所述中间Yolov5改进模型进行模型验证，确定目标Yolov5改进模型；
将所述实时视频输入所述目标Yolov5改进模型进行飞鸟检测，生成所述无人机对应的飞鸟检测数据。
2.根据权利要求1所述的无人机飞鸟检测方法，其特征在于，所述将所述历史视频进行加透射光处理，生成训练集和验证集的步骤，包括：
按照预设提取要求将所述历史视频进行视频帧提取，生成初始飞鸟图像集；
将所述初始飞鸟图像集进行加透射光处理，生成中间飞鸟图像集；
采用所述初始飞鸟图像集和所述中间飞鸟图像集，构建目标飞鸟图像集；
按照预设划分比例划分所述目标飞鸟图像集，生成训练集和验证集。
3.根据权利要求1所述的无人机飞鸟检测方法，其特征在于，所述初始Yolov5改进模型包括主干网络层、特征融合层和检测头；所述采用所述训练集对初始Yolov5改进模型进行模型训练，生成中间Yolov5改进模型的步骤，包括：
将所述训练集输入所述主干网络层进行特征提取，生成多张目标特征图；
通过所述特征融合层按照尺寸对所述目标特征图进行特征融合和降噪，生成特征数据；
通过所述检测头采用所述特征数据与对应的标签信息进行交叉熵和广义交并比计算，生成检测数据；
采用所述检测数据更新所述初始Yolov5改进模型的模型参数，生成中间Yolov5改进模型。
4.根据权利要求3所述的无人机飞鸟检测方法，其特征在于，所述主干网络层包括聚焦层、变形卷积注意力模块、多个三卷积层和多个第一卷积层；所述训练集包括多张训练图像；所述将所述训练集输入所述主干网络层进行特征提取，生成多张目标特征图的步骤，包括：
分别通过所述聚焦层对所述训练图像进行感兴趣区域聚焦，生成所述初始训练图像对应的聚焦图像；
通过所述变形卷积注意力模块对所述聚焦图像进行自适应特征提取，生成初始特征图；
通过所述三卷积层对所述初始特征图进行深度特征提取，生成中间特征图；
通过所述第一卷积层对所述中间特征图进行卷积操作，生成所述初始训练图像对应的目标特征图。
5.根据权利要求4所述的无人机飞鸟检测方法，其特征在于，所述变形卷积注意力模块包括第二卷积层、归一化函数、激活函数、可变性卷积层、空间注意力机制、通道注意力机制、第三卷积层和融合层；所述通过所述变形卷积注意力模块对所述聚焦图像进行自适应特征提取，生成初始特征图的步骤，包括：
通过所述第二卷积层改变所述聚焦图像的通道数，生成第一特征图；
采用所述归一化函数对所述第一特征图进行批量归一化，生成第二特征图；
采用所述激活函数对所述第二特征图进行数据增强处理，生成第三特征图；
通过所述可变性卷积层对所述聚焦图像进行自适应特征提取，生成第四特征图；
通过所述空间注意力机制和所述通道注意力机制分别提取所述第四特征图的空间信息和特征通道关注度，生成空间信息和特征通道关注度；
通过所述第三卷积层将所述空间信息和所述特征通道关注度进行卷积操作，生成第五特征图；
通过所述融合层将所述第三特征图和所述第五特征图进行特征融合，生成初始特征图。
6.根据权利要求3所述的无人机飞鸟检测方法，其特征在于，所述通过所述检测头采用所述特征数据与对应的标签信息进行交叉熵和广义交并比计算，生成检测数据的步骤，包括：
通过所述检测头将所述特征数据与对应的标签信息代入预设交叉熵计算公式，计算得到交叉熵；
所述预设交叉熵计算公式为：
其中，H(p,q)表示交叉熵；p表示真实分布；q表示预测分布；pi表示真实分布中第i个事件发生的概率；qi表示模型预测分布中第i个事件发生的概率；n表示事件总数；
通过所述检测头将所述特征数据与对应的标签信息代入预设广义交并比计算公式，计算得到广义交并比值；
所述预设广义交并比计算公式为：
其中，LGIOU表示广义交并比值；IOU表示A区域与B区域的交集区域；C表示A区域与B区域用最小矩形框起来的边界；A表示预测框；B表示真实框。
7.一种无人机飞鸟检测系统，其特征在于，包括：
训练集和验证集生成模块，用于获取无人机航拍的历史视频和实时视频，将所述历史视频进行加透射光处理，生成训练集和验证集；
中间Yolov5改进模型生成模块，用于采用所述训练集对初始Yolov5改进模型进行模型训练，生成中间Yolov5改进模型；
目标Yolov5改进模型确定模块，用于采用所述验证集对所述中间Yolov5改进模型进行模型验证，确定目标Yolov5改进模型；
飞鸟检测数据生成模块，用于将所述实时视频输入所述目标Yolov5改进模型进行飞鸟检测，生成所述无人机对应的飞鸟检测数据。
8.根据权利要求7所述的无人机飞鸟检测系统，其特征在于，所述训练集和验证集生成模块，包括：
初始飞鸟图像集生成模块，用于按照预设提取要求将所述历史视频进行视频帧提取，生成初始飞鸟图像集；
中间飞鸟图像集生成模块，用于将所述初始飞鸟图像集进行加透射光处理，生成中间飞鸟图像集；
目标飞鸟图像集构建模块，用于采用所述初始飞鸟图像集和所述中间飞鸟图像集，构建目标飞鸟图像集；
训练集和验证集生成子模块，用于按照预设划分比例划分所述目标飞鸟图像集，生成训练集和验证集。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6任一项所述的无人机飞鸟检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至6任一项所述的无人机飞鸟检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311518616.3A CN117576724A (zh) | 2023-11-14 | 2023-11-14 | 一种无人机飞鸟检测方法、系统、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311518616.3A CN117576724A (zh) | 2023-11-14 | 2023-11-14 | 一种无人机飞鸟检测方法、系统、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117576724A true CN117576724A (zh) | 2024-02-20 |
Family
ID=89863667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311518616.3A Pending CN117576724A (zh) | 2023-11-14 | 2023-11-14 | 一种无人机飞鸟检测方法、系统、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117576724A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876942A (zh) * | 2024-03-12 | 2024-04-12 | 中国民用航空飞行学院 | 基于卷积神经网络的无人机与飞鸟的监测方法 |
-
2023
- 2023-11-14 CN CN202311518616.3A patent/CN117576724A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876942A (zh) * | 2024-03-12 | 2024-04-12 | 中国民用航空飞行学院 | 基于卷积神经网络的无人机与飞鸟的监测方法 |
| CN117876942B (zh) * | 2024-03-12 | 2024-05-24 | 中国民用航空飞行学院 | 基于卷积神经网络的无人机与飞鸟的监测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN108346159B (zh) | 一种基于跟踪-学习-检测的视觉目标跟踪方法 | |
| CN110222787B (zh) | 多尺度目标检测方法、装置、计算机设备及存储介质 | |
| US11151734B2 (en) | Method and system for generating synthetic point cloud data using a generative model | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN111738344B (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN111079739B (zh) | 一种多尺度注意力特征检测方法 | |
| CN110084201B (zh) | 一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法 | |
| CN110136162B (zh) | 无人机视角遥感目标跟踪方法及装置 | |
| CN111242026B (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
| CN117576724A (zh) | 一种无人机飞鸟检测方法、系统、设备和介质 | |
| CN113111716B (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
| CN112288026B (zh) | 一种基于类激活图的红外弱小目标检测方法 | |
| CN111626134A (zh) | 一种基于隐密度分布的密集人群计数方法、系统及终端 | |
| CN112036381A (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
| CN113033276A (zh) | 一种基于转换模块的行为识别方法 | |
| CN112329771A (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
| CN114638408A (zh) | 一种基于时空信息的行人轨迹预测方法 | |
| CN116805387B (zh) | 基于知识蒸馏的模型训练方法、质检方法和相关设备 | |
| CN116503399B (zh) | 基于yolo-afps的绝缘子污闪检测方法 | |
| CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
| CN115240121B (zh) | 一种用于增强行人局部特征的联合建模方法和装置 | |
| CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
| CN115546638A (zh) | 基于暹罗级联差分神经网络的变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |