CN117876910B - 基于主动学习的无人机目标检测关键数据筛选方法 - Google Patents

基于主动学习的无人机目标检测关键数据筛选方法 Download PDF

Info

Publication number
CN117876910B
CN117876910B CN202410252652.8A CN202410252652A CN117876910B CN 117876910 B CN117876910 B CN 117876910B CN 202410252652 A CN202410252652 A CN 202410252652A CN 117876910 B CN117876910 B CN 117876910B
Authority
CN
China
Prior art keywords
data
aerial vehicle
unmanned aerial
target detection
key data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410252652.8A
Other languages
English (en)
Other versions
CN117876910A (zh
Inventor
郭阳明
卢升
刘尊
龙江
杨欢
王晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Monton Information Technology Co ltd
Northwestern Polytechnical University
Original Assignee
Xi'an Monton Information Technology Co ltd
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Monton Information Technology Co ltd, Northwestern Polytechnical University filed Critical Xi'an Monton Information Technology Co ltd
Priority to CN202410252652.8A priority Critical patent/CN117876910B/zh
Publication of CN117876910A publication Critical patent/CN117876910A/zh
Application granted granted Critical
Publication of CN117876910B publication Critical patent/CN117876910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/091—Active learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于主动学习的无人机目标检测关键数据筛选方法，在分析无人机目标检测数据特点基础上，设计融合多轴注意力机制的特征提取网络，通过对主动学习各类查询策略的分析，设计适合无人机目标检测任务的委员会查询策略，结合融合多轴注意力机制的特征提取网络强大的特征提取能力和主动学习算法查询关键数据的优势，构建基于主动学习的无人机目标检测关键数据筛选框架，实现无人机目标检测关键数据的筛选。本发明仅仅使用60%经过筛选的关键数据达到超于其他多种主流网络模型使用100%训练数据的性能，克服类别不均衡、样本选择偏差等经常令模型评估失效、收敛到局部最优解的问题，确保了模型在实际应用中的鲁棒性和性能稳定性。

Description

基于主动学习的无人机目标检测关键数据筛选方法
技术领域
本发明涉及人工智能领域，尤其是一种无人机目标数据筛选方法。
背景技术
无人机目标检测是指利用无人机和计算机视觉技术来检测和识别目标物体，是无人机应用中的重要研究方向。无人机目标检测可应用于军事侦察、安防监控、环境监测、灾害救援、地质勘探、农业生产等方面，具有非常重要的意义。无人机目标检测的准确率和效率很大程度上取决于训练数据的质量和数量，但无人机在飞行时的高速移动和不稳定的飞行状态使得拍摄的图像往往模糊、噪声多，并且由于拍摄的目标往往很小，目标的信息往往被掩盖或者混杂在其他干扰信息中。因此对于无人机来说，获取高质量、大量的标注数据是一项耗时、耗力并且具有挑战的任务，如何利用少量的标注数据和大量的未标注数据来提高无人机目标检测的准确率和效率成为了研究的热点。
主动学习是一种半监督学习方法，其核心思想是假设机器学习算法主动选择对模型训练最有价值、最具代表性的样本，那么模型可以在少量且具有重要意义的已标注样本下完成训练，并获得较高的性能。虽然现有主动算法可以筛选重要数据进而减少需要进行标记的数据量、节省各类资源消耗，但还存在一些缺点：1)贡献度计算误差大。主动学习算法需要基于特征计算每个样本的贡献度，现有主动算法大多没有根据数据特点设计对应特征提取方法，进而导致贡献度计算误差大；2)样本不平衡问题。某些类别的样本比其他类别的样本更容易标注，主动算法可能会过度关注这些类别，而忽略其他类别。3)样本选择偏差。主动学习算法需要选择最有用的样本来进行标注，但是选择过程中可能会出现选择偏差，从而导致模型泛化能力不足。
发明内容
为了克服现有技术的不足，本发明提供一种基于主动学习的无人机目标检测关键数据筛选方法。本发明的目的在于提供一种基于主动学习无人机目标检测关键数据筛选方法，以解决现有技术对无人机目标检测任务中标注数据耗时耗力、数据质量差以及数据不平衡等问题导致人力、物力资源消耗大和无人机目标检测效果差的问题。该方法可以筛选出对模型训练有重要意义的多样性数据，极大减少标注负担、节省各类资源消耗，实现用较少的、有重要意义的标记数据完成无人机目标检测模型训练并取得较好的效果。
本发明提出基于主动学习的无人机目标检测关键数据筛选方法，首先该方法在分析无人机目标检测数据特点基础上，设计融合多轴注意力机制的特征提取网络，在减少背景干扰的同时提高网络对密集小目标的特征提取能力。其次，通过对主动学习各类查询策略的分析，设计适合无人机目标检测任务的委员会查询策略，多个委员的评估可以有效避免样本不平衡和样本选择偏差问题。最后，结合融合多轴注意力机制的特征提取网络强大的特征提取能力和主动学习算法查询关键数据的优势，构建基于主动学习的无人机目标检测关键数据筛选框架，实现无人机目标检测关键数据的筛选。基于主动学习无人机目标检测关键数据筛选方法不仅可以提高目标检测的准确率和效率，还可以减少标注数据的需求，从而降低了训练模型的成本和时间，有助于推动无人机目标检测技术的发展和应用。
本发明解决其技术问题所采用的技术方案是：
一种基于主动学习的无人机目标检测关键数据筛选方法，包括如下步骤：
步骤1：设计无人机数据特征提取网络；
根据无人机航拍数据特点，设计一种融合多轴注意力机制的无人机目标检测数据特征提取网络(UAV Multi Axis Attention Net，UAV-MANet)；
步骤2：构建委员会查询的主动学习架构；
训练步骤1中的多轴注意力机制的无人机目标检测数据特征提取网络UAV-MANet，作为委员会查询的主动学习框架中委员会成员，将占总量30％的已标注的无人机目标检测数据训练委员会中的所有成员；这个初始的标注集合用于训练第一个模型版本，它是主动学习循环开始的基础。
步骤3：数据差异性分数计算；
通过步骤2训练好的委员会成员计算未标记数据在网络浅层、中层和深层中的意见差异分数；
步骤4：主动学习的关键数据筛选；
根据步骤3计算出的浅层、中层和深层的意见差异分数，对未标记数据进行筛选，若筛选出意见差异分数小于采样阈值的非关键数据，则放弃该数据；若筛选出关键数据，则进行步骤5；
步骤5：将主动学习委员会查询策略筛选出的关键数据交给专家进行标注，并将标记好的无人机目标检测关键数据加入到带标记数据集；
步骤6：更新无人机目标检测带标记数据集和未标记数据集；
步骤7：判断无人机目标检测带标记数据是否完成了设置的关键数据查询总量，如果无人机目标检测带标记数据达到关键数据查询总量，则完成关键数据筛选，进入步骤8，如果无人机目标检测带标记数据未达到关键数据查询总量，则转到步骤3继续筛选；
步骤8：构建无人机目标检测关键数据库；
通过筛选后的数据构建无人机目标检测关键数据库，完成无人机目标检测关键数据筛选工作。
进一步地，步骤1具体包括如下步骤：
设计无人机数据特征提取网络：根据无人机数据的特点，构建融合多轴注意力机制的无人机目标检测数据特征提取网络UAV-MANet(UAV Multi Axis Attention Net，无人机多轴注意力机制的特征提取网络)；
MAAM(Multi Axial Attention Module，多轴注意力单元)包含水平方向多头注意力模块和垂直方向多头注意力模块，首先通过1×1的卷积降低通道数量，然后使用堆叠的多头水平轴注意力(Multi-Head Horizontal-Axis Attention)学习水平方向上的全局信息，堆叠的多头高度轴注意力(Multi-Head Vertical-Axis Attention)学习垂直方向上的全局信息，为了降低计算量和内存占用量，本发明使用最大池化与空洞attention机制结合的方式，具体来说，首先使用卷积层对输入数据的初步特征进行提取；其次，通过调整注意力模块中的膨胀率实现对特征应用空洞注意力机制，以便在不同的尺度上捕获特征间的相互作用；最后，在特征应用了空洞注意力机制后，使用最大池化进行降维和提取最重要的特征，增强模型对重要特征的聚焦能力并减少计算量；这种结合方式在attention感受野不变的同时，最大限度降低了attention计算的时间和空间复杂度并保留最重要的信息。
UAV-MANet在初步特征提取阶段、低级特征学习阶段、中级特征学习阶段和高级特征学习阶段均增加多轴注意力单元(Multi Axial Attention Module，MAAM)，用于提升特征提取网络在浅层、中层和深层对全局信息的建模能力，进而提高网络对于无人机目标检测密集小目标数据的特征提取性能，提升步骤2中主动学习的委员会查询策略对关键数据筛选的质量。
本发明中，步骤2具体包括如下步骤：
在完成融合多轴注意力机制的无人机目标检测数据特征提取网络设计后，将进入主动学习框架的构建阶段，步骤2包括：
构建委员会查询的主动学习架构，设计面向无人机目标检测任务的委员会查询策略，面向无人机目标检测任务的委员会查询策略定义委员会为U＝{θ1，θ2，θ3，θ4}，其中θ1，θ2，θ3，θ4表示委员会中的4个成员，每个成员是一个相同结构的步骤1中设计的UAV-MANet特征提取网络；每个UAV-MANet都作为委员会中的一个子成员且这些成员都能完成特征提取任务，通过相对于整个数据集来说数量较少的已标注的无人机图像数据训练委员会中所有成员。
本发明中，步骤3具体包括如下步骤：
在对委员会中每个成员训练结束后，进入数据查询阶段，依据每个成员对未标记的数据差异性进行度量，步骤3包括：
数据差异性分数计算：每一个委员会成员都要对数据进行评价，对于那些未标记数据中比较容易学习的数据，委员会中的成员给出评价值相似，对于那些难以学习的未标记数据，委员会的成员给出的评价值差别会很大。即使是单一的评价指标，增加委员会中的成员就可以有效避免类别不均衡、样本选择偏差等原因而令模型评估失效的问题。从面向无人机目标检测任务的委员会中成员θ1中提取出某训练数据x的特征向量vector1，同样从成员θ2中提取出该训练数据的特征向量vector2，委员会中的成员θ1和成员θ2在训练数据x上的意见差异分数S12(x)用公式(1)表示：
对于整个委员会U＝{θ1，θ2，θ3，θ4}来说，所有的成员对于训练数据x意见差异矩阵用公式(2)表示，意见差异矩阵描述数据之间的相似性和差异性。
从融合多轴注意力机制的无人机目标检测数据特征提取网络UAV-MANet的浅层、中层和深层中，分别抽取不同特征，将抽取的浅层、中层和深层的特征输入意见差异矩阵中，得到对应的浅层意见差异矩阵、中层意见差异矩阵和深层意见差异矩阵，根据公式(3)对浅层特征的意见差异矩阵计算，得到关键数据筛选的浅层差异分数SShallow：
其中Q表示委员会成员的个数，Sij为意见差异矩阵中第i行第j列的元素，i和j的取值范围为1至Q；
同理可得到中层差异分数SMiddle和深层差异分数SDeep，根据公式(4)计算：
S＝SShallow+SMiddle+SDeep (4)
其中s为关键数据筛选的总意见差异分数。
本发明中，步骤4具体包括如下步骤：
完成未标注数据的差异性分数计算后，需要确定需要标注的关键数据，因此步骤4包括主动学习的关键数据筛选，根据步骤3计算出的浅层、中层和深层的意见差异分数S对未标记数据进行筛选。若筛选出意见差异分数小于采样阈值，则认为是非关键数据，放弃数据；若筛选出意见差异分数大于采样阈值，则认为是具有重要意义的关键数据，进行步骤5。
本发明中，步骤5具体包括如下步骤：
步骤5涉及从步骤4中筛选出的关键数据中挑选出那些具备高度多样性、代表性和丰富信息量的未标注样本，这些样本对模型训练的效果提升具有显著意义。这些精选的关键数据将被提取并提交给人工专家进行精准标注，以生成相应的标注文件。这一过程中，专家的标注结果被视为最高标准的真实标签。通过这种方法，确保了模型训练使用的数据不仅覆盖了多样性和信息丰富度，而且准确性高，从而大幅提升模型性能。
本发明中，步骤6具体包括如下步骤：
专家标注后会导致带标注数据集和未标注数据集发生变化，需要更新对应数据集，因此步骤6根据步骤5中的专家标注情况，更新无人机目标检测带标记数据集和未标记数据集；首先，将步骤5中由专家新标注的数据整合入当前的带标记数据集中，包括将每个新标注的样本加到带标记数据集的相应位置；其次，将新标注的样本从未标记数据集中移除，以避免在未来的主动学习迭代中重复选择这些已经被标注的样本；最后，对两个数据集的目录进行更新，以确保它们准确地反映出经过添加新标注样本和移除已标注样本之后的最新状况。
本发明中，步骤7具体包括如下步骤：
在完成带标注数据集和未标注数据集的更新后，需要判断是否终止查询，因此步骤7包括：根据已标注数据数量和数据总量的比值，判断是否完成了设置的预设关键数据查询比例。具体来说，首先计算已标注数据比例，通过将已标注数据集的大小除以整个数据集的总大小，计算出当前已经标注的数据数量占整个数据集总量的比例；接着比较预设关键数据查询比例，将计算出的已标注数据比例与事先设定的预设关键数据查询比例进行比较；最后，判断已标注数据比例是否达到预设关键数据查询比例，如果已标注数据比例达到预设关键数据查询比例，则完成关键数据筛选，进入步骤8；如果已标注数据比例未达到预设关键数据查询比例，则转到步骤4继续筛选。
本发明中，步骤8具体包括如下步骤：
最终，成功筛选并获得了训练所需的关键数据。因此，在步骤8中，致力于构建一个专为无人机目标检测设计的关键数据集。这一步骤涵盖了将所有已完成标注的关键数据进行系统整合，以形成无人机目标检测的核心数据集，从而完成无人机目标检测数据的关键筛选任务。具体来说，首先进行数据整合，将经过人工专家标注的关键数据整合，通过数据格式化处理以确保所有数据遵循统一的格式和标准；其次，将整合后的关键数据组织成一个结构化的数据集，进行文件组织、目录结构的创建等数据预处理步骤，以便于模型训练和验证过程的执行。
本发明的有益效果在于通过本发明所提的基于主动学习的无人机目标检测关键数据筛选方法对无人机目标检测关键数据进行筛选，挑选了分布不同且对模型训练更加有意义的关键数据，这种多样性丰富、代表性强、信息量大的关键数据更有利于模型性能的提升，仅仅使用60％经过筛选的关键数据就可以达到超于其他多种主流网络模型使用100％训练数据的性能。此外，本发明也成功地克服了类别不均衡、样本选择偏差等经常令模型评估失效、收敛到局部最优解的问题。通过避免这些问题，可以确保了模型在实际应用中的鲁棒性和性能稳定性。本发明为无人机目标检测领域提高模型效能和可靠性做出了重要贡献。
附图说明
图1是本发明的基于主动学习的无人机目标检测关键数据筛选方法框架示意图。
图2是本发明的基于主动学习的无人机目标检测关键数据方法流程图。
图3是本发明的多轴注意力单元示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
以无人机目标检测在城市交通监测和分析上的应用为示例，对本发明进行验证。无人机目标检测在城市交通监测和分析方面有着广泛的应用，通过高空俯瞰视角获取更全面、更精细的交通信息，从而提高城市交通的运行效率和安全性。但是采集到海量待标注数据、城市交通环境中存在大量的移动物体(如汽车、行人和自行车)、不同类型的道路和交通标志以及无人机图像的复杂性，给数据标注任务带来了巨大挑战，需要付出大量的时间、精力以及金钱进行标注。
通过本发明提出的基于主动学习的无人机目标检测关键数据筛选方法对无人机城市交通图像数据集进行关键数据筛选。如图1所示，在训练阶段，我们使用带标记的无人机城市交通图像数据集，将其中30％的数据用于委员会成员的模型训练。同时，要求模型在当前的训练数据集上已经收敛后，才能进行关键数据的查询。所选的关键数据总量占训练数据的60％，并采用4名委员会成员的方式实现关键数据的选择，在NVIDIA GeForce GTX2080ti 11GB 4服务器的4个GPU上进行模型搭建，每个GPU单独保存模型的参数。在数据筛选阶段，首先通过融合多轴注意力机制的无人机目标检测数据特征提取网络对无人机城市交通图像进行特征提取，如图3所示，接着采用多委员会查询策略对数据的重要性进行评估，最后利用主动学习的无人机目标检测关键数据筛选框架完成无人机城市交通图像重要数据的筛选，如图2所示，具体的流程如下：
(1)使用带标记的无人机城市交通图像数据集去训练委员会中的所有成员；
(2)通过训练好的委员会成员去计算未标记数据中意见差异；
(3)若筛选出意见差异小于采样阈值的非关键数据，则放弃该数据；
(4)若筛选出具有重要意义的关键数据，则进行步骤5；
(5)将无人机城市交通图像的关键数据交给人工专家进行标注；
(6)将标记好的无人机城市交通图像关键数据加入到带标记数据集；
(7)更新无人机城市交通图像带标记数据集和未标记数据集；
(8)判断是否完成了设置的关键数据查询比例；
(9)完成关键数据筛选。
为了验证本发明提出的基于主动学习的无人机目标检测关键数据筛选方法有效性，将本文所提算法与其它无人机航拍图像目标检测算法进行对比。对比模型包括YOLOv5s、Faster_RCNN+ARFP、YOLOv6m、Drone-YOLO(tiny)、Yolov7和UAV-YOLOv8s，采用mAP和mAP50:95进行综合评估，表1为对比结果。由表中的实验结果可以看出，在使用本发明提出的基于主动学习的无人机目标检测关键数据筛选方法，并随着数据查询总量和委员会成员数量的增加，模型的性能逐渐趋近于最优。基于主动学习的无人机目标检测关键数据筛选方法挑选了分布不同且对模型训练更加有意义的关键数据，这种多样性的关键数据更有利于模型性能的提升。通过与其他主流的6种算法进行实验对比，可以展示主动学习算法的优势。在委员会成员数量为4的情况下，使用60％的筛选数据就可以达到超于其他6种网络模型使用100％训练数据的性能。通过实验表明了本文所设计的基于主动学习的无人机目标检测关键数据筛选方法可以完成对关键数据的筛选，极大的减轻了人类专家对无人机目标检测数据的标注负担。
表1基于主动学习的无人机目标检测关键数据框架评估结果
综上所述，基于主动学习的无人机目标检测关键数据筛选方法可以解决无人机目标检测任务中标注数据耗时耗力、数据质量差问题，筛选出的对模型训练有关键意义的多样性数据，极大减少标注负担、节省各类资源消耗，并且可以实现用较少的、有关键意义的标记数据完成各类无人机目标检测任务的神经网络训练并取得较好的效果。

Claims (8)

1.一种基于主动学习的无人机目标检测关键数据筛选方法，其特征在于包括下述步骤：
步骤1：设计无人机数据特征提取网络；
根据无人机航拍数据特点，设计一种融合多轴注意力机制的无人机目标检测数据特征提取网络；
步骤2：构建委员会查询的主动学习架构；
训练步骤1中的多轴注意力机制的无人机目标检测数据特征提取网络UAV-MANet，作为委员会查询的主动学习框架中委员会成员，将占总量30％的已标注的无人机目标检测数据训练委员会中的所有成员；这个初始的标注集合用于训练第一个模型版本；
步骤3：数据差异性分数计算；
通过步骤2训练好的委员会成员计算未标记数据在网络浅层、中层和深层中的意见差异分数；具体包括如下步骤：
在对委员会中每个成员训练结束后，进入数据查询阶段，依据每个成员对未标记的数据差异性进行度量，步骤3包括：
数据差异性分数计算：从面向无人机目标检测任务的委员会中成员θ1中提取出某训练数据x的特征向量vector1，同样从成员θ2中提取出该训练数据的特征向量vector2，委员会中的成员θ1和成员θ2在训练数据x上的意见差异分数S12(x)用公式(1)表示：
对于整个委员会U＝{θ1，θ2，θ3，θ4}来说，所有的成员对于训练数据x意见差异矩阵用公式(2)表示，意见差异矩阵描述数据之间的相似性和差异性；
从融合多轴注意力机制的无人机目标检测数据特征提取网络UAV-MANet的浅层、中层和深层中，分别抽取不同特征，将抽取的浅层、中层和深层的特征输入意见差异矩阵中，得到对应的浅层意见差异矩阵、中层意见差异矩阵和深层意见差异矩阵，根据公式(3)对浅层特征的意见差异矩阵计算，得到关键数据筛选的浅层差异分数SShallow：
其中Q表示委员会成员的个数，Sij为意见差异矩阵中第i行第j列的元素，i和j取值范围为1至Q；
同理可得到中层差异分数SMiddle和深层差异分数SDeep，根据公式(4)计算：
S＝SShallow+SMiddle+SDeep (4)
其中S为关键数据筛选的总意见差异分数；
步骤4：主动学习的关键数据筛选；
根据步骤3计算出的浅层、中层和深层的意见差异分数，对未标记数据进行筛选，若筛选出意见差异分数小于采样阈值的非关键数据，则放弃该数据；若筛选出关键数据，则进行步骤5；
步骤5：将主动学习委员会查询策略筛选出的关键数据交给专家进行标注，并将标记好的无人机目标检测关键数据加入到带标记数据集；
步骤6：更新无人机目标检测带标记数据集和未标记数据集；
步骤7：判断无人机目标检测带标记数据是否完成了设置的关键数据查询总量，如果无人机目标检测带标记数据达到关键数据查询总量，则完成关键数据筛选，进入步骤8，如果无人机目标检测带标记数据未达到关键数据查询总量，则转到步骤4继续筛选；
步骤8：构建无人机目标检测关键数据库；
通过筛选后的数据构建无人机目标检测关键数据库，完成无人机目标检测关键数据筛选工作。
2.根据权利要求1所述的基于主动学习的无人机目标检测关键数据筛选方法，其特征在于：
步骤1具体包括如下步骤：
设计无人机数据特征提取网络：根据无人机数据的特点，构建融合多轴注意力机制的无人机目标检测数据特征提取网络UAV-MANet；
MAAM包含水平方向多头注意力模块和垂直方向多头注意力模块，首先通过1×1的卷积降低通道数量，然后使用堆叠的多头水平轴注意力学习水平方向上的全局信息，堆叠的多头高度轴注意力学习垂直方向上的全局信息，为了降低计算量和内存占用量，使用最大池化与空洞attention机制结合的方式，具体来说，首先使用卷积层对输入数据的初步特征进行提取；其次，通过调整注意力模块中的膨胀率实现对特征应用空洞注意力机制，以便在不同的尺度上捕获特征间的相互作用；最后，在特征应用了空洞注意力机制后，使用最大池化进行降维和提取最重要的特征，增强模型对重要特征的聚焦能力并减少计算量；这种结合方式在attention感受野不变的同时，最大限度降低了attention计算的时间和空间复杂度并保留最重要的信息；
UAV-MANet在初步特征提取阶段、低级特征学习阶段、中级特征学习阶段和高级特征学习阶段均增加多轴注意力单元，用于提升特征提取网络在浅层、中层和深层对全局信息的建模能力，进而提高网络对于无人机目标检测密集小目标数据的特征提取性能，提升步骤2中主动学习的委员会查询策略对关键数据筛选的质量。
3.根据权利要求1所述的基于主动学习的无人机目标检测关键数据筛选方法，其特征在于：
步骤2具体包括如下步骤：
在完成融合多轴注意力机制的无人机目标检测数据特征提取网络设计后，将进入主动学习框架的构建阶段，步骤2包括：
构建委员会查询的主动学习架构，设计面向无人机目标检测任务的委员会查询策略，面向无人机目标检测任务的委员会查询策略定义委员会为U＝{θ1，θ2，θ3，θ4}，其中θ1，θ2，θ3，θ4表示委员会中的4个成员，每个成员是一个相同结构的步骤1中设计的UAV-MANet特征提取网络；每个UAV-MANet都作为委员会中的一个子成员且这些成员都能完成特征提取任务，通过相对于整个数据集来说数量较少的已标注的无人机图像数据训练委员会中所有成员。
4.根据权利要求1所述的基于主动学习的无人机目标检测关键数据筛选方法，其特征在于：
步骤4具体包括如下步骤：
完成未标注数据的差异性分数计算后，确定需要标注的关键数据，因此步骤4包括主动学习的关键数据筛选，根据步骤3计算出的浅层、中层和深层的意见差异分数S对未标记数据进行筛选，若筛选出意见差异分数小于采样阈值，则认为是非关键数据，放弃数据；若筛选出意见差异分数大于采样阈值，则认为是关键数据，进行步骤5。
5.根据权利要求1所述的基于主动学习的无人机目标检测关键数据筛选方法，其特征在于：
步骤5具体包括如下步骤：
关键数据将被提取并提交给人工专家进行精准标注，以生成相应的标注文件，专家的标注结果被视为最高标准的真实标签，通过这种方法，确保了模型训练使用的数据不仅覆盖了多样性和信息丰富度，而且准确性高，从而大幅提升模型性能。
6.根据权利要求1所述的基于主动学习的无人机目标检测关键数据筛选方法，其特征在于：
步骤6具体包括如下步骤：
专家标注后会导致带标注数据集和未标注数据集发生变化，需要更新对应数据集，因此步骤6根据步骤5中的专家标注情况，更新无人机目标检测带标记数据集和未标记数据集；首先，将步骤5中由专家新标注的数据整合入当前的带标记数据集中，包括将每个新标注的样本加到带标记数据集的相应位置；其次，将新标注的样本从未标记数据集中移除，以避免在未来的主动学习迭代中重复选择这些已经被标注的样本；最后，对两个数据集的目录进行更新，以确保它们准确地反映出经过添加新标注样本和移除已标注样本之后的最新状况。
7.根据权利要求1所述的基于主动学习的无人机目标检测关键数据筛选方法，其特征在于：
步骤7具体包括如下步骤：
在完成带标注数据集和未标注数据集的更新后，需要判断是否终止查询，因此步骤7包括：根据已标注数据数量和数据总量的比值，判断是否完成了设置的预设关键数据查询比例，首先计算已标注数据比例，通过将已标注数据集的大小除以整个数据集的总大小，计算出当前已经标注的数据数量占整个数据集总量的比例；接着比较预设关键数据查询比例，将计算出的已标注数据比例与事先设定的预设关键数据查询比例进行比较；最后，判断已标注数据比例是否达到预设关键数据查询比例，如果已标注数据比例达到预设关键数据查询比例，则完成关键数据筛选，进入步骤8；如果已标注数据比例未达到预设关键数据查询比例，则转到步骤4继续筛选。
8.根据权利要求1所述的基于主动学习的无人机目标检测关键数据筛选方法，其特征在于：
步骤8具体包括如下步骤：
致力于构建一个专为无人机目标检测设计的关键数据库，首先进行数据整合，将经过人工专家标注的关键数据整合，通过数据格式化处理以确保所有数据遵循统一的格式和标准；其次，将整合后的关键数据组织成一个结构化的数据集，进行文件组织、目录结构的创建数据预处理步骤，以便于模型训练和验证过程的执行；最终，成功筛选并获得了训练所需的关键数据。
CN202410252652.8A 2024-03-06 2024-03-06 基于主动学习的无人机目标检测关键数据筛选方法 Active CN117876910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410252652.8A CN117876910B (zh) 2024-03-06 2024-03-06 基于主动学习的无人机目标检测关键数据筛选方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410252652.8A CN117876910B (zh) 2024-03-06 2024-03-06 基于主动学习的无人机目标检测关键数据筛选方法

Publications (2)

Publication Number Publication Date
CN117876910A CN117876910A (zh) 2024-04-12
CN117876910B true CN117876910B (zh) 2024-06-21

Family

ID=90595025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410252652.8A Active CN117876910B (zh) 2024-03-06 2024-03-06 基于主动学习的无人机目标检测关键数据筛选方法

Country Status (1)

Country Link
CN (1) CN117876910B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490304A (zh) * 2019-08-21 2019-11-22 上海哲锦信息科技有限公司 一种数据处理方法及设备
CN117496384A (zh) * 2023-11-15 2024-02-02 电子科技大学 一种无人机图像物体检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537869B2 (en) * 2017-02-17 2022-12-27 Twitter, Inc. Difference metric for machine learning-based processing systems
CN111259809B (zh) * 2020-01-17 2021-08-17 五邑大学 基于DANet的无人机海岸线漂浮垃圾巡检系统
CN111666993A (zh) * 2020-05-28 2020-09-15 平安科技（深圳）有限公司 医学图像样本筛查方法、装置、计算机设备和存储介质
CN111898739B (zh) * 2020-07-30 2024-02-20 平安科技（深圳）有限公司 基于元学习的数据筛选模型构建方法、数据筛选方法、装置、计算机设备及存储介质
CN114296075B (zh) * 2021-12-29 2022-10-28 中路交科科技股份有限公司 一种探地雷达图像人工智能识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490304A (zh) * 2019-08-21 2019-11-22 上海哲锦信息科技有限公司 一种数据处理方法及设备
CN117496384A (zh) * 2023-11-15 2024-02-02 电子科技大学 一种无人机图像物体检测方法

Also Published As

Publication number Publication date
CN117876910A (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN109948425B (zh) 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN108108657B (zh) 基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN110084195B (zh) 基于卷积神经网络的遥感图像目标检测方法
CN101551809B (zh) 基于高斯混合模型分类的sar图像检索方法
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN110619059B (zh) 一种基于迁移学习的建筑物标定方法
CN104794219A (zh) 一种基于地理位置信息的场景检索方法
CN111882620B (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN109271984A (zh) 一种基于深度学习的多方位车牌定位方法
CN109034035A (zh) 基于显著性检测和特征融合的行人重识别方法
CN105574545B (zh) 街道环境图像多视角语义切割方法及装置
Jiang et al. Local and global structure for urban ALS point cloud semantic segmentation with ground-aware attention
CN111985325A (zh) 特高压环境评价中的航拍小目标快速识别方法
CN112329559A (zh) 一种基于深度卷积神经网络的宅基地目标检测方法
CN115424091A (zh) 一种基于SMCA-YOLOv5的轻量化军事目标检测方法
CN114792397A (zh) 一种sar影像城市道路提取方法、系统以及存储介质
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN117876910B (zh) 基于主动学习的无人机目标检测关键数据筛选方法
Wang et al. Video-based vehicle re-identification via channel decomposition saliency region network
CN113051962B (zh) 基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法
CN109493279B (zh) 一种大规模无人机图像并行拼接方法
CN116935175A (zh) 一种基于多尺度检测头特征融合的车位检测方法
CN116259047A (zh) 一种基于改进双向加权特征金字塔的城市树木检测方法
CN105844299A (zh) 一种基于词袋模型的图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant