CN115035331A - 一种应用于小型无人机载平台的小样本目标检测方法及系统 - Google Patents

一种应用于小型无人机载平台的小样本目标检测方法及系统 Download PDF

Info

Publication number
CN115035331A
CN115035331A CN202210492442.7A CN202210492442A CN115035331A CN 115035331 A CN115035331 A CN 115035331A CN 202210492442 A CN202210492442 A CN 202210492442A CN 115035331 A CN115035331 A CN 115035331A
Authority
CN
China
Prior art keywords
image
candidate target
sample
target area
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210492442.7A
Other languages
English (en)
Inventor
黄健
潘崇煜
王凤杰
刘权
张中杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210492442.7A priority Critical patent/CN115035331A/zh
Publication of CN115035331A publication Critical patent/CN115035331A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种应用于小型无人机载平台的小样本目标检测方法及系统,本发明应用于小型无人机载平台的小样本目标检测方法包括获取由小型无人机载平台采集得到的待识别样本图像xq并通过进行候选目标区域生成,得到候选目标区域图像集合,分别对任意第j个候选目标区域图像提取图像特征并输入支持向量机模型参数ΩSVM得到对应的类别检测结果,输出N个候选目标区域图像的检测结果。本发明在计算资源受限条件下,能够基于在少量标签样本条件下实现在线目标检测,且具有对硬件计算资源依赖小,兼具实效性与实时性好的优点。

Description

一种应用于小型无人机载平台的小样本目标检测方法及系统
技术领域
本发明属于目标检测技术,具体涉及一种应用于小型无人机载平台的小样 本目标检测方法及系统。
背景技术
凭借灵活机动、成本低廉、方便快捷等特点,小型无人机在对地侦察、航 拍探测等应用中显示出了不可替代的空中优势。由于小型无人机载荷能力及能 源供应有限,机载上位机通常要求重量轻、能耗低,无法搭载常规GPU等高耗 能器件,因此机载平台的计算能力通常受限。当前,基于深度学习的目标检测 技术通常采用端到端的深层复杂模型,不仅对硬件平台计算资源要求高,而且 针对待探测的目标类型通常需要大量标签样本进行模型预先训练,进而开展在 线目标检测。而在实际应用中,通常目标类型未知,事先难以提供大量标签样 本,因此,计算资源依赖小、能够在少量标签样本下进行在线检测的小样本目 标检测技术已成为小型无人机对地目标检测实际应用的瓶颈技术。
发明内容
本发明要解决的技术问题:针对现有技术的上述问题,提供一种应用于小 型无人机载平台的小样本目标检测方法及系统,本发明在计算资源受限条件下, 能够基于在少量标签样本条件下实现在线目标检测,且具有对硬件计算资源依 赖小,兼具实效性与实时性好的优点。
为了解决上述技术问题,本发明采用的技术方案为:
一种应用于小型无人机载平台的小样本目标检测方法,包括:
1)获取由小型无人机载平台采集得到的待识别样本图像xq
2)对待识别样本图像xq进行候选目标区域生成,得到候选目标区域图像集 合{(xj q,Rj q),j=1,2,…,N},其中xj q为待识别样本图像xq的第j个候选目标区域图 像,Rj q为xj q对应的ROI区域坐标,N为候选目标区域图像的数量;
3)分别对任意第j个候选目标区域图像xj q提取图像特征vj s,共得到N个 图像特征{vj s,i=1,2,…,N};
4)将N个图像特征{vj s,i=1,2,…,N}分别输入支持向量机模型参数ΩSVM得 到对应的类别检测结果yj q,最终输出N个候选目标区域图像的检测结果{(yj q,Rj q), i=1,2,…,N}。
可选地,步骤3)中对任意第j个候选目标区域图像xj q提取图像特征vj s是 指采用预训练的卷积神经网络模型ΦCNN提取得到图像特征vj s
可选地,所述卷积神经网络模型ΦCNN包括相互连接的特征提取单元和全连 接层,所述特征提取单元包括依次相连的卷积层、降采样池化层、卷积层以及 降采样池化层。
可选地,步骤2)对待识别样本图像xq进行候选目标区域生成包括:
2.1)将待识别样本图像xq依次进行灰度化、显著性检测和二值化处理,得 到对应的二值化图像;
2.2)根据待识别样本图像xq对应的二值化图像进行轮廓检测并分别提取出 待识别样本图像xq的各个候选目标区域图像xj q及其对应的ROI区域坐标Rj q, 从而得到候选目标区域图像集合{(xj q,Rj q),j=1,2,…,N},其中xj q为待识别样本图 像xq的第j个候选目标区域图像,Rj q为xj q对应的ROI区域坐标,N为候选目标 区域图像的数量。
可选地,步骤2.1)中的显著性检测包括:采用基于全局对比度的方法,通 过计算单个像素在整体图像上的全局对比度作为该像素的显著值,从而得到由 各个像素的显著值表达的显著性灰度图像。
可选地,所述通过计算单个像素在整体图像上的全局对比度作为该像素的 显著值的计算函数表达式为:
Figure BDA0003632186730000021
上式中,S(Ik)为图像I中的第k个像素的显著值,Ik为图像I中的第k个像 素的灰度值,Ii为图像I中的第i个像素的灰度值,图像I为待识别样本图像xq
可选地,步骤2.2)包括:
2.2.1)针对待识别样本图像xq对应的二值化图像通过轮廓检测获取二值化 图像中的所有轮廓,根据轮廓长度进行降序排序,筛选其中轮廓长度最大的前N 个轮廓作为候选目标轮廓;
2.2.2)对N个候选目标轮廓进行最小外接矩形框提取,形成初步候选目标 区域,并对初步候选目标区域通过边界扩充生成候选目标检测框;
2.2.3)对待识别样本图像xq的空间中存在重合的多个候选目标检测框进行 合并,生成最终的候选目标区域,从而确定各个候选目标区域ROI区域坐标Rj q, 并通过在待识别样本图像xq的原始图像中裁剪出各个候选目标区域图像xj q,从 而得到候选目标区域图像集合{(xj q,Rj q),j=1,2,…,N},其中xj q为待识别样本图像 xq的第j个候选目标区域图像,Rj q为xj q对应的ROI区域坐标,N为候选目标区 域图像的数量。
可选地,步骤4)之前还包括构造并训练支持向量机分类模型ΩSVM的步骤, 且训练支持向量机分类模型ΩSVM包括:
S1)基于输入的包含待识别类型目标的先验样本xs,进行标签标注,得到M 个标签样本{(xi s,yi s),i=1,2,…,M},其中xi s为先验样本xs中的第i个目标区域图 像,yi s为第i个目标区域图像xi s的类别标签,分别对任意第i个目标区域图像 xi s提取图像特征vi s,共得到M个图像特征及其标签对{(vi s,yi s),i=1,2,…,M};
S2)基于M个图像特征及其标签对{(vi s,yi s),i=1,2,…,M}训练该支持向量机 模型参数ΩSVM,从而建立图像特征、类别之间的映射关系,以用于实现对小型 无人机载平台的图像目标检测。
此外,本发明还提供一种应用于小型无人机载平台的小样本目标检测系统, 包括相互连接的微处理器和存储器,该微处理器被编程或配置以执行所述应用 于小型无人机载平台的小样本目标检测方法的步骤。
此外,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质 中存储有计算机程序,该计算机程序用于被微处理器编程或配置以执行所述应 用于小型无人机载平台的小样本目标检测方法的步骤。
和现有技术相比,本发明主要具有下述优点:本发明应用于小型无人机载 平台的小样本目标检测方法包括获取由小型无人机载平台采集得到的待识别样 本图像xq并通过进行候选目标区域生成,得到候选目标区域图像集合,分别对 任意第j个候选目标区域图像提取图像特征并输入支持向量机模型参数ΩSVM得 到对应的类别检测结果,输出N个候选目标区域图像的检测结果。本发明在计 算资源受限条件下,不依赖常规GPU等高耗能器件,能够基于在少量标签样本 条件下实现在线目标检测,且具有对硬件计算资源依赖小,兼顾目标检测性能 与计算实时性,同时具备实效性与实时性好的优点。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中卷积神经网络模型ΦCNN的网络结构示意图。
图3为本发明实施例中进行候选目标区域生成的原理图。
图4为本发明实施例方法的应用及训练的完整原理示意图。
图5为本发明实施例中小型无人机对地目标侦察探测数据集典型示例。
图6为本发明实施例中小样本目标检测的召回率统计结果对比。
图7为本发明实施例中小样本目标检测的准确率统计结果对比。
具体实施方式
如图1,本实施例应用于小型无人机载平台的小样本目标检测方法包括:
1)获取由小型无人机载平台采集得到的待识别样本图像xq
2)对待识别样本图像xq进行候选目标区域生成,得到候选目标区域图像集 合{(xj q,Rj q),j=1,2,…,N},其中xj q为待识别样本图像xq的第j个候选目标区域图 像,Rj q为xj q对应的ROI(感兴趣)区域坐标,N为候选目标区域图像的数量;
3)分别对任意第j个候选目标区域图像xj q提取图像特征vj s,共得到N个 图像特征{vj s,i=1,2,…,N};
4)将N个图像特征{vj s,i=1,2,…,N}分别输入支持向量机模型参数ΩSVM得 到对应的类别检测结果yj q,最终输出N个候选目标区域图像的检测结果{(yj q,Rj q), i=1,2,…,N}。
本实施例中,步骤3)中对任意第j个候选目标区域图像xj q提取图像特征vj s是指采用预训练的卷积神经网络模型ΦCNN提取得到图像特征vj s。本实施例方 法面向小型无人机对地目标侦察探测等实际应用,通过显著性检测获取实时数 据流中的候选目标区域,采用预训练的卷积神经网络提取候选目标区域图像特 征,最后在轻量SVM分类器(支持向量机模型参数ΩSVM)中实现目标在线检 测识别,能够在少量标签样本条件下实现对未知类型目标的在线检测,同时算 法对硬件计算资源依赖小,兼具实效性与实时性。
鉴于卷积神经网络在当前计算机视觉领域的成功应用,本实施例采用在大 规模数据集上预训练的卷积神经网络(Convolutional Neural Network,CNN)模型 进行候选目标区域以及支持样本图像特征提取,提取图像特征所采用的卷积神 经网络模型可以根据需要采用可行的网络结构。作为一种可选的实施方式,针 对小型无人机载平台的特点,如图2所示,本实施例中采用的卷积神经网络模 型ΦCNN包括相互连接的特征提取单元和全连接层,特征提取单元包括依次相连 的卷积层、降采样池化层、卷积层以及降采样池化层。预训练的卷积神经网络 模型通过局部卷积、降采样池化、全连接等操作对图像数据进行特征抽取,形 成高维向量表征,具有较好的图像特征表征能力。卷积神经网络模型ΦCNN的函 数形式可表示为:v=ΦCNN(x),其中为任一区域图像x使用卷积神经网络ΦCNN提取的高维特征向量。通过区域特征提取,少量支持样本以及候选目标区域图 像均被编码为固定维度的样本表征向量。之后,构建支持向量机(SVM)分类模型, 基于少量支持样本的特征向量进行分类器模型参数训练,随后对候选目标特征 向量进行在线分类识别。
参见图3,步骤2)对待识别样本图像xq进行候选目标区域生成包括:
2.1)将待识别样本图像xq依次进行灰度化、显著性检测和二值化处理,得 到对应的二值化图像;其中,灰度化是将原始彩色图像转换为单通道灰度图像, 显著性检测其用于实现候选目标区域图像的强化,经显著性检测获取显著性灰 度图像后,通过设定阈值对其进行二值化处理,形成二值化图像;
2.2)根据待识别样本图像xq对应的二值化图像进行轮廓检测并分别提取出 待识别样本图像xq的各个候选目标区域图像xj q及其对应的ROI区域坐标Rj q, 从而得到候选目标区域图像集合{(xj q,Rj q),j=1,2,…,N},其中xj q为待识别样本图 像xq的第j个候选目标区域图像,Rj q为xj q对应的ROI区域坐标,N为候选目标 区域图像的数量。
对于无人机获取的实时图像数据,首先需要检测其中可能存在的候选目标 区域,本实施例采用基于显著性检测的候选目标区域生成方法,步骤2.1)中的 显著性检测包括:采用基于全局对比度的方法,通过计算单个像素在整体图像 上的全局对比度作为该像素的显著值,从而得到由各个像素的显著值表达的显 著性灰度图像。具体地,通过计算单个像素在整体图像上的全局对比度作为该 像素的显著值的计算函数表达式为:
Figure BDA0003632186730000061
上式中,S(Ik)为图像I中的第k个像素的显著值,Ik为图像I中的第k个像 素的灰度值,Ii为图像I中的第i个像素的灰度值,图像I为待识别样本图像xq
参见图3,步骤2.2)包括:
2.2.1)针对待识别样本图像xq对应的二值化图像通过轮廓检测获取二值化 图像中的所有轮廓,根据轮廓长度进行降序排序,筛选其中轮廓长度最大的前N 个(TopN)轮廓作为候选目标轮廓;
2.2.2)对N个候选目标轮廓进行最小外接矩形框提取,形成初步候选目标 区域,并对初步候选目标区域通过边界扩充(padding)生成候选目标检测框,边界 扩充(padding)的大小可根据经验指定;由于提取轮廓的最小外接矩形框通常难以 完整包含目标,因此在初步候选目标区域基础上通过边界扩充(padding)生成候选 目标检测框;
2.2.3)对待识别样本图像xq的空间中存在重合的多个候选目标检测框进行 合并,生成最终的候选目标区域,从而确定各个候选目标区域ROI区域坐标Rj q, 并通过在待识别样本图像xq的原始图像中裁剪出各个候选目标区域图像xj q,从 而得到候选目标区域图像集合{(xj q,Rj q),j=1,2,…,N},其中xj q为待识别样本图像 xq的第j个候选目标区域图像,Rj q为xj q对应的ROI区域坐标,N为候选目标区 域图像的数量。
如图4所示,对于小样本目标检测,在实时目标检测过程中,需要用户提 供少量支持样本,即针对待识别目标,在线标注少量标签样本,以供后续目标 分类识别。具体地,本实施例步骤4)之前还包括构造并训练支持向量机分类模 型ΩSVM的步骤,且训练支持向量机分类模型ΩSVM包括:
S1)基于输入的包含待识别类型目标的先验样本xs,进行标签标注,得到M 个标签样本{(xi s,yi s),i=1,2,…,M},其中xi s为先验样本xs中的第i个目标区域图 像,yi s为第i个目标区域图像xi s的类别标签,分别对任意第i个目标区域图像 xi s提取图像特征vi s,共得到M个图像特征及其标签对{(vi s,yi s),i=1,2,…,M};
S2)基于M个图像特征及其标签对{(vi s,yi s),i=1,2,…,M}训练该支持向量机 模型参数ΩSVM,从而建立图像特征、类别之间的映射关系,以用于实现对小型 无人机载平台的图像目标检测。与常规小样本学习类似,小样本目标检测过程 中包含支持样本(即前文的先验样本xs)和测试样本(待识别样本图像xq),即 对于待识别的目标类型,基于先验知识在线标注少量标签样本,在此基础上, 对实时数据流中的目标进行在线检测。采用训练好的支持向量机模型ΩSVM对候 选目标区域xj q进行分类识别,可表示为:yj q=ΩSVM(vj q;θSVM),结合候选目标区 域坐标Rj q即可得到最终的输出在线检测结果(yj q,Rj q)。
为验证算法及系统有效性,本实施例中针对小型无人机对地目标侦察典型 应用采集了实际飞行数据集,其中,地面目标采用高逼真运动军事模型,包括 坦克、导弹发射车、指挥车、轻卡、战斗机、运输机、直升机、预警机、驱逐 舰、战斗艇等目标,使用小型无人机对地航拍侦察,获取了大量运动目标数据, 具体如图5所示。特别地,本实施例针对小型无人机载平台计算资源受限的典 型场景,选取了可直接部署于各种小型无人机上的嵌入式计算平台RK3399Pro 作为机载上位机开展算法及系统算例分析,其中,嵌入式计算平台RK3399Pro CPU计算资源为双核A72处理器和四核A53处理器,其动态运行内存仅为200K,难以支持常规大规模复杂深度学习模型在线运行。
在上述无人机对地侦察真实数据以及机载嵌入式计算平台基础上,针对本 实施例所提方法开展了性能测试实验。实验采用目标检测中通用的准确率 (Precise)和召回率(Recall)作为性能评估指标,在一定交并比(Intersection over Union,IoU)阈值下统计检测目标数量,其中,准确率表示检测正确的目标占总检 测目标数量的比例,召回率表示正确检测的目标占真实目标总数量的比例。在 区域特征提取阶段,本算例采用在ImageNet数据集上预训练的Alexnet卷积神 经网络进行候选目标区域以及支持样本图像特征提取,采用该预训练模型的第7 层全连接层(FC7)输出作为区域图像特征。实验采用小样本学习常用的M-way N-shot实验设置,在构造多个训练-测试批数据迭代中开展性能测试。为了确保 实验结果可靠性,采用大量随机实验统计结果,即每次实验随机选取600组批 数据(每组批数据包含5/10-way 5/10-shot 10-query个样本),最终实验结果在600 组随机批数据上统计得出,包括平均识别准确率、召回率及其95%置信区间, 具体如表1所示。
表1:不同实验条件下小样本目标检测结果统计表。
Figure BDA0003632186730000081
表1中,TopN为通过显著性检测生成的候选目标区域个数,目标检测过程 中正负样本判定的交并比(IOU)设置为0.3。为了更直观对比多种参数设置下的 目标检测结果,将表1所列结果绘制如图6和图7所示,其中图6为目标检测 召回率的对比曲线,图7为目标检测准确率的对比曲线。结合表1、图6和图7 可以看出,随着显著性检测过程中候选目标区域个数TopN增加,目标检测召回 率逐渐提升,而目标检测准确率有所下降,与常规监督学习目标检测方法性能 表现一致;同时,对于小样本学习,目标检测准确率和召回率均随着样本数增 加而提升,随着分类类别数增加而降低,与小样本目标分类性能表现一致。值 得一提的是,本实施例所提方法在小样本目标检测实验中取得了高达62.4%的召 回率(5-way10-shot,TopN=8)和27.3%的检测准确率(5-way 10-shot,TopN=4),表 明本实施例所提小样本目标检测方法能够在少量标签样本支持条件下实现新类 别目标的有效检测识别。
除上述小样本目标检测精度评估外,本实施例中还开展了机载嵌入式平台 计算效率分析,包括算法各个步骤的计算时效,具体如表2所示。
表2:RK3399Pro机载嵌入式计算平台计算效率及实时性分析。
图像分辨率 候选目标区域生成 区域特征提取 SVM特征分类
1280*720 ~1.92s ~3.41s/ROI ~0.001s
在计算资源严重受限的RK3399Pro处理器上,本实施例方法能够在分辨率 为1280*720的高清图像上有效开展在线目标检测,其中,候选目标区域生成耗 时约1.92秒,由于区域特征提取过程中采用卷积神经网络模型计算图像特征, 计算过程较为复杂,耗时约3.41s/ROI,而SVM特征分类过程仅耗时约0.001 秒。整体而言,本算法能够在机载嵌入式平台上开展在线目标检测,满足一定 的实时性要求。值得一提的是,本实施例所提的小样本目标检测方法为基于显 著性检测以及特征工程的方法,属于无参数模型,与常规包含大量待训练参数, 需要在大量基类标签样本上训练参数的方法不同,本方法无需大量基类标签样 本训练,基于预训练图像特征提取和无参数的显著性检测即可实现小样本条件 下的新类型目标在线检测识别。在用户后期实际应用部署时,无需采集大量标 签数据进行模型参数再训练,仅需要该领域内较好的图像特征提取器,即可快 速部署,在线应用,且支持用户在线自定义新类别支持样本,具备对于新类别 目标的小样本检测以及可持续学习能力。
综上所述,针对小型无人机载平台计算资源局限性,本实施例方法将深度 学习特征工程与浅层特征分类器方法结合起来,提出了兼顾实际性能和计算效 率的小样本目标检测方法,包括侦察图像候选目标区域生成、区域特征提取以 及目标特征分类等主要步骤:首先通过显著性检测获取实时侦察图像中的感兴 趣区域(Region of Interest,ROI),即可能的目标区域;随后,通过预训练的深度 学习模型提取ROI区域特征;最后,基于少量支持样本特征构造支持向量机 (Support Vector Machine,SVM)模型,对实时数据流中候选目标进行特征分类和 识别。特别地,本实施例针对无人机对地侦察应用,收集并整理了实际飞行数 据集,并且基于嵌入式机载处理平台RK3399Pro开展算例分析,系统能够在有限计算资源条件下实现目标在线检测,具有较好的实效性和实时性。
此外,本实施例还提供一种应用于小型无人机载平台的小样本目标检测系 统,包括相互连接的微处理器和存储器,该微处理器被编程或配置以执行前文 所述应用于小型无人机载平台的小样本目标检测方法的步骤。正如前文所述, 由于本实施例方法在计算资源受限条件下,不依赖常规GPU等高耗能器件,能 够基于在少量标签样本条件下实现在线目标检测,且具有对硬件计算资源依赖 小,兼顾目标检测性能与计算实时性,同时具备实效性与实时性好的优点,因 此前文应用于小型无人机载平台的小样本目标检测系统可为无人机平台;但是 需要说明的是,即使将其在与无人机连接的计算机上实现,同样也可以实现在 计算资源受限条件下,不依赖常规GPU等高耗能器件,能够基于在少量标签样 本条件下实现在线目标检测,且具有对硬件计算资源依赖小,兼顾目标检测性 能与计算实时性,同时具备实效性与实时性好的优点。
此外,本实施例还提供一种计算机可读存储介质,所述计算机可读存储介 质中存储有计算机程序,该计算机程序用于被微处理器编程或配置以执行前文 所述应用于小型无人机载平台的小样本目标检测方法的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计 算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包 含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根 据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框 图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流 程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供 这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程 数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处 理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或 方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存 储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存 储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品, 该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方 框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处 理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算 机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在 流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的 步骤。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上 述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指 出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干 改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种应用于小型无人机载平台的小样本目标检测方法,其特征在于包括:
1)获取由小型无人机载平台采集得到的待识别样本图像xq
2)对待识别样本图像xq进行候选目标区域生成,得到候选目标区域图像集合{(xj q,Rj q),j=1,2,…,N},其中xj q为待识别样本图像xq的第j个候选目标区域图像,Rj q为xj q对应的ROI区域坐标,N为候选目标区域图像的数量;
3)分别对任意第j个候选目标区域图像xj q提取图像特征vj s,共得到N个图像特征{vj s,i=1,2,…,N};
4)将N个图像特征{vj s,i=1,2,…,N}分别输入支持向量机模型参数ΩSVM得到对应的类别检测结果yj q,最终输出N个候选目标区域图像的检测结果{(yj q,Rj q),i=1,2,…,N}。
2.根据权利要求1所述的应用于小型无人机载平台的小样本目标检测方法,其特征在于,步骤3)中对任意第j个候选目标区域图像xj q提取图像特征vj s是指采用预训练的卷积神经网络模型ΦCNN提取得到图像特征vj s
3.根据权利要求2所述的应用于小型无人机载平台的小样本目标检测方法,其特征在于,所述卷积神经网络模型ΦCNN包括相互连接的特征提取单元和全连接层,所述特征提取单元包括依次相连的卷积层、降采样池化层、卷积层以及降采样池化层。
4.根据权利要求1所述的应用于小型无人机载平台的小样本目标检测方法,其特征在于,步骤2)对待识别样本图像xq进行候选目标区域生成包括:
2.1)将待识别样本图像xq依次进行灰度化、显著性检测和二值化处理,得到对应的二值化图像;
2.2)根据待识别样本图像xq对应的二值化图像进行轮廓检测并分别提取出待识别样本图像xq的各个候选目标区域图像xj q及其对应的ROI区域坐标Rj q,从而得到候选目标区域图像集合{(xj q,Rj q),j=1,2,…,N},其中xj q为待识别样本图像xq的第j个候选目标区域图像,Rj q为xj q对应的ROI区域坐标,N为候选目标区域图像的数量。
5.根据权利要求4所述的应用于小型无人机载平台的小样本目标检测方法,其特征在于,步骤2.1)中的显著性检测包括:采用基于全局对比度的方法,通过计算单个像素在整体图像上的全局对比度作为该像素的显著值,从而得到由各个像素的显著值表达的显著性灰度图像。
6.根据权利要求5所述的应用于小型无人机载平台的小样本目标检测方法,其特征在于,所述通过计算单个像素在整体图像上的全局对比度作为该像素的显著值的计算函数表达式为:
Figure FDA0003632186720000021
上式中,S(Ik)为图像I中的第k个像素的显著值,Ik为图像I中的第k个像素的灰度值,Ii为图像I中的第i个像素的灰度值,图像I为待识别样本图像xq
7.根据权利要求4所述的应用于小型无人机载平台的小样本目标检测方法,其特征在于,步骤2.2)包括:
2.2.1)针对待识别样本图像xq对应的二值化图像通过轮廓检测获取二值化图像中的所有轮廓,根据轮廓长度进行降序排序,筛选其中轮廓长度最大的前N个轮廓作为候选目标轮廓;
2.2.2)对N个候选目标轮廓进行最小外接矩形框提取,形成初步候选目标区域,并对初步候选目标区域通过边界扩充生成候选目标检测框;
2.2.3)对待识别样本图像xq的空间中存在重合的多个候选目标检测框进行合并,生成最终的候选目标区域,从而确定各个候选目标区域ROI区域坐标Rj q,并通过在待识别样本图像xq的原始图像中裁剪出各个候选目标区域图像xj q,从而得到候选目标区域图像集合{(xj q,Rj q),j=1,2,…,N},其中xj q为待识别样本图像xq的第j个候选目标区域图像,Rj q为xj q对应的ROI区域坐标,N为候选目标区域图像的数量。
8.根据权利要求1所述的应用于小型无人机载平台的小样本目标检测方法,其特征在于,步骤4)之前还包括构造并训练支持向量机分类模型ΩSVM的步骤,且训练支持向量机分类模型ΩSVM包括:
S1)基于输入的包含待识别类型目标的先验样本xs,进行标签标注,得到M个标签样本{(xi s,yi s),i=1,2,…,M},其中xi s为先验样本xs中的第i个目标区域图像,yi s为第i个目标区域图像xi s的类别标签,分别对任意第i个目标区域图像xi s提取图像特征vi s,共得到M个图像特征及其标签对{(vi s,yi s),i=1,2,…,M};
S2)基于M个图像特征及其标签对{(vi s,yi s),i=1,2,…,M}训练该支持向量机模型参数ΩSVM,从而建立图像特征、类别之间的映射关系,以用于实现对小型无人机载平台的图像目标检测。
9.一种应用于小型无人机载平台的小样本目标检测系统,包括相互连接的微处理器和存储器,其特征在于,该微处理器被编程或配置以执行权利要求1~8中任意一项所述应用于小型无人机载平台的小样本目标检测方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其特征在于,该计算机程序用于被微处理器编程或配置以执行权利要求1~8中任意一项所述应用于小型无人机载平台的小样本目标检测方法的步骤。
CN202210492442.7A 2022-05-07 2022-05-07 一种应用于小型无人机载平台的小样本目标检测方法及系统 Pending CN115035331A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210492442.7A CN115035331A (zh) 2022-05-07 2022-05-07 一种应用于小型无人机载平台的小样本目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210492442.7A CN115035331A (zh) 2022-05-07 2022-05-07 一种应用于小型无人机载平台的小样本目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN115035331A true CN115035331A (zh) 2022-09-09

Family

ID=83119222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210492442.7A Pending CN115035331A (zh) 2022-05-07 2022-05-07 一种应用于小型无人机载平台的小样本目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN115035331A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333495A (zh) * 2023-12-01 2024-01-02 浙江口碑网络技术有限公司 图像检测方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117333495A (zh) * 2023-12-01 2024-01-02 浙江口碑网络技术有限公司 图像检测方法、装置、设备及存储介质
CN117333495B (zh) * 2023-12-01 2024-03-19 浙江口碑网络技术有限公司 图像检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Liu et al. Affinity derivation and graph merge for instance segmentation
Huber et al. Parts-based 3d object classification
CN110942000A (zh) 一种基于深度学习的无人驾驶车辆目标检测方法
Zhai et al. OCR-based neural network for ANPR
CN112183153A (zh) 一种基于视频分析的对象行为检测方法及装置
Guindel et al. Fast joint object detection and viewpoint estimation for traffic scene understanding
Haloi A novel plsa based traffic signs classification system
CN115035331A (zh) 一种应用于小型无人机载平台的小样本目标检测方法及系统
Wang et al. Occluded vehicle detection with local connected deep model
Gunawan et al. Performance Comparison of Various YOLO Architectures on Object Detection of UAV Images
Shustanov et al. A Method for Traffic Sign Recognition with CNN using GPU.
Pei et al. Small target detection with remote sensing images based on an improved YOLOv5 algorithm
Fan et al. Covered vehicle detection in autonomous driving based on faster rcnn
CN117152625A (zh) 一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质
Eriş et al. Implementation of target tracking methods on images taken from unmanned aerial vehicles
Nguyen et al. YOLO5PKLot: A Parking Lot Detection Network Based on Improved YOLOv5 for Smart Parking Management System
Nayan et al. Real time multi-class object detection and recognition using vision augmentation algorithm
WO2022070184A1 (en) System and method for visual localization
Dietsche et al. Visual loop closure detection for a future Mars science helicopter
CN113903025A (zh) 场景文本检测方法、装置和模型及其训练方法和训练装置
Amiri et al. A Real-Time collision detection system for vehicles
Poojary et al. Deep Learning Methods for Automatic Number Plate Recognition System: A Review
Frejlichowski Application of the polar–fourier greyscale descriptor to the automatic traffic sign recognition
HS et al. A novel method to recognize object in Images using Convolution Neural Networks
Liao et al. An experimental study of vehicle detection on aerial imagery using deep learning-based detection approaches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination