CN111241931B - 一种基于YOLOv3的空中无人机目标识别和跟踪方法 - Google Patents

一种基于YOLOv3的空中无人机目标识别和跟踪方法 Download PDF

Info

Publication number
CN111241931B
CN111241931B CN201911394465.9A CN201911394465A CN111241931B CN 111241931 B CN111241931 B CN 111241931B CN 201911394465 A CN201911394465 A CN 201911394465A CN 111241931 B CN111241931 B CN 111241931B
Authority
CN
China
Prior art keywords
target
frame
tracking
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911394465.9A
Other languages
English (en)
Other versions
CN111241931A (zh
Inventor
吕艳辉
张德育
冯酉鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Ligong University
Original Assignee
Shenyang Ligong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Ligong University filed Critical Shenyang Ligong University
Priority to CN201911394465.9A priority Critical patent/CN111241931B/zh
Publication of CN111241931A publication Critical patent/CN111241931A/zh
Application granted granted Critical
Publication of CN111241931B publication Critical patent/CN111241931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及视频目标识别跟踪技术领域，提供一种基于YOLOv3的空中无人机目标识别和跟踪方法。首先制作训练集；然后基于K‑means聚类算法改进候选框参数，并训练YOLOv3模型；接着获取待跟踪无人机飞行视频，设定目标模板；再生成当前帧的K*近邻搜索区域，利用YOLOv3模型检测输出类别及多个目标候选框，并计算与目标模板类别相同的目标候选框同目标模板的相似度得分，选取相似度得分最高的目标候选框作为跟踪目标，在无同类候选框时以上一帧跟踪目标为当前帧跟踪目标；最后，在未加载完图像时判断是否满足目标模板更新条件，在满足时更新目标模板。本发明能够提高空中无人机目标识别和跟踪的精度、效率和计算复杂度。

Description

一种基于YOLOv3的空中无人机目标识别和跟踪方法
技术领域
本发明涉及视频目标识别跟踪技术领域，特别是涉及一种基于YOLOv3的空中无人机目标识别和跟踪方法。
背景技术
高性能的目标识别和跟踪方法是计算机视觉领域的核心技术。目标识别方法有传统方法和基于深度学习的方法。传统的目标识别方法分为三个部分：首先进行区域选择，然后对区域中的目标进行特征提取，最后对提取的特征使用分类器分类。一方面，传统方法中，无论什么样的目标识别，在设置滑动窗口的时候，用的都是同样的方法，没有针对性，而且由于窗口设置的过多导致算法模型复杂，时间复杂度高；另一方面，传统方法中用于分类识别的目标特征是手工提取的，隐藏的问题是提取的特征不够好，从而在进行目标识别的时候可能导致效果不稳定。
基于深度学习的目标识别方法使用卷积神经网络提取目标特征，算法模型是基于端到端的网络，不需要进行区域候选，直接对输入的图片进行分类识别。对于深度学习领域常见的目标检测数据集，YOLOv3所做的物体检测已经取得了很好的检测效果。而对于小型无人机目标，由于是远距离拍摄，在部分画面中无人机目标尺寸太小，YOLOv3的检测性能并不能达到最优。
跟踪方法经过多年的发展已有很好的跟踪效果，但是受到光照、遮挡、尺度等因素变化的影响，都有一定概率会使跟踪发生偏移，或者产生误跟踪的问题，目标跟踪出现问题无法修复。
发明内容
针对现有技术存在的问题，本发明提供一种基于YOLOv3的空中无人机目标识别和跟踪方法，能够提高空中无人机目标识别和跟踪的精度、效率和计算复杂度。
本发明的技术方案为：
一种基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，包括下述步骤：
步骤1：制作训练集；
步骤1.1：将无人机作为空中飞行目标，获取无人机飞行视频；
步骤1.2：对无人机飞行视频进行分帧处理，得到多帧图片构成待筛选图片集；
步骤1.3：对待筛选图片集中重复的和没有目标物的图片按一定比例进行筛除，待筛选图片集中剩余的图片构成待处理图片集；
步骤1.4：对待处理图片集中的每帧图片进行预处理，得到预处理后的图片集；
步骤1.5：对预处理后的图片集中的每帧图片标记出无人机区域框，并标注无人机区域框中无人机的类别信息和位置信息，生成训练集；其中，所述位置信息包括无人机区域框的中心点坐标、宽、高；
步骤2：改进候选框参数；
步骤2.1：在不同的聚类数目K下，基于K-means聚类算法对训练集中的无人机区域框进行聚类，得到每种K值下的K个最优聚类中心，统计每种K值下的损失函数值；
步骤2.2：绘制损失函数值与K值之间的关系图，采用手肘法找到最优K值，得到最优K值下的K个最优聚类中心，将最优K值下的K个最优聚类中心作为YOLOv3的初始候选框参数写入配置文件，获得改进的YOLOv3；
步骤3：利用训练集训练YOLOv3中的Darknet-53模型；
步骤4：获取待跟踪无人机的飞行视频，初始化i＝1，在第1帧图像中手动获取跟踪目标，将第1帧图像中的跟踪目标设为目标模板，提取目标模板的HSV直方特征向量、HOG直方特征向量；
步骤5：令i＝i+1，根据第i-1帧图像中跟踪目标的位置信息生成第i帧图像的K*近邻搜索区域，利用训练后的YOLOv3模型对K*近邻搜索区域进行检测，输出K*近邻搜索区域中目标的类别及预测的多个目标候选框；
步骤6：留存与目标模板类别相同的目标候选框，进入步骤7；若没有与目标模板类别相同的目标候选框，则以第i-1帧图像的跟踪目标为第i帧图像的跟踪目标，进入步骤8；
步骤7：依次提取每个目标候选框的HSV直方特征向量、HOG直方特征向量，计算每个目标候选框与目标模板的HSV直方图间的相似度、HOG直方图间的相似度，并计算每个目标候选框与目标模板的相似度得分，选取最高相似度得分对应的目标候选框作为第i帧图像的跟踪目标；
步骤8：若i≥n，则结束跟踪；若i＜n，则执行步骤9；其中，n为待跟踪无人机的飞行视频的总帧数；
步骤9：判断第i帧图像的跟踪目标是否达到目标模板更新条件，若达到则更新目标模板为第i帧图像的跟踪目标，转至步骤5；若未达到则转至步骤5。
进一步地，所述步骤1.1中，所述无人机包括小型四旋翼无人机和小型固定翼无人机；所述步骤1.4中，所述预处理包括灰度化、几何变换、图像增强、图像颜色调整。
进一步地，所述步骤3中，利用训练集训练YOLOv3中的Darknet-53模型，包括：
步骤3.1：将训练集导入到YOLOv3中，修改voc.names文件、cfg文件中的voc.data文件、yolov3-voc.cfg文件；
步骤3.2：导入训练权重文件darknet53.conv.74后，训练YOLOv3模型。
进一步地，所述步骤4中，提取目标模板的HOG直方特征向量包括：
步骤4.1：对目标模板进行Gamma校正；
步骤4.2：计算目标模板中每个像素点在横坐标方向的梯度gx、纵坐标方向的梯度gy，并计算每个像素点的梯度的幅值和方向角分别为
Figure BDA0002345928060000031
Figure BDA0002345928060000032
步骤4.3：将目标模板分成多个细胞单元，统计每个细胞单元的梯度直方图，形成每个细胞单元的特征描述子；
步骤4.4：选取多个细胞单元组合成块，在每个块内归一化梯度直方图；
步骤4.5：收集检测窗口中所有重叠的块的HOG特征，构成目标模板的HOG直方特征向量。
进一步地，所述步骤5中，根据第i-1帧图像中跟踪目标的位置信息生成第i帧图像的K*近邻搜索区域，包括：以第i-1帧图像的跟踪目标为基础矩阵，第i帧图像的K*近邻搜索区域的中心点与基础矩阵的中心点坐标位置重合，同时满足公式：
Figure BDA0002345928060000033
其中，Wdetect、Hdetect分别为第i帧图像的K*近邻搜索区域的宽、高，Wobj、Hobj分别为基础矩阵的宽、高。
进一步地，所述步骤7中，计算第k个目标候选框与目标模板的HSV直方图间的相似度、HOG直方图间的相似度分别为
Figure BDA0002345928060000034
Figure BDA0002345928060000035
其中，Ho、Hk分别为目标模板、第k个目标候选框的HSV直方特征向量，Ho(j)、Hk(j)分别为Ho、Hk中第j个细胞单元内的颜色向量统计值，
Figure BDA0002345928060000041
N为HSV直方图中细胞单元的总数，k＝1，2，…，L，L为目标候选框的总数；Go、Gk分别目标模板、第k个目标候选框的HOG直方特征向量，Go(j)、Gk(j)为Go、Gk中第j个细胞单元内的梯度统计值，
Figure BDA0002345928060000042
M为HOG直方图中细胞单元的总数。
进一步地，所述步骤7中，计算第k个目标候选框与目标模板间的相似度得分为dk＝(w1*d(Ho，Hk)+(1-w1)d(Go，Gk))*w2
其中，w1、w2均为权重系数。
进一步地，所述步骤9中，目标模板更新条件包括帧间阈值条件、帧间差分条件；
所述帧间阈值条件为
Figure BDA0002345928060000043
其中，d(Ho，Hi)、d(Go，Gi)分别为第i帧图像的跟踪目标与目标模板的HSV直方图间的相似度、HOG直方图间的相似度，d(Ho，Hi)threshold、d(Go，Gi)threshold分别为第i帧图像的跟踪目标与目标模板的HSV特征相似度阈值、HOG特征相似度阈值；
所述帧间差分条件为T2-T1＞Tthreshold
其中，T1为前一次目标模板更新时的图像帧数；T2为当前图像帧数，Tthreshold为目标模板更新时的最小帧差数。
本发明的有益效果为：
(1)本发明基于卷积神经网络YOLOv3模型，通过采集空中无人机数据集，有效提高了识别准确率。
(2)本发明采用K-means聚类算法对初始候选框的参数进行改进，优化了YOLOv3，能够适应于特定的小型无人机检测任务，且有效提高了识别速度。
(3)本发明通过接收视频图像数据，使用深度学习YOLOv3算法，检测获取要跟踪的目标位置信息及类别，同时应用K近邻思想缩小感兴趣区域，降低了计算复杂度。
(4)本发明通过将YOLOv3算法模型作为检测器，同时结合颜色特征和HOG特征对前端深度学习模型的检测结果进行目标选择，实现了对空中无人机目标准确的识别和实时的跟踪，识别精度达到98％以上，跟踪速度达到25.8帧/秒。
附图说明
图1为本发明的基于YOLOv3的空中无人机目标识别和跟踪方法的流程图；
图2为具体实施方式中K-means聚类算法中损失函数值随K值变化的折线图。
具体实施方式
下面将结合附图和具体实施方式，对本发明作进一步描述。
本发明利用深度学习模型在目标特征提取上的优势，采用基于回归的YOLOv3检测模型提取候选目标，同时结合目标颜色直方特征和梯度方向直方特征进行目标筛选，实现对目标的跟踪。跟踪过程中，YOLOv3算法同时进行优化校正，防止跟踪偏移、跟踪失败、跟踪目标错误，提升跟踪速度，直到目标消失。如图1所示，本发明的基于YOLOv3的空中无人机目标识别和跟踪方法，包括下述步骤：
步骤1：制作训练集：
步骤1.1：将小型四旋翼无人机和小型固定翼无人机作为空中飞行目标，利用拍摄工具对无人机的飞行进行拍摄，获取无人机飞行视频，将无人机飞行视频以MP4格式保存在计算机中；
步骤1.2：对无人机飞行视频进行分帧处理，得到多帧图片构成待筛选图片集；
步骤1.3：对待筛选图片集中重复的和没有目标物的图片按一定比例进行筛除，待筛选图片集中剩余的图片构成待处理图片集；
步骤1.4：对待处理图片集中的每帧图片进行灰度化、几何变换、图像增强、图像颜色调整预处理，得到预处理后的图片集；
步骤1.5：对预处理后的图片集中的每帧图片手工标记出无人机区域框，并标注无人机区域框中无人机的类别信息和位置信息，生成训练集；其中，所述位置信息包括无人机区域框的中心点坐标、宽、高。
步骤2：改进候选框参数：
步骤2.1：在不同的聚类数目K下，基于K-means聚类算法对训练集中的无人机区域框进行聚类，得到每种K值下的K个最优聚类中心，统计每种K值下的损失函数值；
步骤2.2：如图2所示，绘制损失函数值与K值之间的关系图，采用手肘法找到最优K值，得到最优K值下的K个最优聚类中心，将最优K值下的K个最优聚类中心作为YOLOv3的初始候选框参数写入配置文件，获得改进的YOLOv3。
步骤3：利用训练集训练YOLOv3中的Darknet-53模型：
步骤3.1：将训练集导入到YOLOv3中，修改voc.names文件、cfg文件中的voc.data文件、yolov3-voc.cfg文件；
步骤3.2：导入训练权重文件darknet53.conv.74后，训练YOLOv3模型。
步骤4：获取待跟踪无人机的飞行视频，初始化i＝1，在第1帧图像中手动获取跟踪目标，将第1帧图像中的跟踪目标设为目标模板，提取目标模板的HSV直方特征向量、HOG直方特征向量。
其中，目标模板的HSV直方特征向量描述的是全局性的特征，HOG直方特征向量描述的是局部特征。本实施例中，提取目标模板的HOG直方特征向量包括：
步骤4.1：对目标模板进行Gamma校正，实现对图像颜色空间的归一化，调节图像对比度，降低图像局部阴影和光照变化造成的影响；
步骤4.2：计算目标模板中每个像素点在横坐标方向的梯度gx、纵坐标方向的梯度gy，并计算每个像素点的梯度的幅值和方向角分别为
Figure BDA0002345928060000061
Figure BDA0002345928060000062
步骤4.3：将目标模板分成多个细胞单元，统计每个细胞单元的梯度直方图，形成每个细胞单元的特征描述子；
步骤4.4：选取多个细胞单元组合成块，在每个块内归一化梯度直方图；
步骤4.5：收集检测窗口中所有重叠的块的HOG特征，构成目标模板的HOG直方特征向量。
步骤5：令i＝i+1，根据第i-1帧图像中跟踪目标的位置信息生成第i帧图像的K*近邻搜索区域，利用训练后的YOLOv3模型对K*近邻搜索区域进行检测，输出K*近邻搜索区域中目标的类别及预测的多个目标候选框。
本实施例中，根据第i-1帧图像中跟踪目标的位置信息生成第i帧图像的K*近邻搜索区域，包括：以第i-1帧图像的跟踪目标为基础矩阵，第i帧图像的K*近邻搜索区域的中心点与基础矩阵的中心点坐标位置重合，同时满足公式：
Figure BDA0002345928060000063
其中，Wdetect、Hdetect分别为第i帧图像的K*近邻搜索区域的宽、高，Wobj、Hobj分别为基础矩阵的宽、高。
其中，K*近邻搜索区域是用来提高YOLOv3检测算法在选择区域目标检测的成功率。
步骤6：留存与目标模板类别相同的目标候选框，进入步骤7；若没有与目标模板类别相同的目标候选框，则以第i-1帧图像的跟踪目标为第i帧图像的跟踪目标，进入步骤8。
其中，留存与目标模板类别相同的目标候选框，是通过设置检测置信度阈值，去除一部分候选目标，此时再对候选目标按照检测置信度进行从高到低的排名。
步骤7：依次提取每个目标候选框的HSV直方特征向量、HOG直方特征向量，计算每个目标候选框与目标模板的HSV直方图间的相似度、HOG直方图间的相似度，并计算每个目标候选框与目标模板的相似度得分，选取最高相似度得分对应的目标候选框作为第i帧图像的跟踪目标。
本实施例中，计算第k个目标候选框与目标模板的HSV直方图间的相似度、HOG直方图间的相似度分别为
Figure BDA0002345928060000071
Figure BDA0002345928060000072
其中，Ho、Hk分别为目标模板、第k个目标候选框的HSV直方特征向量，Ho(j)、Hk(j)分别为Ho、Hk中第j个细胞单元内的颜色向量统计值，
Figure BDA0002345928060000073
N为HSV直方图中细胞单元的总数，k＝1，2，…，L，L为目标候选框的总数；Go、Gk分别目标模板、第k个目标候选框的HOG直方特征向量，Go(j)、Gk(j)为Go、Gk中第j个细胞单元内的梯度统计值，
Figure BDA0002345928060000074
M为HOG直方图中细胞单元的总数。
计算第k个目标候选框与目标模板间的相似度得分为dk＝(w1*d(Ho，Hk)+(1-w1)d(Go，Gk))*w2
其中，w1、w2均为权重系数。
步骤8：若i≥n，则结束跟踪；若i＜n，则执行步骤9；其中，n为待跟踪无人机的飞行视频的总帧数。
步骤9：判断第i帧图像的跟踪目标是否达到目标模板更新条件，若达到则更新目标模板为第i帧图像的跟踪目标，转至步骤5；若未达到则转至步骤5。
本实施例中，选择帧间差分阈值法作为目标模板的更新方法，目标模板的更新需要综合考虑颜色特征相似度和HOG相似度。目标模板更新条件包括帧间阈值条件、帧间差分条件；
所述帧间阈值条件为
Figure BDA0002345928060000081
其中，d(Ho，Hi)、d(Go，Gi)分别为第i帧图像的跟踪目标与目标模板的HSV直方图间的相似度、HOG直方图间的相似度，d(Ho，Hi)threshold、d(Go，Gi)threshold分别为第i帧图像的跟踪目标与目标模板的HSV特征相似度阈值、HOG特征相似度阈值；
所述帧间差分条件为T2-T1＞Tthreshold
其中，T1为前一次目标模板更新时的图像帧数；T2为当前图像帧数，Tthreshold为目标模板更新时的最小帧差数。
显然，上述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。上述实施例仅用于解释本发明，并不构成对本发明保护范围的限定。基于上述实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等，均落在本发明要求的保护范围内。

Claims (8)

1.一种基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，包括下述步骤：
步骤1：制作训练集；
步骤1.1：将无人机作为空中飞行目标，获取无人机飞行视频；
步骤1.2：对无人机飞行视频进行分帧处理，得到多帧图片构成待筛选图片集；
步骤1.3：对待筛选图片集中重复的和没有目标物的图片按一定比例进行筛除，待筛选图片集中剩余的图片构成待处理图片集；
步骤1.4：对待处理图片集中的每帧图片进行预处理，得到预处理后的图片集；
步骤1.5：对预处理后的图片集中的每帧图片标记出无人机区域框，并标注无人机区域框中无人机的类别信息和位置信息，生成训练集；其中，所述位置信息包括无人机区域框的中心点坐标、宽、高；
步骤2：改进候选框参数；
步骤2.1：在不同的聚类数目K下，基于K-means聚类算法对训练集中的无人机区域框进行聚类，得到每种K值下的K个最优聚类中心，统计每种K值下的损失函数值；
步骤2.2：绘制损失函数值与K值之间的关系图，采用手肘法找到最优K值，得到最优K值下的K个最优聚类中心，将最优K值下的K个最优聚类中心作为YOLOv3的初始候选框参数写入配置文件，获得改进的YOLOv3；
步骤3：利用训练集训练YOLOv3中的Darknet-53模型；
步骤4：获取待跟踪无人机的飞行视频，初始化i＝1，在第1帧图像中手动获取跟踪目标，将第1帧图像中的跟踪目标设为目标模板，提取目标模板的HSV直方特征向量、HOG直方特征向量；
步骤5：令i＝i+1，根据第i-1帧图像中跟踪目标的位置信息生成第i帧图像的K*近邻搜索区域，利用训练后的YOLOv3模型对K*近邻搜索区域进行检测，输出K*近邻搜索区域中目标的类别及预测的多个目标候选框；
步骤6：留存与目标模板类别相同的目标候选框，进入步骤7；若没有与目标模板类别相同的目标候选框，则以第i-1帧图像的跟踪目标为第i帧图像的跟踪目标，进入步骤8；
步骤7：依次提取每个目标候选框的HSV直方特征向量、HOG直方特征向量，计算每个目标候选框与目标模板的HSV直方图间的相似度、HOG直方图间的相似度，并计算每个目标候选框与目标模板的相似度得分，选取最高相似度得分对应的目标候选框作为第i帧图像的跟踪目标；
步骤8：若i≥n，则结束跟踪；若i＜n，则执行步骤9；其中，n为待跟踪无人机的飞行视频的总帧数；
步骤9：判断第i帧图像的跟踪目标是否达到目标模板更新条件，若达到则更新目标模板为第i帧图像的跟踪目标，转至步骤5；若未达到则转至步骤5。
2.根据权利要求1所述的基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，所述步骤1.1中，所述无人机包括小型四旋翼无人机和小型固定翼无人机；所述步骤1.4中，所述预处理包括灰度化、几何变换、图像增强、图像颜色调整。
3.根据权利要求1所述的基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，所述步骤3中，利用训练集训练YOLOv3中的Darknet-53模型，包括：
步骤3.1：将训练集导入到YOLOv3中，修改voc.names文件、cfg文件中的voc.data文件、yolov3-voc.cfg文件；
步骤3.2：导入训练权重文件darknet53.conv.74后，训练YOLOv3模型。
4.根据权利要求1所述的基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，所述步骤4中，提取目标模板的HOG直方特征向量包括：
步骤4.1：对目标模板进行Gamma校正；
步骤4.2：计算目标模板中每个像素点在横坐标方向的梯度gx、纵坐标方向的梯度gv，并计算每个像素点的梯度的幅值和方向角分别为
Figure FDA0002345928050000021
Figure FDA0002345928050000022
步骤4.3：将目标模板分成多个细胞单元，统计每个细胞单元的梯度直方图，形成每个细胞单元的特征描述子；
步骤4.4：选取多个细胞单元组合成块，在每个块内归一化梯度直方图；
步骤4.5：收集检测窗口中所有重叠的块的HOG特征，构成目标模板的HOG直方特征向量。
5.根据权利要求1所述的基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，所述步骤5中，根据第i-1帧图像中跟踪目标的位置信息生成第i帧图像的K*近邻搜索区域，包括：以第i-1帧图像的跟踪目标为基础矩阵，第i帧图像的K*近邻搜索区域的中心点与基础矩阵的中心点坐标位置重合，同时满足公式：
Figure FDA0002345928050000023
其中，Wdetect、Hdetect分别为第i帧图像的K*近邻搜索区域的宽、高，Wobj、Hobj分别为基础矩阵的宽、高。
6.根据权利要求1所述的基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，所述步骤7中，计算第k个目标候选框与目标模板的HSV直方图间的相似度、HOG直方图间的相似度分别为
Figure FDA0002345928050000031
Figure FDA0002345928050000032
其中，Ho、Hk分别为目标模板、第k个目标候选框的HSV直方特征向量，Ho(j)、Hk(j)分别为Ho、Hk中第j个细胞单元内的颜色向量统计值，
Figure FDA0002345928050000033
N为HSV直方图中细胞单元的总数，k＝1，2，...，L，L为目标候选框的总数；Go、Gk分别目标模板、第k个目标候选框的HOG直方特征向量，Go(j)、Gk(j)为Go、Gk中第j个细胞单元内的梯度统计值，
Figure FDA0002345928050000034
M为HOG直方图中细胞单元的总数。
7.根据权利要求6所述的基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，所述步骤7中，计算第k个目标候选框与目标模板间的相似度得分为
dk＝(w1*d(Ho，Hk)+(1-w1)d(Go，Gk))*w2
其中，w1、w2均为权重系数。
8.根据权利要求1所述的基于YOLOv3的空中无人机目标识别和跟踪方法，其特征在于，所述步骤9中，目标模板更新条件包括帧间阈值条件、帧间差分条件；
所述帧间阈值条件为
Figure FDA0002345928050000035
其中，d(Ho，Hi)、d(Go，Gi)分别为第i帧图像的跟踪目标与目标模板的HSV直方图间的相似度、HOG直方图间的相似度，d(Ho，Hi)threshold、d(Go，Gi)threshold分别为第i帧图像的跟踪目标与目标模板的HSV特征相似度阈值、HOG特征相似度阈值；
所述帧间差分条件为
T2-T1＞Tthreshold
其中，T1为前一次目标模板更新时的图像帧数；T2为当前图像帧数，Tthreshold为目标模板更新时的最小帧差数。
CN201911394465.9A 2019-12-30 2019-12-30 一种基于YOLOv3的空中无人机目标识别和跟踪方法 Active CN111241931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911394465.9A CN111241931B (zh) 2019-12-30 2019-12-30 一种基于YOLOv3的空中无人机目标识别和跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911394465.9A CN111241931B (zh) 2019-12-30 2019-12-30 一种基于YOLOv3的空中无人机目标识别和跟踪方法

Publications (2)

Publication Number Publication Date
CN111241931A CN111241931A (zh) 2020-06-05
CN111241931B true CN111241931B (zh) 2023-04-18

Family

ID=70872208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911394465.9A Active CN111241931B (zh) 2019-12-30 2019-12-30 一种基于YOLOv3的空中无人机目标识别和跟踪方法

Country Status (1)

Country Link
CN (1) CN111241931B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833378A (zh) * 2020-06-09 2020-10-27 天津大学 一种基于代理共享网络的多无人机单目标跟踪方法及装置
CN111709345A (zh) * 2020-06-12 2020-09-25 重庆电政信息科技有限公司 一种固定环境内异常物品实时检测方法
CN111695638A (zh) * 2020-06-16 2020-09-22 兰州理工大学 一种改进的YOLOv3候选框加权融合选取策略
CN112070036A (zh) * 2020-09-11 2020-12-11 联通物联网有限责任公司 基于多帧图片的目标检测方法、装置及存储介质
CN112257612B (zh) * 2020-10-23 2023-06-02 华侨大学 一种基于边缘智能的无人机视频帧过滤方法及装置
CN112416968A (zh) * 2020-12-09 2021-02-26 中国船舶工业系统工程研究院 一种支持数据集生成的无人艇数据管理系统
CN112908015A (zh) * 2021-02-03 2021-06-04 湖南海龙国际智能科技股份有限公司 一种应用于智慧园区的智能交通指示系统及方法
CN112927264B (zh) * 2021-02-25 2022-12-16 华南理工大学 一种无人机跟踪拍摄系统及其rgbd跟踪方法
CN112884810B (zh) * 2021-03-18 2024-02-02 沈阳理工大学 一种基于YOLOv3的行人跟踪方法
CN113298844B (zh) * 2021-05-24 2023-07-25 中南大学 基于多特征融合和区域生长的低小慢目标跟踪方法及装置
CN113592911B (zh) * 2021-07-31 2023-02-28 西南电子技术研究所（中国电子科技集团公司第十研究所） 表观增强深度目标跟踪方法
CN114743125B (zh) * 2022-03-02 2024-02-27 上海应用技术大学 基于yolo和改进模板匹配的杠铃识别与跟踪控制方法
CN116453062B (zh) * 2023-06-12 2023-08-22 青岛义龙包装机械有限公司 基于机器人高精度柔顺装配的包装机装配风险监控方法
CN117292283B (zh) * 2023-11-24 2024-02-13 成都庆龙航空科技有限公司 一种基于无人机的目标识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121286A1 (zh) * 2016-12-30 2018-07-05 纳恩博（北京）科技有限公司 目标跟踪方法和装置
CN108320510A (zh) * 2018-04-03 2018-07-24 深圳市智绘科技有限公司 一种基于无人机航拍视频交通信息统计方法及系统
CN108961304A (zh) * 2017-05-23 2018-12-07 阿里巴巴集团控股有限公司 识别视频中运动前景的方法和确定视频中目标位置的方法
CN109241898A (zh) * 2018-08-29 2019-01-18 合肥工业大学 腔镜视像的目标定位方法和系统、存储介质
WO2019041519A1 (zh) * 2017-08-29 2019-03-07 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN109633589A (zh) * 2019-01-08 2019-04-16 沈阳理工大学 目标跟踪中基于多模型优化多假设的多目标数据关联方法
CN109711437A (zh) * 2018-12-06 2019-05-03 武汉三江中电科技有限责任公司 一种基于yolo网络模型的变压器部件识别方法
CN110031004A (zh) * 2019-03-06 2019-07-19 沈阳理工大学 基于数字地图的无人机静态和动态路径规划方法
CN110232350A (zh) * 2019-06-10 2019-09-13 哈尔滨工程大学 一种基于在线学习的实时水面多运动目标检测跟踪方法
CN110516705A (zh) * 2019-07-19 2019-11-29 平安科技（深圳）有限公司 基于深度学习的目标跟踪方法、装置及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121286A1 (zh) * 2016-12-30 2018-07-05 纳恩博（北京）科技有限公司 目标跟踪方法和装置
CN108961304A (zh) * 2017-05-23 2018-12-07 阿里巴巴集团控股有限公司 识别视频中运动前景的方法和确定视频中目标位置的方法
WO2019041519A1 (zh) * 2017-08-29 2019-03-07 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN108320510A (zh) * 2018-04-03 2018-07-24 深圳市智绘科技有限公司 一种基于无人机航拍视频交通信息统计方法及系统
CN109241898A (zh) * 2018-08-29 2019-01-18 合肥工业大学 腔镜视像的目标定位方法和系统、存储介质
CN109711437A (zh) * 2018-12-06 2019-05-03 武汉三江中电科技有限责任公司 一种基于yolo网络模型的变压器部件识别方法
CN109633589A (zh) * 2019-01-08 2019-04-16 沈阳理工大学 目标跟踪中基于多模型优化多假设的多目标数据关联方法
CN110031004A (zh) * 2019-03-06 2019-07-19 沈阳理工大学 基于数字地图的无人机静态和动态路径规划方法
CN110232350A (zh) * 2019-06-10 2019-09-13 哈尔滨工程大学 一种基于在线学习的实时水面多运动目标检测跟踪方法
CN110516705A (zh) * 2019-07-19 2019-11-29 平安科技（深圳）有限公司 基于深度学习的目标跟踪方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨恢先 ; 刘昭 ; 刘阳 ; 刘凡 ; 贺迪龙.基于超像素和局部稀疏表示的目标跟踪方法.系统仿真学报.2016,第28卷(第5期),全文. *

Also Published As

Publication number Publication date
CN111241931A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111241931B (zh) 一种基于YOLOv3的空中无人机目标识别和跟踪方法
CN107909600B (zh) 一种基于视觉的无人机实时运动目标分类与检测方法
CN108875588B (zh) 基于深度学习的跨摄像头行人检测跟踪方法
CN109344701B (zh) 一种基于Kinect的动态手势识别方法
CN107679491B (zh) 一种融合多模态数据的3d卷积神经网络手语识别方法
CN108537147B (zh) 一种基于深度学习的手势识别方法
Zhou et al. Robust vehicle detection in aerial images using bag-of-words and orientation aware scanning
CN108446634B (zh) 基于视频分析和定位信息结合的航空器持续跟踪方法
CN106778712B (zh) 一种多目标检测与跟踪方法
CN104598883B (zh) 一种多摄像机监控网络中目标再识别的方法
CN103824091B (zh) 一种用于智能交通系统的车牌识别方法
JP5604256B2 (ja) 人物動作検出装置およびそのプログラム
CN108564598B (zh) 一种改进的在线Boosting目标跟踪方法
CN107798691B (zh) 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
Tian et al. Scene Text Detection in Video by Learning Locally and Globally.
CN111191546A (zh) 基于机器视觉识别的产品智能装配方法
CN110443247A (zh) 一种无人机地面运动小目标实时检测系统及方法
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN110008844A (zh) 一种融合slic算法的kcf长期手势跟踪方法
CN116109950A (zh) 一种低空域反无人机视觉检测、识别与跟踪方法
CN107679467B (zh) 一种基于hsv和sdalf的行人重识别算法实现方法
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
US11087122B1 (en) Method and system for processing candidate strings detected in an image to identify a match of a model string in the image
CN116665097A (zh) 一种结合上下文感知的自适应目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant