CN110706266A - 一种基于YOLOv3的空中目标跟踪方法 - Google Patents

一种基于YOLOv3的空中目标跟踪方法 Download PDF

Info

Publication number
CN110706266A
CN110706266A CN201911268966.2A CN201911268966A CN110706266A CN 110706266 A CN110706266 A CN 110706266A CN 201911268966 A CN201911268966 A CN 201911268966A CN 110706266 A CN110706266 A CN 110706266A
Authority
CN
China
Prior art keywords
target
target tracking
kcf
detection
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911268966.2A
Other languages
English (en)
Other versions
CN110706266B (zh
Inventor
代剑峰
靳志娟
李新磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongxing Times Technology Co Ltd
Original Assignee
Beijing Zhongxing Times Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongxing Times Technology Co Ltd filed Critical Beijing Zhongxing Times Technology Co Ltd
Priority to CN201911268966.2A priority Critical patent/CN110706266B/zh
Publication of CN110706266A publication Critical patent/CN110706266A/zh
Application granted granted Critical
Publication of CN110706266B publication Critical patent/CN110706266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于目标跟踪技术领域,提供了一种基于YOLOv3的空中目标跟踪方法,包括:生成模型文件;实时采集视频文件,创建YOLOv3目标跟踪和KCF目标跟踪两个线程;YOLOv3目标跟踪线程进行目标检测;将步骤S03中的目标位置信息发送给KCF目标跟踪线程,同时执行步骤S07和步骤S11;启动KCF目标跟踪线程,判断KCF目标跟踪线程是否完成初始化;手动设置检测框;完成KCF参数初始化;KCF目标跟踪线程进行目标检测;将响应值最大的检测框作为目标;更新位置参数;得到最终的目标位置信息。本发明的一种基于YOLOv3的空中目标跟踪方法,提高了目标跟踪算法的准确性、鲁棒性以及适应性。

Description

一种基于YOLOv3的空中目标跟踪方法
技术领域
本发明涉及目标跟踪技术领域,具体涉及一种基于YOLOv3的空中目标跟踪方法。
背景技术
运动目标的识别和跟踪是计算机视觉领域的热点问题,在人机交互、视频跟踪、视觉导航、机器人以及军事制导等方面有广泛的应用。近年来,消费级无人机市场的快速增长,具有强大功能的消费级无人机价格不断降低,操作简便性不断提高,无人机正快速地从尖端的军用设备转入大众市场,成为普通民众手中的玩具。然而,功能越来越先进的新式无人机的不断涌现,也带来了安全和隐私方面的忧患,如无人机偷窥侵犯隐私权,在国家机关、军队驻地、机场周边等敏感区域飞行危害国家安全,以及无人机操作不当引发安全事故等等。
YOLOv3是深度学习方面的一种目标检测网络,在单帧图像的检测和识别层面应用很广,相比于传统目标检测方法,其优势在于更高的检测准确度及更快的检测速度。基于检测的目标跟踪是一种常用的目标跟踪方法,通过对每帧图像进行目标检测与识别,即可完成对视频序列的跟踪。但是,基于深度学习的YOLOv3对前期训练样本有很高的要求,如果一旦拍摄到的目标及背景图像不包含在训练样本里时,YOLOv3是无法检测到目标的,从而导致跟踪失败。
KCF是一种鉴别式追踪方法,这类方法一般都是在追踪过程中训练一个目标检测器,使用目标检测器去检测下一帧预测位置是否是目标,然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本,目标的周围区域为负样本,当然越靠近目标的区域为正样本的可能性越大。但 KCF 算法在尺度变换、特征提取、目标丢失等方面仍有不足。
发明内容
针对现有技术中的缺陷,本发明提供的一种基于YOLOv3的空中目标跟踪方法,克服了目标跟踪算法受光照、形变等的不良影响,提高了目标跟踪算法的准确性、鲁棒性以及适应性。
为了解决上述技术问题,本发明提供以下技术方案:
一种基于YOLOv3的空中目标跟踪方法,包括以下步骤:
S01:生成模型文件:将准备好的无人机图片作为样本图片,通过图像标注软件IabelImg对样本图片进行数据标注,然后通过YOLOv3算法进行训练,生成模型文件;
S02:通过采集模块实时拍摄检测目标的视频文件并发送到计算机,同时在计算机内通过实现基于Runnable接口、实现Callable接口或继承Thread类的方式创建YOLOv3目标跟踪和KCF目标跟踪两个线程,同时执行步骤S03和步骤S05;
S03:YOLOv3目标跟踪线程调用步骤S01中生成的模型文件,进行目标检测,得到目标位置信息和置信度信息;
S04:将步骤S03中得到的目标位置信息发送给KCF目标跟踪线程,作为KCF目标跟踪线程的初始化参数,转到步骤S07,同时执行步骤S11;
S05:目标跟踪线程运行1秒后,启动KCF目标跟踪线程,判断KCF目标跟踪线程是否已经完成了KCF参数初始化,如果已完成KCF参数初始化,执行步骤S08,否则,执行步骤S06;
S06:通过手动设置检测框;
S07:完成KCF参数初始化;
S08:KCF目标跟踪线程对输入视频图像进行目标位置检测,通过循环矩阵的方式构建训练样本和检测样本,计算训练样本和检测样本之间的响应值,同时进行步骤S09和步骤S10;
S09:找出响应值最大的检测框作为目标,获取目标位置信息以及置信度信息,执行步骤S11;
S10:更新位置参数,此次得到的位置参数可以作为下一次响应值计算的初始参数,执行步骤S07;
S11:将YOLOv3目标跟踪线程和KCF目标跟踪线程得到的目标位置信息进行融合或比较,得到最终的目标位置信息。
进一步地,所述步骤S01中样本图像生成模型文件的过程包括以下步骤:
S0101:准备无人机样本图像;
S0102:通过图像标注软件labelImg对样本图像进行数据标注,生成与所标注图片文件名相同的xml文件;
S0103:修改学习率和迭代次数参数,用计算机GPU进行xml文件样本的训练,经过迭代生成模型文件。
进一步地,所述步骤S03中YOLOv3目标跟踪检测过程包括以下步骤:
S0301:输入一张任意大小图片,保持图片的长宽比不变并缩放至固定尺寸,形成归一化图像输入网络;
S0302:通过YOLO的CNN网络将图片分成S*S个网格,每个网格检测中心点落在该网格范 围内的目标,预测出b个预测框,每个预测框可对应(C+5)个值,其中,C为检测目标的类别 数,5个值分别为预测框的坐标(x,y)、预测框的宽度w和高度h、以及存在检测目标的置信得 分
Figure 453069DEST_PATH_IMAGE001
,预测框置信得分:
Figure 477657DEST_PATH_IMAGE002
,式中:如 果预测框中存在检测物体,则
Figure 872735DEST_PATH_IMAGE003
;否则,
Figure 513932DEST_PATH_IMAGE004
Figure 137811DEST_PATH_IMAGE005
为 网络预测i类的置信得分,i表示类别标号,
Figure 564376DEST_PATH_IMAGE006
为预测目标框与真实目标框的 交并比;
S0303:通过非极大值抑制(NMS)算法筛选出置信的分
Figure 615508DEST_PATH_IMAGE007
较高的预测框为检测框, 最后记录此类信息的置信度,其中,非极大值抑制公式如下:, 式中,i表示类别标号,M为置信得分较大的候选框,
Figure 155260DEST_PATH_IMAGE009
为被比较的物体预测框,
Figure 420019DEST_PATH_IMAGE010
为M与
Figure 655435DEST_PATH_IMAGE009
的交并比,
Figure 271224DEST_PATH_IMAGE011
为抑制阈值。
进一步地,所述S08中KCF目标跟踪检测过程包括以下步骤:
S0801:输入视频;
S0802:输入单张图像;
S0803:判断是否是第一帧图像,如果是第一帧图像,执行步骤S0804,如果不是第一帧图像,进行步骤S08010;
S0804:初始化目标矩形框的位置,根据目标位置,通过循环矩阵构造训练样本;
S0805:提取搜索矩形框处图像的HOG特征;
S0806:通过傅里叶变换将样本的训练转换成岭回归问题;
S0807:进行离散傅里叶变换,计算训练样本的权重系数;
S0808:进行参数更新;
S0809:判断是否有视频输入,如果有视频输入,执行步骤S0802,否则,完成目标检测过程;
S0810:在目标位置处通过循环位移的方式构造检测样本;
S0811:对检测样本提取HOG特征,并进行傅里叶变换;
S0812:计算检测样本的互相关矩阵;
S0813:计算检测样本的响应值,并将检测样本作为置信度,更新位置信息;
S0814:判断检测样本的响应值是否大于0.75,如果大于0.75,执行步骤S0805,否则,执行步骤S0815;
S0815:不进行参数更新。
进一步地,所述步骤S11中融合或比较YOLOv3目标跟踪线程和KCF目标跟踪线程,得到最终目标位置信息的过程包括如下步骤:
S1101:接收YOLOv3目标跟踪线程和KCF目标跟踪线程的目标位置信息及相应的置信度;
S1102:判断目标位置信息的数量是否有两个,如果目标位置信息有两个,执行S1104;否则,如果目标位置信息有一个,执行步骤S1103;
S1103:输出该目标位置信息;
S1104:比较两个目标位置信息的置信度,选择置信度大的目标位置信息作为最终的目标位置信息,执行步骤S1103。
由上述技术方案可知,本发明的有益效果:通过YOLOv3目标检测算法与KCF目标跟踪算法相结合,将YOLOv3目标检测算法获得的目标位置信息发送给KCF目标跟踪算法,并将此目标位置信息作为初始化KCF目标检测算法的参数,从而修改相关滤波KCF算法的更新机制,同时结合了YOLOv3目标检测算法的三种尺度进行检测的特性,从而有效解决了小目标的检测与跟踪问题,克服了目标跟踪算法受光照、形变等的不良影响,提高了目标跟踪算法的准确性、鲁棒性、适应性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为本发明的流程图;
图2为本发明中YOLOv3数据集训练生成模型文件的流程图;
图3为本发明中YOLOv3目标跟踪检测的流程图;
图4为本发明中KCF目标跟踪检测的流程图;
图5为本发明中融合或比较目标位置信息和置信度得到最终目标位置信息的流程图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案,因此只作为示例,而不能以此来限制本发明的保护范围。
请参阅图1所示,本实施例提供的一种基于YOLOv3的空中目标跟踪方法,包括以下步骤:
S01:生成模型文件:将准备好的无人机图片作为样本图片,通过图像标注软件IabelImg对样本图片进行数据标注,然后通过YOLOv3算法进行训练,生成模型文件;
S02:通过采集模块实时拍摄检测目标的视频文件并发送到计算机,同时在计算机内通过实现基于Runnable接口、实现Callable接口或继承Thread类的方式创建YOLOv3目标跟踪和KCF目标跟踪两个线程,同时执行步骤S03和步骤S05,所述采集模块为摄像头;
S03:YOLOv3目标跟踪线程调用步骤S01中生成的模型文件,进行目标检测,得到目标位置信息和置信度信息;
S04:将步骤S03中得到的目标位置信息发送给KCF目标跟踪线程,作为KCF目标跟踪线程的初始化参数,转到步骤S07,同时执行步骤S11;
S05:目标跟踪线程运行1秒后,启动KCF目标跟踪线程,判断KCF目标跟踪线程是否已经完成了KCF参数初始化,如果已完成KCF参数初始化,执行步骤S08,否则,执行步骤S06;
S06:通过手动设置检测框;
S07:完成KCF参数初始化;
S08:KCF目标跟踪线程对输入视频图像进行目标位置检测,通过循环矩阵的方式构建训练样本和检测样本,计算训练样本和检测样本之间的响应值,同时进行步骤S09和步骤S10;
S09:找出响应值最大的检测框作为目标,获取目标位置信息以及置信度信息,执行步骤S11;
S10:更新位置参数,此次得到的位置参数可以作为下一次响应值计算的初始参数,执行步骤S07;
S11:将YOLOv3目标跟踪线程和KCF目标跟踪线程得到的目标位置信息进行融合或比较,得到最终的目标位置信息。
在实际使用中,通过YOLOv3目标检测算法与KCF目标跟踪算法相结合,将YOLOv3目标检测算法获得的目标位置信息发送给KCF目标跟踪算法,并将此目标位置信息作为初始化KCF目标检测算法的参数,从而修改相关滤波KCF算法的更新机制,同时结合了YOLOv3目标检测算法的三种尺度进行检测的特性,从而有效解决了小目标的检测与跟踪问题,克服了目标跟踪算法受光照、形变等的不良影响,提高了目标跟踪算法的准确性、鲁棒性、适应性。
参阅图2所示,所述步骤S01中样本图像生成模型文件的过程包括以下步骤:
S0101:准备12000张无人机样本图像,包括近目标图像和远目标图像,其中,10000张为训练样本图像,2000张为测试样本图像;
S0102:通过图像标注软件labelImg对12000张无人机样本图像进行数据标注,生成与所标注图像文件名相同的xml文件;
S0103:修改学习率和迭代次数参数,用计算机GPU进行xml文件样本的训练,经过4000次迭代生成模型文件。
在实际使用中,通过采用12000张无人机图像并将无人机样本图像分为近目标图像和远目标图像完成训练无人机数据集的过程,丰富了训练样本的容量和类型,使YOLOv3目标检测算法只检测无人机目标,对图像检测从而达到跟踪的目的。
参阅图3所示,所述步骤S03中YOLOv3目标跟踪检测过程包括以下步骤:
S0301:输入一张任意大小图片,保持图片的长宽比不变并缩放至固定尺寸,形成归一化图像输入网络;
S0302:通过YOLO的CNN网络将图片分成S*S个网格,S可以分为13、26和52三种不同的尺 寸,即CNN网络可以将图片分成13*13、26*26和52*52三种不同尺寸的网格,每个网格检测中 心点落在该网格范围内的目标,预测出b个预测框,每个预测框可对应(C+5)个值,其中,C为 检测目标的类别数,5个值分别为预测框的坐标(x,y)、预测框的宽度w和高度h、以及存在检 测目标的置信得分,预测框置信得分:
Figure 136598DEST_PATH_IMAGE015
, 式中:如果预测框中存在检测物体,则
Figure 529533DEST_PATH_IMAGE017
;否则,
Figure 383351DEST_PATH_IMAGE019
Figure DEST_PATH_IMAGE021
为网络预测i类的置信得分,i表示类别标号,
Figure DEST_PATH_IMAGE023
为预测目标框与真实目标框 的交并比;
S0303:通过非极大值抑制(NMS)算法筛选出置信的分
Figure 808516DEST_PATH_IMAGE007
较高的预测框为检测框, 最后记录此类信息的置信度,其中,非极大值抑制公式如下:
Figure DEST_PATH_IMAGE025
, 式中,i表示类别标号,M为置信得分较大的候选框,
Figure 264512DEST_PATH_IMAGE009
为被比较的物体预测框,
Figure DEST_PATH_IMAGE027
为M与的交并比,
Figure 871260DEST_PATH_IMAGE011
为抑制阈值。
在实际使用中,YOLO的CNN网络可以在三种不同的尺度上进行检测,从而有效解决了小目标的检测与跟踪问题,能够准确、快速的完成空中目标的检测与跟踪。
参阅图4所示,所述步骤S08中KCF目标跟踪检测过程包括以下步骤:
S0801:输入视频;
S0802:输入单张图像;
S0803:判断是否是第一帧图像,如果是第一帧图像,执行S0804,如果不是第一帧图像,进行步骤S08010;
S0804:初始化目标矩形框的位置,根据目标位置,通过循环矩阵构造训练样本,使数据变成循环矩阵的形式,并转换到频域,避免矩阵求逆,提高处理速度;
S0805:提取搜索矩形框处图像的HOG特征;
S0806:通过傅里叶变换将样本的训练转换成岭回归问题,降低计算的复杂度比较低,以防止过拟合,同时,求解中避免矩阵求逆和矩阵乘积,提高了 KCF 算法的跟踪速度;
S0807:进行离散傅里叶变换,计算训练样本的权重系数;
S0808:进行参数更新;
S0809:判断是否有视频输入,如果有视频输入,执行步骤S0802,否则,完成目标检测过程;
S0810:在目标位置处通过循环位移的方式构造检测样本;
S0811:对检测样本提取HOG特征,并进行傅里叶变换;
S0812:计算检测样本的互相关矩阵;
S0813:计算检测样本的响应值,并将检测样本作为置信度,更新位置信息;
S0814:判断检测样本的响应值是否大于0.75,如果大于0.75,执行步骤S0805,否则,执行步骤S0815;
S0815:不进行参数更新。
在实际使用中,目标跟踪的整个过程是根据第一帧图像和初始化位置完成样本的训练,然后对第二帧进行样本检测,得到目标的位置后,将重新训练和更新参数,继续对下一帧进行检测,整个跟踪是一个迭代更新的过程,目标跟踪过程中的外观模型基于上一帧的参数进行更新,所以KCF目标检测过程通过对参数和模板进行实时更新来增强算法的稳定性。
参阅图5所示,所述步骤S11中融合或比较YOLOv3目标跟踪线程和KCF目标跟踪线程,得到最终目标位置信息的过程包括如下步骤:
S1101:接收YOLOv3目标跟踪线程和KCF目标跟踪线程的目标位置信息及相应的置信度;
S1102:判断目标位置信息的数量是否有两个,如果目标位置信息有两个,执行步骤S1104;否则,如果目标位置信息有一个,执行步骤S1103;
S1103:输出该目标位置信息;
S1104:比较两个目标位置信息的置信度,选择置信度大的目标位置信息作为最终的目标位置信息,执行步骤S1103。
在实际使用中,通过YOLOv3目标跟踪线程和KCF目标跟踪线程检测的目标位置信息及置信度的比较和融合,选择置信度大的目标位置信息作为最终的检测结果,使检测得到的目标位置达到最优的状态。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (5)

1.一种基于YOLOv3的空中目标跟踪方法,其特征在于,包括以下步骤:
S01:生成模型文件:将准备好的无人机图片作为样本图片,通过图像标注软件IabelImg对样本图片进行数据标注,然后通过YOLOv3算法进行训练,生成模型文件;
S02:通过采集模块实时拍摄检测目标的视频文件并发送到计算机,同时在计算机内通过实现基于Runnable接口、实现Callable接口或继承Thread类的方式创建YOLOv3目标跟踪和KCF目标跟踪两个线程,同时执行步骤S03和步骤S05;
S03:YOLOv3目标跟踪线程调用步骤S01中生成的模型文件,进行目标检测,得到目标位置信息和置信度信息;
S04:将步骤S03中得到的目标位置信息发送给KCF目标跟踪线程,作为KCF目标跟踪线程的初始化参数,转到步骤S07,同时执行步骤S11;
S05:目标跟踪线程运行1秒后,启动KCF目标跟踪线程,判断KCF目标跟踪线程是否已经完成了KCF参数初始化,如果已完成KCF参数初始化,执行步骤S08,否则,执行步骤S06;
S06:通过手动设置检测框;
S07:完成KCF参数初始化;
S08:KCF目标跟踪线程对输入视频图像进行目标位置检测,通过循环矩阵的方式构建训练样本和检测样本,计算训练样本和检测样本之间的响应值,同时进行步骤S09和步骤S10;
S09:找出响应值最大的检测框作为目标,获取目标位置信息以及置信度信息,执行步骤S11;
S10:更新位置参数,此次得到的位置参数可以作为下一次响应值计算的初始参数,执行步骤S07;
S11:将YOLOv3目标跟踪线程和KCF目标跟踪线程得到的目标位置信息进行融合或比较,得到最终的目标位置信息。
2.根据权利要求1所述的一种基于YOLOv3的空中目标跟踪方法,其特征在于,所述步骤S01中样本图像生成模型文件的过程包括以下步骤:
S0101:准备无人机样本图像;
S0102:通过图像标注软件labelImg对样本图像进行数据标注,生成与所标注图片文件名相同的xml文件;
S0103:修改学习率和迭代次数参数,用计算机GPU进行xml文件样本的训练,经过迭代生成模型文件。
3.根据权利要求1所述的一种基于YOLOv3的空中目标跟踪方法,其特征在于,所述步骤S03中YOLOv3目标跟踪检测过程包括以下步骤:
S0301:输入一张任意大小图片,保持图片的长宽比不变并缩放至固定尺寸,形成归一化图像输入网络;
S0302:通过YOLO的CNN网络将图片分成S*S个网格,每个网格检测中心点落在该网格范 围内的目标,预测出b个预测框,每个预测框可对应(C+5)个值,其中,C为检测目标的类别 数,5个值分别为预测框的坐标(x,y)、预测框的宽度w和高度h、以及存在检测目标的置信得 分
Figure 17529DEST_PATH_IMAGE001
,预测框置信得分:
Figure 403511DEST_PATH_IMAGE003
,式中:如 果预测框中存在检测物体,则
Figure 386510DEST_PATH_IMAGE005
;否则,
Figure 234249DEST_PATH_IMAGE007
Figure 251884DEST_PATH_IMAGE009
为网络 预测i类的置信得分,i表示类别标号,
Figure 277609DEST_PATH_IMAGE011
为预测目标框与真实目标框的交 并比;
S0303:通过非极大值抑制(NMS)算法筛选出置信的分较高的预测框为检测框,最 后记录此类信息的置信度,其中,非极大值抑制公式如下:
Figure 166378DEST_PATH_IMAGE014
, 式中,i表示类别标号,M为置信得分较大的候选框,
Figure DEST_PATH_IMAGE015
为被比较的物体预测框,
Figure 491049DEST_PATH_IMAGE016
为M与
Figure 687676DEST_PATH_IMAGE015
的交并比,
Figure DEST_PATH_IMAGE017
为抑制阈值。
4.根据权利要求1所述的一种基于YOLOv3的空中目标跟踪方法,其特征在于,所述S08中KCF目标跟踪检测过程包括以下步骤:
S0801:输入视频;
S0802:输入单张图像;
S0803:判断是否是第一帧图像,如果是第一帧图像,执行步骤S0804,如果不是第一帧图像,进行步骤S08010;
S0804:初始化目标矩形框的位置,根据目标位置,通过循环矩阵构造训练样本;
S0805:提取搜索矩形框处图像的HOG特征;
S0806:通过傅里叶变换将样本的训练转换成岭回归问题;
S0807:进行离散傅里叶变换,计算训练样本的权重系数;
S0808:进行参数更新;
S0809:判断是否有视频输入,如果有视频输入,执行步骤S0802,否则,完成目标检测过程;
S0810:在目标位置处通过循环位移的方式构造检测样本;
S0811:对检测样本提取HOG特征,并进行傅里叶变换;
S0812:计算检测样本的互相关矩阵;
S0813:计算检测样本的响应值,并将检测样本作为置信度,更新位置信息;
S0814:判断检测样本的响应值是否大于0.75,如果大于0.75,执行步骤S0805,否则,执行步骤S0815;
S0815:不进行参数更新。
5.根据权利要求1所述的一种基于YOLOv3的空中目标跟踪方法,其特征在于,所述步骤S11中融合或比较YOLOv3目标跟踪线程和KCF目标跟踪线程,得到最终目标位置信息的过程包括如下步骤:
S1101:接收YOLOv3目标跟踪线程和KCF目标跟踪线程的目标位置信息及相应的置信度;
S1102:判断目标位置信息的数量是否有两个,如果目标位置信息有两个,执行S1104;否则,如果目标位置信息有一个,执行步骤S1103;
S1103:输出该目标位置信息;
S1104:比较两个目标位置信息的置信度,选择置信度大的目标位置信息作为最终的目标位置信息,执行步骤S1103。
CN201911268966.2A 2019-12-11 2019-12-11 一种基于YOLOv3的空中目标跟踪方法 Active CN110706266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911268966.2A CN110706266B (zh) 2019-12-11 2019-12-11 一种基于YOLOv3的空中目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911268966.2A CN110706266B (zh) 2019-12-11 2019-12-11 一种基于YOLOv3的空中目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110706266A true CN110706266A (zh) 2020-01-17
CN110706266B CN110706266B (zh) 2020-09-15

Family

ID=69208099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911268966.2A Active CN110706266B (zh) 2019-12-11 2019-12-11 一种基于YOLOv3的空中目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110706266B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311642A (zh) * 2020-02-26 2020-06-19 深圳英飞拓科技股份有限公司 一种高速球型摄像机下的目标跟踪优化方法
CN111414887A (zh) * 2020-03-30 2020-07-14 上海高重信息科技有限公司 基于yolov3算法的二次检测口罩人脸识别方法
CN111460968A (zh) * 2020-03-27 2020-07-28 上海大学 基于视频的无人机识别与跟踪方法及装置
CN111474953A (zh) * 2020-03-30 2020-07-31 清华大学 多动态视角协同的空中目标识别方法及系统
CN111814734A (zh) * 2020-07-24 2020-10-23 南方电网数字电网研究院有限公司 识别刀闸状态的方法
CN111985352A (zh) * 2020-07-30 2020-11-24 国网智能科技股份有限公司 一种ai前端化的变电站巡检视频实时识别方法及系统
CN112184770A (zh) * 2020-09-28 2021-01-05 中国电子科技集团公司第五十四研究所 一种基于YOLOv3和改进KCF的目标跟踪方法
CN112380997A (zh) * 2020-11-16 2021-02-19 武汉巨合科技有限公司 基于深度学习的机型识别和起落架收放检测方法
CN112581386A (zh) * 2020-12-02 2021-03-30 南京理工大学 一种全自动避雷器检测与跟踪方法
CN112589232A (zh) * 2020-12-15 2021-04-02 广东工业大学 一种基于独立纠偏型深度学习的焊缝跟踪方法及装置
CN112700469A (zh) * 2020-12-30 2021-04-23 武汉卓目科技有限公司 一种基于eco算法和目标检测的视觉目标跟踪方法及装置
CN112734807A (zh) * 2021-01-15 2021-04-30 湖南千盟物联信息技术有限公司 一种基于计算机视觉的板坯在连铸辊道上自动跟踪的方法
CN113674307A (zh) * 2021-10-20 2021-11-19 湖南大学 一种目标检测跟踪方法、装置及设备
CN113888581A (zh) * 2021-10-13 2022-01-04 根尖体育科技(北京)有限公司 基于多模态的移动目标实时跟踪定位系统和方法
CN115242958A (zh) * 2021-04-22 2022-10-25 北京君正集成电路股份有限公司 一种支持复杂场景下的人形跟踪拍摄的控制方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009473A (zh) * 2017-10-31 2018-05-08 深圳大学 基于目标行为属性视频结构化处理方法、系统及存储装置
CN108564069A (zh) * 2018-05-04 2018-09-21 中国石油大学(华东) 一种工业佩戴安全帽视频检测方法
CN109584558A (zh) * 2018-12-17 2019-04-05 长安大学 一种面向城市交通信号配时的交通流统计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009473A (zh) * 2017-10-31 2018-05-08 深圳大学 基于目标行为属性视频结构化处理方法、系统及存储装置
CN108564069A (zh) * 2018-05-04 2018-09-21 中国石油大学(华东) 一种工业佩戴安全帽视频检测方法
CN109584558A (zh) * 2018-12-17 2019-04-05 长安大学 一种面向城市交通信号配时的交通流统计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HASAN SARIBAS ET AL.: "A Hybrid Method for Tracking of Objects by UAVs", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECONGNITION 2019》 *
WANG XIAOFENG ET AL.: "Person dectection, tracking and following using stereo camera", 《NINTH INTERNATIONAL CONFERENCE ON GRAPHIC AND IMAGE PROCESSING》 *
常川 等: "基于机载机器视觉的无人机自主目标跟踪研究", 《网络安全技术与应用》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311642A (zh) * 2020-02-26 2020-06-19 深圳英飞拓科技股份有限公司 一种高速球型摄像机下的目标跟踪优化方法
CN111460968A (zh) * 2020-03-27 2020-07-28 上海大学 基于视频的无人机识别与跟踪方法及装置
CN111460968B (zh) * 2020-03-27 2024-02-06 上海大学 基于视频的无人机识别与跟踪方法及装置
CN111414887A (zh) * 2020-03-30 2020-07-14 上海高重信息科技有限公司 基于yolov3算法的二次检测口罩人脸识别方法
CN111474953A (zh) * 2020-03-30 2020-07-31 清华大学 多动态视角协同的空中目标识别方法及系统
CN111414887B (zh) * 2020-03-30 2021-01-29 上海高重信息科技有限公司 基于yolov3算法的二次检测口罩人脸识别方法
CN111814734A (zh) * 2020-07-24 2020-10-23 南方电网数字电网研究院有限公司 识别刀闸状态的方法
CN111814734B (zh) * 2020-07-24 2024-01-26 南方电网数字电网研究院有限公司 识别刀闸状态的方法
CN111985352A (zh) * 2020-07-30 2020-11-24 国网智能科技股份有限公司 一种ai前端化的变电站巡检视频实时识别方法及系统
CN111985352B (zh) * 2020-07-30 2024-03-15 国网智能科技股份有限公司 一种ai前端化的变电站巡检视频实时识别方法及系统
CN112184770A (zh) * 2020-09-28 2021-01-05 中国电子科技集团公司第五十四研究所 一种基于YOLOv3和改进KCF的目标跟踪方法
CN112380997A (zh) * 2020-11-16 2021-02-19 武汉巨合科技有限公司 基于深度学习的机型识别和起落架收放检测方法
CN112581386A (zh) * 2020-12-02 2021-03-30 南京理工大学 一种全自动避雷器检测与跟踪方法
CN112581386B (zh) * 2020-12-02 2022-10-21 南京理工大学 一种全自动避雷器检测与跟踪方法
CN112589232A (zh) * 2020-12-15 2021-04-02 广东工业大学 一种基于独立纠偏型深度学习的焊缝跟踪方法及装置
CN112589232B (zh) * 2020-12-15 2022-05-20 广东工业大学 一种基于独立纠偏型深度学习的焊缝跟踪方法及装置
CN112700469A (zh) * 2020-12-30 2021-04-23 武汉卓目科技有限公司 一种基于eco算法和目标检测的视觉目标跟踪方法及装置
CN112734807A (zh) * 2021-01-15 2021-04-30 湖南千盟物联信息技术有限公司 一种基于计算机视觉的板坯在连铸辊道上自动跟踪的方法
CN115242958A (zh) * 2021-04-22 2022-10-25 北京君正集成电路股份有限公司 一种支持复杂场景下的人形跟踪拍摄的控制方法及装置
CN113888581A (zh) * 2021-10-13 2022-01-04 根尖体育科技(北京)有限公司 基于多模态的移动目标实时跟踪定位系统和方法
CN113674307A (zh) * 2021-10-20 2021-11-19 湖南大学 一种目标检测跟踪方法、装置及设备

Also Published As

Publication number Publication date
CN110706266B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN110706266B (zh) 一种基于YOLOv3的空中目标跟踪方法
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
US10977523B2 (en) Methods and apparatuses for identifying object category, and electronic devices
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
WO2023015743A1 (zh) 病灶检测模型的训练方法及识别图像中的病灶的方法
US10445602B2 (en) Apparatus and method for recognizing traffic signs
CN110021033A (zh) 一种基于金字塔孪生网络的目标跟踪方法
CN104424634A (zh) 对象跟踪方法和装置
CN111784737B (zh) 一种基于无人机平台的目标自动跟踪方法及系统
CN110688965A (zh) 基于双目视觉的ipt模拟训练手势识别方法
CN111931764A (zh) 一种目标检测方法、目标检测框架及相关设备
CN115797736B (zh) 目标检测模型的训练和目标检测方法、装置、设备和介质
CN113158833B (zh) 一种基于人体姿态的无人车控制指挥方法
WO2023206935A1 (zh) 一种行人重识别方法、系统、设备及计算机可读存储介质
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
Feng Mask RCNN-based single shot multibox detector for gesture recognition in physical education
CN111353325A (zh) 关键点检测模型训练方法及装置
CN111428567B (zh) 一种基于仿射多任务回归的行人跟踪系统及方法
CN111008622B (zh) 一种图像对象检测方法、装置以及计算机可读存储介质
CN114627438A (zh) 目标检测模型生成方法、目标检测方法、设备及介质
CN116453109A (zh) 3d目标检测方法、装置、设备及存储介质
CN114627339B (zh) 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质
CN115346270A (zh) 交警手势识别方法、装置、电子设备及存储介质
CN110060280B (zh) 基于外观自适应空间正则化相关滤波器的目标跟踪方法
CN112069997A (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant