CN112785622A - 一种水面无人船长时跟踪方法、装置及存储介质 - Google Patents

一种水面无人船长时跟踪方法、装置及存储介质 Download PDF

Info

Publication number
CN112785622A
CN112785622A CN202011643347.XA CN202011643347A CN112785622A CN 112785622 A CN112785622 A CN 112785622A CN 202011643347 A CN202011643347 A CN 202011643347A CN 112785622 A CN112785622 A CN 112785622A
Authority
CN
China
Prior art keywords
filter
target
scale
tracking
svm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011643347.XA
Other languages
English (en)
Other versions
CN112785622B (zh
Inventor
余明裕
沈士为
郑宇鸿
潘婷
黎承忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202011643347.XA priority Critical patent/CN112785622B/zh
Publication of CN112785622A publication Critical patent/CN112785622A/zh
Application granted granted Critical
Publication of CN112785622B publication Critical patent/CN112785622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种水面无人船长时跟踪方法、装置及存储介质。本发明方法，包括：S1、读取第一帧图片训练SVM检测器、位置滤波器和尺度滤波器；S2、读取下一帧图片并进行遮挡判断；S3、基于该图片提取HOG特征和CN特征学习相关滤波器，并根据相关滤波器确定对应的位置和权重，进行目标定位；S4、通过SVM检测器在候选区域通过模板匹配进行目标定位；S5、进行采集尺度更新，进而更新位置滤波器、尺度滤波器和SVM检测器参数。本发明在KCF相关滤波算法基础上引入SVM重检测机制。首先重新训练一个检测滤波器用来计算跟踪结果置信度，以确定是否跟踪失败，然后训练一个在线SVM分类器用于重检测，当出现跟踪漂移或跟踪失败的情况时，利用SVM重新修正跟踪目标。

Description

一种水面无人船长时跟踪方法、装置及存储介质
技术领域
本发明涉及视觉跟踪技术领域，具体而言，尤其涉及一种水面无人船长 时跟踪方法、装置及存储介质。
背景技术
目标跟踪作为计算机视觉学科的传统课题之一，多年来一直是人们重点 研究的方向。尤其在复杂背景下，光照的变化、目标被遮挡、背景与目标的 相似性等问题都使得目标跟踪更具挑战性。我们通过无人船监控系统跟踪预 测来往船舶动态状况，随时掌握港口附近船舶动态信息。从舰船、艇等视觉 图像中检测出目标图像，进一步提取大量的有用信息，对港口的监测与水质 检测、捕鱼的监管以及军事战争中判别危险所在等有着很广泛的应用前景。
Henriques等人在已有相关滤波跟踪的基础上提出核相关滤波器(KCF) 跟踪算法，使用方向梯度直方图(HOG)特征代替原来的灰度值特征，将相 关滤波器由单通道扩展到多通道，提升了跟踪的准确性和实时性。
在实际无人船的视觉跟踪过程中由于水面背景极容易遇到一些外界因素 的干扰，如跟踪过程中发生遮挡，跟踪目标移出视野，以及目标发生尺度形 状等变化。当目标被遮挡时，目标特征被遮挡取代，导致在模型更新学习时 引入遮挡物信息,引起模型识别出现偏差而引起目标发生漂移从而导致跟踪 失败。
发明内容
根据上述提出的目标被遮挡以及移出视频等问题技术问题，而提供一种 水面无人船长时跟踪方法、装置及存储介质。本发明在KCF相关滤波算法基 础上引入SVM重检测机制。首先重新训练一个检测滤波器用来计算跟踪结果 置信度，以确定是否跟踪失败，然后训练一个在线SVM分类器用于重检测， 当出现跟踪漂移或跟踪失败的情况时，利用SVM重新修正跟踪目标。
本发明采用的技术手段如下：
一种水面无人船长时跟踪方法，包括：
S1、读取第一帧图片，一方面由所述第一帧图像数据提取正、负样本集 训练SVM检测器，另一方面由所述第一帧图像数据提取候选样本集训练位置 滤波器和尺度滤波器，所述SVM检测器对被遮挡的目标进行重新定位，所述 位置滤波器用于对下一帧图像数据进行目标定位，所述尺度滤波器用于获取 下一帧图像数据的采集尺度；
S2、读取下一帧图片并进行遮挡判断，当判断为无遮挡时执行步骤S3， 否则执行步骤S4；
S3、基于该图片提取HOG特征和CN特征学习相关滤波器，并根据相关 滤波器确定对应的位置和权重，进行目标定位，然后执行S5；
S4、通过SVM检测器在候选区域通过模板匹配进行目标定位，然后执 行S5；
S5、进行采集尺度更新，进而更新位置滤波器、尺度滤波器和SVM检 测器参数。
进一步地，步骤S3包括：
获取当前图像并通过位置相关滤波器采集第一候选样本；
将所述第一候选样本送入第一位置寻优通道和第二位置寻优通道，所述 第一位置寻优通道用于提取样本的HOG特征并基于该特征获取第一目标位 置，所述第二位置寻优通道用于提取样本的CN特征并基于该特征获取第二 目标位置；
将所述第一目标位置和第二目标位置自适应加权融合得到最终位置；
通过尺度相关滤波器在最终位置处采集第二候选样本；
将所述第二选样本送入尺度位置寻优通道，所述尺度位置寻优通道用于 提取样本的HOG特征并基于该特征获取目标尺度；
在最终位置处以目标尺度提取下一帧样本。
进一步地，步骤S3还包括：
由无遮挡图片提取正、负样本集，并加入至SVM检测器的训练集中对 SVM进行训练。
进一步地，所述位置相关滤波器使用目标周围区域的循环矩阵采集预测 样本，利用所述预测样本训练分类器，所述分类器输出下一帧图像的最佳位 置，所述最终位置为预测样本中针对分类器响应值最大的位置。
进一步地，所述位置相关滤波器使用目标周围区域的循环矩阵采集预测 样本，利用所述预测样本训练分类器，包括：
将所述下一帧图像的最佳位置周围区域的循环矩阵采集预测样本作为训 练样本更新所述分类器。
进一步地，所述尺度相关滤波器用于输出下一帧图像的最佳尺度，所述 最佳尺度为时预测样本中尺度响应得分最高的尺度。
进一步地，将所述第一目标位置和第二目标位置自适应加权融合得到最 终位置，包括：
根据第一目标位置对应的分类器响应值和第二目标位置对应的分类器响 应值计算融合权重。
本发明还公开了一种水面无人船长时跟踪装置，包括：
训练单元，其用于读取第一帧图片，一方面由所述第一帧图像数据提取 正、负样本集训练SVM检测器，两一方面由所述第一帧图像数据提取候选样 本集训练位置滤波器和尺度滤波器，所述SVM检测器对被遮挡的目标进行重 新定位，所述位置滤波器用于对下一帧图像数据进行目标定位，所述尺度滤 波器用于获取下一帧图像数据的采集尺度；
判断单元，其用于读取下一帧图片并进行遮挡判断；
无遮挡目标定位单元，其用于当判断为无遮挡时，基于该图片提取HOG 特征和CN特征学习相关滤波器，并根据相关滤波器确定对应的位置和权重， 进行目标定位；
有遮挡目标定位单元，其用于当判断有遮挡时，通过SVM检测器在候选 区域通过模板匹配进行目标定位；
更新单元，其用于进行采集尺度更新，进而更新位置滤波器、尺度滤波 器和SVM检测器参数。
本发明还公开了一种存储介质，其特征在于，所述存储介质包括存储的 程序，其中，所述程序运行时，执行上述任一项权利要求所述的方法。
较现有技术相比，本发明具有以下优点：
1、本发明在KCF相关滤波算法基础上引入SVM重检测机制。首先重新 训练一个检测滤波器用来计算跟踪结果置信度，以确定是否跟踪失败，然后 训练一个在线SVM分类器用于重检测，当出现跟踪漂移或跟踪失败的情况 时，利用SVM重新修正跟踪目标。
2、本发明采用自适应多特征融合，将HOG和CN两种特征有效的结合 起来，有效的解决了水面无人船的尺度和形状变化，对复杂水面等问题能进 行有效地处理提高了对水面无人船跟踪的可靠性和准确性。
基于上述理由本发明可在视觉跟踪技术等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种水面无人船长时跟踪方法流程图。
图2为本发明无遮挡状态下目标定位流程图。
图3a为实施例中跟踪目标第123帧两种算法对比图。
图3b为实施例中跟踪目标第156帧两种算法对比图。
图3c为实施例中跟踪目标第161帧两种算法对比图。
图3d为实施例中跟踪目标第170帧两种算法对比图。
图3e为实施例中跟踪目标第188帧两种算法对比图。
图3f为实施例中跟踪目标第230帧两种算法对比图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第 一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后 次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本 发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外， 术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含， 例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于 清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
一种水面无人船长时跟踪方法，包括：
S1、读取第一帧图片，一方面由所述第一帧图像数据提取正、负样本集 训练SVM检测器，另一方面由所述第一帧图像数据提取候选样本集训练位置 滤波器和尺度滤波器，所述SVM检测器对被遮挡的目标进行重新定位，所述 位置滤波器用于对下一帧图像数据进行目标定位，所述尺度滤波器用于获取 下一帧图像数据的采集尺度。
具体来说，支持向量机作为一种有监督机器学习方法，除了能够进行线 性分类，还通过引入核函数进行非线性分类，其不仅拥有完善的理论基础， 还在诸如文本分类和图像分类等领域有着卓越的效果。本申请采用一种半监 督学习，训练在线SVM分类器，增强重定位组件的定位性能。利用标记集 L＝{[xre,yre]}和未标记集Ure，其中xre和yre分别为重定位组件训练在线SVM分 类器的样本及标签。标记集选取第一帧给定目标图像块和与第一帧给定目标 框重叠率在区间(0.8，1)之间的图像块作为正样本，而负样本为与第一帧 给定目标框重叠率在区间(0，0.2)之间的图像块。不同于正负样本来源于 第一帧的标记集，未标记集在跟踪过程(帧数i≥1)中产生，选取与跟踪的目 标框重叠率在区间(0.8，1)之间的图像块作为正样本，而负样本为与跟踪 的目标框重叠率在区间(0，0.2)之间的图像块。
具体的训练过程包括：将标签集L加入到训练集中，初始化训练在线 SVM分类器，并获取在线SVM分类器的初始化参数
Figure BDA0002873475400000061
然后，将初始训 练的在线SVM分类器在未标记集Ure上，经k次迭代获取在线分类器参数
Figure BDA0002873475400000062
Figure BDA0002873475400000063
S2、读取下一帧图片并进行遮挡判断，当判断为无遮挡时执行步骤S3， 否则执行步骤S4。
具体地，由于在部分场景下，图像中出现了多种干扰情况例如目标被遮 挡、相似物体干扰，但是此时相关响应图峰值仍然较大，如果仅使用响应峰 值来判断跟踪结果可靠性，将会在模板中引入较多的错误信息。因此我们采 用一种跟踪结果可靠性衡量方式。在跟踪目标受到干扰较少的时候，相关响 应图会出现单个峰值较大的状态，当跟踪环境出现目标遮挡等干扰时，响应 图中出现多个峰值，因此根据这些信息，可以使用最大响应值和多个峰值之 间的关系，提出使用平均峰值相关能量来衡量跟踪结果，表达式如下所示：
Figure BDA0002873475400000064
其中，Fmax、Fmin、Fw,h分别为最搞响应值，最低响应值和区域不同响应 值。
为了使模型更新策略更加可靠，本文将响应图输出的最大值Fmax作为另一 个置信度指标，只有当这两个指标均大于其历史均值AAPCE和AFmax的一定比 例β1＝0.7和β2＝0.45，才认为是高置信度，如下式(3)所示
Figure BDA0002873475400000065
当如果有一个条件不满足，我们认为此时目标被其他物体遮挡，目标已 经丢失，需要对目标进行重新定位。
当在跟踪过程中公式(3)条件不满足时，即判断为目标遮挡或跟踪效果 不好，此时激活激活目标重检测，利用在线SVM分类器扫描整帧图像，获 取在线SVM分类器的重检测结果，比较目标的置信度确定是否采用重检测 结果。只有当时公式(3)条件满足时，此时跟踪器较好，不激活重检，但从 目标周围选取正负样本，加入并更新训练集，训练更新SVM分类器。
S3、基于该图片提取HOG特征和CN特征学习相关滤波器，并根据相关 滤波器确定对应的位置和权重，进行目标定位，然后执行S5。主要包括：
S301、获取当前图像并通过位置相关滤波器采集第一候选样本。
S302、将所述第一候选样本送入第一位置寻优通道和第二位置寻优通道， 所述第一位置寻优通道用于提取样本的HOG特征并基于该特征获取第一目 标位置，所述第二位置寻优通道用于提取样本的CN特征并基于该特征获取 第二目标位置。
具体来说，核相关滤波算法使用目标周围区域的循环矩阵采集正负样本， 从中训练出一个分类器。分类器的结果用于预测下一帧的目标位置区域，在 目标预测区域采样并进行循环移位生成大量预测样本，分类器对这些预测样 本计算响应值，并把拥有最大响应的位置作为这一帧图像的最佳位置。然后 再使用新训练结果去更新训练集进而更新分类器。该算法利用岭回归训练目 标分类器，目的是找到一个函数f(z)＝wTz它能最小化样本xi以及其回归目标 yi的平方误差
Figure BDA0002873475400000071
其中，λ为控制过拟合的正则化参数。求的权重系数w的闭式解
w＝(XHX+λI)-1XHy (5)
其中，XH＝(X*)T，而X*是X的复共轭。
更快的训练和精准的检测算法依赖于每个核相关的计算，即两个输入向 量的所有相对位移核函数，因此引入高斯核函数
Figure BDA0002873475400000072
核函数能够使非线性回归函数f(z)变得更强大，它的主要目的就是把一 个线性问题映射到一个非线性核空间，将低维空间线性不可分的数据转换为 高维线性可分的数据。使用循环矩阵和傅里叶空间变换公式，可得出计算公 式
Figure BDA0002873475400000081
其中，α为向量系数，“∧”表示离散傅里叶变换。此时训练分类器从寻找 最优w转化为寻找最优α。
在快速检测阶段，分类器的响应值计算公式为
Figure BDA0002873475400000082
式中，kxz表示训练样本特征x和测试样本特征z的互相关向量，由公式 (6)可求得。由此可知，每个f(z)是来自kxz的相邻核值的线性组合，由α加 权，然后查找所有测试样本响应向量f(z)最大响应位置为目标的预测位置。 KCF算法通过不断迭代式(6)和式(7)来确定每一帧的目标中心位置。
将得到的滤波器h和下一帧候选目标图像块z卷积,Z为其循环矩阵； 然后查找所有测试样本响应向量f(z),最大响应位置为目标的预测位置。其更 新方式为：
xt＝(1-ηt)xt+ηtxt-1 (9)
αt＝(1-ηt)αt+ηtαt-1 (10)。
S303、将所述第一目标位置和第二目标位置自适应加权融合得到最终位 置。
具体来说，针对目标运动过程中出现的尺度变化问题，采用了一种精确 有效的尺度估计方法。根据其提供的多尺度跟踪方法，采用一维的相关滤波 器用于尺度估计，称之为尺度相关滤波器。
进一步地，用于尺度评估目标样本尺寸为
Figure BDA0002873475400000083
其中,P和R分别为目标前一帧的宽和高；a为尺度因子；S为尺度滤波 长度。由于输入样本中某一个图像块具有d维特征描述,为了得到最佳尺度相 关滤波器w,可以最小化代价函数
Figure BDA0002873475400000084
其中，w为相关滤波器，f为输入样本特征，g为理想相关输出，l表示 特征的某一维度,λ为正则项系数。式(8)在频域中解为：
Figure BDA0002873475400000091
式中，大写字母表示相应量的离散傅里叶变换，
Figure BDA0002873475400000092
表示复共轭。为了得 到鲁棒的结果,对式(9)中的wl分子分母分别进行更新
Figure BDA0002873475400000093
Figure BDA0002873475400000094
其中,η为学习速率。
在新的一帧中,可通过求解得
Figure BDA0002873475400000095
来确定尺度滤波器的响应.求得使
Figure BDA0002873475400000096
最大的尺度响应得分作为下一帧目 标尺度,并使用式(13)(14)更新滤波器。
S304、通过尺度相关滤波器在最终位置处采集第二候选样本。
S305、将所述第二选样本送入尺度位置寻优通道，所述尺度位置寻优通 道用于提取样本的HOG特征并基于该特征获取目标尺度。
具体来说，HOG特征是一种用来检测物体特征的描述算子，广泛运用于 计算机视觉和图像处理领域，它具有对目标平移、旋转、姿态变化和光照保 持良好的不变性,能够更好地适应目标形变、光照变化等复杂场景.CN特征能 较小地依赖于图像的尺寸、方向、视角,对目标的形状、尺度能保持较好的 不变性，在彩色序列视频上能取得较好的跟踪效果。因此,CN特征和HOG特 征的性能是优势互补的。本实施例在KCF算法框架下分别计算HOG和CN特 征各自输出的最大响应值,并将得到的响应值进行归一化；再根据各自响应 值所占比例分配权重,下一帧视频序列将会优先选择权重更高的特征。HOG 特征和CN特征在t帧的归一化权重分别为
Figure BDA0002873475400000101
Figure BDA0002873475400000102
式中，由公式(5)可求得f(HOG)(Z),f(CN)(Z),其中，f(HOG)(Z)为HOG特征输 出的相关响应值，f(CN)(Z)为CN特征输出的相关响应值。用第t帧的权重来更 新之前的特征权重：
Figure BDA0002873475400000103
Figure BDA0002873475400000104
其中，
Figure BDA0002873475400000105
是第t帧的特征权重，而
Figure BDA0002873475400000106
由公式(16)计算而来，δ为权 重更新因子，由于跟踪器的训练来自初始帧所以两者占比相等，此时权重更 新因子初始值为0.5。随着帧数的增加，为了使模型更具有自适应，利用前一 帧的信息来减少当前帧的出错，增加跟踪器的鲁棒性，这里优选设置更新因 子为0.2。
最终输出的目标的位置是通过多个特征对应的位置按照不同的权重进行 融合得到的，表达式如下所示：
Figure BDA0002873475400000107
式中，PHOG、PCN分别表示HOG特征、CN特征对应的跟踪目标的位置， 通过加权融合得到最终目标位置Pt。
S306、在最终位置处以目标尺度提取下一帧样本。
S4、通过SVM检测器在候选区域通过模板匹配进行目标定位，然后执 行S5。具体的，当在跟踪过程中判断为目标遮挡或跟踪效果不好，此时激活 激活目标重检测，利用在线SVM分类器扫描整帧图像，获取在线SVM分 类器的重检测结果，比较目标的置信度确定是否采用重检测结果。
S5、进行采集尺度更新，进而更新位置滤波器、尺度滤波器和SVM检 测器参数。
如图3所示，为本发明算法的跟踪结果对比图。由图3可知，第123帧 到第156帧时两种跟踪算法均可有效跟踪目标且跟踪效果较好，在图3第156 帧当无人船部分被障碍物遮挡时，依然能够很好地跟踪无人船，说明未改进 的跟踪算法具有一定的抗干扰能力。但是当无人船完全被遮挡时，在图第161 帧时，加入快速尺度滤波器且采用多特征融合后的跟踪算法跟踪无人船失败。 而在其基础上加入重质检机制的算法通过激活目标重检，重新检测无人船遮 挡位置进行跟踪。图3第161帧和第230帧可以看出,加入快速尺度滤波器 且采用多特征融合后的跟踪算法已经完全丢失目标，而在其加入重检机制后 的算法依然能够跟好的跟踪无人船。
对应本申请中的水面无人船长时跟踪方法，本发明还公开了一种水面无 人船长时跟踪装置，包括：
训练单元，其用于读取第一帧图片，一方面由所述第一帧图像数据提取 正、负样本集训练SVM检测器，两一方面由所述第一帧图像数据提取候选样 本集训练位置滤波器和尺度滤波器，所述SVM检测器对被遮挡的目标进行重 新定位，所述位置滤波器用于对下一帧图像数据进行目标定位，所述尺度滤 波器用于获取下一帧图像数据的采集尺度；
判断单元，其用于读取下一帧图片并进行遮挡判断；
无遮挡目标定位单元，其用于当判断为无遮挡时，基于该图片提取HOG 特征和CN特征学习相关滤波器，并根据相关滤波器确定对应的位置和权重， 进行目标定位；
有遮挡目标定位单元，其用于当判断有遮挡时，通过SVM检测器在候选 区域通过模板匹配进行目标定位；
更新单元，其用于进行采集尺度更新，进而更新位置滤波器、尺度滤波 器和SVM检测器参数。
对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述 的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再 详述。
本发明还公开了一种存储介质，其特征在于，所述存储介质包括存储的 程序，其中，所述程序运行时，执行上述任一项权利要求所述的方法。上述 本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施 例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可 通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例 如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划 分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些 特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接 耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接， 可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全 部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单 元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单 元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售 或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本 发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个 存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服 务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。 而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、 随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光 盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对 其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并 不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种水面无人船长时跟踪方法，其特征在于，包括：
S1、读取第一帧图片，一方面由所述第一帧图像数据提取正、负样本集训练SVM检测器，另一方面由所述第一帧图像数据提取候选样本集训练位置滤波器和尺度滤波器，所述SVM检测器对被遮挡的目标进行重新定位，所述位置滤波器用于对下一帧图像数据进行目标定位，所述尺度滤波器用于获取下一帧图像数据的采集尺度；
S2、读取下一帧图片并进行遮挡判断，当判断为无遮挡时执行步骤S3，否则执行步骤S4；
S3、基于该图片提取HOG特征和CN特征学习相关滤波器，并根据相关滤波器确定对应的位置和权重，进行目标定位，然后执行S5；
S4、通过SVM检测器在候选区域通过模板匹配进行目标定位，然后执行S5；
S5、进行采集尺度更新，进而更新位置滤波器、尺度滤波器和SVM检测器参数。
2.根据权利要求1所述的水面无人船长时跟踪方法，其特征在于，步骤S3包括：
获取当前图像并通过位置相关滤波器采集第一候选样本；
将所述第一候选样本送入第一位置寻优通道和第二位置寻优通道，所述第一位置寻优通道用于提取样本的HOG特征并基于该特征获取第一目标位置，所述第二位置寻优通道用于提取样本的CN特征并基于该特征获取第二目标位置；
将所述第一目标位置和第二目标位置自适应加权融合得到最终位置；
通过尺度相关滤波器在最终位置处采集第二候选样本；
将所述第二选样本送入尺度位置寻优通道，所述尺度位置寻优通道用于提取样本的HOG特征并基于该特征获取目标尺度；
在最终位置处以目标尺度提取下一帧样本。
3.根据权利要求1或2所述的水面无人船长时跟踪方法，其特征在于，步骤S3还包括：
由无遮挡图片提取正、负样本集，并加入至SVM检测器的训练集中对SVM进行训练。
4.根据权利要求2所述的水面无人船长时跟踪方法，其特征在于，所述位置相关滤波器使用目标周围区域的循环矩阵采集预测样本，利用所述预测样本训练分类器，所述分类器输出下一帧图像的最佳位置，所述最终位置为预测样本中针对分类器响应值最大的位置。
5.根据权利要求4所述的水面无人船长时跟踪方法，其特征在于，所述位置相关滤波器使用目标周围区域的循环矩阵采集预测样本，利用所述预测样本训练分类器，包括：
将所述下一帧图像的最佳位置周围区域的循环矩阵采集预测样本作为训练样本更新所述分类器。
6.根据权利要求2所述的水面无人船长时跟踪方法，其特征在于，所述尺度相关滤波器用于输出下一帧图像的最佳尺度，所述最佳尺度为时预测样本中尺度响应得分最高的尺度。
7.根据权利要求2所述的水面无人船长时跟踪方法，其特征在于，将所述第一目标位置和第二目标位置自适应加权融合得到最终位置，包括：
根据第一目标位置对应的分类器响应值和第二目标位置对应的分类器响应值计算融合权重。
8.一种水面无人船长时跟踪装置，其特征在于，包括：
训练单元，其用于读取第一帧图片，一方面由所述第一帧图像数据提取正、负样本集训练SVM检测器，两一方面由所述第一帧图像数据提取候选样本集训练位置滤波器和尺度滤波器，所述SVM检测器对被遮挡的目标进行重新定位，所述位置滤波器用于对下一帧图像数据进行目标定位，所述尺度滤波器用于获取下一帧图像数据的采集尺度；
判断单元，其用于读取下一帧图片并进行遮挡判断；
无遮挡目标定位单元，其用于当判断为无遮挡时，基于该图片提取HOG特征和CN特征学习相关滤波器，并根据相关滤波器确定对应的位置和权重，进行目标定位；
有遮挡目标定位单元，其用于当判断有遮挡时，通过SVM检测器在候选区域通过模板匹配进行目标定位；
更新单元，其用于进行采集尺度更新，进而更新位置滤波器、尺度滤波器和SVM检测器参数。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时，执行所述权利要求1至7中任一项权利要求所述的方法。
CN202011643347.XA 2020-12-30 2020-12-30 一种水面无人船长时跟踪方法、装置及存储介质 Active CN112785622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011643347.XA CN112785622B (zh) 2020-12-30 2020-12-30 一种水面无人船长时跟踪方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011643347.XA CN112785622B (zh) 2020-12-30 2020-12-30 一种水面无人船长时跟踪方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112785622A true CN112785622A (zh) 2021-05-11
CN112785622B CN112785622B (zh) 2024-04-05

Family

ID=75753652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011643347.XA Active CN112785622B (zh) 2020-12-30 2020-12-30 一种水面无人船长时跟踪方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112785622B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361614A (zh) * 2021-06-15 2021-09-07 广西民族大学 一种船只捕鱼行为预测方法
CN113990108A (zh) * 2021-10-22 2022-01-28 苏交科集团股份有限公司 一种船舶优化识别和实时跟踪方法及防撞预警系统
CN114140501A (zh) * 2022-01-30 2022-03-04 南昌工程学院 目标跟踪方法、装置及可读存储介质
US11481683B1 (en) * 2020-05-29 2022-10-25 Amazon Technologies, Inc. Machine learning models for direct homography regression for image rectification

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148897A1 (en) * 2011-11-22 2013-06-13 The Board Of Trustees Of The Leland Stanford Junior University Method for image processing and an apparatus
CN104200237A (zh) * 2014-08-22 2014-12-10 浙江生辉照明有限公司 一种基于核化相关滤波高速自动多目标跟踪方法
CN107578423A (zh) * 2017-09-15 2018-01-12 杭州电子科技大学 多特征分层融合的相关滤波鲁棒跟踪方法
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪
CN108830879A (zh) * 2018-05-29 2018-11-16 上海大学 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法
CN109285179A (zh) * 2018-07-26 2019-01-29 昆明理工大学 一种基于多特征融合的运动目标跟踪方法
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法
CN109816693A (zh) * 2019-01-28 2019-05-28 中国地质大学（武汉） 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置
CN110660077A (zh) * 2019-09-12 2020-01-07 昆明理工大学 一种融合多个特征的多尺度目标跟踪方法
CN111340842A (zh) * 2020-02-17 2020-06-26 江南大学 一种基于联合模型的相关滤波目标跟踪算法
CN111476819A (zh) * 2020-03-19 2020-07-31 重庆邮电大学 一种基于多相关滤波模型的长时目标跟踪方法
KR102175491B1 (ko) * 2019-05-08 2020-11-06 군산대학교산학협력단 상관 필터 기반 객체 추적 방법
CN111968153A (zh) * 2020-07-16 2020-11-20 新疆大学 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130148897A1 (en) * 2011-11-22 2013-06-13 The Board Of Trustees Of The Leland Stanford Junior University Method for image processing and an apparatus
CN104200237A (zh) * 2014-08-22 2014-12-10 浙江生辉照明有限公司 一种基于核化相关滤波高速自动多目标跟踪方法
CN107644430A (zh) * 2017-07-27 2018-01-30 孙战里 基于自适应特征融合的目标跟踪
CN107578423A (zh) * 2017-09-15 2018-01-12 杭州电子科技大学 多特征分层融合的相关滤波鲁棒跟踪方法
CN108830879A (zh) * 2018-05-29 2018-11-16 上海大学 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法
CN109285179A (zh) * 2018-07-26 2019-01-29 昆明理工大学 一种基于多特征融合的运动目标跟踪方法
CN109685073A (zh) * 2018-12-28 2019-04-26 南京工程学院 一种基于核相关滤波的尺度自适应目标跟踪算法
CN109816693A (zh) * 2019-01-28 2019-05-28 中国地质大学（武汉） 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置
KR102175491B1 (ko) * 2019-05-08 2020-11-06 군산대학교산학협력단 상관 필터 기반 객체 추적 방법
CN110660077A (zh) * 2019-09-12 2020-01-07 昆明理工大学 一种融合多个特征的多尺度目标跟踪方法
CN111340842A (zh) * 2020-02-17 2020-06-26 江南大学 一种基于联合模型的相关滤波目标跟踪算法
CN111476819A (zh) * 2020-03-19 2020-07-31 重庆邮电大学 一种基于多相关滤波模型的长时目标跟踪方法
CN111968153A (zh) * 2020-07-16 2020-11-20 新疆大学 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨德东;蔡玉柱;毛宁;杨福才;: "采用核相关滤波器的长期目标跟踪", 光学精密工程, no. 08, 15 August 2016 (2016-08-15) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481683B1 (en) * 2020-05-29 2022-10-25 Amazon Technologies, Inc. Machine learning models for direct homography regression for image rectification
CN113361614A (zh) * 2021-06-15 2021-09-07 广西民族大学 一种船只捕鱼行为预测方法
CN113361614B (zh) * 2021-06-15 2024-02-02 广西民族大学 一种船只捕鱼行为预测方法
CN113990108A (zh) * 2021-10-22 2022-01-28 苏交科集团股份有限公司 一种船舶优化识别和实时跟踪方法及防撞预警系统
CN113990108B (zh) * 2021-10-22 2023-01-20 苏交科集团股份有限公司 一种船舶优化识别和实时跟踪方法及防撞预警系统
CN114140501A (zh) * 2022-01-30 2022-03-04 南昌工程学院 目标跟踪方法、装置及可读存储介质

Also Published As

Publication number Publication date
CN112785622B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
US11544964B2 (en) Vision based target tracking that distinguishes facial feature targets
CN112785622B (zh) 一种水面无人船长时跟踪方法、装置及存储介质
CN108665481B (zh) 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
Kristan et al. The visual object tracking vot2015 challenge results
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN110175649A (zh) 一种关于重新检测的快速多尺度估计目标跟踪方法
CN103679186A (zh) 检测和跟踪目标的方法和装置
Xie et al. Collaborative object tracking model with local sparse representation
Gündoğdu et al. The visual object tracking VOT2016 challenge results
Barcellos et al. Part-based object tracking using multiple adaptive correlation filters
CN111091583A (zh) 长期目标跟踪方法
Rapuru et al. Correlation-based tracker-level fusion for robust visual tracking
Teng et al. Robust multi-scale ship tracking via multiple compressed features fusion
CN113033356B (zh) 一种尺度自适应的长期相关性目标跟踪方法
Touil et al. Hierarchical convolutional features for visual tracking via two combined color spaces with SVM classifier
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN110751671B (zh) 一种基于核相关滤波与运动估计的目标跟踪方法
Sharma et al. Visual object tracking based on sequential learning of SVM parameter
Ji et al. Part-based visual tracking via structural support correlation filter
Sun et al. Efficient compressive sensing tracking via mixed classifier decision
Yan et al. Real-time unmanned aerial vehicle tracking of fast moving small target on ground
Lei et al. Convolutional restricted Boltzmann machines learning for robust visual tracking
Zhang et al. Uncertain motion tracking combined markov chain monte carlo and correlation filters
Zhu et al. Visual tracking with dynamic model update and results fusion
CN113963023B (zh) 一种用于长期跟踪的可靠性重检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant