CN112785622B - 一种水面无人船长时跟踪方法、装置及存储介质 - Google Patents
一种水面无人船长时跟踪方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112785622B CN112785622B CN202011643347.XA CN202011643347A CN112785622B CN 112785622 B CN112785622 B CN 112785622B CN 202011643347 A CN202011643347 A CN 202011643347A CN 112785622 B CN112785622 B CN 112785622B
- Authority
- CN
- China
- Prior art keywords
- filter
- target
- scale
- frame
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 21
- 230000004044 response Effects 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 10
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 208000006440 Open Bite Diseases 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 102400000832 Antiplasmin-cleaving enzyme FAP, soluble form Human genes 0.000 claims 1
- 101800000492 Antiplasmin-cleaving enzyme FAP, soluble form Proteins 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 19
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000001914 filtration Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30212—Military
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种水面无人船长时跟踪方法、装置及存储介质。本发明方法，包括：S1、读取第一帧图片训练SVM检测器、位置滤波器和尺度滤波器；S2、读取下一帧图片并进行遮挡判断；S3、基于该图片提取HOG特征和CN特征学习相关滤波器，并根据相关滤波器确定对应的位置和权重，进行目标定位；S4、通过SVM检测器在候选区域通过模板匹配进行目标定位；S5、进行采集尺度更新，进而更新位置滤波器、尺度滤波器和SVM检测器参数。本发明在KCF相关滤波算法基础上引入SVM重检测机制。首先重新训练一个检测滤波器用来计算跟踪结果置信度，以确定是否跟踪失败，然后训练一个在线SVM分类器用于重检测，当出现跟踪漂移或跟踪失败的情况时，利用SVM重新修正跟踪目标。
Description
技术领域
本发明涉及视觉跟踪技术领域，具体而言，尤其涉及一种水面无人船长 时跟踪方法、装置及存储介质。
背景技术
目标跟踪作为计算机视觉学科的传统课题之一，多年来一直是人们重点 研究的方向。尤其在复杂背景下，光照的变化、目标被遮挡、背景与目标的 相似性等问题都使得目标跟踪更具挑战性。我们通过无人船监控系统跟踪预 测来往船舶动态状况，随时掌握港口附近船舶动态信息。从舰船、艇等视觉 图像中检测出目标图像，进一步提取大量的有用信息，对港口的监测与水质 检测、捕鱼的监管以及军事战争中判别危险所在等有着很广泛的应用前景。
Henriques等人在已有相关滤波跟踪的基础上提出核相关滤波器(KCF) 跟踪算法，使用方向梯度直方图(HOG)特征代替原来的灰度值特征，将相 关滤波器由单通道扩展到多通道，提升了跟踪的准确性和实时性。
在实际无人船的视觉跟踪过程中由于水面背景极容易遇到一些外界因素 的干扰，如跟踪过程中发生遮挡，跟踪目标移出视野，以及目标发生尺度形 状等变化。当目标被遮挡时，目标特征被遮挡取代，导致在模型更新学习时 引入遮挡物信息,引起模型识别出现偏差而引起目标发生漂移从而导致跟踪 失败。
发明内容
根据上述提出的目标被遮挡以及移出视频等问题技术问题，而提供一种 水面无人船长时跟踪方法、装置及存储介质。本发明在KCF相关滤波算法基 础上引入SVM重检测机制。首先重新训练一个检测滤波器用来计算跟踪结果 置信度，以确定是否跟踪失败，然后训练一个在线SVM分类器用于重检测， 当出现跟踪漂移或跟踪失败的情况时，利用SVM重新修正跟踪目标。
本发明采用的技术手段如下：
一种水面无人船长时跟踪方法，包括：
S1、读取第一帧图片，一方面由所述第一帧图像数据提取正、负样本集 训练SVM检测器，另一方面由所述第一帧图像数据提取候选样本集训练位置 滤波器和尺度滤波器，所述SVM检测器对被遮挡的目标进行重新定位，所述 位置滤波器用于对下一帧图像数据进行目标定位，所述尺度滤波器用于获取 下一帧图像数据的采集尺度；
S2、读取下一帧图片并进行遮挡判断，当判断为无遮挡时执行步骤S3， 否则执行步骤S4；
S3、基于该图片提取HOG特征和CN特征学习相关滤波器，并根据相关 滤波器确定对应的位置和权重，进行目标定位，然后执行S5；
S4、通过SVM检测器在候选区域通过模板匹配进行目标定位，然后执 行S5；
S5、进行采集尺度更新，进而更新位置滤波器、尺度滤波器和SVM检 测器参数。
进一步地，步骤S3包括：
获取当前图像并通过位置相关滤波器采集第一候选样本；
将所述第一候选样本送入第一位置寻优通道和第二位置寻优通道，所述 第一位置寻优通道用于提取样本的HOG特征并基于该特征获取第一目标位 置，所述第二位置寻优通道用于提取样本的CN特征并基于该特征获取第二 目标位置；
将所述第一目标位置和第二目标位置自适应加权融合得到最终位置；
通过尺度相关滤波器在最终位置处采集第二候选样本；
将所述第二选样本送入尺度位置寻优通道，所述尺度位置寻优通道用于 提取样本的HOG特征并基于该特征获取目标尺度；
在最终位置处以目标尺度提取下一帧样本。
进一步地，步骤S3还包括：
由无遮挡图片提取正、负样本集，并加入至SVM检测器的训练集中对 SVM进行训练。
进一步地，所述位置相关滤波器使用目标周围区域的循环矩阵采集预测 样本，利用所述预测样本训练分类器，所述分类器输出下一帧图像的最佳位 置，所述最终位置为预测样本中针对分类器响应值最大的位置。
进一步地，所述位置相关滤波器使用目标周围区域的循环矩阵采集预测 样本，利用所述预测样本训练分类器，包括：
将所述下一帧图像的最佳位置周围区域的循环矩阵采集预测样本作为训 练样本更新所述分类器。
进一步地，所述尺度相关滤波器用于输出下一帧图像的最佳尺度，所述 最佳尺度为时预测样本中尺度响应得分最高的尺度。
进一步地，将所述第一目标位置和第二目标位置自适应加权融合得到最 终位置，包括：
根据第一目标位置对应的分类器响应值和第二目标位置对应的分类器响 应值计算融合权重。
本发明还公开了一种水面无人船长时跟踪装置，包括：
训练单元，其用于读取第一帧图片，一方面由所述第一帧图像数据提取 正、负样本集训练SVM检测器，两一方面由所述第一帧图像数据提取候选样 本集训练位置滤波器和尺度滤波器，所述SVM检测器对被遮挡的目标进行重 新定位，所述位置滤波器用于对下一帧图像数据进行目标定位，所述尺度滤 波器用于获取下一帧图像数据的采集尺度；
判断单元，其用于读取下一帧图片并进行遮挡判断；
无遮挡目标定位单元，其用于当判断为无遮挡时，基于该图片提取HOG 特征和CN特征学习相关滤波器，并根据相关滤波器确定对应的位置和权重， 进行目标定位；
有遮挡目标定位单元，其用于当判断有遮挡时，通过SVM检测器在候选 区域通过模板匹配进行目标定位；
更新单元，其用于进行采集尺度更新，进而更新位置滤波器、尺度滤波 器和SVM检测器参数。
本发明还公开了一种存储介质，其特征在于，所述存储介质包括存储的 程序，其中，所述程序运行时，执行上述任一项权利要求所述的方法。
较现有技术相比，本发明具有以下优点：
1、本发明在KCF相关滤波算法基础上引入SVM重检测机制。首先重新 训练一个检测滤波器用来计算跟踪结果置信度，以确定是否跟踪失败，然后 训练一个在线SVM分类器用于重检测，当出现跟踪漂移或跟踪失败的情况 时，利用SVM重新修正跟踪目标。
2、本发明采用自适应多特征融合，将HOG和CN两种特征有效的结合 起来，有效的解决了水面无人船的尺度和形状变化，对复杂水面等问题能进 行有效地处理提高了对水面无人船跟踪的可靠性和准确性。
基于上述理由本发明可在视觉跟踪技术等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种水面无人船长时跟踪方法流程图。
图2为本发明无遮挡状态下目标定位流程图。
图3a为实施例中跟踪目标第123帧两种算法对比图。
图3b为实施例中跟踪目标第156帧两种算法对比图。
图3c为实施例中跟踪目标第161帧两种算法对比图。
图3d为实施例中跟踪目标第170帧两种算法对比图。
图3e为实施例中跟踪目标第188帧两种算法对比图。
图3f为实施例中跟踪目标第230帧两种算法对比图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第 一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后 次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本 发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外， 术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含， 例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于 清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
一种水面无人船长时跟踪方法，包括：
S1、读取第一帧图片，一方面由所述第一帧图像数据提取正、负样本集 训练SVM检测器，另一方面由所述第一帧图像数据提取候选样本集训练位置 滤波器和尺度滤波器，所述SVM检测器对被遮挡的目标进行重新定位，所述 位置滤波器用于对下一帧图像数据进行目标定位，所述尺度滤波器用于获取 下一帧图像数据的采集尺度。
具体来说，支持向量机作为一种有监督机器学习方法，除了能够进行线 性分类，还通过引入核函数进行非线性分类，其不仅拥有完善的理论基础， 还在诸如文本分类和图像分类等领域有着卓越的效果。本申请采用一种半监 督学习，训练在线SVM分类器，增强重定位组件的定位性能。利用标记集 L＝{[xre,yre]}和未标记集Ure，其中xre和yre分别为重定位组件训练在线SVM分 类器的样本及标签。标记集选取第一帧给定目标图像块和与第一帧给定目标 框重叠率在区间(0.8，1)之间的图像块作为正样本，而负样本为与第一帧 给定目标框重叠率在区间(0，0.2)之间的图像块。不同于正负样本来源于 第一帧的标记集，未标记集在跟踪过程(帧数i≥1)中产生，选取与跟踪的目 标框重叠率在区间(0.8，1)之间的图像块作为正样本，而负样本为与跟踪 的目标框重叠率在区间(0，0.2)之间的图像块。
具体的训练过程包括：将标签集L加入到训练集中，初始化训练在线 SVM分类器，并获取在线SVM分类器的初始化参数然后，将初始训 练的在线SVM分类器在未标记集Ure上，经k次迭代获取在线分类器参数/>
S2、读取下一帧图片并进行遮挡判断，当判断为无遮挡时执行步骤S3， 否则执行步骤S4。
具体地，由于在部分场景下，图像中出现了多种干扰情况例如目标被遮 挡、相似物体干扰，但是此时相关响应图峰值仍然较大，如果仅使用响应峰 值来判断跟踪结果可靠性，将会在模板中引入较多的错误信息。因此我们采 用一种跟踪结果可靠性衡量方式。在跟踪目标受到干扰较少的时候，相关响 应图会出现单个峰值较大的状态，当跟踪环境出现目标遮挡等干扰时，响应 图中出现多个峰值，因此根据这些信息，可以使用最大响应值和多个峰值之 间的关系，提出使用平均峰值相关能量来衡量跟踪结果，表达式如下所示：
其中，Fmax、Fmin、Fw,h分别为最搞响应值，最低响应值和区域不同响应 值。
为了使模型更新策略更加可靠，本文将响应图输出的最大值Fmax作为另一 个置信度指标，只有当这两个指标均大于其历史均值AAPCE和AFmax的一定比 例β1＝0.7和β2＝0.45，才认为是高置信度，如下式(3)所示
当如果有一个条件不满足，我们认为此时目标被其他物体遮挡，目标已 经丢失，需要对目标进行重新定位。
当在跟踪过程中公式(3)条件不满足时，即判断为目标遮挡或跟踪效果 不好，此时激活激活目标重检测，利用在线SVM分类器扫描整帧图像，获 取在线SVM分类器的重检测结果，比较目标的置信度确定是否采用重检测 结果。只有当时公式(3)条件满足时，此时跟踪器较好，不激活重检，但从 目标周围选取正负样本，加入并更新训练集，训练更新SVM分类器。
S3、基于该图片提取HOG特征和CN特征学习相关滤波器，并根据相关 滤波器确定对应的位置和权重，进行目标定位，然后执行S5。主要包括：
S301、获取当前图像并通过位置相关滤波器采集第一候选样本。
S302、将所述第一候选样本送入第一位置寻优通道和第二位置寻优通道， 所述第一位置寻优通道用于提取样本的HOG特征并基于该特征获取第一目 标位置，所述第二位置寻优通道用于提取样本的CN特征并基于该特征获取 第二目标位置。
具体来说，核相关滤波算法使用目标周围区域的循环矩阵采集正负样本， 从中训练出一个分类器。分类器的结果用于预测下一帧的目标位置区域，在 目标预测区域采样并进行循环移位生成大量预测样本，分类器对这些预测样 本计算响应值，并把拥有最大响应的位置作为这一帧图像的最佳位置。然后 再使用新训练结果去更新训练集进而更新分类器。该算法利用岭回归训练目 标分类器，目的是找到一个函数f(z)＝wTz它能最小化样本xi以及其回归目标 yi的平方误差
其中，λ为控制过拟合的正则化参数。求的权重系数w的闭式解
w＝(XHX+λI)-1XHy (5)
其中，XH＝(X*)T，而X*是X的复共轭。
更快的训练和精准的检测算法依赖于每个核相关的计算，即两个输入向 量的所有相对位移核函数，因此引入高斯核函数
核函数能够使非线性回归函数f(z)变得更强大，它的主要目的就是把一 个线性问题映射到一个非线性核空间，将低维空间线性不可分的数据转换为 高维线性可分的数据。使用循环矩阵和傅里叶空间变换公式，可得出计算公 式
其中，α为向量系数，“∧”表示离散傅里叶变换。此时训练分类器从寻找 最优w转化为寻找最优α。
在快速检测阶段，分类器的响应值计算公式为
式中，kxz表示训练样本特征x和测试样本特征z的互相关向量，由公式 (6)可求得。由此可知，每个f(z)是来自kxz的相邻核值的线性组合，由α加 权，然后查找所有测试样本响应向量f(z)最大响应位置为目标的预测位置。 KCF算法通过不断迭代式(6)和式(7)来确定每一帧的目标中心位置。
将得到的滤波器h和下一帧候选目标图像块z卷积,Z为其循环矩阵； 然后查找所有测试样本响应向量f(z),最大响应位置为目标的预测位置。其更 新方式为：
xt＝(1-ηt)xt+ηtxt-1 (9)
αt＝(1-ηt)αt+ηtαt-1 (10)。
S303、将所述第一目标位置和第二目标位置自适应加权融合得到最终位 置。
具体来说，针对目标运动过程中出现的尺度变化问题，采用了一种精确 有效的尺度估计方法。根据其提供的多尺度跟踪方法，采用一维的相关滤波 器用于尺度估计，称之为尺度相关滤波器。
进一步地，用于尺度评估目标样本尺寸为
其中,P和R分别为目标前一帧的宽和高；a为尺度因子；S为尺度滤波 长度。由于输入样本中某一个图像块具有d维特征描述,为了得到最佳尺度相 关滤波器w,可以最小化代价函数
其中，w为相关滤波器，f为输入样本特征，g为理想相关输出，l表示 特征的某一维度,λ为正则项系数。式(8)在频域中解为：
式中，大写字母表示相应量的离散傅里叶变换，表示复共轭。为了得 到鲁棒的结果,对式(9)中的wl分子分母分别进行更新
其中,η为学习速率。
在新的一帧中,可通过求解得
来确定尺度滤波器的响应.求得使最大的尺度响应得分作为下一帧目 标尺度,并使用式(13)(14)更新滤波器。
S304、通过尺度相关滤波器在最终位置处采集第二候选样本。
S305、将所述第二选样本送入尺度位置寻优通道，所述尺度位置寻优通 道用于提取样本的HOG特征并基于该特征获取目标尺度。
具体来说，HOG特征是一种用来检测物体特征的描述算子，广泛运用于 计算机视觉和图像处理领域，它具有对目标平移、旋转、姿态变化和光照保 持良好的不变性,能够更好地适应目标形变、光照变化等复杂场景.CN特征能 较小地依赖于图像的尺寸、方向、视角,对目标的形状、尺度能保持较好的 不变性，在彩色序列视频上能取得较好的跟踪效果。因此,CN特征和HOG特 征的性能是优势互补的。本实施例在KCF算法框架下分别计算HOG和CN特 征各自输出的最大响应值,并将得到的响应值进行归一化；再根据各自响应 值所占比例分配权重,下一帧视频序列将会优先选择权重更高的特征。HOG 特征和CN特征在t帧的归一化权重分别为
式中，由公式(5)可求得f(HOG)(Z),f(CN)(Z),其中，f(HOG)(Z)为HOG特征输 出的相关响应值，f(CN)(Z)为CN特征输出的相关响应值。用第t帧的权重来更 新之前的特征权重：
其中，是第t帧的特征权重，而/>由公式(16)计算而来，δ为权 重更新因子，由于跟踪器的训练来自初始帧所以两者占比相等，此时权重更 新因子初始值为0.5。随着帧数的增加，为了使模型更具有自适应，利用前一 帧的信息来减少当前帧的出错，增加跟踪器的鲁棒性，这里优选设置更新因 子为0.2。
最终输出的目标的位置是通过多个特征对应的位置按照不同的权重进行 融合得到的，表达式如下所示：
式中，PHOG、PCN分别表示HOG特征、CN特征对应的跟踪目标的位置， 通过加权融合得到最终目标位置Pt。
S306、在最终位置处以目标尺度提取下一帧样本。
S4、通过SVM检测器在候选区域通过模板匹配进行目标定位，然后执 行S5。具体的，当在跟踪过程中判断为目标遮挡或跟踪效果不好，此时激活 激活目标重检测，利用在线SVM分类器扫描整帧图像，获取在线SVM分 类器的重检测结果，比较目标的置信度确定是否采用重检测结果。
S5、进行采集尺度更新，进而更新位置滤波器、尺度滤波器和SVM检 测器参数。
如图3所示，为本发明算法的跟踪结果对比图。由图3可知，第123帧 到第156帧时两种跟踪算法均可有效跟踪目标且跟踪效果较好，在图3第156 帧当无人船部分被障碍物遮挡时，依然能够很好地跟踪无人船，说明未改进 的跟踪算法具有一定的抗干扰能力。但是当无人船完全被遮挡时，在图第161 帧时，加入快速尺度滤波器且采用多特征融合后的跟踪算法跟踪无人船失败。 而在其基础上加入重质检机制的算法通过激活目标重检，重新检测无人船遮 挡位置进行跟踪。图3第161帧和第230帧可以看出,加入快速尺度滤波器 且采用多特征融合后的跟踪算法已经完全丢失目标，而在其加入重检机制后 的算法依然能够跟好的跟踪无人船。
对应本申请中的水面无人船长时跟踪方法，本发明还公开了一种水面无 人船长时跟踪装置，包括：
训练单元，其用于读取第一帧图片，一方面由所述第一帧图像数据提取 正、负样本集训练SVM检测器，两一方面由所述第一帧图像数据提取候选样 本集训练位置滤波器和尺度滤波器，所述SVM检测器对被遮挡的目标进行重 新定位，所述位置滤波器用于对下一帧图像数据进行目标定位，所述尺度滤 波器用于获取下一帧图像数据的采集尺度；
判断单元，其用于读取下一帧图片并进行遮挡判断；
无遮挡目标定位单元，其用于当判断为无遮挡时，基于该图片提取HOG 特征和CN特征学习相关滤波器，并根据相关滤波器确定对应的位置和权重， 进行目标定位；
有遮挡目标定位单元，其用于当判断有遮挡时，通过SVM检测器在候选 区域通过模板匹配进行目标定位；
更新单元，其用于进行采集尺度更新，进而更新位置滤波器、尺度滤波 器和SVM检测器参数。
对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述 的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再 详述。
本发明还公开了一种存储介质，其特征在于，所述存储介质包括存储的 程序，其中，所述程序运行时，执行上述任一项权利要求所述的方法。上述 本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施 例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可 通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例 如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划 分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些 特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接 耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接， 可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全 部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单 元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单 元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售 或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本 发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个 存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服 务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。 而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、 随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光 盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对 其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并 不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种水面无人船长时跟踪方法，其特征在于，包括：
S1、读取第一帧图像，一方面由所述第一帧图像数据提取正、负样本集训练SVM检测器，包括由无遮挡图片提取正、负样本集，并加入至SVM检测器的训练集中对SVM进行训练，另一方面由所述第一帧图像数据提取候选样本集训练位置滤波器和尺度滤波器，所述SVM检测器对被遮挡的目标进行重新定位，所述位置滤波器用于对下一帧图像数据进行目标定位，所述尺度滤波器用于获取下一帧图像数据的采集尺度；
S2、读取下一帧图片并进行遮挡判断，当判断为无遮挡时执行步骤S3，否则执行步骤S4；具体包括：
根据峰值相关能量和响应图输出的最大值作为置信度指标，当二者满足以下条件时判断目标未被遮挡：
其中，表示第t帧图像的最高响应值，/>表示前t-1帧图像最高响应值的历史均值，β1表示第一置信度系数，APCEt表示第t帧图像的峰值相关能量，AAPCEt-1表示前t-1帧图像峰值相关能量的历史均值，β2表示第二置信度系数，且
其中，Fmax、Fmin、Fw,h分别为最高响应值，最低响应值和区域不同响应值；
S3、基于该图片提取HOG特征和CN特征学习相关滤波器，并根据相关滤波器确定对应的位置和权重，进行目标定位，然后执行S5；具体包括：
S301、获取当前图像并通过位置相关滤波器采集第一候选样本，所述位置相关滤波器使用目标周围区域的循环矩阵采集预测样本，利用所述预测样本训练分类器，所述分类器输出下一帧图像的最佳位置，所述最佳位置为预测样本中针对分类器响应值最大的位置，
S302、将所述第一候选样本送入第一位置寻优通道和第二位置寻优通道，所述第一位置寻优通道用于提取样本的HOG特征并基于该特征获取第一目标位置，所述第二位置寻优通道用于提取样本的CN特征并基于该特征获取第二目标位置，
S303、将所述第一目标位置和第二目标位置自适应加权融合得到最终位置，包括根据以下公式获取最终位置：
式中，Pt表示最终位置，PHOG表示表示HOG特征对应的跟踪目标的位置、PCN表示CN特征对应的跟踪目标的位置，
表示HOG特征对应的第t帧的特征权重，根据以下公式更新：
其中，表示HOG特征对应的第t+1帧的特征权重，/>表示HOG特征对应的第t帧的归一化权重，f(HOG)(Z)为HOG特征输出的相关响应值，f(CN)(Z)为CN特征输出的相关响应值，δ为权重更新因子，
表示CN特征对应的第t帧的特征权重，根据以下公式更新：
其中，表示CN特征对应的第t+1帧的特征权重，/>表示CN特征对应的第t帧的归一化权重，
S304、通过尺度相关滤波器在最终位置处采集第二候选样本，所述尺度相关滤波器用于输出下一帧图像的最佳尺度，所述最佳尺度为时预测样本中尺度响应得分最高的尺度，
S305、将所述第二候选样本送入尺度位置寻优通道，所述尺度位置寻优通道用于提取样本的HOG特征并基于该特征获取目标尺度，
S306、在最终位置处以目标尺度提取下一帧样本；
S4、通过SVM检测器在候选区域通过模板匹配进行目标定位，然后执行S5；
S5、进行采集尺度更新，进而更新位置滤波器、尺度滤波器和SVM检测器参数。
2.根据权利要求1所述的水面无人船长时跟踪方法，其特征在于，所述位置相关滤波器使用目标周围区域的循环矩阵采集预测样本，利用所述预测样本训练分类器，包括：
将所述下一帧图像的最佳位置周围区域的循环矩阵采集预测样本作为训练样本更新所述分类器。
3.根据权利要求1所述的水面无人船长时跟踪方法，其特征在于，将所述第一目标位置和第二目标位置自适应加权融合得到最终位置，包括：
根据第一目标位置对应的分类器响应值和第二目标位置对应的分类器响应值计算融合权重。
4.一种水面无人船长时跟踪装置，用于实现如权利要求1所述的一种水面无人船长时跟踪方法，其特征在于，包括：
训练单元，其用于读取第一帧图片，一方面由所述第一帧图像数据提取正、负样本集训练SVM检测器，两一方面由所述第一帧图像数据提取候选样本集训练位置滤波器和尺度滤波器，所述SVM检测器对被遮挡的目标进行重新定位，所述位置滤波器用于对下一帧图像数据进行目标定位，所述尺度滤波器用于获取下一帧图像数据的采集尺度；
判断单元，其用于读取下一帧图片并进行遮挡判断；
无遮挡目标定位单元，其用于当判断为无遮挡时，基于该图片提取HOG特征和CN特征学习相关滤波器，并根据相关滤波器确定对应的位置和权重，进行目标定位；
有遮挡目标定位单元，其用于当判断有遮挡时，通过SVM检测器在候选区域通过模板匹配进行目标定位；
更新单元，其用于进行采集尺度更新，进而更新位置滤波器、尺度滤波器和SVM检测器参数。
5.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时，执行所述权利要求1至3中任一项权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011643347.XA CN112785622B (zh) | 2020-12-30 | 2020-12-30 | 一种水面无人船长时跟踪方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011643347.XA CN112785622B (zh) | 2020-12-30 | 2020-12-30 | 一种水面无人船长时跟踪方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112785622A CN112785622A (zh) | 2021-05-11 |
| CN112785622B true CN112785622B (zh) | 2024-04-05 |
Family
ID=75753652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011643347.XA Active CN112785622B (zh) | 2020-12-30 | 2020-12-30 | 一种水面无人船长时跟踪方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112785622B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11481683B1 (en) * | 2020-05-29 | 2022-10-25 | Amazon Technologies, Inc. | Machine learning models for direct homography regression for image rectification |
| CN113361614B (zh) * | 2021-06-15 | 2024-02-02 | 广西民族大学 | 一种船只捕鱼行为预测方法 |
| CN113990108B (zh) * | 2021-10-22 | 2023-01-20 | 苏交科集团股份有限公司 | 一种船舶优化识别和实时跟踪方法及防撞预警系统 |
| CN114140501A (zh) * | 2022-01-30 | 2022-03-04 | 南昌工程学院 | 目标跟踪方法、装置及可读存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200237A (zh) * | 2014-08-22 | 2014-12-10 | 浙江生辉照明有限公司 | 一种基于核化相关滤波高速自动多目标跟踪方法 |
| CN107578423A (zh) * | 2017-09-15 | 2018-01-12 | 杭州电子科技大学 | 多特征分层融合的相关滤波鲁棒跟踪方法 |
| CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
| CN108830879A (zh) * | 2018-05-29 | 2018-11-16 | 上海大学 | 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法 |
| CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
| CN109685073A (zh) * | 2018-12-28 | 2019-04-26 | 南京工程学院 | 一种基于核相关滤波的尺度自适应目标跟踪算法 |
| CN109816693A (zh) * | 2019-01-28 | 2019-05-28 | 中国地质大学（武汉） | 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置 |
| CN110660077A (zh) * | 2019-09-12 | 2020-01-07 | 昆明理工大学 | 一种融合多个特征的多尺度目标跟踪方法 |
| CN111340842A (zh) * | 2020-02-17 | 2020-06-26 | 江南大学 | 一种基于联合模型的相关滤波目标跟踪算法 |
| CN111476819A (zh) * | 2020-03-19 | 2020-07-31 | 重庆邮电大学 | 一种基于多相关滤波模型的长时目标跟踪方法 |
| KR102175491B1 (ko) * | 2019-05-08 | 2020-11-06 | 군산대학교산학협력단 | 상관 필터 기반 객체 추적 방법 |
| CN111968153A (zh) * | 2020-07-16 | 2020-11-20 | 新疆大学 | 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2783329A4 (en) * | 2011-11-22 | 2016-08-24 | Nokia Corp | METHOD FOR PROCESSING IMAGES AND CORRESPONDING APPARATUS |
-
2020
- 2020-12-30 CN CN202011643347.XA patent/CN112785622B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200237A (zh) * | 2014-08-22 | 2014-12-10 | 浙江生辉照明有限公司 | 一种基于核化相关滤波高速自动多目标跟踪方法 |
| CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
| CN107578423A (zh) * | 2017-09-15 | 2018-01-12 | 杭州电子科技大学 | 多特征分层融合的相关滤波鲁棒跟踪方法 |
| CN108830879A (zh) * | 2018-05-29 | 2018-11-16 | 上海大学 | 一种适用于遮挡场景的无人艇海面相关滤波目标跟踪方法 |
| CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
| CN109685073A (zh) * | 2018-12-28 | 2019-04-26 | 南京工程学院 | 一种基于核相关滤波的尺度自适应目标跟踪算法 |
| CN109816693A (zh) * | 2019-01-28 | 2019-05-28 | 中国地质大学（武汉） | 基于多峰响应的抗遮挡相关滤波跟踪方法及系统/装置 |
| KR102175491B1 (ko) * | 2019-05-08 | 2020-11-06 | 군산대학교산학협력단 | 상관 필터 기반 객체 추적 방법 |
| CN110660077A (zh) * | 2019-09-12 | 2020-01-07 | 昆明理工大学 | 一种融合多个特征的多尺度目标跟踪方法 |
| CN111340842A (zh) * | 2020-02-17 | 2020-06-26 | 江南大学 | 一种基于联合模型的相关滤波目标跟踪算法 |
| CN111476819A (zh) * | 2020-03-19 | 2020-07-31 | 重庆邮电大学 | 一种基于多相关滤波模型的长时目标跟踪方法 |
| CN111968153A (zh) * | 2020-07-16 | 2020-11-20 | 新疆大学 | 基于相关滤波和粒子滤波的长时间目标跟踪方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 采用核相关滤波器的长期目标跟踪;杨德东;蔡玉柱;毛宁;杨福才;;光学精密工程;20160815(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112785622A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112785622B (zh) | 一种水面无人船长时跟踪方法、装置及存储介质 | |
| US11544964B2 (en) | Vision based target tracking that distinguishes facial feature targets | |
| CN110120064B (zh) | 一种基于互强化与多注意机制学习的深度相关目标跟踪算法 | |
| Zhu et al. | MC-HOG correlation tracking with saliency proposal | |
| WO2015163830A1 (en) | Target localization and size estimation via multiple model learning in visual tracking | |
| CN113327272B (zh) | 一种基于相关滤波的鲁棒性长时跟踪方法 | |
| CN109859241B (zh) | 自适应特征选择和时间一致性鲁棒相关滤波视觉跟踪方法 | |
| CN113052873B (zh) | 一种在线自监督学习场景适应的单目标跟踪方法 | |
| CN109785366B (zh) | 一种针对遮挡的相关滤波目标跟踪方法 | |
| CN113989331A (zh) | 基于上下文多线索信息和自适应响应的长时目标跟踪方法 | |
| CN110175649A (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| Barcellos et al. | Part-based object tracking using multiple adaptive correlation filters | |
| CN110147768B (zh) | 一种目标跟踪方法及装置 | |
| CN113033356B (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
| CN110827327B (zh) | 一种基于融合的长期目标跟踪方法 | |
| CN114612508A (zh) | 一种多特征在线学习的抗遮挡相关滤波目标跟踪方法 | |
| Rout et al. | Rotation adaptive visual object tracking with motion consistency | |
| Sharma et al. | Visual object tracking based on sequential learning of SVM parameter | |
| Sun et al. | Efficient compressive sensing tracking via mixed classifier decision | |
| CN116342653A (zh) | 一种基于相关滤波器的目标跟踪方法、系统、设备及介质 | |
| CN110751671B (zh) | 一种基于核相关滤波与运动估计的目标跟踪方法 | |
| Cong et al. | Object tracking via online metric learning | |
| Wu et al. | Tracking objects with partial occlusion by background alignment | |
| CN114842506A (zh) | 一种人体姿态估计方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |