CN109191488B - 一种基于csk与tld融合算法的目标跟踪系统及方法 - Google Patents
一种基于csk与tld融合算法的目标跟踪系统及方法 Download PDFInfo
- Publication number
- CN109191488B CN109191488B CN201811213918.9A CN201811213918A CN109191488B CN 109191488 B CN109191488 B CN 109191488B CN 201811213918 A CN201811213918 A CN 201811213918A CN 109191488 B CN109191488 B CN 109191488B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- module
- csk
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 230000010354 integration Effects 0.000 claims abstract description 19
- 230000004044 response Effects 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 15
- 238000005316 response function Methods 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于CSK与TLD融合算法的目标跟踪系统及方法，属于计算机视觉领域，包括：初始化模块、CSK跟踪模块、判断模块、TLD模块、整合模块、结果输出模块；TLD模块包含光流法跟踪器、级联检测器；级联检测器由方差检测器，随机蕨检测器和最近邻检测器级联而成；本发明所述基于CSK与TLD融合算法的目标跟踪方法克服了单独使用CSK算法时存在的在复杂背景干扰下易跟踪失败的问题，以及单独使用TLD算法结构复杂、运行速度慢、难以实现实时性的问题。本发明对于复杂场景下的目标跟踪具有更广泛的适应性，在保证实时性的同时大大提高了跟踪精度，通过仿真实验可知，传统CSK算法的跟踪结果产生较大偏移，而本发明所述方法能够重新检测到目标，从而跟踪成功。
Description
技术领域
本发明属于计算机视觉领域，特别涉及一种基于CSK与TLD融合算法的目标跟踪系统及方法。
背景技术
随着社会的发展和计算机水平的提高，视频监控已经随处可见。然而，传统的监控系统仅仅通过人眼来观察视频中的异常，耗时耗力，已经不能满足人们的需求，智能监控系统应运而生。智能监控系统利用智能算法和计算机视觉的相关理论，能够自动检测识别跟踪视频序列中的异常，解放劳动力，为人们的生产、生活提供方便。
目标跟踪与目标检测、目标识别之间关系密切，在实际的应用过程中，采用特定跟踪方法进行目标跟踪之前，通常要进行一些前期的处理工作。首先需要在感兴趣区域内对目标进行检测，而正确检测目标后，用当前的目标信息初始化目标跟踪器，当前帧目标跟踪即刻更新为自动模式。在之后目标跟踪的过程中，连续获取目标的运动状态信息。同时对目标的运动信息、形态信息、尺度信息等进行分析和处理，以完成对目标的分类评估及识别。因而，总的来说目标跟踪的实现涉及了计算机视觉、模式识别、图像处理以及机器学习等诸多相关的理论，在国民经济中的各个领域发挥着重要作用。
核跟踪循环结构(Circulant Structure of Tracking-by-Detection withKernel,CSK)是一种利用循环矩阵减少运算量的算法。当样本越来越多时，检测框呈现出一种循环结构。通过运用循环矩阵的相关理论，可以将跟踪问题与傅里叶分析建立联系，从而实现极其快速的学习和检测。最终得到的追踪器实现代码简单，运行速度快。
跟踪-学习-检测(Tracking-Detection-Learning,TLD)是一种新的单目标长时间跟踪算法。该算法与传统跟踪算法的显著区别在于将传统的跟踪算法和传统的检测算法相结合来解决被跟踪目标在被跟踪过程中发生的形变、部分遮挡等问题。同时，通过一种改进的在线学习机制不断更新跟踪模块的显著特征点和检测模块的目标模型及相关参数，从而使得跟踪效果更加稳定、鲁棒、可靠。
综上所述，CSK算法跟踪速度快，但一旦跟踪失败，难以再成功识别目标。而TLD算法复杂，实时性差，但鲁棒性较强。
发明内容
针对上述目标跟踪技术中的不足，现提出一种基于CSK与TLD融合的尺度自适应算法。该算法不但能具有CSK的运行速度快、实时性好的特性，而且通过引入分块跟踪策略能使CSK实现尺度自适应，通过引入TLD能有效提高算法的精确度，有效解决目标消失再出现后的跟踪失败问题。
一种基于CSK与TLD融合算法的目标跟踪系统，包括：初始化模块、CSK跟踪模块、判断模块、TLD模块、整合模块、结果输出模块；
初始化模块与CSK跟踪模块相连接，CSK跟踪模块与判断模块相连接，判断模块与TLD模块相连接，TLD模块与整合模块相连接，整合模块与结果输出模块相连接；
其中，TLD模块包含光流法(Lucas-Kanade,LK)跟踪器、级联检测器；
光流法跟踪器与级联检测器并行连接，并将各自计算的结果输入到整合模块中；
光流法跟踪器作用是跟踪得到目标位置，输入是图像帧，输出是目标的位置信息；
级联检测器由方差检测器，随机蕨检测器和最近邻检测器级联而成，即方差检测器与随机蕨检测器相连接，随机蕨检测器与最近邻检测器相连接；
方差检测器的作用为判断当前图像片为背景还是目标，输入为图像片，输出目标图像；
随机蕨检测器是用随机蕨检测方法判断当前帧是否有目标，随机蕨检测器的输入为方差检测器的输出，输出为通过蕨分类器的图像片；
最近邻分类器是用最近邻方法判断当前帧是否有目标，输入为蕨分类器的输出，输出为通过最近邻分类器的目标图像片，即为级联检测器的结果；
初始化模块，读入第一帧图像，转化为灰度图，并初始化跟踪系统的参数，输出为灰度图像和初始跟踪参数，初始跟踪参数包括初始TLD跟踪参数和初始CSK跟踪参数；
CSK跟踪模块，采用CSK算法进行目标跟踪，输入为图像帧及跟踪参数，输出为CSK算法跟踪到的目标位置及结果可信度；
判断模块，判断是否启用TLD模块，输入为CSK跟踪模块的结果可信度，输出为TLD模块的开启或关闭状态；
TLD模块，采用TLD算法进行目标跟踪，输入为图像帧及TLD跟踪参数，输出为TLD模块跟踪到的目标位置及结果可信度；
整合模块，将CSK跟踪模块和TLD模块的输出结果进行整合，选取可信度最大的结果为最终跟踪结果，输入为CSK跟踪模块和TLD模块的输出结果，输出为跟踪系统的跟踪结果；
结果输出模块，显示跟踪结果，输入为图像帧和跟踪结果，输出为每一帧的图像框；
一种基于CSK与TLD融合算法的目标跟踪的方法，使用一种基于CSK与TLD融合算法的目标跟踪系统实现，包含如下步骤：
步骤1：初始化模块读入第一帧图像并将其转化为灰度图，同时读取初始化文件，获得目标的初始位置x1，x2和大小w，h，其中，w、h分别为目标框的宽、高，并输出初始跟踪参数，包括初始TLD跟踪参数和初始CSK跟踪参数；
步骤2：在初始化模块中读入灰度图及目标的初始位置x1，x2和大小w，h，将目标进行分块，把灰度图中的初始位置与大小和分块后的目标块的位置和大小读入CSK跟踪模块，分别构造二维高斯函数和汉明窗，并计算出CSK跟踪器的参数α，具体步骤如下：
步骤2.1：连接原目标框的各边中点，将目标分为4块，分别记作目标块1、目标块2，目标块3，目标块4，其中左上角为目标块1；
步骤2.2：根据原目标和目标块的大小和位置，分别构造二维高斯函数作为响应函数，使目标中心位置响应最大，当(x1′，x2′)＝(rs,cs)时，目标响应最大，是中心位置，所构造高斯输出响应函数的公式如下：
y＝exp(-0.5/(output_sigma2)*((x1'-rs)2+(x2'-cs)2)) (1)
其中，x1′，x2′分别为输入位置的横纵坐标，rs,cs分别为目标中心位置的横纵坐标，y为输出的响应，out_sigma为CSK参数，取值
步骤2.3：根据原目标大小构造的汉明窗和原目标做卷积，根据目标块1大小构造的汉明窗和目标块1做卷积，得到处理后的目标图像；
步骤2.4：根据处理后的目标图像，分别构造二维高斯核函数，所构造高斯核函数的公式如下：
其中kgauss为高斯核函数的值，x为步骤2.3中得到的处理后图像片，||x||2为x的2阶范数，F(x)为x的傅里叶变换，F*(x)为F(x)的共轭矩阵，F-1()为傅里叶逆变换，
为点积运算，σ为高斯核函数参数。
步骤2.5：更新CSK跟踪器的参数α，使用更新后的参数α用公式(5)计算下一帧输出响应y，更新公式如下：
其中，y为当前帧输出响应，F(y)为y的傅里叶变换，kgauss为高斯核函数的值，F(kgauss)为kgauss的傅里叶变换，λ为特征参数；
步骤3：将灰度图像和初始TLD跟踪参数读入TLD跟踪模块；
对目标尺度进行缩放变换，从左上到右下以步距m遍历整幅图片，获得不同尺寸不同位置的图像片，生成特征点对，每组特征点对包含横坐标或纵坐标相同的两个点。计算每个图像片与跟踪目标的重叠度，选取正负样本，训练TLD跟踪模块的检测器，将正负样本添加到对应正负样本集；
步骤3.1：对目标尺度进行缩放变换，从左上到右下以步距m遍历整幅图片，获得不同尺寸不同位置的图像片；
步骤3.2：生成特征点对，每组特征点对包含横坐标或纵坐标相同的两个点，例如(20,30)和(40，30)是一组，(10，20)和(10,30)是一组；
步骤3.3：计算每个图像片与初始化时读入的跟踪目标的重叠度，选取重叠度高的为正样本，低的为负样本。
步骤3.4：计算正样本图片方差var，取var/2为方差检测器阈值，输出目标图像片；
步骤3.5：将目标图像片顺序输入随机蕨分类器和最近邻分类器，用以训练随机蕨分类器和最近邻分类器：将正负样本添加到对应正负样本集；
步骤4：在初始化模块中读取下一帧图像并进行灰度化，采用CSK跟踪器方法分别对原目标和步骤2分块后的目标块进行跟踪，并根据分块后部分目标与原目标的跟踪结果更新目标框大小；
步骤4.1：根据原目标和目标块1的大小，分别构造二维高斯核函数，所构造高斯核函数的公式如下：
其中，x为按步骤2.3中处理后的图像，z为当前帧图像片，||z||2为z的2-范数，F*(z)为F(z)的共轭矩阵；
步骤4.2：按如下公式更新响应y，即更新CSK跟踪结果可信度：
其中，F(α)为α的傅里叶变换；
步骤4.3：分别根据公式(4)与公式(3)更新kgauss和α；
步骤4.4：分别计算原目标与目标块1CSK跟踪结果可信度，公式如下：
max(y) (6)
其中，max(y)代表目标输出响应y的最大值；
得到原目标CSK跟踪最大响应，即原目标CSK跟踪结果可信度ymax，和目标块1CSK跟踪最大响应，即目标块1结果可信度cf1；
步骤4.4：判断是否更新目标框尺度：若目标块1的CSK跟踪结果可信度cf1大于阈值θ，并且其中心位置仍位于目标中心的左上方，则根据跟踪到的原目标和目标块1的位置，更新目标框尺度，所述更新公式如下：
(w,h)＝[(x0′,y0′)-(x0,y0)]×4 (7)
其中，w、h分别为目标框的宽、高，(x0′,y0′)为整幅目标的中心位置，(x0,y0)为跟踪目标块1得到的中心位置；
若目标块1的跟踪可信度小于或等于阈值θ，或者其中心位置不在目标中心的左上方，则直接转至步骤5。
步骤5：如果原目标CSK跟踪最大响应ymax大于阈值δ，则目标跟踪成功，转至步骤10；否则，如果原目标CSK跟踪最大响应ymax小于或等于阈值δ，则保留最大响应，同时启用TLD模块，转至步骤6；
步骤6：在光流法跟踪器中采用光流法跟踪目标位置，计算原目标的跟踪结果图像片与步骤1中的初始目标图像片的相似度，相似度公式为公式(8)；
所述光流法具体步骤如下：
在上一帧目标图像框中产生a1*a2个点，匹配这a1*a2个点在当前图像片中的位置，并反向匹配当前图像片的a1*a2个点至上一帧图像框。计算反向传播距离和归一化交叉相关算法(Normalized Cross Correlation，NCC)匹配值；
步骤7：将初始模块中的灰度图像按照步骤3所示方法获取图像片，将图像片依次输入方差分类器、随机蕨分类器和最近邻分类器中，获取通过以上三个分类器的图像片的目标位置，输出级联检测器的结果；
步骤7.1：根据步骤3.4计算的方差分类器阈值判断当前图像片是否含有跟踪目标，计算图片灰度值方差，小于var/2的是背景，将所有方差小于阈值的图像片标记为负样本，选取方差大于或等于阈值的图像片标记为正样本；
步骤7.2：将方差大于或等于阈值的图像片输入蕨分类器中，并计算其为正样本的可信度：通过每对特征值点的像素值对比获取0-1二值特征序列，计算每个序列出现的次数np,np占总特征序列个数的比重即为其可信度，选取可信度最大的前p个样本通过蕨分类器；
步骤7.3：将通过蕨分类器的图像片输入最近邻分类器中，计算样本的相对相似度,取相似度大于η的样本为检测器检测到的目标位置；
所述相似度公式如下：
conf＝distance(nx,pex)/(distance(nx,pex)+distance(nx,nex)) (8)
其中，distance()为相似度度量函数，nx为最近邻分类器输入图像片，pex为正样本库的图像片，nex为负样本库的图像片，其中，相似度度量函数为：
其中，
其中，f1,f2为相似度度量矩阵，f1(i,j)代表矩阵f1的第i行第j列的元素，f2(k,l)代表矩阵f2的第k行第l列的元素，M1、N1分别为f1的行、列数，M2、N2分别为f2的行、列数，当相似度度量函数为distance(nx，pex)时，f1＝nx,f2＝pex，当相似度度量函数为distance(nx，nex)，f1＝nx,f2＝nex。
步骤8：在整合模块中选取光流法追踪器追踪结果、级联检测器检测结果和CSK跟踪结果相似度最大者作为最终跟踪结果；
步骤9：更新TLD模块中级联检测器的样本集。
步骤9.1：计算跟踪结果与TLD目标模型的相似度，若相似度小于μ或者方差小于方差阈值，则认为TLD跟踪结果可信度低，不更新检测器和跟踪器的样本集，转至步骤10；
步骤9.2：若步骤9.1所述相似度大于或等于μ并且方差大于或等于方差阈值，则认为TLD跟踪结果可信度高，更新级联检测器正负样本集，把结果放到正样本集中；计算每个图像片与目标结果的重叠度，当重叠度大于或等于重叠度阈值，认为该图像片与目标结果重叠度高，选取重叠度高的为正样本，当重叠度小于重叠度阈值时，认为该图像片与目标结果重叠度低，选取低的为负样本，更新蕨分类器和最近邻分类器的样本集，将正负样本放入样本集中；
步骤10：在结果输出模块输出结果，转至步骤4。
有益技术效果：
本发明所述基于CSK与TLD融合算法的目标跟踪方法克服了单独使用CSK算法时存在的在复杂背景干扰下易跟踪失败的问题，以及单独使用TLD算法结构复杂、运行速度慢、难以实现实时性的问题。本发明所述方法首先采用CSK算法进行跟踪，当跟踪结果可信度不高于阈值时才启用TLD模块，既保留了CSK算法跟踪速度快的优点，又能通过引入TLD模块而增加跟踪的鲁棒性，而且提出了分块跟踪策略，使CSK实现尺度自适应，有效解决CSK算法容易丢失目标的问题。本发明所述方法对于复杂场景下的目标跟踪具有更广泛的适应性，在保证实时性的同时大大提高了跟踪精度。本发明以行人检测作为仿真实例，传统CSK算法的跟踪结果产生较大偏移，而本发明所述方法能够重新检测到目标，从而跟踪成功。
附图说明
图1为本发明实施例的一种基于CSK与TLD融合算法的目标跟踪系统框图；
图2为本发明实施例的级联检测器框图；
图3为本发明实施例的一种基于CSK与TLD融合算法的目标跟踪系统及方法流程图；
图4为以行人为例的目标分块方法示意图；
图5为本发明所述算法与CSK算法检测效果对比图；
其中a图为采用传统CSK方法跟踪效果，b图为采用本发明所述方法跟踪效果。
具体实施方式
下面结合附图和具体实施实例对发明做进一步说明，一种基于CSK与TLD融合算法的目标跟踪系统，如图1所示，
一种基于CSK与TLD融合算法的目标跟踪的方法，使用一种基于CSK与TLD融合算法的目标跟踪系统实现，包含如下步骤：包括：初始化模块、CSK跟踪模块、判断模块、TLD模块、整合模块、结果输出模块；
初始化模块与CSK跟踪模块相连接，CSK跟踪模块与判断模块相连接，判断模块与TLD模块相连接，TLD模块与整合模块相连接，整合模块与结果输出模块相连接；
其中，TLD模块包含光流法(Lucas-Kanade,LK)跟踪器、级联检测器；
光流法跟踪器与级联检测器并行连接，并将各自计算的结果输入到整合模块中；
光流法跟踪器作用是跟踪得到目标位置，输入是图像帧，输出是目标的位置信息；
级联检测器由方差检测器，随机蕨检测器和最近邻检测器级联而成，如图2所示，即方差检测器与随机蕨检测器相连接，随机蕨检测器与最近邻检测器相连接；
方差检测器的作用为判断当前图像片为背景还是目标，输入为图像片，输出目标图像；
随机蕨检测器是用随机蕨检测方法判断当前帧是否有目标，随机蕨检测器的输入为方差检测器的输出，输出为通过蕨分类器的图像片；
最近邻分类器是用最近邻方法判断当前帧是否有目标，输入为蕨分类器的输出，输出为通过最近邻分类器的目标图像片，即为级联检测器的结果；
初始化模块，读入第一帧图像，转化为灰度图，并初始化跟踪系统的参数，输出为灰度图像和初始跟踪参数，初始跟踪参数包括初始TLD跟踪参数和初始CSK跟踪参数；
CSK跟踪模块，采用CSK算法进行目标跟踪，输入为图像帧及跟踪参数，输出为CSK算法跟踪到的目标位置及结果可信度；
判断模块，判断是否启用TLD模块，输入为CSK跟踪模块的结果可信度，输出为TLD模块的开启或关闭状态；
TLD模块，采用TLD算法进行目标跟踪，输入为图像帧及TLD跟踪参数，输出为TLD模块跟踪到的目标位置及结果可信度；
整合模块，将CSK跟踪模块和TLD模块的输出结果进行整合，选取可信度最大的结果为最终跟踪结果，输入为CSK跟踪模块和TLD模块的输出结果，输出为跟踪系统的跟踪结果；
结果输出模块，显示跟踪结果，输入为图像帧和跟踪结果，输出为每一帧的图像框；
一种基于CSK与TLD融合算法的目标跟踪方法，使用一种基于CSK与TLD融合算法的目标跟踪系统实现，如图3所示，包含如下步骤：
步骤1：初始化模块读入第一帧图像并将其转化为灰度图，同时读取初始化文件，获得目标的初始位置x1，x2和大小w，h，其中，w、h分别为目标框的宽、高，并输出初始跟踪参数，包括初始TLD跟踪参数和初始CSK跟踪参数；本实施例中取，w＝21,，h＝36；
步骤2：在初始化模块中读入灰度图及目标的初始位置x1，x2和大小w，h，将目标进行分块，把灰度图中的初始位置与大小和分块后的目标块的位置和大小读入CSK跟踪模块，分别构造二维高斯函数和汉明窗，并计算出CSK跟踪器的参数α，具体步骤如下：
步骤2.1：连接原目标框的各边中点，将目标分为4块，分别记作目标块1、目标块2，目标块3，目标块4，其中左上角为目标块1，如图4所示；
步骤2.2：根据原目标和目标块的大小和位置，分别构造二维高斯函数作为响应函数，使目标中心位置响应最大，当(x1′，x2′)＝(rs,cs)时，目标响应最大，是中心位置，所构造高斯输出响应函数的公式如下：
y＝exp(-0.5/(output_sigma2)*((x1'-rs)2+(x2'-cs)2)) (1)
其中，x1′，x2′分别为输入位置的横纵坐标，rs,cs分别为目标中心位置的横纵坐标，y为输出的响应，out_sigma为CSK参数，取值
步骤2.3：根据原目标大小构造的汉明窗和原目标做卷积，根据目标块1大小构造的汉明窗和目标块1做卷积，得到处理后的目标图像；
步骤2.4：根据处理后的目标图像，分别构造二维高斯核函数，所构造高斯核函数的公式如下：
其中kgauss为高斯核函数的值，x为步骤2.3中得到的处理后图像片，||x||2为x的2-范数，F(x)为x的傅里叶变换，F*(x)为F(x)的共轭矩阵，F-1()为傅里叶逆变换，
为点积运算，σ为高斯核函数参数。
步骤2.5：更新CSK跟踪器的参数α，使用更新后的参数α用公式(5)计算下一帧输出响应y，更新公式如下：
其中，y为当前帧输出响应，F(y)为y的傅里叶变换，kgauss为高斯核函数的值，F(kgauss)为kgauss的傅里叶变换，λ为特征参数；
步骤3：将灰度图像和初始TLD跟踪参数读入TLD跟踪模块；
对目标尺度进行缩放变换，从左上到右下以步距m遍历整幅图片，获得不同尺寸不同位置的图像片，生成特征点对，每组特征点对包含横坐标或纵坐标相同的两个点。计算每个图像片与跟踪目标的重叠度，选取正负样本，训练TLD跟踪模块的检测器，将正负样本添加到对应正负样本集；
步骤3.1：对目标尺度进行缩放变换，从左上到右下以步距m遍历整幅图片，获得不同尺寸不同位置的图像片，本实施例m取2。
步骤3.2：生成特征点对,每组特征点对包含横坐标或纵坐标相同的两个点，例如(20,30)和(40，30)是一组，(10，20)和(10,30)是一组；
步骤3.3：计算每个图像片与初始化时读入的跟踪目标的重叠度，选取重叠度高的为正样本，低的为负样本。
步骤3.4：计算正样本图片方差var，取var/2为方差检测器阈值，输出目标图像片；
步骤3.5：将目标图像片顺序输入随机蕨分类器和最近邻分类器，用以训练随机蕨分类器和最近邻分类器：将正负样本添加到对应正负样本集；
步骤4：读取下一帧图片，采用CSK算法分别对原目标和步骤2分块后的目标块进行跟踪，并根据分块后部分目标与原目标的跟踪结果更新目标框尺度。
步骤4.1：根据原目标和目标块1的大小，分别构造二维高斯核函数。所构造高斯核函数的公式如下：
其中，x为按步骤2.3中处理后的图像，z为当前帧图像片，||z||2为z的2-范数，F*(z)为F(z)的共轭矩阵；
步骤4.2：按如下公式更新响应y，即更新CSK跟踪结果可信度：
其中，F(α)为α的傅里叶变换；
步骤4.3：分别公式(4)与公式(3)更新kgauss和α；
步骤4.4：分别计算原目标与目标块1CSK跟踪结果可信度，公式如下：
max(y) (6)
其中，max(y)代表目标输出响应y的最大值；
得到原目标CSK跟踪最大响应，及原目标CSK跟踪结果可信度ymax，和目标块1CSK跟踪最大响应，即目标块1结果可信度cf1；
步骤4.4：判断是否更新目标框尺度：若目标块1的CSK跟踪结果可信度cf1大于阈值θ，并且其中心位置仍位于目标中心的左上方，则根据跟踪到的原目标和目标块1的位置，更新目标框尺度，所述更新公式如下：
(w,h)＝[(x0′,y0′)-(x0,y0)]×4 (7)
其中，w、h分别为目标框的宽、高，(x0′,y0′)为整幅目标的中心位置，(x0,y0)为跟踪目标块1得到的中心位置；
若目标块1的跟踪可信度小于或等于阈值θ，或者其中心位置不在目标中心的左上方，则直接转至步骤5。
步骤5：如果原目标CSK跟踪最大响应ymax大于阈值δ，则目标跟踪成功，转至步骤10；否则，如果原目标CSK跟踪最大响应ymax小于或等于阈值δ，则保留最大响应，同时启用TLD模块，转至步骤6；
步骤6：在光流法跟踪器中采用光流法跟踪目标位置，计算原目标的跟踪结果图像片与步骤1中的初始目标图像片的相似度，相似度公式为公式(8)；流光法具体步骤如下：
在上一帧目标图像框中产生a1*a2个点，匹配这a1*a2个点在当前图像片中的位置，并反向匹配当前图像片的a1*a2个点至上一帧图像框。计算反向传播距离和归一化交叉相关算法(Normalized Cross Correlation，NCC)匹配值。其中a1、a2均取10。
步骤7：将初始模块中的灰度图像按照步骤3所示方法获取图像片，将图像片依次输入方差分类器、随机蕨分类器和最近邻分类器中，获取通过以上三个分类器的图像片的目标位置，输出级联检测器的结果；
步骤7.1：根据步骤3.4计算的方差分类器阈值判断当前图像片是否含有跟踪目标，计算图片灰度值方差，小于var/2的是背景，将所有方差小于阈值的图像片标记为负样本，选取方差大于或等于阈值的图像片标记为正样本；
步骤7.2：将方差大于或等于阈值的图像片输入蕨分类器中，并计算其为正样本的可信度：通过每对特征值点的像素值对比获取0-1二值特征序列，计算每个序列出现的次数np,np占总特征序列个数的比重即为其可信度，选取可信度最大的前p个样本通过蕨分类器；
步骤7.3：将通过蕨分类器的图像片输入最近邻分类器中，计算样本的相对相似度,取相似度大于η的样本为检测器检测到的目标位置；本实施例η＝0.48；
所述相似度公式如下：
conf＝distance(nx,pex)/(distance(nx,pex)+distance(nx,nex)) (8)
其中，distance()为相似度度量函数，nx为最近邻分类器输入图像片，pex为正样本库的图像片，nex为负样本库的图像片，其中，相似度度量函数为：
其中，
其中，f1,f2为相似度度量矩阵，f1(i,j)代表矩阵f1的第i行第j列的元素，f2(k,l)代表矩阵f2的第k行第l列的元素，M1、N1分别为f1的行、列数，M2、N2分别为f2的行、列数，当相似度度量函数为distance(nx，pex)时，f1＝nx,f2＝pex，当相似度度量函数为distance(nx，nex)，f1＝nx,f2＝nex。
步骤8：在整合模块中选取光流法追踪器追踪结果、级联检测器检测结果和CSK跟踪结果相似度最大者作为最终跟踪结果；
步骤9：更新TLD模块中级联检测器的样本集。
步骤9.1：计算跟踪结果与TLD目标模型的相似度，若相似度小于μ或者方差小于方差阈值，则认为TLD跟踪结果可信度低，不更新检测器和跟踪器的样本集，转至步骤10；
步骤9.2：若步骤9.1所述相似度大于或等于μ并且方差大于或等于方差阈值，则认为TLD跟踪结果可信度高，更新级联检测器正负样本集，把结果放到正样本集中；计算每个图像片与目标结果的重叠度，当重叠度大于或等于重叠度阈值，认为该图像片与目标结果重叠度高，选取重叠度高的为正样本，当重叠度小于重叠度阈值时，认为该图像片与目标结果重叠度低，选取低的为负样本，更新蕨分类器和最近邻分类器的样本集，将正负样本放入样本集中，本实施例取重叠度阈值为0.5；
步骤10：在结果输出模块输出结果，转至步骤4。
实验结果：
由图5可以看出，本发明所述基于CSK与TLD融合算法的目标跟踪方法能有效提高跟踪精度。图5为本发明所述算法与CSK算法检测效果对比图，其中a图为采用传统CSK方法跟踪效果，b图为采用本发明所述方法跟踪效果。本发明以行人检测作为仿真实例，图中所示为第16帧跟踪结果，传统CSK算法的跟踪结果产生较大偏移，而本发明所述方法能够重新检测到目标，从而跟踪成功。
Claims (2)
1.一种基于CSK与TLD融合算法的目标跟踪方法，采用一种基于CSK与TLD融合算法的目标跟踪系统实现，所述目标跟踪系统包括：初始化模块、CSK跟踪模块、判断模块、TLD模块、整合模块、结果输出模块；
初始化模块与CSK跟踪模块相连接，CSK跟踪模块与判断模块相连接，判断模块与TLD模块相连接，TLD模块与整合模块相连接，整合模块与结果输出模块相连接；
其中，TLD模块包含光流法跟踪器、级联检测器；
光流法跟踪器与级联检测器并行连接，并将各自计算的结果输入到整合模块中；
光流法跟踪器作用是跟踪得到目标位置，输入是图像帧，输出是目标的位置信息；
级联检测器由方差检测器，随机蕨检测器和最近邻检测器级联而成，即方差检测器与随机蕨检测器相连接，随机蕨检测器与最近邻检测器相连接；
方差检测器的作用为判断当前图像片为背景还是目标，输入为图像片，输出目标图像；
随机蕨检测器是用随机蕨检测方法判断当前帧是否有目标，随机蕨检测器的输入为方差检测器的输出，输出为通过蕨分类器的图像片；
最近邻分类器是用最近邻方法判断当前帧是否有目标，输入为蕨分类器的输出，输出为通过最近邻分类器的目标图像片，即为级联检测器的结果；
初始化模块，读入第一帧图像，转化为灰度图，并初始化跟踪系统的参数，输出为灰度图像和初始跟踪参数，初始跟踪参数包括初始TLD跟踪参数和初始CSK跟踪参数；
CSK跟踪模块，采用CSK算法进行目标跟踪，输入为图像帧及跟踪参数，输出为CSK算法跟踪到的目标位置及结果可信度；
判断模块，判断是否启用TLD模块，输入为CSK跟踪模块的结果可信度，输出为TLD模块的开启或关闭状态；
TLD模块，采用TLD算法进行目标跟踪，输入为图像帧及TLD跟踪参数，输出为TLD模块跟踪到的目标位置及结果可信度；
整合模块，将CSK跟踪模块和TLD模块的输出结果进行整合，选取可信度最大的结果为最终跟踪结果，输入为CSK跟踪模块和TLD模块的输出结果，输出为跟踪系统的跟踪结果；
结果输出模块，显示跟踪结果，输入为图像帧和跟踪结果，输出为每一帧的图像框；
其特征在于，所述目标跟踪方法包含如下步骤：
步骤1：初始化模块读入第一帧图像并将其转化为灰度图，同时读取初始化文件，获得目标的初始位置x1，x2和大小w，h，其中，w、h分别为目标框的宽、高，并输出初始跟踪参数，包括初始TLD跟踪参数和初始CSK跟踪参数；
步骤2：在初始化模块中读入灰度图及目标的初始位置x1，x2和大小w，h，将目标进行分块，把灰度图中的初始位置与大小和分块后的目标块的位置和大小读入CSK跟踪模块，分别构造二维高斯函数和汉明窗，并计算出CSK跟踪器的参数α，具体步骤如下：
步骤2.1：连接原目标框的各边中点，将目标分为4块，分别记作目标块1、目标块2，目标块3，目标块4，其中左上角为目标块1；
步骤2.2：根据原目标和目标块的大小和位置，分别构造二维高斯函数作为响应函数，使目标中心位置响应最大，当(x1′，x2′)＝(rs,cs)时，目标响应最大，是中心位置，所构造高斯输出响应函数的公式如下：
y＝exp(-0.5/(output_sigma2)*((x1'-rs)2+(x2'-cs)2)) (1)
其中，x1′，x2′分别为输入位置的横纵坐标，rs,cs分别为目标中心位置的横纵坐标，y为输出的响应，out_sigma为CSK参数，取值
步骤2.3：根据原目标大小构造的汉明窗和原目标做卷积，根据目标块1大小构造的汉明窗和目标块1做卷积，得到处理后的目标图像；
步骤2.4：根据处理后的目标图像，分别构造二维高斯核函数，所构造高斯核函数的公式如下：
其中kgauss为高斯核函数的值，x为步骤2.3中得到的处理后图像片，||x||2为x的2-范数，F(x)为x的傅里叶变换，F*(x)为F(x)的共轭矩阵，F-1()为傅里叶逆变换，
为点积运算，σ为高斯核函数参数；
步骤2.5：更新CSK跟踪器的参数α，使用更新后的参数α用公式(5)计算下一帧输出响应y，更新公式如下：
其中，y为当前帧输出响应，F(y)为y的傅里叶变换，kgauss为高斯核函数的值，F(kgauss)为kgauss的傅里叶变换，λ为特征参数；
步骤3：将灰度图像和初始TLD跟踪参数读入TLD跟踪模块；
对目标尺度进行缩放变换，从左上到右下以步距m遍历整幅图片，获得不同尺寸不同位置的图像片，生成特征点对，每组特征点对包含横坐标或纵坐标相同的两个点，计算每个图像片与跟踪目标的重叠度，选取正负样本，训练TLD跟踪模块的检测器，将正负样本添加到对应正负样本集；
步骤3.1：对目标尺度进行缩放变换，从左上到右下以步距m遍历整幅图片，获得不同尺寸不同位置的图像片；
步骤3.2：生成特征点对，每组特征点对包含横坐标或纵坐标相同的两个点；
步骤3.3：计算每个图像片与初始化时读入的跟踪目标的重叠度，选取重叠度高的为正样本，低的为负样本；
步骤3.4：计算正样本图片方差var，取var/2为方差检测器阈值，输出目标图像片；
步骤3.5：将目标图像片顺序输入随机蕨分类器和最近邻分类器，用以训练随机蕨分类器和最近邻分类器：将正负样本添加到对应正负样本集；
步骤4：在初始化模块中读取下一帧图像并进行灰度化，采用CSK跟踪器方法分别对原目标和步骤2分块后的目标块进行跟踪，并根据分块后部分目标与原目标的跟踪结果更新目标框大小；
步骤4.1：根据原目标和目标块1的大小，分别构造二维高斯核函数，所构造高斯核函数的公式如下：
其中，x为按步骤2.3中处理后的图像，z为当前帧图像片，||z||2为z的2-范数，F*(z)为F(z)的共轭矩阵；
步骤4.2：按如下公式更新响应y，即更新CSK跟踪结果可信度：
其中，F(α)为α的傅里叶变换；
步骤4.3：分别根据公式(4)与公式(3)更新kgauss和α；
步骤4.4：分别计算原目标与目标块1CSK跟踪结果可信度，公式如下：
max(y) (6)
其中，max(y)代表目标输出响应y的最大值；
得到原目标CSK跟踪最大响应，即原目标CSK跟踪结果可信度ymax，和目标块1CSK跟踪最大响应，即目标块1结果可信度cf1；
步骤4.4：判断是否更新目标框尺度：若目标块1的CSK跟踪结果可信度cf1大于阈值θ，并且其中心位置仍位于目标中心的左上方，则根据跟踪到的原目标和目标块1的位置，更新目标框尺度，所述更新公式如下：
(w,h)＝[(x0′,y0′)-(x0,y0)]×4 (7)
其中，w、h分别为目标框的宽、高，(x0′,y0′)为整幅目标的中心位置，(x0,y0)为跟踪目标块1得到的中心位置；
若目标块1的跟踪可信度小于或等于阈值θ，或者其中心位置不在目标中心的左上方，则直接转至步骤5；
步骤5：如果原目标CSK跟踪最大响应ymax大于阈值δ，则目标跟踪成功，转至步骤10；否则，如果原目标CSK跟踪最大响应ymax小于或等于阈值δ，则保留最大响应，同时启用TLD模块，转至步骤6；
步骤6：在光流法跟踪器中采用光流法跟踪目标位置，计算原目标的跟踪结果图像片与步骤1中的初始目标图像片的相似度，相似度公式为公式(8)；
步骤7：将初始模块中的灰度图像按照步骤3所示方法获取图像片，将图像片依次输入方差分类器、随机蕨分类器和最近邻分类器中，获取通过以上三个分类器的图像片的目标位置，输出级联检测器的结果；
步骤7.1：根据步骤3.4计算的方差分类器阈值判断当前图像片是否含有跟踪目标，计算图片灰度值方差，小于var/2的是背景，将所有方差小于阈值的图像片标记为负样本，选取方差大于或等于阈值的图像片标记为正样本；
步骤7.2：将方差大于或等于阈值的图像片输入蕨分类器中，并计算其为正样本的可信度：通过每对特征值点的像素值对比获取0-1二值特征序列，计算每个序列出现的次数np,np占总特征序列个数的比重即为其可信度，选取可信度最大的前p个样本通过蕨分类器；
步骤7.3：将通过蕨分类器的图像片输入最近邻分类器中，计算样本的相对相似度,取相似度大于η的样本为检测器检测到的目标位置；
步骤8：在整合模块中选取光流法追踪器追踪结果、级联检测器检测结果和CSK跟踪结果相似度最大者作为最终跟踪结果；
步骤9：更新TLD模块中级联检测器的样本集；
步骤9.1：计算跟踪结果与TLD目标模型的相似度，若相似度小于μ或者方差小于方差阈值，则认为TLD跟踪结果可信度低，不更新检测器和跟踪器的样本集，转至步骤10；
步骤9.2：若步骤9.1所述相似度大于或等于μ并且方差大于或等于方差阈值，则认为TLD跟踪结果可信度高，更新级联检测器正负样本集，把结果放到正样本集中；计算每个图像片与目标结果的重叠度，当重叠度大于或等于重叠度阈值，认为该图像片与目标结果重叠度高，选取重叠度高的为正样本，当重叠度小于重叠度阈值时，认为该图像片与目标结果重叠度低，选取低的为负样本，更新蕨分类器和最近邻分类器的样本集，将正负样本放入样本集中；
步骤10：在结果输出模块输出结果，转至步骤4。
2.根据权利要求1所述一种基于CSK与TLD融合算法的目标跟踪方法，其特征在于，所述相似度公式如下：
conf＝distance(nx,pex)/(distance(nx,pex)+distance(nx,nex)) (8)
其中，distance()为相似度度量函数，nx为最近邻分类器输入图像片，pex为正样本库的图像片，nex为负样本库的图像片，其中，相似度度量函数为：
其中，
其中，f1,f2为相似度度量矩阵，f1(i,j)代表矩阵f1的第i行第j列的元素，f2(k,l)代表矩阵f2的第k行第l列的元素，M1、N1分别为f1的行、列数，M2、N2分别为f2的行、列数，当相似度度量函数为distance(nx，pex)时，f1＝nx,f2＝pex，当相似度度量函数为distance(nx，nex)，f1＝nx,f2＝nex。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811213918.9A CN109191488B (zh) | 2018-10-18 | 2018-10-18 | 一种基于csk与tld融合算法的目标跟踪系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811213918.9A CN109191488B (zh) | 2018-10-18 | 2018-10-18 | 一种基于csk与tld融合算法的目标跟踪系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109191488A CN109191488A (zh) | 2019-01-11 |
| CN109191488B true CN109191488B (zh) | 2021-11-05 |
Family
ID=64945788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811213918.9A Expired - Fee Related CN109191488B (zh) | 2018-10-18 | 2018-10-18 | 一种基于csk与tld融合算法的目标跟踪系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109191488B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109887004A (zh) * | 2019-02-26 | 2019-06-14 | 华南理工大学 | 一种基于tld算法的无人船海域目标跟踪方法 |
| CN109978801B (zh) * | 2019-03-25 | 2021-11-16 | 联想(北京)有限公司 | 一种图像处理方法及图像处理装置 |
| CN110046659B (zh) * | 2019-04-02 | 2023-04-07 | 河北科技大学 | 一种基于tld的长时间单目标跟踪方法 |
| CN110222585B (zh) * | 2019-05-15 | 2021-07-27 | 华中科技大学 | 一种基于级联检测器的运动目标跟踪方法 |
| CN113570637B (zh) * | 2021-08-10 | 2023-09-19 | 中山大学 | 一种多目标跟踪方法、装置、设备和存储介质 |
| CN115423844B (zh) * | 2022-09-01 | 2023-04-11 | 北京理工大学 | 一种基于多模块联合的目标跟踪方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9582816B2 (en) * | 2014-02-23 | 2017-02-28 | Tata Communications (America) Inc. | System and methods for enabling sponsored data access across multiple carriers |
| CN106204638B (zh) * | 2016-06-29 | 2019-04-19 | 西安电子科技大学 | 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法 |
| CN107423702B (zh) * | 2017-07-20 | 2020-06-23 | 西安电子科技大学 | 基于tld跟踪系统的视频目标跟踪方法 |
-
2018
- 2018-10-18 CN CN201811213918.9A patent/CN109191488B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN109191488A (zh) | 2019-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109191488B (zh) | 一种基于csk与tld融合算法的目标跟踪系统及方法 | |
| Wang et al. | Automatic laser profile recognition and fast tracking for structured light measurement using deep learning and template matching | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| Chen et al. | A cascaded convolutional neural network for age estimation of unconstrained faces | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN107423702B (zh) | 基于tld跟踪系统的视频目标跟踪方法 | |
| CN112668483B (zh) | 一种融合行人重识别和人脸检测的单目标人物跟踪方法 | |
| CN103886325B (zh) | 一种分块的循环矩阵视频跟踪方法 | |
| CN108564598B (zh) | 一种改进的在线Boosting目标跟踪方法 | |
| Yang et al. | Visual tracking with long-short term based correlation filter | |
| CN107832716B (zh) | 基于主动被动高斯在线学习的异常检测方法 | |
| CN105005798B (zh) | 一种基于局部相似结构统计匹配的目标识别方法 | |
| CN114220061B (zh) | 一种基于深度学习的多目标跟踪方法 | |
| CN107967692A (zh) | 一种基于跟踪学习检测的目标跟踪优化方法 | |
| Fang et al. | Partial attack supervision and regional weighted inference for masked face presentation attack detection | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN114565594A (zh) | 基于软掩膜对比损失的图像异常检测方法 | |
| CN104036528A (zh) | 一种基于全局搜索的实时分布场目标跟踪方法 | |
| CN113255608A (zh) | 一种基于cnn分类的多摄像头人脸识别定位方法 | |
| Zheng et al. | Attention assessment based on multi‐view classroom behaviour recognition | |
| CN114038011A (zh) | 一种室内场景下人体异常行为的检测方法 | |
| CN117392419A (zh) | 一种基于深度学习的药品图片相似度比对方法 | |
| CN110738123B (zh) | 识别密集陈列商品的方法及其装置 | |
| CN113470074B (zh) | 一种基于分块判别的自适应时空正则化目标跟踪方法 | |
| CN110503061B (zh) | 一种融合多特征的多因素视频遮挡区域检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211105 |