CN112132855B - 基于前景分割引导的自适应高斯函数的目标跟踪方法 - Google Patents
基于前景分割引导的自适应高斯函数的目标跟踪方法 Download PDFInfo
- Publication number
- CN112132855B CN112132855B CN202011000714.4A CN202011000714A CN112132855B CN 112132855 B CN112132855 B CN 112132855B CN 202011000714 A CN202011000714 A CN 202011000714A CN 112132855 B CN112132855 B CN 112132855B
- Authority
- CN
- China
- Prior art keywords
- frame
- target
- foreground
- tracking
- gaussian function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
基于前景分割引导的自适应高斯函数的目标跟踪方法,属于目标跟踪技术领域。本发明首先读取初始帧图像的跟踪目标框;然后,利用GrabCut算法提取前后景信息,计算前后景面积比例S;再根据前后景面积比例S设置高斯函数的标准差参数,标准差参数主要用来控制正负训练样本的比例;对候选样本进行特征提取,获得图像特征;将图像特征与滤波器进行卷积操作得到响应图,选出响应图中极大值的对应位置即为被跟踪目标的中心位置;每隔N帧更新一次模型;最后,循环跟踪每一帧的目标,直到最后一帧。本发明利用跟踪目标框的前后景比例动态调整高斯函数标准差,从而使正负训练样本比例符合被跟踪目标的场景,算法具有较高的准确性和鲁棒性。
Description
技术领域
本发明属于目标跟踪技术领域,具体涉及一种基于前景分割引导的自适应高斯函数的目标跟踪方法。
背景技术
目前,基于相关滤波的跟踪方法在跟踪领域具有较高的性能,受到国内外学者关注与研究。Bolme等人提出了MOSSE(Minimum Output Sum ofSquared Error filter)滤波跟踪算法,训练样本来自目标扩展区域,以最小化平方和误差为目标函数,根据输出响应的极大值确定目标在新一帧中的位置。近年来,Martin Danelljan提出了ECO(EfficientConvolution Operators for Tracking)跟踪算法,利用卷积操作进行因式分解降低相关滤波器跟踪算法的模型参数,同时利用数据增广增强了训练样本;采用手工特征(hand-craft)的ECO算法简称ECO-hc(ECO hand-craft,ECO-hc)。Dai等人提出ASRCF(AdaptiveSpatially-Regularized Correlation Filters)跟踪算法,采用自适应空间正则化的约束条件训练相关滤波器,从而得到稳定的跟踪性能。
当前上述前沿跟踪算法的训练样本均来自被跟踪目标的扩展区域,其中正负训练样本的比例是利用高斯函数的标准差σ控制,标准差越大正样本越多。然而,现有前沿算法的标准差σ往往设置为一个经验值,不能根据被跟踪目标的先验信息自适应的调节正负样本比例。
本发明提出计算跟踪目标框的前后景比例,根据前后景比例的先验知识调整高斯函数标准差σ,从而自适应地调节正负样本比例,使得滤波器模板得到较高的跟踪鲁棒性。本发明提供的方法相较于以往技术优点在于,可根据目标前景分割算法结果自适应调整高斯函数,使正负训练样本比例符合被跟踪目标的场景,算法具有较高的准确性和鲁棒性。
发明内容
本发明针对现有的算法无法自适应调整正负样本比例和鲁棒性差等问题,提供一种基于前景分割引导的自适应高斯函数的目标跟踪方法,利用有效的训练样本克服模型漂移,从而提高模型的鲁棒性。本发明的技术方案如下:
本发明所涉及的基于前景分割引导的自适应高斯函数的目标跟踪方法,它包括以下步骤:
步骤1:读取视频第一帧图像作为初始帧,并提取目标跟踪框;
步骤2:提取初始帧跟踪框内的目标前景,采用GrabCut算法对其进行分割,得到第一帧图像的目标前景和背景信息;
步骤3:在初始帧的跟踪框内,计算目标前后景面积比例S;
步骤4:根据前后景面积比例S自适应设置高斯函数的标准差σ参数,初始化高斯函数;标准差σ参数主要用来控制正负训练样本的比例,中心部分是正样本,边缘部分接近0的部分是负样本,标准差σ越大正样本越多;
步骤5:计算初始帧目标的特征,利用相关滤波器算法计算初始帧的滤波器模板;
步骤6:针对第t帧的候选区域进行特征提取,将目标特征与滤波器模板进行卷积操作,计算响应图,选出响应图中极大值的位置作为被跟踪目标的中心位置;
步骤7:每隔N帧更新一次滤波器跟踪模板;
步骤8:判断当前帧是否为图像序列的最后一帧,如果是,结束算法,如果否,返回步骤6,直至循环到最后一帧图像;
步骤9:完成目标跟踪。
进一步地:所述步骤2的具体步骤如下:
步骤2.1:以第一帧的跟踪目标框作为初始化区域,区域外的像素则不纳入计算范围内,利用GrabCut算法针对初始化区域计算目标的前景和后景。
进一步地:所述步骤3的具体步骤如下:
步骤3.1:将步骤2的目标前景和后景区域进行二值化,目标前景的颜色值设为1,后景颜色值设置为0;
步骤3.2:由二值图像性质,可将步骤3.1中填充后的图像转化为一个由0和1组成的二维矩阵,通过下列公式统计前后景面积:
其中M为二值矩阵的行数,N为二值矩阵的列数,xij为第i行第j列数值为1的纯白像素,S为前后景像素的比例。
进一步地:所述步骤4的具体步骤如下:
步骤4.1:将目标跟踪框内的目标前后景比S与阈值T1,T2进行比较,并自适应设置标准差σ的值,公式如下
式(2)表明将根据目标前后景比S自适应地调整高斯函数标准差σ;若S≤T1,说明在跟踪框内前景的面积所占比重较小,应该将σ设为一个较小的值σ0,降低正样本比例使其符合目标跟踪框的先验知识;若T1<S<T2,说明在目标跟踪框内前后景比例属于合理范围,则σ设为常值σ1;S≥T2,说明在目标跟踪框内前景的面积所占比重较大,应该将σ值调大,增加正样本比例使其符合目标跟踪框的先验知识;
步骤4.2:设被跟踪目标框的长为M个像素,高为N个像素,即目标框的大小为(M,N),高斯函数设为
其中σ为设定的自适应标准差。
进一步地:所述步骤5的具体步骤如下:
步骤5.1:针对后第1帧的候选区域进行特征提取;
步骤5.2:计算初始帧的第j个特征通道Fj的相关滤波器模板Aj,公式如下
进一步地:所述步骤6的具体步骤如下:
步骤6.1:针对后第t帧的候选区域进行特征提取;
⊙为矩阵Hadamard积,并以此确定目标矩形框,响应图Y的最大值对应的坐标位置即为当前帧被跟踪目标的中心位置。
进一步地:所述步骤7的具体步骤如下:
其中η为学习率,0<η<1。
本发明的有益效果是:
本发明公开提出根据跟踪目标初始帧跟踪框目标前后景面积比,调整高斯函数中的正负样本权重分配,以提高相关滤波模板(训练样本集)与目标特征进行Hadamard积后的响应输出,使最大值落在正确的正样本区域内,达到提高算法鲁棒性的效果,该方法普遍适用于相关滤波方法的目标跟踪领域。本发明利用训练样本比例提高模型的鲁棒性,并且可以在不修改算法框架的情况下,将本发明方法嵌入到相关滤波跟踪方法中,提升目标跟踪算法的准确性。
附图说明
图1是本发明基于目标前景分割引导的自适应高斯函数的目标跟踪方法流程图。
图2是ECO算法针对Box第314帧的跟踪结果。
图3是本发明方法针对Box第314帧的跟踪结果。
图4是ECO算法针对Box第780帧的跟踪结果。
图5是本发明方法针对Box第780帧的跟踪结果。
图6是ECO算法针对Box第1161帧的跟踪结果。
图7是本发明方法针对Box第1161帧的跟踪结果。
图8是ECO算法针对KiteSurf第30帧的跟踪结果。
图9是本发明方法针对KiteSurf第30帧的跟踪结果。
图10是ECO算法针对KiteSurf第56帧的跟踪结果。
图11是本发明方法针对KiteSurf第56帧的跟踪结果。
图12是ECO算法针对KiteSurf第84帧的跟踪结果。
图13是本发明方法针对KiteSurf第84帧的跟踪结果。
具体实施方式
下面结合实施例对本发明的技术方案做进一步的说明,但并不局限于此,凡是对本发明技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,均应涵盖在本发明的保护范围中。
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。结合图1说明本实施例,本发明提供的示例以ECO-hc跟踪算法为基准滤波器,具体实施方式如下。
(1)读取初始帧的跟踪框的目标图像;
(2)利用GrabCut算法对初始帧的目标跟踪框进行前景分割,区域外的像素则不纳入计算范围内,对区域内的全部像素进行迭代最小化,得到第一帧目标图像的目标前景和背景信息;
(3)在初始帧的跟踪框内,将目标前景和后景区域进行二值化,目标前景的颜色值设为1,后景颜色值设置为0,计算目标前景和后景比例S,公式如下
其中M为二值矩阵的行数,N为二值矩阵的列数,xij为第i行第j列数值为1的纯白像素,S为前后景像素的比例。
(4)将目标跟踪框内的目标前后景比S与阈值T1,T2进行比较,并自适应设置标准差σ的值,公式如下
公式(2)表明将根据目标前后景比S自适应地调整高斯函数标准差σ,本发明具体实施例中参数设置为T1=0.84,T2=3.07,σ0=1/16,σ1=1/12,σ2=1/8;
设被跟踪目标框的长为M个像素,高为N个像素,即目标框的大小为(M,N),高斯函数设为
其中σ为式(2)的自适应标准差。
(5)针对初始帧的候选区域进行特征提取,提取HOG(Histogram OfOrientedGradient)特征、CN(ColorNames)颜色特征和亮度(Intensity)特征,共三个特征通道;计算初始帧的第j个特征通道Fj的相关滤波器模板Aj,根据ECO算法得到公式
⊙为矩阵Hadamard(元素)积,并以此确定目标矩形框,响应图Y的最大值对应的坐标位置即为当前帧被跟踪目标的中心位置。
其中η为学习率,0<η<1。
表1本方法与ECO-hc算法的重叠率(%)
数据集 | 本发明方法 | ECO-hc |
Bolt | 95.7 | 90.3 |
Box | 100.0 | 39.7 |
Couple | 95.7 | 89.3 |
Dog | 56.7 | 36.2 |
DragonBaby | 90.3 | 42.5 |
KiteSurf | 98.8 | 45.2 |
Skating1 | 91.8 | 47.5 |
Trellis | 99.8 | 97.2 |
重叠率均值 | 91.1 | 61.0 |
表1为本方法与ECO-hc算法在目标跟踪数据集的结果,其中选取了Bolt、Box、Couple、Dog、DragonBaby、KiteSurf、Skating1和Trellis共8个目标跟踪视频,可见本方法明显优于ECO-hc算法。
图2、图4、图6是ECO算法针对Box跟踪结果,白色矩形框为跟踪框,在314帧时可跟踪到目标,但780帧和1161帧发生漂移;图3,图5,图7是本方法针对Box跟踪结果,能够准确地跟踪到目标;图8、图10、图12是ECO算法针对KiteSurf的跟踪结果,在30帧时可跟踪到目标,但56帧和84帧跟踪框发生漂移;图9、图11、图13是本方法针对KiteSurf跟踪结果,能够准确地跟踪到目标,因此本方法具有显著的跟踪性能。
Claims (6)
1.基于前景分割引导的自适应高斯函数的目标跟踪方法,其特征在于,它包括以下步骤:
步骤1:读取视频第一帧图像作为初始帧,并提取图像上的目标跟踪框;
步骤2:提取所述初始帧的跟踪框内的目标前景,采用GrabCut算法对其进行分割,得到第一帧图像的目标前景和背景信息;
步骤3:在初始帧的跟踪框内,计算目标前后景面积比例S;
步骤4:根据前后景面积比例S自适应设置高斯函数的标准差σ参数,初始化高斯函数;标准差σ参数主要用来控制正负训练样本的比例,中心部分是正样本,边缘部分接近0的部分是负样本,标准差σ越大正样本越多;
步骤5:计算初始帧目标的特征,利用相关滤波器算法计算初始帧的滤波器模板;
步骤6:针对第t帧的候选区域进行特征提取,将目标特征与滤波器模板进行卷积操作,计算响应图,选出响应图中极大值的位置作为被跟踪目标的中心位置;
步骤7:每隔N帧更新一次滤波器跟踪模板;
步骤8:判断当前帧是否为图像序列的最后一帧,如果是,结束算法,如果否,返回步骤6,直至循环到最后一帧图像;
步骤9:完成目标跟踪;
所述步骤4的具体步骤如下:
步骤4.1:将目标跟踪框内的前后景面积比例S与阈值T1,T2进行比较,并自适应设置标准差σ的值,公式如下:
式(2)表明将根据前后景面积比例S自适应地调整高斯函数标准差σ;若S≤T1,说明在跟踪框内前景的面积所占比重较小,应该将σ设为一个较小的值σ0,降低正样本比例使其符合目标跟踪框的先验知识;若T1<S<T2,说明在目标跟踪框内前后景比例属于合理范围,则σ设为常值σ1;S≥T2,说明在目标跟踪框内前景的面积所占比重较大,应该将σ值调大,增加正样本比例使其符合目标跟踪框的先验知识;
步骤4.2:设被跟踪目标框的长为M个像素,高为N个像素,即目标框的大小为(M,N),高斯函数设为
其中σ为设定的自适应标准差。
2.根据权利要求1所述的基于前景分割引导的自适应高斯函数的目标跟踪方法,其特征在于,所述步骤2的具体步骤如下:
步骤2.1:以第一帧的跟踪目标框作为初始化区域,区域外的像素则不纳入计算范围内,利用GrabCut算法针对初始化区域计算目标的前景和后景。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011000714.4A CN112132855B (zh) | 2020-09-22 | 2020-09-22 | 基于前景分割引导的自适应高斯函数的目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011000714.4A CN112132855B (zh) | 2020-09-22 | 2020-09-22 | 基于前景分割引导的自适应高斯函数的目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112132855A CN112132855A (zh) | 2020-12-25 |
CN112132855B true CN112132855B (zh) | 2022-05-20 |
Family
ID=73842180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011000714.4A Active CN112132855B (zh) | 2020-09-22 | 2020-09-22 | 基于前景分割引导的自适应高斯函数的目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112132855B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052872B (zh) * | 2021-03-12 | 2022-06-10 | 浙江大学 | 一种基于声呐图像的水下运动目标跟踪方法 |
CN112991395B (zh) * | 2021-04-28 | 2022-04-15 | 山东工商学院 | 一种基于前景条件概率优化尺度和角度的视觉跟踪方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5947413A (en) * | 1996-11-12 | 1999-09-07 | Raytheon Company | Correlation filters for target reacquisition in trackers |
CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
CN110135500A (zh) * | 2019-05-17 | 2019-08-16 | 南京大学 | 一种基于自适应深度特征滤波器的多场景下目标跟踪方法 |
CN110929560A (zh) * | 2019-10-11 | 2020-03-27 | 杭州电子科技大学 | 融合目标检测与跟踪的视频半自动目标标注方法 |
CN111402303A (zh) * | 2020-02-17 | 2020-07-10 | 绍兴文理学院 | 一种基于kfstrcf的目标跟踪架构 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108776975B (zh) * | 2018-05-29 | 2021-11-05 | 安徽大学 | 一种基于半监督特征和滤波器联合学习的视觉跟踪方法 |
-
2020
- 2020-09-22 CN CN202011000714.4A patent/CN112132855B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5947413A (en) * | 1996-11-12 | 1999-09-07 | Raytheon Company | Correlation filters for target reacquisition in trackers |
CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
CN110135500A (zh) * | 2019-05-17 | 2019-08-16 | 南京大学 | 一种基于自适应深度特征滤波器的多场景下目标跟踪方法 |
CN110929560A (zh) * | 2019-10-11 | 2020-03-27 | 杭州电子科技大学 | 融合目标检测与跟踪的视频半自动目标标注方法 |
CN111402303A (zh) * | 2020-02-17 | 2020-07-10 | 绍兴文理学院 | 一种基于kfstrcf的目标跟踪架构 |
Non-Patent Citations (3)
Title |
---|
ECO: Efficient Convolution Operators for Tracking;Martin Danelljan et.al;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;20171231;第6931-6939页 * |
Unveiling the Power of Deep Tracking;Goutam Bhat et.al;《arXiv:1804.06833v1 [cs.CV]》;20180418;第1-22页 * |
特征融合和自适应权重更新相结合的运动模糊目标跟踪;王广龙 等;《光学精密工程》;20190531;第27卷(第5期);第1158-1166页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112132855A (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106875406B (zh) | 图像引导的视频语义对象分割方法及装置 | |
CN106981068B (zh) | 一种联合像素与超像素的交互式图像分割方法 | |
CN110111338B (zh) | 一种基于超像素时空显著性分割的视觉跟踪方法 | |
CN109410247A (zh) | 一种多模板和自适应特征选择的视频跟踪算法 | |
CN112132855B (zh) | 基于前景分割引导的自适应高斯函数的目标跟踪方法 | |
CN106338733B (zh) | 基于蛙眼视觉特性的前视声呐目标跟踪方法 | |
CN105825502B (zh) | 一种基于显著性指导的词典学习的弱监督图像解析方法 | |
CN103164855B (zh) | 一种结合反射光照的贝叶斯决策前景提取方法 | |
CN105740945A (zh) | 一种基于视频分析的人群计数方法 | |
CN107742306B (zh) | 一种智能视觉中运动目标跟踪算法 | |
CN113705579B (zh) | 一种视觉显著性驱动的图像自动标注方法 | |
CN103886619A (zh) | 一种融合多尺度超像素的目标跟踪方法 | |
CN108765463B (zh) | 一种结合区域提取与改进纹理特征的运动目标检测方法 | |
CN112200746A (zh) | 一种雾天交通场景图像的去雾方法和设备 | |
CN112613565A (zh) | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 | |
CN116071339A (zh) | 一种基于改进鲸鱼算法优化svm的产品缺陷识别方法 | |
CN109448024B (zh) | 利用深度数据构建约束相关滤波器的视觉跟踪方法、系统 | |
CN109635809B (zh) | 一种面向视觉退化图像的超像素分割方法 | |
CN104952071A (zh) | 一种基于灰度空间相关的最大类间方差图像分割算法 | |
CN118298171A (zh) | 一种电网基站部件缺陷识别的图像分割技术优化方法 | |
CN104331700B (zh) | 基于轨迹能量扩散图的组行为识别方法 | |
CN111626107B (zh) | 一种面向智能家居场景下的人形轮廓分析提取方法 | |
CN109102520A (zh) | 基于模糊均值聚类与卡尔曼滤波跟踪相结合的运动目标检测方法 | |
CN113627481A (zh) | 一种面向智慧园林的多模型组合的无人机垃圾分类方法 | |
CN110570450B (zh) | 一种基于级联的上下文感知框架的目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |