CN104574444A - 一种基于目标分解的Camshift跟踪方法 - Google Patents
一种基于目标分解的Camshift跟踪方法 Download PDFInfo
- Publication number
- CN104574444A CN104574444A CN201510024097.4A CN201510024097A CN104574444A CN 104574444 A CN104574444 A CN 104574444A CN 201510024097 A CN201510024097 A CN 201510024097A CN 104574444 A CN104574444 A CN 104574444A
- Authority
- CN
- China
- Prior art keywords
- sub
- goal
- prime
- target
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明属于图像处理与目标跟踪领域,具体为一种基于目标分解的Camshift跟踪方法,针对大目标跟踪问题提出一种改进的Camshift跟踪策略,将被跟踪的目标分解为多个子目标,对每个子目标分别进行目标跟踪,利用子目标之间位置信息的相对不变性判断各子目标跟踪结果的正确性,对于错误定位的子目标进行校正,根据校正后的子目标集判断被跟踪目标的准确位置。本发明对遮挡等情况的发生具有良好的适应性。本发明适用于运动目标跟踪系统中。
Description
技术领域
本发明属于图像处理与目标跟踪领域,涉及一种改进的Camshift跟踪方法,特别涉及一种基于目标分解的Camshift跟踪方法。
背景技术
图像目标跟踪技术在国防、军事、工业生产以及监控系统等领域有着重要的应用价值,一直是计算机视觉领域的热点研究问题。目标跟踪的性能受多种因素的影响,目标的姿态、平移、旋转、缩放变化,光照的不均匀以及亮度变化都会对跟踪结果产生较大的干扰。
MeanShift方法以及在此基础上提出的Camshift方法由于具有快速匹配的特点得到研究者的格外关注。尤其CamShift方法能够自适应调整模板,对目标的各种姿态变化具有一定的适应性。当目标与背景对比度明显时,这类方法具有较为稳定的跟踪效果。但当背景复杂时,背景信息会对模板的自适应调整产生干扰,从而破坏模型的准确性,容易造成目标定位不准确,甚至目标丢失。
因此,设计一种具有较强抗干扰能力的改进Camshift跟踪方法具有很好的应用价值。
发明内容
本发明所要解决的技术问题是,针对CamShift跟踪方法对目标遮挡、姿态变化适应能力差的缺点,设计一种具有较强适应性的改进跟踪方法。
本发明所采用的技术方案是:一种基于目标分解的Camshift跟踪方法,针对大目标跟踪问题提出一种改进的Camshift跟踪策略,将被跟踪的目标分解为多个子目标,对每个子目标分别进行目标跟踪,利用子目标之间位置信息的相对不变性判断各子目标跟踪结果的正确性,对于错误定位的子目标进行校正,根据校正后的子目标集判断被跟踪目标的准确位置。该方法在大多数子目标跟踪正确的情况下即可对被跟踪目标进行定位,其错误校正过程能够提高目标跟踪的可靠性,特别对遮挡等情况的发生具有良好的适应性。
本发明的目的在于在现有的CamShift方法的基础上设计了一种改进的CamShift跟踪方法,将目标分解为具有不同显著特征的多个子目标,构成目标子集,对每个子目标分别进行定位跟踪,并根据子目标之间蕴含的距离关系对定位结果进行正误分析和错误校正,提高跟踪方法的适应能力,提高了目标跟踪的稳定性,具有很好的实用性。
附图说明
图1是本发明方法跟踪效果图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
设被跟踪目标为A,在被跟踪目标区域内选取n个具有不同显著特征的区域,每个特征区域均确定为一个被跟踪的子目标,所有的子目标构成目标子集U,这样,被跟踪目标可由目标子集U来描述。
目标子集中的一个点代表一个子目标的中心。记目标子集中第i个目标的空间坐标为(xi,yi),则目标子集U可表示为:
Un=[(x1,y1),(x2,y2),…,(xn,yn)]T (1)
目标子集U中的目标i与目标j之间的距离定义为:
dij=sqrt[(xi-xj)2+(yi-yj)2] (2)
其中(xi,yi)和(xj,yj)分别为目标子集U中目标i和目标j的坐标。
由此可建立目标子集U的子目标距离关联矩阵Dn:
当被跟踪目标为刚体时,被跟踪目标在运动过程中,目标子集中的各子目标之间的相对距离是不变的,根据这一特性可对错误跟踪的子目标进行位置校正。
在HSV颜色空间内对每个子目标建立色调(hue)直方图模型,采用CamShift方法对目标子集中的各个子目标分别进行定位跟踪,具体步骤如下:
Step1.设子目标k区域内各个像素的位置为其中i=1,2,...,sk。目标k的中心位置为(xk,yk)。利用像素的色调特征构建子目标k的颜色特征直方图模型为:
其中,色调特征划分为n个等级,为颜色概率分布,函数表示像素量化后的特征值,Cqk为归一化系数。
δ为Kronecker函数,即:
K为无参高斯核函数,即:
其中,h为核函数的带宽。
Step2.根据所建子目标模型进行反向投影,建立起各子目标的搜索窗的概率投影图。设子目标k的搜索窗中像素点的色调特征值为u,则该像素点的色调概率投影图的像素值为:
其中为取整操作。概率分布图中取值越大的像素表明该像素为目标像素的可能性越大。
Step3.计算搜索窗k的零阶矩和一阶矩。
Step4.计算搜索窗k的质心
Step5.自适应调整搜索窗口的边长:
移动子目标k的搜索窗的中心到质心,如果移动距离大于预设的固定阈值,则重复Step2-Step5,直到搜索窗k的中心与质心间的移动距离小于预设的阈值。
Step6.判断子目标的正确性。
设子目标i在跟踪图像中确定的目标位置为(x′i,y′j),根据各个子目标跟踪结果,建立跟踪图像中目标子集U′n:
建立跟踪图像中子目标距离关联矩阵D′n:
根据被跟踪目标模板的子目标距离关联矩阵Dn和跟踪图像中子目标距离关联矩阵D′n的比较结果,判断各子目标跟踪结果是否正确。
根据Dn和D′n,求取个核心{cij,i=1,2,3,...,n-1;j=1,2,3,...,n;且i<j},其中:
cij=d′ij/dij (18)
以上述核心为中心,建立个核函数:
上述核函数的和为:
函数G最大值所在位置确定为核中心cg,并建立判断矩阵E:
其中,
其中,η为中心阈值,对于判断矩阵E,如果存在全零行,即eij=0,j=1,2,...,n,则可判断为第i个子目标定位错误。
Step7.错误定位子目标的校正。
如果存在错误定位的子目标,则利用正确定位的子目标对错误定位的子目标进行校正。设正确定位的子目标有m个,第j个子目标的中心坐标为(x′j,y′j),其中j=1,2,...,m。而第i个错误定位子目标中心校正位置为则二者之间的距离定义为:
定义目标函数J为:
将上述目标函数取最小值所对应的位置确定为子目标i的校正位置。
Step8.对未作校正的子目标进行方向角和尺寸大小的更新。
设子目标k的搜索窗的二阶矩定义为:
设:
更新跟踪目标区的长轴:
其中
更新跟踪目标区的短轴:
其中
更新目标k运动方向与水平方向夹角θk:
其中
经过校正的子目标不进行大小和方向的更新。
Step8.返回Step1继续进行下一帧图像中目标子集的定位与跟踪。
与传统CamShift方法相比,本发明所设计的改进方法在子目标跟踪结果正确性判断过程中,式(18-22)通过子目标相对距离的比值进行正确性判断分析,保证了目标发生缩放变化时判断结果的正确性和有效性,提高了方法的适应能力。
图1给出了一组对运动目标进行部分遮挡的定位跟踪实验。图像采集过程中手指对被跟踪目标有部分区域遮挡。目标模板选为汽车的后视图,整体目标可分解为2个车灯、车牌以及后车窗四个子目标。采用本发明方法,即使部分子目标被完全遮挡,但利用尚未遮挡子目标之间的相对距离关系仍然能够确定出被遮挡子目标的位置,从而确保被跟踪目标定位的准确性,当目标离开遮挡区后,全部子目标又可恢复正确的跟踪,整个跟踪过程中跟踪结果始终正确,并具有较高的定位精度。
本发明的优点在于,能够利用子目标之间的相对距离关系完成错误定位子目标的位置校正,提高了跟踪的稳定性。本发明适用于运动目标跟踪系统中。
Claims (3)
1.一种基于目标分解的Camshift跟踪方法,其特征在于,将被跟踪的目标分解为多个子目标,对每个子目标分别进行目标跟踪,利用子目标之间位置信息的相对不变性判断各子目标跟踪结果的正确性,对于错误定位的子目标进行校正,根据校正后的子目标集判断被跟踪目标的准确位置。
2.根据权利要求1所述的一种基于目标分解的Camshift跟踪方法,其特征在于,设被跟踪目标为A,在被跟踪目标区域内选取n个具有不同显著特征的区域,每个特征区域均确定为一个被跟踪的子目标,所有的子目标构成目标子集U,这样,被跟踪目标可由目标子集U来描述,目标子集中的一个点代表一个子目标的中心,记目标子集中第i个目标的空间坐标为(xi,yi),则目标子集U可表示为:
Un=[(x1,y1),(x2,y2),…,(xn,yn)]T (1)
目标子集U中的目标i与目标j之间的距离定义为:
dij=sqrt[(xi-xj)2+(yi-yj)2] (2)
其中(xi,yi)和(xj,yj)分别为目标子集U中目标i和目标j的坐标;
由此可建立目标子集U的子目标距离关联矩阵Dn:
3.根据权利要求1所述的一种基于目标分解的Camshift跟踪方法,其特征在于,在HSV颜色空间内对每个子目标建立色调(hue)直方图模型,采用CamShift方法对目标子集中的各个子目标分别进行定位跟踪,具体步骤如下:
Step1.设子目标k区域内各个像素的位置为其中i=1,2,...,sk;目标k的中心位置为(xk,yk),利用像素的色调特征构建子目标k的颜色特征直方图模型为:
其中,色调特征划分为n个等级,为颜色概率分布,函数表示像素量化后的特征值,Cqk为归一化系数:
δ为Kronecker函数,即:
K为无参高斯核函数,即:
其中,h为核函数的带宽;
Step2.根据所建子目标模型进行反向投影,建立起各子目标的搜索窗的概率投影图;设子目标k的搜索窗中像素点的色调特征值为u,则该像素点的色调概率投影图的像素值为:
其中为取整操作,概率分布图中取值越大的像素表明该像素为目标像素的可能性越大;
Step3.计算搜索窗k的零阶矩和一阶矩:
Step4.计算搜索窗k的质心
Step5.自适应调整搜索窗口的边长:
移动子目标k的搜索窗的中心到质心,如果移动距离大于预设的固定阈值,则重复Step2-Step5,直到搜索窗k的中心与质心间的移动距离小于预设的阈值;
Step6.判断子目标的正确性:
设子目标i在跟踪图像中确定的目标位置为(x′i,y′i),根据各个子目标跟踪结果,建立跟踪图像中目标子集U′n:
U′n=[(x′1,y′1),(x′2,y′2)…(x′n,y′n)]T (16)
建立跟踪图像中子目标距离关联矩阵D′n:
根据被跟踪目标模板的子目标距离关联矩阵Dn和跟踪图像中子目标距离关联矩阵D′n的比较结果,判断各子目标跟踪结果是否正确;
根据Dn和D′n,求取个核心{cij,i=1,2,3,...,n-1;j=1,2,3,...,n;且i<j},其中:
cij=d′ij/dij (18)
以上述核心为中心,建立个核函数:
上述核函数的和为:
函数G最大值所在位置确定为核中心cg,并建立判断矩阵E:
其中,
其中,η为中心阈值,对于判断矩阵E,如果存在全零行,即eij=0,j=1,2,...,n,则可判断为第i个子目标定位错误;
Step7.错误定位子目标的校正:
如果存在错误定位的子目标,则利用正确定位的子目标对错误定位的子目标进行校正;设正确定位的子目标有m个,第j个子目标的中心坐标为(x′j,y′j),其中j=1,2,...,m;而第i个错误定位子目标中心校正位置为则二者之间的距离定义为:
定义目标函数J为:
将上述目标函数取最小值所对应的位置确定为子目标i的校正位置;
Step8.对未作校正的子目标进行方向角和尺寸大小的更新:
设子目标k的搜索窗的二阶矩定义为:
设:
更新跟踪目标区的长轴:
其中
更新跟踪目标区的短轴:
其中
更新目标k运动方向与水平方向夹角θk:
其中
经过校正的子目标不进行大小和方向的更新;
Step8.返回Step1继续进行下一帧图像中目标子集的定位与跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510024097.4A CN104574444B (zh) | 2015-01-19 | 2015-01-19 | 一种基于目标分解的Camshift跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510024097.4A CN104574444B (zh) | 2015-01-19 | 2015-01-19 | 一种基于目标分解的Camshift跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104574444A true CN104574444A (zh) | 2015-04-29 |
CN104574444B CN104574444B (zh) | 2017-06-09 |
Family
ID=53090412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510024097.4A Expired - Fee Related CN104574444B (zh) | 2015-01-19 | 2015-01-19 | 一种基于目标分解的Camshift跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104574444B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107438173A (zh) * | 2016-05-25 | 2017-12-05 | 佳能株式会社 | 视频处理装置、视频处理方法和存储介质 |
CN109472814A (zh) * | 2018-12-05 | 2019-03-15 | 湖南大学 | 一种基于Kinect的多个四旋翼飞行器室内跟踪定位方法 |
CN109544604A (zh) * | 2018-11-28 | 2019-03-29 | 天津工业大学 | 基于认知网络的目标跟踪方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080166045A1 (en) * | 2005-03-17 | 2008-07-10 | Li-Qun Xu | Method of Tracking Objects in a Video Sequence |
CN101251895A (zh) * | 2008-03-13 | 2008-08-27 | 上海交通大学 | 基于高斯混合模型的人体跟踪方法 |
CN102737385A (zh) * | 2012-04-24 | 2012-10-17 | 中山大学 | 一种基于camshift和卡尔曼滤波的视频目标跟踪方法 |
CN103824305A (zh) * | 2014-03-17 | 2014-05-28 | 天津工业大学 | 一种改进的Meanshift目标跟踪方法 |
-
2015
- 2015-01-19 CN CN201510024097.4A patent/CN104574444B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080166045A1 (en) * | 2005-03-17 | 2008-07-10 | Li-Qun Xu | Method of Tracking Objects in a Video Sequence |
CN101251895A (zh) * | 2008-03-13 | 2008-08-27 | 上海交通大学 | 基于高斯混合模型的人体跟踪方法 |
CN102737385A (zh) * | 2012-04-24 | 2012-10-17 | 中山大学 | 一种基于camshift和卡尔曼滤波的视频目标跟踪方法 |
CN103824305A (zh) * | 2014-03-17 | 2014-05-28 | 天津工业大学 | 一种改进的Meanshift目标跟踪方法 |
Non-Patent Citations (1)
Title |
---|
王玉茹等: "基于多区域联合粒子滤波的人体运动跟踪", 《自动化学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107438173A (zh) * | 2016-05-25 | 2017-12-05 | 佳能株式会社 | 视频处理装置、视频处理方法和存储介质 |
CN109544604A (zh) * | 2018-11-28 | 2019-03-29 | 天津工业大学 | 基于认知网络的目标跟踪方法 |
CN109544604B (zh) * | 2018-11-28 | 2023-12-01 | 深圳拓扑视通科技有限公司 | 基于认知网络的目标跟踪方法 |
CN109472814A (zh) * | 2018-12-05 | 2019-03-15 | 湖南大学 | 一种基于Kinect的多个四旋翼飞行器室内跟踪定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104574444B (zh) | 2017-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cheng | Autonomous intelligent vehicles: theory, algorithms, and implementation | |
Petrovskaya et al. | Model based vehicle detection and tracking for autonomous urban driving | |
CN107085938B (zh) | 基于车道线与gps跟随的智能驾驶局部轨迹容错规划方法 | |
CN111381248B (zh) | 一种考虑车辆颠簸的障碍物检测方法及系统 | |
CN106228110A (zh) | 一种基于车载双目相机的障碍物及可行驶区域检测方法 | |
CN104833370A (zh) | 用于映射、定位和位姿校正的系统和方法 | |
CN101673403A (zh) | 复杂干扰场景下的目标跟踪方法 | |
CN101281648A (zh) | 低复杂度的尺度自适应视频目标跟踪方法 | |
Zhang et al. | Robust inverse perspective mapping based on vanishing point | |
CN103226196B (zh) | 基于稀疏特征的雷达目标识别方法 | |
CN110085023A (zh) | 一种编队行驶车队的车辆间相对位置测量系统和方法 | |
CN115731268A (zh) | 基于视觉/毫米波雷达信息融合的无人机多目标跟踪方法 | |
CN104574444A (zh) | 一种基于目标分解的Camshift跟踪方法 | |
CN103824305A (zh) | 一种改进的Meanshift目标跟踪方法 | |
CN103047982A (zh) | 基于角度信息的目标自适应跟踪方法 | |
CN109283843A (zh) | 一种基于多项式与粒子群算法融合的换道轨迹规划方法 | |
CN104951758A (zh) | 市区环境下基于视觉的车载行人检测与跟踪方法及系统 | |
CN110992424A (zh) | 基于双目视觉的定位方法和系统 | |
CN115620518A (zh) | 基于深度学习的交叉口交通冲突判别方法 | |
CN104407345A (zh) | 一种用于弱目标检测跟踪中的改进型动态规划方法 | |
CN113238209B (zh) | 基于毫米波雷达的道路感知方法、系统、设备及存储介质 | |
CN111208820B (zh) | 人工智能大数据下粒子化无人车组、控制方法及介质 | |
CN104637038A (zh) | 一种基于加权直方图模型的改进CamShift跟踪方法 | |
CN102034246A (zh) | 基于拓扑约束和匈牙利算法的高密度细胞追踪方法 | |
CN115719485A (zh) | 一种基于类别引导的路侧交通目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170609 Termination date: 20210119 |
|
CF01 | Termination of patent right due to non-payment of annual fee |