CN110517291A - 一种基于多特征空间融合的道路车辆跟踪方法 - Google Patents
一种基于多特征空间融合的道路车辆跟踪方法 Download PDFInfo
- Publication number
- CN110517291A CN110517291A CN201910793516.9A CN201910793516A CN110517291A CN 110517291 A CN110517291 A CN 110517291A CN 201910793516 A CN201910793516 A CN 201910793516A CN 110517291 A CN110517291 A CN 110517291A
- Authority
- CN
- China
- Prior art keywords
- feature space
- color
- edge feature
- target
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000007620 mathematical function Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009017 pursuit movement Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于多特征空间融合的道路车辆跟踪方法。该方法首先读入一段视频并将其分割成图像帧,选取车辆目标所在区域,将输入的图像帧从RGB颜色空间转换至HSV颜色空间,将颜色直方图作为颜色特征;接着通过构建积分图计算水平边缘特征、垂直边缘特征和对角边缘特征,获取Haar‑like形状特征;然后分别在垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间和颜色特征空间中建立目标模型和候选模型,利用Bhattacharyya系数计算这两个模型之间的相似度,使用均值漂移算法迭代计算出当前帧中与目标模型最相似的候选模型的位置;分别在颜色特征空间、水平边缘特征空间、垂直边缘特征空间和对角边缘特征空间中找到四个可能的目标位置,将它们加权融合得到目标的最终位置。
Description
技术领域
本发明属于计算机视觉、无人驾驶、视频图像处理等交叉技术领域,特别涉及一种基于多特征空间融合的道路车辆跟踪方法。
背景技术
近年来,车辆跟踪技术是计算机视觉及无人驾驶等领域的热门研究问题,该技术在无人驾驶、智能交通系统等场景中被广泛应用,具有重要的理论意义与实际应用价值。
随着我国经济的发展和科技的进步,社会逐步智能化,实现无人驾驶是智能化的一个重要目标。在无人驾驶系统中,稳定可靠的车辆检测和跟踪是技术的关键,必须避免车辆与其他物体碰撞发生危险。然而使用移动摄像机跟踪运动物体一直是计算机视觉中的一个难题,因为摄像机位置在不断变化,运动中目标的外观以及照明条件和背景均在改变。并且无人驾驶车需要实时监测道路情况,对突发状况能及时做出反应,所以跟踪算法需减少计算量以降低时延是技术的关键。
动态背景检测是指视频中的背景和摄像机之间存在相对运动的检测,如在移动的摄像机拍摄的视频中检测运动目标,常用的动态背景跟踪算法主要有光流法、运动补偿算法、基于3D模型的方法和基于活动轮廓模型的方法等。光流法的优点是光流里存有目标的运动有关信息,例如目标位置、运动速度等,缺点是计算量较大;运动补偿算法是对动态背景进行补偿来进行运动目标的检测与定位,受背景的影响很大。
这些跟踪算法都面临一个挑战性的问题,很容易受到光照、遮挡、姿态和颜色的影响,抗干扰性不够好。由此可见,跟踪算法需要尽可能降低计算量以保证实时检测并跟踪目标,并克服复杂环境的干扰,提高跟踪目标的稳定性。
发明内容
为了解决现有技术中的问题,本发明提供一种基于多特征空间融合的道路车辆跟踪方法,该方法同时使用颜色和形状特征,以提高车辆跟踪的稳定性和准确性。
为实现上述目的,本发明采用的技术方案为:
一种基于多特征空间融合的道路车辆跟踪方法,包括以下步骤:
S1、输入1个视频,视频源是未经过压缩的视频序列文件,将视频源分割成一个个的图像帧;
S2、将输入的帧图像从RGB(Red红,Green绿,Blue蓝)标准颜色空间转换至HSV(Hue色调,Saturation饱和度,Value明度)颜色空间,使用HSV颜色空间中的H(色调)通道创建色调图像,计算色调图像的颜色直方图,得到目标区域的颜色特征;所述颜色直方图是将颜色空间划分成若干个小的颜色空间,统计颜色落在每个小区间内的像素数的一种图形化描述;
S3、建立以图像的左上角为原点,横向为x轴,纵向为y轴的二维坐标系,提取帧中Haar-like特征,使用积分图加速计算水平边缘特征、垂直边缘特征和对角边缘特征,所述积分图是图像的一种中间表示形式,是图像起始像素点到每一个像素点之间所形成的矩形区域的像素值和;
S4、在颜色特征空间、水平边缘特征空间、垂直边缘特征空间和对角边缘特征空间中建立目标所在图像区域的目标模型和目标可能存在图像区域的候选模型,利用Bhattacharyya系数作为相似性函数表示目标模型与候选模型之间的相似度,使用均值漂移算法迭代计算出与目标模型最相似的候选模型的位置;所述均值漂移算法是一种使相似性函数达到最大,并不断迭代计算得到候选模型关于目标模型的均值漂移向量,最终收敛到目标的真实位置,达到跟踪效果的算法;
S5、分别在垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间和颜色特征空间中使用步骤S4的方法,找到四个可能的目标位置,对这四个目标位置加权融合得到目标的最终位置。
进一步的,所述步骤S2包括以下步骤:
S201、设(r,g,b)分别是RGB颜色空间中一个颜色的红、绿和蓝坐标,经过归一化后坐标的r,g,b均为在0到1之间的实数,在HSV空间中对应的坐标为(h,s,v),从RGB转换至HSV的计算公式为:明度饱和度色调其中:θ为描述色调的度数,π为圆周率;
S202、将颜色空间划分为30个颜色区间,每个颜色区间称为直方图的一个bin,计算落在每个bin内的像素数量,得到H通道颜色直方图。
进一步的,所述步骤S3包括以下步骤:
S301、建立以图像的左上角为原点,横向为x轴,纵向为y轴的二维坐标系,构建积分图,积分图中元素的像素为ii(x,y)=∑x′≤x,y′≤yi(x′,y′),其中:i(x,y)为原始图像中点(x,y)处的像素值,(x′,y′)表示点(x,y)左上角的点,i(x′,y′)为原始图像中点(x′,y′)处的像素值,积分图中元素的像素ii(x,y)为原图像中点(x,y)左上角所有点的像素值和;
S302、使用公式s(x,y)=s(x,y-1)+i(x,y)和ii(x,y)=ii(x-1,y)+s(x,y)迭代计算积分图,式中:s(x,y)为第x列的前y行元素累加值,初始值s(x,-1)=0,ii(-1,y)=0;
S303、使用公式Sum(D)=ii(x4,y4)-ii(x2,y2)-ii(x3,y3)+ii(x1,y1)计算垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间,其中:Sum(D)为矩形区域D的像素和,(x1,y1),(x2,y2),(x3,y3),(x4,y4)分别为矩形区域D的左上角、右上角、左下角和右下角的坐标。
进一步的,所述步骤S4包括以下步骤:
S401、选择帧中包含跟踪目标的区域,用n个像素{zi}i=1...n表示其位置,对选中区域的颜色特征空间、垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间均匀划分,分别得到由m个相等的区间构成的直方图,目标模型的概率密度表示为其中:u代表m个区间的索引编号,即u=1,...,m,qu是区间u的目标模型概率密度,表示以目标中心(x0,y0)为原点的归一化像素位置,点(xi,yi)是n个像素{zi}i=1...n对应的坐标,K是Epanechikov核函数,δ(t)是Delta函数,当t等于0时其结果为1,当t≠0时其结果为0,b(zi)为zi处像素所属的直方图区间,当目标区域的zi处像素灰度值属于直方图的第u个区间时δ[b(zi)-u]为1,当目标区域的zi处像素灰度值不属于直方图的第u个区间时为0,是归一化系数;
S402、以前一帧的目标中心位置f0为搜索窗口的中心,得到候选目标的中心位置坐标f,计算当前帧在颜色特征空间、水平边缘特征空间、垂直边缘特征空间和对角边缘特征空间的候选目标区域直方图,候选模型的概率密度表示为hw为核函数窗口的大小,所述候选模型指用来表示目标可能存在的候选图像区域的数学函数,其概率密度为pu;
S403、采用Bhattacharyya系数作为度量目标模型和候选模型相似程度的函数,定义为其中:pu和qu分别表示候选模型和目标模型的概率密度,将前一帧的目标中心位置作为搜索窗口的中心;
S404、对相似函数进行泰勒展开,得到Bhattacharyya系数的近似表示式:其中:表示搜索窗中各个像素zi的权重,用均值漂移算法迭代方程更新当前帧的目标位置fk+1,fk表示前一帧的目标位置,式中:G是函数的记号,K是Epanechikov核函数,表示的导数。
进一步的,所述步骤S5包括以下步骤:
S501、分别在颜色特征空间、水平边缘特征空间、垂直边缘特征空间和对角边缘特征空间中利用Bhattacharyya系数计算候选模型和目标模型的目标位置相似性,以fk+1作为下一帧的起始搜索窗口中心,重复计算,得到使相似函数取得最大值的候选区域目标位置(xv,yv),(xh,yh),(xd,yd)和(xc,yc),分别代表垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间和颜色特征空间中的目标位置;
S502、垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间和颜色特征空间对应的Bhattacharyya系数分别为ρv,ρh,ρd和ρc,融合特征空间,计算得到最终的目标位置公式如下:
式中:∑ρ=ρv+ρh+ρd+ρc。
与现有技术相比,本发明具有以下有益效果:
本发明计算出在颜色特征空间和垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间中的目标模型和候选模型之间的相似性,当相似函数取得最大值时对应的区域为目标所在位置,融合颜色特征空间和垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间的候选目标位置,综合得出目标的位置。通过该方法的应用能对道路车辆进行跟踪,具有良好的准确性与有效性,具体来说:(1)本发明通过使用均值漂移算法,与对目标预测位置的邻域进行穷举搜索的跟踪方法相比实现了对目标快速定位,降低了计算量,提高了检测速度。(2)本发明提取了每帧的各个特征空间的直方图作为特征,直方图表征图像区域的统计特性,可以有效表示多模态的特征分布,并且本身具备一定的旋转不变性。(3)本发明综合考虑颜色特征和形状特征进行目标车辆跟踪,当被跟踪目标的颜色因光线变化和道路状况而变化使得颜色信息不可靠时,使用形状特征获得稳定的跟踪性能。(4)本发明通过将上述四个特征空间中的候选目标位置融合在一起来确定最终目标位置,基于目标模型与相应特征空间中的候选模型的相似性对每个候选位置进行加权。
附图说明
图1是基于多特征空间融合的道路车辆跟踪方法流程图。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
一种基于多特征空间融合的道路车辆跟踪方法,包括以下步骤:
S1、输入1个视频,视频源是未经过压缩的视频序列文件,将视频源分割成一个个的图像帧;
S2、将输入的帧图像从RGB(Red红,Green绿,Blue蓝)标准颜色空间转换至HSV(Hue色调,Saturation饱和度,Value明度)颜色空间,使用HSV颜色空间中的H(色调)通道创建色调图像,计算色调图像的颜色直方图,得到目标区域的颜色特征;所述颜色直方图是将颜色空间划分成若干个小的颜色空间,统计颜色落在每个小区间内的像素数的一种图形化描述;
具体地讲,所述步骤S2包括以下步骤:
S201、设(r,g,b)分别是RGB颜色空间中一个颜色的红、绿和蓝坐标,经过归一化后坐标的r,g,b均为在0到1之间的实数,在HSV空间中对应的坐标为(h,s,v),从RGB转换至HSV的计算公式为:明度饱和度色调其中:θ为描述色调的度数,π为圆周率;
S202、将颜色空间划分为30个颜色区间,每个颜色区间称为直方图的一个bin,计算落在每个bin内的像素数量,得到H通道颜色直方图。
S3、建立以图像的左上角为原点,横向为x轴,纵向为y轴的二维坐标系,提取帧中Haar-like特征,使用积分图加速计算水平边缘特征、垂直边缘特征和对角边缘特征,所述积分图是图像的一种中间表示形式,是图像起始像素点到每一个像素点之间所形成的矩形区域的像素值和;
具体地讲,所述步骤S3包括以下步骤:
S301、建立以图像的左上角为原点,横向为x轴,纵向为y轴的二维坐标系,构建积分图,积分图中元素的像素为ii(x,y)=∑x′≤x,y′≤yi(x′,y′),其中:i(x,y)为原始图像中点(x,y)处的像素值,(x′,y′)表示点(x,y)左上角的点,i(x′,y′)为原始图像中点(x′,y′)处的像素值,积分图中元素的像素ii(x,y)为原图像中点(x,y)左上角所有点的像素值和;
S302、使用公式s(x,y)=s(x,y-1)+i(x,y)和ii(x,y)=ii(x-1,y)+s(x,y)迭代计算积分图,式中:s(x,y)为第x列的前y行元素累加值,初始值s(x,-1)=0,ii(-1,y)=0;
S303、使用公式Sum(D)=ii(x4,y4)-ii(x2,y2)-ii(x3,y3)+ii(x1,y1)计算垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间,其中:Sum(D)为矩形区域D的像素和,(x1,y1),(x2,y2),(x3,y3),(x4,y4)分别为矩形区域D的左上角、右上角、左下角和右下角的坐标。
S4、在颜色特征空间、水平边缘特征空间、垂直边缘特征空间和对角边缘特征空间中建立目标所在图像区域的目标模型和目标可能存在图像区域的候选模型,利用Bhattacharyya系数作为相似性函数表示目标模型与候选模型之间的相似度,使用均值漂移算法迭代计算出与目标模型最相似的候选模型的位置;所述均值漂移算法是一种使相似性函数达到最大,并不断迭代计算得到候选模型关于目标模型的均值漂移向量,最终收敛到目标的真实位置,达到跟踪效果的算法;
具体地讲,所述步骤S4包括以下步骤:
S401、选择帧中包含跟踪目标的区域,用n个像素{zi}i=1...n表示其位置,对选中区域的颜色特征空间、垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间均匀划分,分别得到由m个相等的区间构成的直方图,目标模型的概率密度表示为其中:u代表m个区间的索引编号,即u=1,...,m,qu是区间u的目标模型概率密度,表示以目标中心(x0,y0)为原点的归一化像素位置,点(xi,yi)是n个像素{zi}i=1...n对应的坐标,K是Epanechikov核函数,δ(t)是Delta函数,当t等于0时其结果为1,当t≠0时其结果为0,b(zi)为zi处像素所属的直方图区间,当目标区域的zi处像素灰度值属于直方图的第u个区间时δ[b(zi)-u]为1,当目标区域的zi处像素灰度值不属于直方图的第u个区间时为0,是归一化系数;
S402、以前一帧的目标中心位置f0为搜索窗口的中心,得到候选目标的中心位置坐标f,计算当前帧在颜色特征空间、水平边缘特征空间、垂直边缘特征空间和对角边缘特征空间的候选目标区域直方图,候选模型的概率密度表示为hw为核函数窗口的大小,所述候选模型指用来表示目标可能存在的候选图像区域的数学函数,其概率密度为pu;
S403、采用Bhattacharyya系数作为度量目标模型和候选模型相似程度的函数,定义为其中:pu和qu分别表示候选模型和目标模型的概率密度,将前一帧的目标中心位置作为搜索窗口的中心;
S404、对相似函数进行泰勒展开,得到Bhattacharyya系数的近似表示式:其中:表示搜索窗中各个像素zi的权重,用均值漂移算法迭代方程更新当前帧的目标位置fk+1,fk表示前一帧的目标位置,式中:G是函数的记号,K是Epanechikov核函数,表示的导数。
S5、分别在垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间和颜色特征空间中使用步骤S4的方法,找到四个可能的目标位置,对这四个目标位置加权融合得到目标的最终位置;
具体地讲,所述步骤S5包括以下步骤:
S501、分别在颜色特征空间、水平边缘特征空间、垂直边缘特征空间和对角边缘特征空间中利用Bhattacharyya系数计算候选模型和目标模型的目标位置相似性,以fk+1作为下一帧的起始搜索窗口中心,重复计算,得到使相似函数取得最大值的候选区域目标位置(xv,yv),(xh,yh),(xd,yd)和(xc,yc),分别代表垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间和颜色特征空间中的目标位置;
S502、垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间和颜色特征空间对应的Bhattacharyya系数分别为ρv,ρh,ρd和ρc,融合特征空间,计算得到最终的目标位置公式如下:
式中:∑ρ=ρv+ρh+ρd+ρc。
实施例1
如图1基于多特征空间融合的道路车辆跟踪方法流程图所示,
首先读入一段视频流,将视频序列分割为约1000帧图像,选取待跟踪目标所在区域。接着将输入的帧图像从RGB标准颜色空间转换至HSV颜色空间,使用HSV颜色空间中的H(色调)通道创建色调图像,仅考虑具有大于10且小于240的相应亮度值的色调值,计算色调图像的颜色直方图,得到目标区域的颜色特征。
接着构建积分图,积分图中元素的像素为ii(x,y)=∑x′≤x,y′≤yi(x′,y′),即积分图中元素ii(x,y)为原图像中对应像素左上角所有像素值和,使用公式s(x,y)=s(x,y-1)+i(x,y)和ii(x,y)=ii(x-1,y)+s(x,y)迭代计算积分图,初始值s(x,-1)=0,ii(-1,y)=0,由Sum(D)=ii(x4,y4)-ii(x2,y2)-ii(x3,y3)+ii(x1,y1)计算垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间,提取目标区域Haar-like形状特征。
然后根据所选的目标区域,分别在颜色特征空间和垂直边缘特征空间、水平边缘特征空间和对角边缘特征空间中建立目标所在图像区域的目标模型和目标可能存在图像区域的候选模型采用Bhattacharyya系数作为度量目标模型和候选模型相似程度的函数,即使用均值漂移算法的迭代方程更新当前帧的目标位置fk+1,并以此作为下一帧的起始搜索窗口中心,重复计算,得到当前帧中使相似函数取得最大值的候选区域目标位置。
接着由垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间和颜色特征空间对应的Bhattacharyya系数ρv,ρh,ρd和ρc,和使相似函数取得最大值时找到四个可能的目标位置(xv,yv),(xh,yh),(xd,yd)和(xc,yc),融合四个特征空间,即对这四个位置加权融合得到目标的最终位置
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种基于多特征空间融合的道路车辆跟踪方法,其特征在于,包括以下步骤:
S1、输入1个视频,视频源是未经过压缩的视频序列文件,将视频源分割成一个个的图像帧;
S2、将输入的帧图像从RGB标准颜色空间转换至HSV颜色空间,使用HSV颜色空间中的H色调通道创建色调图像,计算色调图像的颜色直方图,得到目标区域的颜色特征;所述颜色直方图是将颜色空间划分成若干个小的颜色空间,统计颜色落在每个小区间内的像素数的一种图形化描述;
S3、建立以图像的左上角为原点,横向为x轴,纵向为y轴的二维坐标系,提取帧中Haar-like特征,使用积分图加速计算水平边缘特征、垂直边缘特征和对角边缘特征,所述积分图是图像的一种中间表示形式,是图像起始像素点到每一个像素点之间所形成的矩形区域的像素值和;
S4、在颜色特征空间、水平边缘特征空间、垂直边缘特征空间和对角边缘特征空间中建立目标所在图像区域的目标模型和目标可能存在图像区域的候选模型,利用Bhattacharyya系数作为相似性函数表示目标模型与候选模型之间的相似度,使用均值漂移算法迭代计算出与目标模型最相似的候选模型的位置;所述均值漂移算法是一种使相似性函数达到最大,并不断迭代计算得到候选模型关于目标模型的均值漂移向量,最终收敛到目标的真实位置,达到跟踪效果的算法;
S5、分别在垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间和颜色特征空间中使用步骤S4的方法,找到四个可能的目标位置,对这四个目标位置加权融合得到目标的最终位置。
2.根据权利要求1所述的基于多特征空间融合的道路车辆跟踪方法,其特征在于,所述步骤S2包括以下步骤:
S201、设(r,g,b)分别是RGB颜色空间中一个颜色的红、绿和蓝坐标,经过归一化后坐标的r,g,b均为在0到1之间的实数,在HSV空间中对应的坐标为(h,s,v),从RGB转换至HSV的计算公式为:明度饱和度色调其中:θ为描述色调的度数,π为圆周率;
S202、将颜色空间划分为30个颜色区间,每个颜色区间称为直方图的一个bin,计算落在每个bin内的像素数量,得到H通道颜色直方图。
3.根据权利要求1所述的基于多特征空间融合的道路车辆跟踪方法,其特征在于,所述步骤S3包括以下步骤:
S301、建立以图像的左上角为原点,横向为x轴,纵向为y轴的二维坐标系,构建积分图,积分图中元素的像素为ii(x,y)=∑x′≤x,y′≤yi(x′,y′),其中:i(x,y)为原始图像中点(x,y)处的像素值,(x′,y′)表示点(x,y)左上角的点,i(x′,y′)为原始图像中点(x′,y′)处的像素值,积分图中元素的像素ii(x,y)为原图像中点(x,y)左上角所有点的像素值和;
S302、使用公式s(x,y)=s(x,y-1)+i(x,y)和ii(x,y)=ii(x-1,y)+s(x,y)迭代计算积分图,式中:s(x,y)为第x列的前y行元素累加值,初始值s(x,-1)=0,ii(-1,y)=0;
S303、使用公式Sum(D)=ii(x4,y4)-ii(x2,y2)-ii(x3,y3)+ii(x1,y1)计算垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间,其中:Sum(D)为矩形区域D的像素和,(x1,y1),(x2,y2),(x3,y3),(x4,y4)分别为矩形区域D的左上角、右上角、左下角和右下角的坐标。
4.根据权利要求1所述的基于多特征空间融合的道路车辆跟踪方法,其特征在于,所述步骤S4包括以下步骤:
S401、选择帧中包含跟踪目标的区域,用n个像素{zi}i=1...n表示其位置,对选中区域的颜色特征空间、垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间均匀划分,分别得到由m个相等的区间构成的直方图,目标模型的概率密度表示为其中:u代表m个区间的索引编号,即u=1,...,m,qu是区间u的目标模型概率密度,表示以目标中心(x0,y0)为原点的归一化像素位置,点(xi,yi)是n个像素{zi}i=1...n对应的坐标,K是Epanechikov核函数,δ(t)是Delta函数,当t等于0时其结果为1,当t≠0时其结果为0,b(zi)为zi处像素所属的直方图区间,当目标区域的zi处像素灰度值属于直方图的第u个区间时δ[b(zi)-u]为1,当目标区域的zi处像素灰度值不属于直方图的第u个区间时为0,是归一化系数;
S402、以前一帧的目标中心位置f0为搜索窗口的中心,得到候选目标的中心位置坐标f,计算当前帧在颜色特征空间、水平边缘特征空间、垂直边缘特征空间和对角边缘特征空间的候选目标区域直方图,候选模型的概率密度表示为hw为核函数窗口的大小,所述候选模型指用来表示目标可能存在的候选图像区域的数学函数,其概率密度为pu;
S403、采用Bhattacharyya系数作为度量目标模型和候选模型相似程度的函数,定义为其中:pu和qu分别表示候选模型和目标模型的概率密度,将前一帧的目标中心位置作为搜索窗口的中心;
S404、对相似函数进行泰勒展开,得到Bhattacharyya系数的近似表示式:其中:表示搜索窗中各个像素zi的权重,用均值漂移算法迭代方程更新当前帧的目标位置fk+1,fk表示前一帧的目标位置,式中:G是函数的记号,K是Epanechikov核函数,表示的导数。
5.根据权利要求1所述的基于多特征空间融合的道路车辆跟踪方法,其特征在于,所述步骤S5包括以下步骤:
S501、分别在颜色特征空间、水平边缘特征空间、垂直边缘特征空间和对角边缘特征空间中利用Bhattacharyya系数计算候选模型和目标模型的目标位置相似性,以fk+1作为下一帧的起始搜索窗口中心,重复计算,得到使相似函数取得最大值的候选区域目标位置(xv,yv),(xh,yh),(xd,yd)和(xc,yc),分别代表垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间和颜色特征空间中的目标位置;
S502、垂直边缘特征空间、水平边缘特征空间、对角边缘特征空间和颜色特征空间对应的Bhattacharyya系数分别为ρv,ρh,ρd和ρc,融合特征空间,计算得到最终的目标位置公式如下:
式中:∑ρ=ρv+ρh+ρd+ρc。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910793516.9A CN110517291A (zh) | 2019-08-27 | 2019-08-27 | 一种基于多特征空间融合的道路车辆跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910793516.9A CN110517291A (zh) | 2019-08-27 | 2019-08-27 | 一种基于多特征空间融合的道路车辆跟踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110517291A true CN110517291A (zh) | 2019-11-29 |
Family
ID=68627108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910793516.9A Pending CN110517291A (zh) | 2019-08-27 | 2019-08-27 | 一种基于多特征空间融合的道路车辆跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110517291A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079637A (zh) * | 2019-12-12 | 2020-04-28 | 武汉轻工大学 | 田间图像中分割油菜花的方法、装置、设备及存储介质 |
CN111402291A (zh) * | 2020-03-04 | 2020-07-10 | 北京百度网讯科技有限公司 | 用于跟踪目标的方法和装置 |
CN111695577A (zh) * | 2020-06-12 | 2020-09-22 | 哈尔滨理工大学 | 一种多特征融合的安全帽跟踪算法 |
CN112070805A (zh) * | 2020-09-10 | 2020-12-11 | 深圳市豪恩汽车电子装备股份有限公司 | 机动车目标实时图像跟踪装置及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463907A (zh) * | 2014-11-13 | 2015-03-25 | 南京航空航天大学 | 一种基于视觉显著性特征的自适应目标跟踪方法 |
CN106446926A (zh) * | 2016-07-12 | 2017-02-22 | 重庆大学 | 一种基于视频分析的变电站工人安全帽佩戴检测方法 |
CN107704833A (zh) * | 2017-10-13 | 2018-02-16 | 杭州电子科技大学 | 一种基于机器学习的前方车辆检测与跟踪方法 |
CN108596129A (zh) * | 2018-04-28 | 2018-09-28 | 武汉盛信鸿通科技有限公司 | 一种基于智能视频分析技术的车辆越线检测方法 |
CN108876820A (zh) * | 2018-06-11 | 2018-11-23 | 广东工业大学 | 一种基于均值漂移的遮挡条件下移动目标追踪方法 |
CN109949340A (zh) * | 2019-03-04 | 2019-06-28 | 湖北三江航天万峰科技发展有限公司 | 基于OpenCV的目标尺度自适应跟踪方法 |
-
2019
- 2019-08-27 CN CN201910793516.9A patent/CN110517291A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463907A (zh) * | 2014-11-13 | 2015-03-25 | 南京航空航天大学 | 一种基于视觉显著性特征的自适应目标跟踪方法 |
CN106446926A (zh) * | 2016-07-12 | 2017-02-22 | 重庆大学 | 一种基于视频分析的变电站工人安全帽佩戴检测方法 |
CN107704833A (zh) * | 2017-10-13 | 2018-02-16 | 杭州电子科技大学 | 一种基于机器学习的前方车辆检测与跟踪方法 |
CN108596129A (zh) * | 2018-04-28 | 2018-09-28 | 武汉盛信鸿通科技有限公司 | 一种基于智能视频分析技术的车辆越线检测方法 |
CN108876820A (zh) * | 2018-06-11 | 2018-11-23 | 广东工业大学 | 一种基于均值漂移的遮挡条件下移动目标追踪方法 |
CN109949340A (zh) * | 2019-03-04 | 2019-06-28 | 湖北三江航天万峰科技发展有限公司 | 基于OpenCV的目标尺度自适应跟踪方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079637A (zh) * | 2019-12-12 | 2020-04-28 | 武汉轻工大学 | 田间图像中分割油菜花的方法、装置、设备及存储介质 |
CN111079637B (zh) * | 2019-12-12 | 2023-09-08 | 武汉轻工大学 | 田间图像中分割油菜花的方法、装置、设备及存储介质 |
CN111402291A (zh) * | 2020-03-04 | 2020-07-10 | 北京百度网讯科技有限公司 | 用于跟踪目标的方法和装置 |
CN111402291B (zh) * | 2020-03-04 | 2023-08-29 | 阿波罗智联(北京)科技有限公司 | 用于跟踪目标的方法和装置 |
CN111695577A (zh) * | 2020-06-12 | 2020-09-22 | 哈尔滨理工大学 | 一种多特征融合的安全帽跟踪算法 |
CN112070805A (zh) * | 2020-09-10 | 2020-12-11 | 深圳市豪恩汽车电子装备股份有限公司 | 机动车目标实时图像跟踪装置及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110517291A (zh) | 一种基于多特征空间融合的道路车辆跟踪方法 | |
CN110175576B (zh) | 一种结合激光点云数据的行驶车辆视觉检测方法 | |
CN109059895B (zh) | 一种基于手机摄像头和传感器的多模态室内测距及定位方法 | |
US7929728B2 (en) | Method and apparatus for tracking a movable object | |
CN109064484B (zh) | 基于子群组划分与动量特征融合的人群运动行为识别方法 | |
CN109949340A (zh) | 基于OpenCV的目标尺度自适应跟踪方法 | |
CN104601964A (zh) | 非重叠视域跨摄像机室内行人目标跟踪方法及系统 | |
CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及系统 | |
CN101324956A (zh) | 基于均值漂移的抗遮挡运动目标跟踪方法 | |
CN102289948A (zh) | 高速公路场景下一种多特征融合的多车辆视频跟踪方法 | |
CN115205339A (zh) | 基于改进yolox的移动机器人目标跟随方法 | |
CN105550692A (zh) | 基于标志物颜色及轮廓检测的无人机自动寻的着陆方法 | |
CN104794737A (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
CN112308883A (zh) | 一种基于可见光和红外图像的多船舶融合跟踪方法 | |
CN104599291B (zh) | 基于结构相似度和显著性分析的红外运动目标检测方法 | |
CN105046721A (zh) | 基于Grabcut及LBP跟踪质心矫正模型的Camshift算法 | |
CN113077494A (zh) | 一种基于车辆轨迹的路面障碍物智能识别设备 | |
CN107045630B (zh) | 一种基于rgbd的行人检测和身份识别方法及系统 | |
CN115565130A (zh) | 一种无人值守系统及其基于光流的监控方法 | |
CN110533692B (zh) | 一种面向无人机航拍视频中移动目标的自动跟踪方法 | |
CN116129386A (zh) | 可行驶区域检测方法、系统及计算机可读介质 | |
CN117036404A (zh) | 一种单目热成像同时定位与建图方法和系统 | |
CN109344685B (zh) | 一种智慧托盘及其智能定位追踪方法 | |
CN114608522A (zh) | 一种基于视觉的障碍物识别与测距方法 | |
CN111833384B (zh) | 一种可见光和红外图像快速配准方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: No. 66, New Model Road, Gulou District, Nanjing City, Jiangsu Province, 210000 Applicant after: NANJING University OF POSTS AND TELECOMMUNICATIONS Address before: 210000 No. 186 Software Avenue, Yuhuatai District, Nanjing, Jiangsu Province Applicant before: NANJING University OF POSTS AND TELECOMMUNICATIONS |
|
CB02 | Change of applicant information | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191129 |
|
RJ01 | Rejection of invention patent application after publication |