基于图论聚类和色彩不变空间的目标跟踪方法
技术领域
本发明属于视频图像处理技术领域,涉及视频中的目标跟踪,为一种基于图论聚类和色彩不变空间的目标跟踪方法。
背景技术
目标跟踪在视觉导航、行为识别、智能交通等领域有非常广泛的研究和应用。当前大多数的运动检测和目标跟踪算法都是基于Harris和SIFT特征,但难以解决匹配效率,低光照差异引起的色彩变化等问题。其它一些跟踪算法利用亮度恒常性计算光流,然而如果强度分布比较均匀,如:特征不明显的墙,或有一维强度分布,如:边缘,图像速率就无法可靠估计。
图像特征的提取与匹配是物体识别、动态跟踪、图像拼接等方面的应用基础内容。提取的特征可分为全局特征和局部特征。全局特征是通过某些特征描述整幅图像内容,若图像背景较复杂或存在噪声干扰,前景目标混杂在背景中或被遮挡,此时便难以将全局特征提取出来,因此图像全局特征具有盲目性,抗干扰能力较差。局部不变特征对尺度缩放、图像旋转、光照变化和仿射变换具有较强的鲁棒性,其稳定性、可重复性和独特性也具有显著优势。利用局部不变特征进行图像处理是近期的研究热点。
在局部不变特征提取与匹配研究中,尺度不变特征变换SIFT(Scale Invariant FeatureTransform)算法不变性优势明显,但SIFT的描述子无法处理彩色图像,且其匹配运算量大,不同运动物体间的误匹配时有发生。
发明内容
本发明要解决的问题是:现有的局部不变特征提取与匹配研究中,SIFT受限于灰度图像,无法处理彩色图像,且其匹配运算量大,不同运动物体间的误匹配时有发生。
本发明的技术方案为:基于图论聚类和色彩不变空间的目标跟踪方法,包括以下步骤:
1)对视频流的图像进行色彩不变空间转换,用色彩不变特征CSIFT特征提取,检测提取色彩不变、尺度不变特征,计算不变量特征向量;
2)特征的图论运动聚类:基于图论,根据特征运动趋势对视频帧进行特征点的聚类,以当前帧为参考图像,后一帧为待匹配图像,以这两帧的CSIFT特征点作为图的节点,获取色彩不变图像下各节点的运动趋势信息,以每两个节点的运动趋势相似度为节点间边的权重,对两帧中的节点同时进行聚类,具有相同运动趋势的特征点属于相同运动状态的目标,通过特征点聚类将相邻两帧视频帧中的同一目标分割出来,实现对视频帧中目标的跟踪。
进一步的,步骤2)后进行特征分类匹配,对各个目标上的特征点进一步细化,根据聚类结果,对每一类分别匹配,计算当前帧CSIFT特征点的特征向量与后一帧中属于同一类的所有CSIFT特征点的特征向量的欧氏距离,最小距离与次小距离的比率小于0.6时则为匹配,匹配的特征点属于同一目标,若当前帧中特征点在后一帧中没有对应的匹配特征点,则此特征点不属于所跟踪目标,通过特征分类匹配,细化各个特征点与目标之间的对应关系,对匹配后的特征点跟踪,实现目标的细化跟踪。
本发明的目标跟踪具体为:
1)图像预处理,对视频流的帧图像背景建模,去除背景影响;
2)依照Kubelka-Munk理论进行色彩不变空间转换,对参考图像I1(x,y)和待匹配图像I2(x,y)分别求出色彩不变量H1(x,y)和H2(x,y),以色彩不变量代替图像的灰度值;
3)CSFIT特征检测,在色彩不变空间中对H1,H2用SIFT算法提取特征,并生成色彩不变空间下的SIFT描述子,即CSIFT特征点,包含特征点的信息有坐标、尺度、主方向及128维特征向量,在彩色图像上标识;
4)图论的运动聚类,基于图论,对视频帧的特征点进行聚类,对相邻两帧中的特征点建立图,进行聚类分类,将检测出的CSIFT特征点作为节点,定义其运动矢量,表征该点运动趋势的概率分布,从而将某两个像素运动趋势的相似性反映在边的权重上;采用色彩空间变换后的图像代替灰度图像,以H不变量代替灰度值进行计算,Ht(X)表示t时刻视频帧二维空间中,以特征点X为中心的运算窗体,Pi(dx)表示第i个节点Xi对应下一帧运动dx的概率,dx表示该点所有可能的运动偏移方向;计算Pi(dx),先计算Ht(Xi)和Ht+1(Xi+dx)的相似度Si(dx),如式(1),其中w属于视频帧二维空间,是Ht(Xi)的局部邻域:
σSSD是点Xi对所有dx,式(Ht(Xi+w)-Ht+1(Xi+dx+w))的标准差,将式(1)归一化为概率分布:
以两个运动趋势的互相关来检测运动相似度,将视频帧中i,j两节点的距离定义为:
则边(i,j)的权重为:
wij=exp(-d(i,j)/σm 2) (4)
σm 2是图中所有d(i,j)的方差;
设d(i)=∑jwij是节点Xi与其他所有节点的连接,设视频帧为图G,特征点点集V,将其分为两个点集A,B,AUB=V,归一化分割,表示为:
其中是A,B两部分的差异程度大小,N是图中节点的总个数,asso(A,V)=∑u∈A,t∈Vw(u,t)是A中节点与图中所有节点的权重和,asso(B,V)是B中节点与图中所有节点的权重和;
设D是以d为对角元素的N×N对角矩阵:
W是N×N的对称矩阵,W(i,j)=wij;
得到瑞利商描述式(6),
通过求解广义特征值方程式(7)间接获得瑞利商:
(D-W)y=λDy (7)
求解广义特征值方程式(D-W)y=λDy,将广义特征方程变换为标准特征方程,
其中
利用广义特征值方程式第二小的特征值对图进行二分,分析分类后的稳定性,决定是否需要细分,若要细分使用下一小的特征向量递归分割,直到不需要细分为止,最终得到的各类别的特征点集就是分别属于不同运动目标的,通过特征点集的位置确定目标的位置,实现对目标的跟踪。
作为优选,利用广义特征值方程式第二小的特征值对图进行二分,计算当前Ncut最小值,若Ncut最小值大于预先设定的阈值0.05,则需要细分,使用下一小的特征向量递归分割,直到Ncut最小值小于设定的阈值。
本发明克服现有的目标跟踪方法的不足,提供一种基于图论聚类和色彩不变空间的目标跟踪方法,形成稳定的目标轨迹及其精确的运动信息。
现有的局部不变特征提取与匹配研究中,多数采用Harris,而SIFT算法提取的特征性能更佳;但SIFT是将彩色图像直接转化为灰度图像,丢失了色彩信息,在不同光照下,同一场景得到的灰度图像有所不同,而CSIFT首先将彩色图像进行色彩不变空间转换,得到具有色彩不变性的色彩不变空间图像,用色彩不变空间图像中像素对应的H不变量代替灰度图像中的灰度值。色彩不变空间图像的优势在于比灰度图像增加了色彩信息,从而使同一场景不同光照下转换得到的图像是相同的。
现有跟踪技术都是先匹配再聚类,匹配运算量大,不同运动物体间的误匹配时有发生。而本发明方法先聚类再匹配,匹配时只考虑属于同类的特征点,大大降低运算量,也避免了不同物体间的误匹配。本发明以图像局部不变特征为理论基础,弥补了SIFT特征提取与匹配算法的缺点,提出基于图论的CSIFT特征匹配算法,具有如下优点:
●采用局部不变特征,摒弃全局特征的盲目性;
●实现色彩不变特征CSIFT提取,在保持SIFT特征几何不变性优势的同时增加了色彩不变性,从灰度特征空间提升为彩色空间;
●提出基于图论的CSIFT特征匹配算法并得以实现,针对静止背景下的运动物体,将图论思想融入匹配,将特征运动分类作为匹配的预处理,使匹配操作更加准确、快速。
附图说明
图1为本发明的流程图。
具体实施方式
本发明基于图论聚类和色彩不变空间的目标跟踪方法,提取特征点,然后对这些点的运动趋势做图论聚类,把特征点归类到各自的目标,分别对每个目标进行跟踪匹配,如图1,包括以下流程:
1)对视频流的图像进行色彩不变空间转换,用色彩不变特征CSIFT特征提取,检测提取色彩不变、尺度不变特征,计算不变量特征向量;
2)特征的图论运动聚类:基于图论,根据特征运动趋势对视频帧进行特征点的聚类,以当前帧为参考图像,后一帧为待匹配图像,以这两帧的CSIFT特征点作为图的节点,获取色彩不变图像下各节点的运动趋势信息,以每两个节点的运动趋势相似度为节点间边的权重,对两帧中的节点同时进行聚类,具有相同运动趋势的特征点属于相同运动状态的目标,通过特征点聚类将相邻两帧视频帧中的同一目标分割出来,实现对视频帧中目标的跟踪。
进一步的,步骤2)后进行特征分类匹配,对属于各个目标的特征点进一步细化,排除不属于目标的特征点,匹配各个特征点与目标之间的对应关系,细化特征点的跟踪。
具体的步骤为:
1)图像预处理,对视频流的帧图像背景建模,去除背景影响;
2)依照Kubelka-Munk理论进行色彩不变空间转换,对参考图像I1(x,y)和待匹配图像I2(x,y)分别求出色彩不变量H1(x,y)和H2(x,y)以色彩不变量代替图像的灰度值;
3)CSFIT特征检测,在色彩不变空间中对H1,H2用SIFT算法提取特征,并生成色彩不变空间下的SIFT描述子,即CSIFT特征点描述子,包含特征点的坐标、尺度、主方向及128维特征向量等信息,在彩色图像上标识。CSIFT特征提取可以总结为以下几步:
(31)根据Kubelka-Munk理论对输入图像进行色彩空间变换,获得与视点、表面方向、光照方向、光强和菲涅尔反射系数无关的色彩不变量H;
(32)用H代替原输入图像的灰度值,对H变换后的图像在尺度空间中检测局部极值,其图像本身包含不变色彩信息,因此保证了特征点的色彩不变性;
(33)将检测到的极值点作为关键点进行三维二次函数拟合,以确定其精确位置和尺度,并弃除低对比度的点和不稳定的边缘响应点,获得特征点;
(34)给每个特征点分配方向,允许存在一个主方向和多个辅方向;
(35)根据特征方向调整,保证旋转不变性,再参考尺度系数获得对应大小的描述符采样邻域,对每个特征点建立一个128维的尺度不变描述符;
4)图论的运动聚类,将检测出的CSIFT特征点作为节点,定义其运动矢量,表征该点运动趋势的概率分布,从而将某两个像素运动趋势的相似性反映在边的权重上。采用色彩空间变换后的图像代替灰度图像,以H不变量代替灰度值进行计算。Ht(X)表示t时刻视频帧二维空间中,以特征点X为中心的运算窗体,Pi(dx)表示第i个节点Xi对应下一帧运动dx的概率,dx表示该点所有可能的运动偏移方向。计算Pi(dx)需要先计算Ht(Xi)和Ht+1(Xi+dx)的相似度Si(dx),本发明采取类似SSD的相似度求取方法。如式(1),其中w属于视频帧二维空间,是Ht(Xi)的局部邻域:
将式(1)归一化为概率分布:
两个运动趋势的互相关是检测运动相似度简单有效的方法。将i,j两节点的距离定义为:
则边(i,j)的权重为:
wij=exp(-d(i,j)/σm 2) (4)
设d(i)=∑
jw(i,j)是节点X
i与其他所有节点的连接。设视频帧为图G,特征点点集V,将其分为两个点集A,B,AUB=V,
归一化分割,即Normalized Cut(Ncut)表示为:
其中
是A,B两部分的差异程度大小,asso(A,V)=∑
u∈A,t∈Vw(u,t)是A中节点与图中所有节点的权重和,asso(B,V)类似。
设D是以d为对角元素的N×N对角矩阵:
W是N×N的对称矩阵,W(i,j)=wij;
得到瑞利商描述式(6),
通过求解广义特征值方程式(7)间接获得瑞利商:
(D-W)y=λDy (7)
求解广义特征值方程式(D-W)y=λDy,将广义特征方程变换为标准特征方程,
其中
广义特征方程的第二小特征向量就是Ncut二分问题的实值解,归一化分割Ncut具体可参见《Motion Segmentation and Tracking usingNormalized cuts》(ICCV′98Proceedings of the Sixth International Conference on ComputerVision)利用广义特征值方程式第二小的特征值对图进行二分,分析分类后的稳定性,决定是否需要细分,若要细分使用下一小的特征向量递归分割,直到不需要细分为止,最终得到的各类别的特征点集就是分别属于不同运动目标的,通过特征点集的位置确定目标的位置,实现对目标的跟踪。
利用广义特征值方程式第二小的特征值对图进行二分时,计算当前Ncut最小值,若Ncut最小值大于预先设定的阈值0.05,则需要细分,使用下一小的特征向量递归分割,直到Ncut最小值小于设定的阈值。
进一步采用步骤5)对特征进行匹配,细化特征点与目标的匹配跟踪;
5)对各个目标上的特征点进一步细化,根据聚类结果,对每一类分别匹配,计算当前帧CSIFT特征点的特征向量与后一帧中属于同一类的所有CSIFT特征点的特征向量的欧氏距离,最小距离与次小距离的比率小于0.6时则为匹配,匹配的特征点属于同一目标,若当前帧中特征点在后一帧中没有对应的匹配特征点,则此特征点不属于所跟踪目标,不再跟踪此特征点的位置,且此特征点不再参加后续帧的图论运动聚类,通过特征分类匹配,细化各个特征点与目标之间的对应关系,对匹配后的特征点跟踪,实现目标的细化跟踪。
本发明是一个完整的目标跟踪解决方案,在实际的视频监控、行为分析、智能交通、电子警察等领域有广阔的应用;与现有技术相比,使用本跟踪方法,用户可以很好的解决当前跟踪算法中的经典难题,实现对多目标的稳定精确跟踪:
1)现有的局部不变特征提取与匹配研究中,多数采用Harris,而SIFT算法提取的特征性能更佳;
2)SIFT是将彩色图像直接转化为灰度图像,丢失了色彩信息,在不同光照下,同一场景得到的灰度图像有所不同,而CSIFT首先将彩色图像进行色彩不变空间转换,得到具有色彩不变性的色彩不变空间图像,用色彩不变空间图像中像素对应的H不变量代替灰度图像中的灰度值。色彩不变空间图像的优势在于比灰度图像增加了色彩信息,从而使同一场景不同光照下转换得到的图像是相同的。
3)现有跟踪技术都是先匹配再聚类,匹配运算量大,不同运动物体间的误匹配时有发生。而本发明方法先聚类再匹配,匹配时只考虑属于同类的特征点,大大降低运算量,也避免了不同物体间的误匹配。