CN103810723A - 基于帧间约束超像素编码的目标跟踪方法 - Google Patents
基于帧间约束超像素编码的目标跟踪方法 Download PDFInfo
- Publication number
- CN103810723A CN103810723A CN201410068665.6A CN201410068665A CN103810723A CN 103810723 A CN103810723 A CN 103810723A CN 201410068665 A CN201410068665 A CN 201410068665A CN 103810723 A CN103810723 A CN 103810723A
- Authority
- CN
- China
- Prior art keywords
- sample
- pixels
- represent
- super block
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于帧间约束超像素编码的目标跟踪方法,主要解决当目标发生遮挡、快速运动、外观形变而导致跟踪失败的跟踪问题。本发明实现的步骤如下:(1)预处理第一帧图像;(2)构建初始字典;(3)样本编码;(4)训练分类器;(5)当前帧检测样本编码;(6)预测目标框位置;(7)更新字典;(8)精确样本编码;(9)升级分类器;(10)判断是否为最后一帧图像,若是,则结束,否则,返回步骤(5)处理下一帧图像。本发明采用超像素分割和约束编码的方法,降低了图像处理后续任务的复杂度,确保了图像空间信息一致性原则,保留了图像局部边界信息和纹理信息的一致性,能够稳定准确地跟踪目标。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及计算机视觉技术领域中的一种基于帧间约束超像素编码的目标跟踪方法。本发明采用一种基于超像素分割的帧间约束编码估计方法实现运动目标跟踪,可用于监督视频监控的行为、对气象进行分析和天气进行预测。
背景技术
运动目标跟踪的主要任务是从视频图像序列中检测出待跟踪的运动目标,进而在每一帧图像中确定出运动目标的位置。随着人们对计算机视觉领域的不断深入认识,目标跟踪越来越成为该领域备受关注的技术之一,尽管目前已经有大量的算法来实现运动目标跟踪,但由于外观形变、光照变化、遮挡、背景杂乱、视角变化等因素的影响,使得实时准确地跟踪目标仍然存在大量困难。
近年来,超像素分割逐渐成为计算机视觉领域流行的图像处理方法。超像素不同于以往的像素概念,它是比像素略大的像素块,并且这些块的边界与图像中的纹理信息是一致的,可以看作是一种图像的过分割。它能够捕获图像的冗余信息,从而大大降低图像处理后续任务的复杂度。另外,在稀疏表示、压缩感知的基础上,稀疏编码等方法被人们广泛应用到目标跟踪中,稀疏编码模型通过对过完备字典中基原子进行线性组合来重构输入特征描述子。在这些方法中,目标被表示成模板系数的线性组合,并且这些组合系数是稀疏的,即只有少数系数是非零值。
南京信息工程大学提出的专利申请“一种多特征联合稀疏表示的目标跟踪方法”(专利申请号201310241910,公开号CN103295242A)公开了一种基于特征联合稀疏表示实现目标跟踪的方法。该方法实现的具体步骤是,首先,跟踪视频序列的前n帧构建初始字典;其次,对目标模板进行分块处理,抽选出候选粒子并提取目标特征,确定图像特征数和块的类别数;然后,对候选粒子的特征进行核化处理,将候选样本用字典中所有块进行稀疏表示;最后,对候选样本进行核扩展,求解上述稀疏问题得到稀疏系数,计算块的残差并更新模板库。该方法存在的不足是,通过对目标模板按照预先设定的尺寸大小及步长进行分块构建字典,可能会破坏图像的局部完整性和纹理信息的一致性,构建的字典无法准确地重构样本特征,从而无法实现长期地、准确有效地跟踪。
浙江大学提出的专利申请“基于超像素和图模型的粘连人群分割与跟踪方法”(专利申请号201310090086,公开号CN103164858A)公开了一种用超像素和图模型实现人群中目标跟踪的方法。该方法实现的具体步骤是,首先,对输入视频图像进行目标检测和跟踪得到各个目标的头部位置信息,其中包括运动前景;其次,对运动前景进行超像素预分割获取前景超像素分割图;最后,根据人体先验形状信息和颜色信息在前景分割图上构建一个加权图模型,通过寻找最优路径找到粘连目标之间的最佳分割边界。该方法存在的不足是,通过人体先验形状信息和颜色信息构建加权图模型,虽然可以解决一些背景杂乱、目标漂移情况下的跟踪,但当目标形变较大、光照变化、模糊、遮挡时,很容易丢失视频图像的空间位置信息,难以实现准确有效地跟踪。
发明内容
本发明针对现有技术的不足,提出一种基于帧间约束超像素编码的目标跟踪方法,以实现当目标快速运动、遮挡、外观剧烈变化时对目标进行准确、有效地跟踪。
为实现上述目的,本发明的具体步骤如下:
(1)预处理第一帧图像:
(1a)输入一段待跟踪视频图像序列中的第一帧图像,将第一帧图像作为当前帧图像;
(1b)在当前帧图像中将待跟踪目标用矩形框标出,将矩形框的位置作为待跟踪目标的初始位置;
(1c)提取当前帧图像中所有像素点的颜色模型Lab特征描述子;
(2)构建初始字典:
(2a)采用Turbopixels方法,将当前帧图像分割成为超像素块;
(2b)对当前帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值,将该平均值作为每个超像素块的颜色模型Lab特征描述子;
(2c)采用k均值聚类的方法,将每个超像素块的颜色模型Lab特征描述子进行聚类,得到初始字典;
(3)样本编码:
(3a)在当前帧图像中,以待跟踪目标的初始位置为中心,取出与待跟踪目标的初始位置大小相同的多个矩形框,将这些矩形框作为样本;
(3b)提取样本中超像素块的颜色模型Lab特征描述子;
(3c)按照下式,计算样本的编码:
其中,表示样本的编码,i表示样本的第i个超像素块,t表示当前正在处理图像的帧序号,N表示样本中超像素块的总个数,表示超像素块的颜色模型Lab特征描述子,Bt表示初始字典,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数;
(4)训练分类器:
(4a)采用交叉验证的方法,由样本中正样本和负样本的类别及样本编码训练得到线性支持向量机SVM分类器;
(5)当前帧检测样本编码:
(5a)载入待跟踪视频图像序列中下一帧,作为当前帧图像,按照Turbopixels方法,获得当前帧图像超像素块,对当前帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值,得到每个超像素块的颜色模型Lab特征描述子;
(5b)在当前帧图像中,以上一帧待跟踪目标的位置为中心获取多个检测样本,取出与待跟踪目标的位置大小相同的多个矩形框,将这些矩形框作为检测样本;
(5c)提取检测样本中超像素块的颜色模型Lab特征描述子;
(5d)按照下式,计算检测样本的预测编码:
其中,表示检测样本的预测编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,N表示样本中超像素块的总个数,表示上一帧字典,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数;
(5e)按照下式,计算检测样本的上一帧约束编码:
其中,表示检测样本的检测样本的上一帧约束编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,表示检测样本的预测编码,表示检测样本的第i个超像素块在上一帧图像对应超像素块的邻域,表示检测样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码;||·||表示求一范数操作,argmin(·)表示选取最小值操作;
(5f)按照下式,计算检测样本的编码:
其中,表示检测样本的编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,N表示样本中超像素块的总个数,表示检测样本中超像素块的颜色模型Lab特征描述子,表示上一帧字典,表示检测样本的上一帧约束编码,λ是系数因子,取值范围0.1~10,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数;
(6)预测目标框位置:
用当前帧图像的上一帧图像训练的分类器,对当前帧检测样本的编码进行分类预测,得到当前帧图像的检测样本的决策值,选出最大决策值的检测样本在当前帧图像中的位置,将该位置作为当前帧图像中待跟踪目标的位置;
(7)更新字典:
(7a)采用k均值聚类方法,将当前帧图像中超像素的颜色模型Lab特征描述子聚类到上一帧字典,得到修正聚类中心,按照下式,计算当前帧字典:
(8)精确样本编码:
(8a)在当前帧图像中,以当前帧图像中待跟踪目标的位置为中心,取出与待跟踪目标的位置大小相同的多个矩形框,将这些矩形框作为精确样本;
(8b)提取精确样本中超像素的颜色模型Lab特征描述子;
(8c)按照下式,计算精确样本的预测编码:
其中,表示精确样本的预测编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,N表示样本中超像素块的总个数,表示当前帧字典,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数;
(8d)按照下式,计算精确样本的上一帧约束编码:
其中,表示精确样本的上一帧约束编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,表示精确样本的预测编码,表示精确样本的第i个超像素块在上一帧图像对应超像素块的邻域,表示精确样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码,||·||表示求一范数操作,argmin(·)表示选取最小值操作;
(8e)按照下式,计算精确样本的编码:
其中,表示精确样本的编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,N表示样本中超像素块的总个数,表示检测样本中超像素块的颜色模型Lab特征描述子,Bt表示当前帧字典,表示精确样本的上一帧约束编码,λ是系数因子,取值范围0.1~10,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数;
(9)升级分类器:
(9a)采用交叉验证的方法,由精确样本的类别及编码训练出本帧修正分类器;
(9b)按照下式,计算当前帧分类器:
(10)判断当前帧图像是否为待跟踪视频图像序列的最后一帧图像,若是,执行步骤(11);否则,执行步骤(5);
(11)结束。
本发明与现有的技术相比具有以下优点:
第一,由于本发明采用将视频图像分割成超像素块的方法,克服了现有技术中可能会破坏图像局部完整性和纹理信息的一致性而导致跟踪失败的缺点,使得本发明减少了图像的冗余;降低了图像后续处理的复杂度,提高了跟踪效率。
第二,由于本发明采用上一帧约束编码的方法,有效地克服了现有技术因丢失视频图像的空间位置信息导致跟踪失败的缺点,使得本发明巧妙地将超像素融合到编码过程中,保留了空间位置信息,提高了跟踪效率。
第三,由于本发明在跟踪过程中不断更新字典和升级分类器,有效地克服了现有技术重构样本特征不够准确的缺点,使得本发明提高了分类器的识别能力;能够更加稳定地实现目标跟踪。
附图说明
图1为本发明的流程图;
图2为在输入的第一帧视频图像中用矩形框框出待跟踪目标的示意图;
图3为输入的第一帧视频图像分割成超像素块的示意图;
图4为输入当目标发生遮挡时的一帧视频图像;
图5为输入当目标发生遮挡时的一帧视频图像的跟踪结果示意图;
图6为输入当目标发生明显外观形变时的一帧视频图像;
图7为输入当目标发生明显外观形变时的一帧视频图像跟踪结果示意图。
具体实施方式
下面结合附图对本发明做进一步的描述。
结合附图1中,实现本发明的具体步骤如下:
步骤1,预处理第一帧图像。
输入一段待跟踪视频图像序列中的第一帧图像。
在第一帧图像中将待跟踪目标用矩形框标出,将矩形框的位置作为待跟踪目标的初始位置。本发明的实施例中,所输入的一段待跟踪视频图像序列的第一帧图像如图2所示。图2为一段小女孩玩滑板的视频图像序列的第一帧图像,图2中矩形框的位置表示待跟踪目标的初始位置;提取第一帧图像中所有像素点的颜色模型Lab特征描述子。
步骤2,构建初始字典。
采用Turbopixels方法,将第一帧图像分割成为超像素块,如图3所示。图3为将图2分割成为超像素块的示意图,Turbopixels方法的具体步骤如下:
第一步,在一段待跟踪视频图像序列中的当前帧图像中,取出等间距的像素点,将这些像素点作为初始种子点;
第二步,膨胀初始种子点,进行边界增长;
第三步,当相邻两个不同的种子点膨胀到即将碰撞时停止边界增长,获得此时生成的边界将当前帧图像分割成超像素块。
对第一帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值,得到每个超像素块的颜色模型Lab特征描述子。
采用k均值聚类的方法,将每个超像素块的颜色模型Lab特征描述子进行聚类,得到初始字典。k均值聚类方法的具体步骤如下:
从帧图像的所有超像素块的颜色模型Lab特征描述子中,任意选取300个超像素块的颜色模型Lab特征描述子作为聚类的初始中心,通过迭代,逐次更新各个聚类的初始中心,得到新的聚类中心,直至这些新的聚类中心收敛,得到最好的聚类中心,将最好的聚类中心作为初始字典。
步骤3,样本编码。
在第一帧图像中,以待跟踪目标的初始位置为中心,取出与待跟踪目标的初始位置大小相同的多个矩形框,将这些矩形框作为样本,样本中包含正样本和负样本;提取样本中超像素块的颜色模型Lab特征描述子。
按照下式,计算样本的编码:
其中,表示样本的编码,i表示样本的第i个超像素块,t表示当前正在处理图像的帧序号,N表示样本中超像素块的总个数,表示超像素块的颜色模型Lab特征描述子,Bt表示初始字典,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数。
步骤4,训练分类器。
采用交叉验证的方法,由样本中正样本和负样本的类别及样本编码训练得到线性支持向量机SVM分类器。交叉验证方法的具体步骤如下:
第一步,将样本中正样本和负样本作为训练集。
第二步,将训练集划分为相同大小的几个子集。
第三步,将其中一个子集作为测试集,其它子集作为训练集训练分类器。
步骤5,当前帧检测样本编码。
载入待跟踪视频图像序列中下一帧,作为当前帧图像,图4为待跟踪视频图像序列中目标发生遮挡时的一帧视频图像,图6为待跟踪视频图像序列中目标发生明显外观形变时的一帧视频图像,按照Turbopixels方法,获得当前帧图像超像素块,对当前帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值,得到每个超像素块的颜色模型Lab特征描述子。
Turbopixels方法的具体步骤如下:
第一步,在当前帧图像中,取出等间距的像素点,将这些像素点作为初始种子点;
第二步,膨胀初始种子点,进行边界增长;
第三步,当相邻两个不同的种子点膨胀到即将碰撞时停止边界增长,获得此时生成的边界将当前帧图像分割成超像素块。
在当前帧图像中,以上一帧待跟踪目标的位置为中心获取多个检测样本,取出与待跟踪目标的位置大小相同的多个矩形框,将这些矩形框作为检测样本;提取检测样本中超像素块的Lab特征描述子。
计算检测样本的编码的具体步骤如下:
第一步,按照下式,计算检测样本的预测编码:
其中,表示检测样本的预测编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,N表示样本中超像素块的总个数,表示上一帧字典,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数。
第二步,按照下式,计算检测样本的上一帧约束编码:
其中,表示检测样本的上一帧约束编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,表示检测样本的预测编码,表示检测样本的第i个超像素块在上一帧图像对应超像素块的邻域,表示检测样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码;||·||表示求一范数操作,argmin(·)表示选取最小值操作。
第三步,按照下式,计算检测样本的编码:
其中,表示检测样本的编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,N表示样本中超像素块的总个数,表示检测样本中超像素块的颜色模型Lab特征描述子,表示上一帧字典,表示检测样本的上一帧约束编码,λ是系数因子,取值范围0.1~10,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数。
步骤6,预测目标框位置。
由当前帧图像的上一帧图像训练的分类器,对当前帧检测样本的编码进行分类预测,选出最大决策值的检测样本在当前帧图像中的位置,将该位置作为当前帧图像中待跟踪目标的位置,如图5和图7所示,图5中矩形框的位置是待跟踪视频图像序列中目标发生遮挡时的一帧视频图像中待跟踪目标的位置,图7中矩形框的位置是待跟踪视频图像序列中目标发生明显外观形变时的一帧视频图像中待跟踪目标的位置。
步骤7,更新字典。
采用k均值聚类方法,由当前帧图像中超像素的颜色模型Lab特征描述子和上一帧字典,得到修正聚类中心,k均值聚类方法的具体步骤如下:
第一步,将上一帧字典作为聚类的初始中心。
第二步,将当前帧图像中超像素的颜色模型Lab特征描述子聚类到初始中心。
第三步,通过迭代,逐次更新聚类的初始中心,得到新的聚类中心,直至这些新的聚类中心收敛,得到最好的聚类中心,将最好的聚类中心作为修正聚类中心。
按照下式,计算当前帧字典:
步骤8,精确样本编码。
在当前帧图像中,以当前帧图像中待跟踪目标的位置为中心,取出与待跟踪目标的位置大小相同的多个矩形框,将这些矩形框作为精确样本;提取精确样本中超像素的颜色模型Lab特征描述子。
计算精确样本的编码的具体步骤如下:
第一步,按照下式,计算精确样本的预测编码:
其中,表示精确样本的预测编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,N表示样本中超像素块的总个数,表示当前帧字典,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数。
第二步,按照下式,计算精确样本的上一帧约束编码:
其中,表示精确样本的上一帧约束编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,表示检测样本的预测编码,表示检测样本的第i个超像素块在上一帧图像对应超像素块的邻域,表示检测样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码;||·||表示求一范数操作,argmin(·)表示选取最小值操作。
第三步,按照下式,计算精确样本的编码:
其中,表示精确样本的编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,N表示样本中超像素块的总个数,表示检测样本中超像素块的颜色模型Lab特征描述子,Bt表示当前帧字典,表示精确样本的上一帧约束编码,λ是系数因子,取值范围0.1~10,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数。
步骤9,升级分类器。
采用交叉验证的方法,由精确样本的类别及编码训练出本帧修正分类器,交叉验证方法的具体步骤如下:
第一步,将样本中正样本和负样本作为训练集。
第二步,将训练集划分为相同大小的几个子集。
第三步,将其中一个子集作为测试集,其它子集作为训练集训练分类器。
按照下式,计算当前帧分类器:
其中,wt表示当前帧分类器,β是更新系数,取值范围为0.8~1,wt-1表示上一帧分类器,表示本帧修正分类器。
步骤10,判断当前帧图像是否为待跟踪视频图像序列的最后一帧图像,若是,执
行步骤11;否则,返回步骤5。
步骤11,结束。
下面结合附图4、附图5、附图6和附图7对本发明的效果做进一步说明。
1.仿真实验条件:
本发明的硬件测试平台是:处理器为CPU intel Core i5-3470,主频为3.2GHz,内存4GB;软件平台为:Windows7旗舰版,32位操作系统,MATLAB R2011b;本发明仿真实验所用数据是一段小女孩玩滑板的视频图像序列,该视频图像序列共有1500帧视频图像。
2.仿真内容:
第一,载入待跟踪视频图像序列中一帧视频图像如图4,该图像中目标有部分遮挡,将该图像分割成为超像素块,提取超像素块的特征,获取检测样本,对检测样本中超像素块编码,用上一帧训练的分类器对检测样本编码进行分类预测,由预测结果估计出该图像中待跟踪目标的跟踪位置,跟踪结果如图5所示,图5中矩形框的位置是待跟踪视频图像序列中目标发生部分遮挡时的一帧视频图像中待跟踪目标的位置,由得到的该图像中目标的跟踪位置,更新字典和分类器,为下一帧图像处理做准备。
第二,载入待跟踪视频图像序列中一帧视频图像如图6,该图像中背景杂乱,目标有明显外观形变,将该图像分割成为超像素块,提取超像素块的特征,获取检测样本,对检测样本中超像素块编码,用上一帧训练的分类器对检测样本编码进行分类预测,由预测结果估计出该图像中待跟踪目标的跟踪位置,跟踪结果如图7所示,图7中矩形框的位置是待跟踪视频图像序列中目标发生明显外观形变时的一帧视频图像中待跟踪目标的位置,由得到的该图像中目标的跟踪位置,更新字典和分类器,为下一帧图像处理做准备。
3.仿真结果分析:
在图5和图7中,矩形框的位置表示本发明跟踪到的待跟踪视频图像序列中待跟踪目标的位置。由图5和图7可以看出,矩形框准确地框定了目标,说明本发明能够在图像背景杂乱、目标遮挡、目标外观形变的情况下实现准确、有效地目标跟踪。
Claims (4)
1.一种基于帧间约束超像素编码的目标跟踪方法,包括如下步骤:
(1)预处理第一帧图像:
(1a)输入一段待跟踪视频图像序列中的第一帧图像,将第一帧图像作为当前帧图像;
(1b)在当前帧图像中将待跟踪目标用矩形框标出,将矩形框的位置作为待跟踪目标的初始位置;
(1c)提取当前帧图像中所有像素点的颜色模型Lab特征描述子;
(2)构建初始字典:
(2a)采用Turbopixels方法,将当前帧图像分割成为超像素块;
(2b)对当前帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值,将该平均值作为每个超像素块的颜色模型Lab特征描述子;
(2c)采用k均值聚类的方法,将每个超像素块的颜色模型Lab特征描述子进行聚类,得到初始字典;
(3)样本编码:
(3a)在当前帧图像中,以待跟踪目标的初始位置为中心,取出与待跟踪目标的初始位置大小相同的多个矩形框,将这些矩形框作为样本;
(3b)提取样本中超像素块的颜色模型Lab特征描述子;
(3c)按照下式,计算样本的编码:
其中,表示样本的编码,i表示样本的第i个超像素块,t表示当前正在处理图像的帧序号,N表示样本中超像素块的总个数,表示超像素块的颜色模型Lab特征描述子,Bt表示初始字典,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数;
(4)训练分类器:
(4a)采用交叉验证的方法,由样本中正样本和负样本的类别及样本编码训练得到线性支持向量机SVM分类器;
(5)当前帧检测样本编码:
(5a)载入待跟踪视频图像序列中下一帧,作为当前帧图像,按照Turbopixels方法,获得当前帧图像超像素块,对当前帧图像的每个超像素块中所有像素点的颜色模型Lab特征描述子求平均值,得到每个超像素块的颜色模型Lab特征描述子;
(5b)在当前帧图像中,以上一帧待跟踪目标的位置为中心获取多个检测样本,取出与待跟踪目标的位置大小相同的多个矩形框,将这些矩形框作为检测样本;
(5c)提取检测样本中超像素块的颜色模型Lab特征描述子;
(5d)按照下式,计算检测样本的预测编码:
其中,表示检测样本的预测编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,N表示样本中超像素块的总个数,表示上一帧字典,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数;
(5e)按照下式,计算检测样本的上一帧约束编码:
其中,表示检测样本的检测样本的上一帧约束编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,表示检测样本的预测编码,表示检测样本的第i个超像素块在上一帧图像对应超像素块的邻域,表示检测样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码;||·||表示求一范数操作,argmin(·)表示选取最小值操作;
(5f)按照下式,计算检测样本的编码:
其中,表示检测样本的编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,N表示样本中超像素块的总个数,表示检测样本中超像素块的颜色模型Lab特征描述子,表示上一帧字典,表示检测样本的上一帧约束编码,λ是系数因子,取值范围0.1~10,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数;
(6)预测目标框位置:
用当前帧图像的上一帧图像训练的分类器,对当前帧检测样本的编码进行分类预测,得到当前帧图像的检测样本的决策值,选出最大决策值的检测样本在当前帧图像中的位置,将该位置作为当前帧图像中待跟踪目标的位置;
(7)更新字典:
(7a)采用k均值聚类方法,将当前帧图像中超像素的颜色模型Lab特征描述子聚类到上一帧字典,得到修正聚类中心,按照下式,计算当前帧字典:
(8)精确样本编码:
(8a)在当前帧图像中,以当前帧图像中待跟踪目标的位置为中心,取出与待跟踪目标的位置大小相同的多个矩形框,将这些矩形框作为精确样本;
(8b)提取精确样本中超像素的颜色模型Lab特征描述子;
(8c)按照下式,计算精确样本的预测编码:
其中,表示精确样本的预测编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,N表示样本中超像素块的总个数,表示当前帧字典,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数;
(8d)按照下式,计算精确样本的上一帧约束编码:
其中,表示精确样本的上一帧约束编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,表示精确样本的预测编码,表示精确样本的第i个超像素块在上一帧图像对应超像素块的邻域,表示精确样本的第i个超像素块在上一帧图像邻域内对应超像素块的编码,||·||表示求一范数操作,argmin(·)表示选取最小值操作;
(8e)按照下式,计算精确样本的编码:
其中,表示精确样本的编码,t表示当前正在处理图像的帧序号,i表示样本的第i个超像素块,N表示样本中超像素块的总个数,表示检测样本中超像素块的颜色模型Lab特征描述子,Bt表示当前帧字典,表示精确样本的上一帧约束编码,λ是系数因子,取值范围0.1~10,min(·)表示求最小值操作,||·||2表示求二范数操作,s.t.表示约束条件符号,A表示元素值全为1的向量,(·)T表示转置操作,表示i任意取1~N中的一个整数;
(9)升级分类器:
(9a)采用交叉验证的方法,由精确样本的类别及编码训练出本帧修正分类器;
(9b)按照下式,计算当前帧分类器:
(10)判断当前帧图像是否为待跟踪视频图像序列的最后一帧图像,若是,执行步骤(11);否则,执行步骤(5);
(11)结束。
2.根据权利要求1所述的基于帧间约束超像素编码的目标跟踪方法,其特征在于,步骤(2a)和步骤(5a)中所述Turbopixels方法的具体步骤如下:
第一步,在一段待跟踪视频图像序列中的当前帧图像中,取出等间距的像素点,将这些像素点作为初始种子点;
第二步,膨胀初始种子点,进行边界增长;
第三步,当相邻两个不同的种子点膨胀到即将碰撞时停止边界增长,获得此时生成的边界将当前帧图像分割成超像素块。
3.根据权利要求1所述的基于帧间约束超像素编码的目标跟踪方法,其特征在于,步骤(2c)和步骤(7a)中所述k均值聚类方法的具体步骤如下:从一段待跟踪视频图像序列中的当前帧图像的所有超像素块的颜色模型Lab特征描述子中,任意选取300个超像素块的颜色模型Lab特征描述子作为聚类的初始中心,通过迭代,逐次更新各个聚类的初始中心,得到新的聚类中心,直至这些新的聚类中心收敛,得到最好的聚类中心,将最好的聚类中心作为初始字典。
4.根据权利要求1所述的基于帧间约束超像素编码的目标跟踪方法,其特征在于,步骤(4a)和步骤(9a)中所述交叉验证方法的具体步骤如下:
第一步,将样本中正样本和负样本作为训练集;
第二步,将训练集划分为相同大小的几个子集;
第三步,将其中一个子集作为测试集,其它子集作为训练集训练分类器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410068665.6A CN103810723B (zh) | 2014-02-27 | 2014-02-27 | 基于帧间约束超像素编码的目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410068665.6A CN103810723B (zh) | 2014-02-27 | 2014-02-27 | 基于帧间约束超像素编码的目标跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103810723A true CN103810723A (zh) | 2014-05-21 |
CN103810723B CN103810723B (zh) | 2016-08-17 |
Family
ID=50707443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410068665.6A Expired - Fee Related CN103810723B (zh) | 2014-02-27 | 2014-02-27 | 基于帧间约束超像素编码的目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103810723B (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104239522A (zh) * | 2014-09-17 | 2014-12-24 | 西安电子科技大学 | 一种基于图像间内容约束的超像素编码图像检索方法 |
CN104573719A (zh) * | 2014-12-31 | 2015-04-29 | 国家电网公司 | 基于图像智能分析的山火检测方法 |
CN104661034A (zh) * | 2015-02-11 | 2015-05-27 | 北京大学 | 基于视频的局部特征描述子的压缩方法及系统 |
CN104735459A (zh) * | 2015-02-11 | 2015-06-24 | 北京大学 | 视频局部特征描述子的压缩方法、系统及视频压缩方法 |
CN105718897A (zh) * | 2016-01-22 | 2016-06-29 | 张健敏 | 一种基于视觉特征的数控车床 |
CN105718891A (zh) * | 2016-01-22 | 2016-06-29 | 孟玲 | 一种可增强对比度的服务器机柜室 |
CN105718896A (zh) * | 2016-01-22 | 2016-06-29 | 张健敏 | 一种具有目标识别功能的智能机器人 |
CN105718911A (zh) * | 2016-01-22 | 2016-06-29 | 张健敏 | 一种具有目标识别功能的室外变压器 |
CN105740771A (zh) * | 2016-01-22 | 2016-07-06 | 张健敏 | 一种具有目标识别功能的推土装置 |
CN105740769A (zh) * | 2016-01-22 | 2016-07-06 | 孟玲 | 一种局部和全局特征相结合的自助加油设备 |
CN105740766A (zh) * | 2016-01-22 | 2016-07-06 | 孟玲 | 一种具有稳定跟踪功能的温室大棚生态系统 |
CN105740785A (zh) * | 2016-01-22 | 2016-07-06 | 张健敏 | 一种基于视觉特征的石油运输装置 |
CN105740770A (zh) * | 2016-01-22 | 2016-07-06 | 孟玲 | 一种具有稳定跟踪功能的真空包装装置 |
CN105740865A (zh) * | 2016-01-22 | 2016-07-06 | 张健敏 | 一种局部和全局特征相结合的桥梁施工装置 |
CN105740768A (zh) * | 2016-01-22 | 2016-07-06 | 孟玲 | 一种局部和全局特征相结合的无人驾驶叉运装置 |
CN105809719A (zh) * | 2016-03-14 | 2016-07-27 | 西南交通大学 | 一种基于像素多编码表匹配的对象跟踪方法 |
CN106033548A (zh) * | 2015-03-13 | 2016-10-19 | 中国科学院西安光学精密机械研究所 | 基于改进字典学习的拥挤人群异常检测方法 |
CN104240269B (zh) * | 2014-09-24 | 2017-02-15 | 西安电子科技大学 | 一种基于空间约束编码的视频目标跟踪方法 |
CN106447681A (zh) * | 2016-07-26 | 2017-02-22 | 浙江工业大学 | 一种非均一严重运动退化图像的对象分割方法 |
CN107123130A (zh) * | 2017-03-06 | 2017-09-01 | 华南理工大学 | 一种基于超像素和混合哈希的核相关滤波目标跟踪方法 |
CN109426805A (zh) * | 2017-08-21 | 2019-03-05 | 诺基亚技术有限公司 | 用于对象检测的方法、设备和计算机程序产品 |
CN111696136A (zh) * | 2020-06-09 | 2020-09-22 | 电子科技大学 | 一种基于编解码结构的目标跟踪方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011253381A (ja) * | 2010-06-02 | 2011-12-15 | Toshiba Corp | 目標追跡装置及び目標追跡方法 |
US20120250945A1 (en) * | 2011-04-01 | 2012-10-04 | Altek Corporation | Method for analyzing object motion in multi frames |
CN102930539A (zh) * | 2012-10-25 | 2013-02-13 | 江苏物联网研究发展中心 | 基于动态图匹配的目标跟踪方法 |
CN103024349A (zh) * | 2012-11-13 | 2013-04-03 | 大连民族学院 | 一种基于稀疏限制的mle视频目标跟踪方法 |
CN103413323A (zh) * | 2013-07-25 | 2013-11-27 | 华南农业大学 | 基于部件级表观模型的物体跟踪方法 |
CN103578119A (zh) * | 2013-10-31 | 2014-02-12 | 苏州大学 | 基于超像素的Codebook动态场景中目标检测方法 |
-
2014
- 2014-02-27 CN CN201410068665.6A patent/CN103810723B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011253381A (ja) * | 2010-06-02 | 2011-12-15 | Toshiba Corp | 目標追跡装置及び目標追跡方法 |
US20120250945A1 (en) * | 2011-04-01 | 2012-10-04 | Altek Corporation | Method for analyzing object motion in multi frames |
CN102930539A (zh) * | 2012-10-25 | 2013-02-13 | 江苏物联网研究发展中心 | 基于动态图匹配的目标跟踪方法 |
CN103024349A (zh) * | 2012-11-13 | 2013-04-03 | 大连民族学院 | 一种基于稀疏限制的mle视频目标跟踪方法 |
CN103413323A (zh) * | 2013-07-25 | 2013-11-27 | 华南农业大学 | 基于部件级表观模型的物体跟踪方法 |
CN103578119A (zh) * | 2013-10-31 | 2014-02-12 | 苏州大学 | 基于超像素的Codebook动态场景中目标检测方法 |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104239522A (zh) * | 2014-09-17 | 2014-12-24 | 西安电子科技大学 | 一种基于图像间内容约束的超像素编码图像检索方法 |
CN104239522B (zh) * | 2014-09-17 | 2017-05-24 | 西安电子科技大学 | 一种基于图像间内容约束的超像素编码图像检索方法 |
CN104240269B (zh) * | 2014-09-24 | 2017-02-15 | 西安电子科技大学 | 一种基于空间约束编码的视频目标跟踪方法 |
CN104573719A (zh) * | 2014-12-31 | 2015-04-29 | 国家电网公司 | 基于图像智能分析的山火检测方法 |
CN104573719B (zh) * | 2014-12-31 | 2017-10-24 | 国家电网公司 | 基于图像智能分析的山火检测方法 |
CN104661034A (zh) * | 2015-02-11 | 2015-05-27 | 北京大学 | 基于视频的局部特征描述子的压缩方法及系统 |
CN104735459A (zh) * | 2015-02-11 | 2015-06-24 | 北京大学 | 视频局部特征描述子的压缩方法、系统及视频压缩方法 |
CN104735459B (zh) * | 2015-02-11 | 2018-10-19 | 北京大学 | 视频局部特征描述子的压缩方法、系统及视频压缩方法 |
CN104661034B (zh) * | 2015-02-11 | 2018-03-02 | 北京大学 | 基于视频的局部特征描述子的压缩方法及系统 |
CN106033548A (zh) * | 2015-03-13 | 2016-10-19 | 中国科学院西安光学精密机械研究所 | 基于改进字典学习的拥挤人群异常检测方法 |
CN106033548B (zh) * | 2015-03-13 | 2021-04-20 | 中国科学院西安光学精密机械研究所 | 基于改进字典学习的拥挤人群异常检测方法 |
CN105718911A (zh) * | 2016-01-22 | 2016-06-29 | 张健敏 | 一种具有目标识别功能的室外变压器 |
CN105718896A (zh) * | 2016-01-22 | 2016-06-29 | 张健敏 | 一种具有目标识别功能的智能机器人 |
CN105740865A (zh) * | 2016-01-22 | 2016-07-06 | 张健敏 | 一种局部和全局特征相结合的桥梁施工装置 |
CN105740768A (zh) * | 2016-01-22 | 2016-07-06 | 孟玲 | 一种局部和全局特征相结合的无人驾驶叉运装置 |
CN105718897A (zh) * | 2016-01-22 | 2016-06-29 | 张健敏 | 一种基于视觉特征的数控车床 |
CN105740785A (zh) * | 2016-01-22 | 2016-07-06 | 张健敏 | 一种基于视觉特征的石油运输装置 |
CN105740766A (zh) * | 2016-01-22 | 2016-07-06 | 孟玲 | 一种具有稳定跟踪功能的温室大棚生态系统 |
CN105740770A (zh) * | 2016-01-22 | 2016-07-06 | 孟玲 | 一种具有稳定跟踪功能的真空包装装置 |
CN105740769A (zh) * | 2016-01-22 | 2016-07-06 | 孟玲 | 一种局部和全局特征相结合的自助加油设备 |
CN105718891A (zh) * | 2016-01-22 | 2016-06-29 | 孟玲 | 一种可增强对比度的服务器机柜室 |
CN105740771A (zh) * | 2016-01-22 | 2016-07-06 | 张健敏 | 一种具有目标识别功能的推土装置 |
CN105809719B (zh) * | 2016-03-14 | 2018-11-20 | 西南交通大学 | 一种基于像素多编码表匹配的对象跟踪方法 |
CN105809719A (zh) * | 2016-03-14 | 2016-07-27 | 西南交通大学 | 一种基于像素多编码表匹配的对象跟踪方法 |
CN106447681A (zh) * | 2016-07-26 | 2017-02-22 | 浙江工业大学 | 一种非均一严重运动退化图像的对象分割方法 |
CN106447681B (zh) * | 2016-07-26 | 2019-01-29 | 浙江工业大学 | 一种非均一严重运动退化图像的对象分割方法 |
CN107123130A (zh) * | 2017-03-06 | 2017-09-01 | 华南理工大学 | 一种基于超像素和混合哈希的核相关滤波目标跟踪方法 |
CN107123130B (zh) * | 2017-03-06 | 2019-12-10 | 华南理工大学 | 一种基于超像素和混合哈希的核相关滤波目标跟踪方法 |
CN109426805A (zh) * | 2017-08-21 | 2019-03-05 | 诺基亚技术有限公司 | 用于对象检测的方法、设备和计算机程序产品 |
CN109426805B (zh) * | 2017-08-21 | 2022-03-25 | 诺基亚技术有限公司 | 用于对象检测的方法、设备和计算机程序产品 |
CN111696136A (zh) * | 2020-06-09 | 2020-09-22 | 电子科技大学 | 一种基于编解码结构的目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103810723B (zh) | 2016-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103810723A (zh) | 基于帧间约束超像素编码的目标跟踪方法 | |
Nejhum et al. | Visual tracking with histograms and articulating blocks | |
CN108171196B (zh) | 一种人脸检测方法及装置 | |
Kim et al. | Simultaneous gesture segmentation and recognition based on forward spotting accumulative HMMs | |
Ramanan et al. | Tracking people by learning their appearance | |
Sminchisescu et al. | Learning joint top-down and bottom-up processes for 3D visual inference | |
CN106127804B (zh) | 基于稀疏深度去噪自编码器的rgb-d数据跨模式特征学习的目标跟踪方法 | |
CN102147861A (zh) | 一种基于颜色-纹理双重特征向量进行贝叶斯判决的运动目标检测方法 | |
US20110208685A1 (en) | Motion Capture Using Intelligent Part Identification | |
Kang et al. | Real-time multiple people tracking using competitive condensation | |
Zhou et al. | Enhance the recognition ability to occlusions and small objects with Robust Faster R-CNN | |
Mekonnen et al. | Comparative evaluations of selected tracking-by-detection approaches | |
Tian et al. | Multi-object tracking with inter-feedback between detection and tracking | |
Maggiani et al. | Bio-inspired heterogeneous architecture for real-time pedestrian detection applications | |
Ali et al. | Moving object detection using self adaptive Gaussian Mixture Model for real time applications | |
Vafadar et al. | A vision based system for communicating in virtual reality environments by recognizing human hand gestures | |
CN103473560A (zh) | 基于上下文约束编码的目标跟踪方法 | |
Jung et al. | V-STRONG: Visual Self-Supervised Traversability Learning for Off-road Navigation | |
CN110570450A (zh) | 一种基于级联的上下文感知框架的目标跟踪方法 | |
CN112613472B (zh) | 一种基于深度搜索匹配的行人检测方法及系统 | |
Yuk et al. | An efficient pattern-less background modeling based on scale invariant local states | |
Mewada et al. | A fast region-based active contour for non-rigid object tracking and its shape retrieval | |
Chang et al. | Fast Online Upper Body Pose Estimation from Video. | |
Wang et al. | Visual tracking using discriminative representation with ℓ 2 regularization | |
Ji et al. | Robust vision tracking by online random ferns and template library |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160817 Termination date: 20210227 |