CN106296731A - 一种复杂场景下的目标车辆视频跟踪系统 - Google Patents
一种复杂场景下的目标车辆视频跟踪系统 Download PDFInfo
- Publication number
- CN106296731A CN106296731A CN201610613601.9A CN201610613601A CN106296731A CN 106296731 A CN106296731 A CN 106296731A CN 201610613601 A CN201610613601 A CN 201610613601A CN 106296731 A CN106296731 A CN 106296731A
- Authority
- CN
- China
- Prior art keywords
- target vehicle
- video
- image
- tracking
- particle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006641 stabilisation Effects 0.000 claims abstract description 16
- 238000011105 stabilization Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 31
- 238000007781 pre-processing Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 17
- 230000000087 stabilizing effect Effects 0.000 claims description 2
- 239000002245 particle Substances 0.000 description 200
- 238000010606 normalization Methods 0.000 description 30
- 230000007704 transition Effects 0.000 description 26
- 230000003044 adaptive effect Effects 0.000 description 25
- 238000005070 sampling Methods 0.000 description 25
- 238000012952 Resampling Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 15
- 239000003381 stabilizer Substances 0.000 description 11
- 230000002159 abnormal effect Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000004927 fusion Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 239000000654 additive Substances 0.000 description 5
- 230000000996 additive effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000000644 propagated effect Effects 0.000 description 5
- 230000035484 reaction time Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种复杂场景下的目标车辆视频跟踪系统,包括目标车辆视频采集装置、视频稳像装置、目标车辆追踪装置和目标车辆位置更新装置,所述目标车辆视频采集装置用于采集包含目标车辆的视频;所述视频稳像装置用于对采集的视频进行预处理,消除视频抖动的影响;所述目标车辆追踪装置用于对视频中的所述目标车辆进行检测和跟踪,最终获得所述目标车辆的检测跟踪结果;所述目标车辆位置更新装置用于利用所述检测跟踪结果通过在线学习更新所述目标车辆追踪装置,进而更新所述目标车辆的位置。本发明设置视频稳像装置对采集的视频图像进行预处理,消除视频抖动的影响。
Description
技术领域
本发明涉及目标车辆跟踪技术领域,具体涉及一种复杂场景下的目标车辆视频跟踪系统。
背景技术
随着计算机技术和图像处理技术的不断发展,基于视频技术的目标车辆检测与跟踪系统已成为智能交通系统的核心内容和关键技术。相关技术中的基于视频技术的检测与跟踪系统处理速度快、安装维护便捷且费用较低,并且监视范围广,可获取更多种类的交通参数,然而所述系统在采集包含目标车辆的视频时存在视频抖动的问题,进而影响后续的图像处理,系统处理视频图像的精度不高。
发明内容
为解决上述问题,本发明旨在提供一种复杂场景下的目标车辆视频跟踪系统。
本发明的目的采用以下技术方案来实现:
一种复杂场景下的目标车辆视频跟踪系统,包括目标车辆视频采集装置、视频稳像装置、目标车辆追踪装置和目标车辆位置更新装置,所述目标车辆视频采集装置用于采集包含目标车辆的视频;所述视频稳像装置用于对采集的视频进行预处理,消除视频抖动的影响;所述目标车辆追踪装置用于对视频中的所述目标车辆进行检测和跟踪,最终获得所述目标车辆的检测跟踪结果;所述目标车辆位置更新装置用于利用所述检测跟踪结果通过在线学习更新所述目标车辆追踪装置,进而更新所述目标车辆的位置。
本发明的有益效果为:设置视频稳像装置对采集的视频图像进行预处理,消除视频抖动的影响,从而解决了上述的技术问题。
附图说明
利用附图对本发明作进一步说明,但附图中的应用场景不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明的结构示意图;
图2是本发明目标车辆追踪装置的模块连接示意图。
附图标记:
目标车辆视频采集装置1、视频稳像装置2、目标车辆追踪装置3、目标车辆位置更新装置4、高速相机11、视频图像采集器12、运动区域检测模块41、目标跟踪模块42、目标定位模块43、初始化子模块421、状态转移模型建立子模块422、观测模型建立子模块423、目标车辆候选区域计算子模块424、位置修正子模块425、重采样子模块426。
具体实施方式
结合以下应用场景对本发明作进一步描述。
应用场景1
参见图1、图2,本应用场景的一个实施例的复杂场景下的目标车辆视频跟踪系统,包括目标车辆视频采集装置1、视频稳像装置2、目标车辆追踪装置3、目标车辆位置更新装置4,所述目标车辆视频采集装置1用于采集包含目标车辆的视频;所述视频稳像装置2用于对采集的视频进行预处理,消除视频抖动的影响;所述目标车辆追踪装置3用于对视频中的所述目标车辆进行检测和跟踪,最终获得所述目标车辆的检测跟踪结果;所述目标车辆位置更新装置4用于利用所述检测跟踪结果通过在线学习更新所述目标车辆追踪装置3,进而更新所述目标车辆的位置。
优选的,所述目标车辆视频采集装置1包括高速相机11和与高速相机11连接的视频图像采集器12,所述视频图像采集器12用于采集目标车辆视频中的视频图像。
本发明上述实施例设置视频稳像装置2对采集的视频图像进行预处理,消除视频抖动的影响,从而解决了上述的技术问题。
优选的,所述对采集的视频进行预处理,包括:选定所述视频图像的第一帧图像为参考帧,并将参考帧平均划分为互不重叠的四个区域,W表示图像的宽度,H表示图像高度,四个区域大小均为0.5W×0.5H,从图像左上开始按照顺时针方向依次为区域1、2、3、4;在下一帧接收到的图像中心位置选定区域A0,A0的大小选定为0.5W×0.5H;将A0按照上述方法划分为大小为0.25W×0.25H的四个图像子块A1、A2、A3、A4,A1和A2用于估算垂直方向上的局部运动向量,A3和A4用于估算水平方向上的局部运动向量,令A1、A2、A3、A4分别在1、2、3、4四个区域内搜寻最佳匹配,从而估计出视频序列的全局运动矢量,然后进行反向运动补偿,消除视频抖动的影响。
本优选实施例完善了视频稳像装置2对采集的视频图像进行预处理的功能,对视频图像进行稳像,避免了视频抖动对后续图像处理造成的影响,预处理的效率高。
优选的,所述目标车辆追踪装置3包括运动区域检测模块41、目标跟踪模块42和目标定位模块43;所述运动区域检测模块41用于在视频图像的一帧图像中检测目标车辆的运动区域D1并以此作为目标模板;所述目标跟踪模块42用于建立粒子状态转移和观测模型并基于上述模型,采用粒子滤波预测目标车辆候选区域;所述目标定位模块43用于对所述目标车辆候选区域和所述目标模板进行特征相似度量,获得所述目标车辆的检测跟踪结果,即目标车辆的位置。
本优选实施例构建了目标车辆追踪装置3的模块架构。
优选的,所述目标跟踪模块42包括:
(1)初始化子模块421:用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理,初始化处理后粒子的初始状态为x0 i,初始权值为{Qo i=1/n,i=1,...n};
(2)状态转移模型建立子模块422:用于建立粒子状态转移模型,所述粒子状态转移模型采用下式:
式中,表示m时刻的新粒子,m≥2,为均值为0的高斯白噪声,A为4阶单位阵;m-1时刻的粒子通过状态转移模型传播;
(3)观测模型建立子模块423,用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型;
(4)目标车辆候选区域计算子模块424:其利用最小方差估计来计算目标车辆候选区域:
式中,xnow表示计算的当前帧图像的目标车辆候选区域,表示m时刻第j个粒子的对应状态值;
(5)位置修正子模块425:用于修正异常数据:
式中,xpre表示计算的当前帧图像的目标车辆候选区域,表示m-1时刻第j个粒子的对应状态值;
设置数据异常评价函数P=|xnow-xpre|,若P的值大于设定的经验值T,则xnow=xpre;
(6)重采样子模块426:用于通过重采样操作删除权值过小的粒子,重采样时,利用系统当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,采样过程中粒子数量和信息残差之间的关系定义为:
其中,Nm表示采样过程中m时刻的粒子数量,Nmax和Nmin分别表示最小和最大粒子数,Nmin+1表示仅大于Nmin的粒子数,Nmax-1表示仅小于Nmax的粒子数,表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新,有效增强了跟踪系统的鲁棒性;设置位置修正子模块425,能够避免异常数据对整个系统带来的影响;在重采样子模块426中,利用当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,并定义了采样过程中粒子数量和信息残差之间的关系,较好地保证了粒子采样的高效性和算法的实时性。
优选地,所述粒子观测模型的粒子权值更新公式为:
式中
其中,表示m时刻第j个粒子的最终更新权值,和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值,表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值,表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值,Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离,Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差,λ1为基于颜色直方图的特征权值归一化的自适应调整因子,λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子;
所述自适应调整因子的计算公式为:
其中,s=1时,表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值;s=2时,表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子,为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值;s=3时,表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值;ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式,对粒子的特征权值进行融合处理,有效克服了加性融合和乘性融合存在的缺陷,进一步增强了跟踪系统的鲁棒性。
在此应用场景中,选取粒子数n=50,跟踪速度相对提高了8%,跟踪精度相对提高了7%。
应用场景2
参见图1、图2,本应用场景的一个实施例的复杂场景下的目标车辆视频跟踪系统,包括目标车辆视频采集装置1、视频稳像装置2、目标车辆追踪装置3、目标车辆位置更新装置4,所述目标车辆视频采集装置1用于采集包含目标车辆的视频;所述视频稳像装置2用于对采集的视频进行预处理,消除视频抖动的影响;所述目标车辆追踪装置3用于对视频中的所述目标车辆进行检测和跟踪,最终获得所述目标车辆的检测跟踪结果;所述目标车辆位置更新装置4用于利用所述检测跟踪结果通过在线学习更新所述目标车辆追踪装置3,进而更新所述目标车辆的位置。
优选的,所述目标车辆视频采集装置1包括高速相机11和与高速相机11连接的视频图像采集器12,所述视频图像采集器12用于采集目标车辆视频中的视频图像。
本发明上述实施例设置视频稳像装置2对采集的视频图像进行预处理,消除视频抖动的影响,从而解决了上述的技术问题。
优选的,所述对采集的视频进行预处理,包括:选定所述视频图像的第一帧图像为参考帧,并将参考帧平均划分为互不重叠的四个区域,W表示图像的宽度,H表示图像高度,四个区域大小均为0.5W×0.5H,从图像左上开始按照顺时针方向依次为区域1、2、3、4;在下一帧接收到的图像中心位置选定区域A0,A0的大小选定为0.5W×0.5H;将A0按照上述方法划分为大小为0.25W×0.25H的四个图像子块A1、A2、A3、A4,A1和A2用于估算垂直方向上的局部运动向量,A3和A4用于估算水平方向上的局部运动向量,令A1、A2、A3、A4分别在1、2、3、4四个区域内搜寻最佳匹配,从而估计出视频序列的全局运动矢量,然后进行反向运动补偿,消除视频抖动的影响。
本优选实施例完善了视频稳像装置2对采集的视频图像进行预处理的功能,对视频图像进行稳像,避免了视频抖动对后续图像处理造成的影响,预处理的效率高。
优选的,所述目标车辆追踪装置3包括运动区域检测模块41、目标跟踪模块42和目标定位模块43;所述运动区域检测模块41用于在视频图像的一帧图像中检测目标车辆的运动区域D1并以此作为目标模板;所述目标跟踪模块42用于建立粒子状态转移和观测模型并基于上述模型,采用粒子滤波预测目标车辆候选区域;所述目标定位模块43用于对所述目标车辆候选区域和所述目标模板进行特征相似度量,获得所述目标车辆的检测跟踪结果,即目标车辆的位置。
本优选实施例构建了目标车辆追踪装置3的模块架构。
优选的,所述目标跟踪模块42包括:
(1)初始化子模块421:用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理,初始化处理后粒子的初始状态为x0 i,初始权值为{Qo i=1/n,i=1,...n};
(2)状态转移模型建立子模块422:用于建立粒子状态转移模型,所述粒子状态转移模型采用下式:
式中,表示m时刻的新粒子,m≥2,为均值为0的高斯白噪声,A为4阶单位阵;m-1时刻的粒子通过状态转移模型传播;
(3)观测模型建立子模块423,用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型;
(4)目标车辆候选区域计算子模块424:其利用最小方差估计来计算目标车辆候选区域:
式中,xnow表示计算的当前帧图像的目标车辆候选区域,表示m时刻第j个粒子的对应状态值;
(5)位置修正子模块425:用于修正异常数据:
式中,xpre表示计算的当前帧图像的目标车辆候选区域,表示m-1时刻第j个粒子的对应状态值;
设置数据异常评价函数P=|xnow-xpre|,若P的值大于设定的经验值T,则xnow=xpre;
(6)重采样子模块426:用于通过重采样操作删除权值过小的粒子,重采样时,利用系统当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,采样过程中粒子数量和信息残差之间的关系定义为:
其中,Nm表示采样过程中m时刻的粒子数量,Nmax和Nmin分别表示最小和最大粒子数,Nmin+1表示仅大于Nmin的粒子数,Nmax-1表示仅小于Nmax的粒子数,表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新,有效增强了跟踪系统的鲁棒性;设置位置修正子模块425,能够避免异常数据对整个系统带来的影响;在重采样子模块426中,利用当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,并定义了采样过程中粒子数量和信息残差之间的关系,较好地保证了粒子采样的高效性和算法的实时性。
优选地,所述粒子观测模型的粒子权值更新公式为:
式中
其中,表示m时刻第j个粒子的最终更新权值,和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值,表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值,表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值,Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离,Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差,λ1为基于颜色直方图的特征权值归一化的自适应调整因子,λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子;
所述自适应调整因子的计算公式为:
其中,s=1时,表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值;s=2时,表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子,为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值;s=3时,表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值;ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式,对粒子的特征权值进行融合处理,有效克服了加性融合和乘性融合存在的缺陷,进一步增强了跟踪系统的鲁棒性。
在此应用场景中,选取粒子数n=55,跟踪速度相对提高了7%,跟踪精度相对提高了8%。
应用场景3
参见图1、图2,本应用场景的一个实施例的复杂场景下的目标车辆视频跟踪系统,包括目标车辆视频采集装置1、视频稳像装置2、目标车辆追踪装置3、目标车辆位置更新装置4,所述目标车辆视频采集装置1用于采集包含目标车辆的视频;所述视频稳像装置2用于对采集的视频进行预处理,消除视频抖动的影响;所述目标车辆追踪装置3用于对视频中的所述目标车辆进行检测和跟踪,最终获得所述目标车辆的检测跟踪结果;所述目标车辆位置更新装置4用于利用所述检测跟踪结果通过在线学习更新所述目标车辆追踪装置3,进而更新所述目标车辆的位置。
优选的,所述目标车辆视频采集装置1包括高速相机11和与高速相机11连接的视频图像采集器12,所述视频图像采集器12用于采集目标车辆视频中的视频图像。
本发明上述实施例设置视频稳像装置2对采集的视频图像进行预处理,消除视频抖动的影响,从而解决了上述的技术问题。
优选的,所述对采集的视频进行预处理,包括:选定所述视频图像的第一帧图像为参考帧,并将参考帧平均划分为互不重叠的四个区域,W表示图像的宽度,H表示图像高度,四个区域大小均为0.5W×0.5H,从图像左上开始按照顺时针方向依次为区域1、2、3、4;在下一帧接收到的图像中心位置选定区域A0,A0的大小选定为0.5W×0.5H;将A0按照上述方法划分为大小为0.25W×0.25H的四个图像子块A1、A2、A3、A4,A1和A2用于估算垂直方向上的局部运动向量,A3和A4用于估算水平方向上的局部运动向量,令A1、A2、A3、A4分别在1、2、3、4四个区域内搜寻最佳匹配,从而估计出视频序列的全局运动矢量,然后进行反向运动补偿,消除视频抖动的影响。
本优选实施例完善了视频稳像装置2对采集的视频图像进行预处理的功能,对视频图像进行稳像,避免了视频抖动对后续图像处理造成的影响,预处理的效率高。
优选的,所述目标车辆追踪装置3包括运动区域检测模块41、目标跟踪模块42和目标定位模块43;所述运动区域检测模块41用于在视频图像的一帧图像中检测目标车辆的运动区域D1并以此作为目标模板;所述目标跟踪模块42用于建立粒子状态转移和观测模型并基于上述模型,采用粒子滤波预测目标车辆候选区域;所述目标定位模块43用于对所述目标车辆候选区域和所述目标模板进行特征相似度量,获得所述目标车辆的检测跟踪结果,即目标车辆的位置。
本优选实施例构建了目标车辆追踪装置3的模块架构。
优选的,所述目标跟踪模块42包括:
(1)初始化子模块421:用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理,初始化处理后粒子的初始状态为x0 i,初始权值为{Qo i=1/n,i=1,...n};
(2)状态转移模型建立子模块422:用于建立粒子状态转移模型,所述粒子状态转移模型采用下式:
式中,表示m时刻的新粒子,m≥2,为均值为0的高斯白噪声,A为4阶单位阵;m-1时刻的粒子通过状态转移模型传播;
(3)观测模型建立子模块423,用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型;
(4)目标车辆候选区域计算子模块424:其利用最小方差估计来计算目标车辆候选区域:
式中,xnow表示计算的当前帧图像的目标车辆候选区域,表示m时刻第j个粒子的对应状态值;
(5)位置修正子模块425:用于修正异常数据:
式中,xpre表示计算的当前帧图像的目标车辆候选区域,表示m-1时刻第j个粒子的对应状态值;
设置数据异常评价函数P=|xnow-xpre|,若P的值大于设定的经验值T,则xnow=xpre;
(6)重采样子模块426:用于通过重采样操作删除权值过小的粒子,重采样时,利用系统当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,采样过程中粒子数量和信息残差之间的关系定义为:
其中,Nm表示采样过程中m时刻的粒子数量,Nmax和Nmin分别表示最小和最大粒子数,Nmin+1表示仅大于Nmin的粒子数,Nmax-1表示仅小于Nmax的粒子数,表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新,有效增强了跟踪系统的鲁棒性;设置位置修正子模块425,能够避免异常数据对整个系统带来的影响;在重采样子模块426中,利用当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,并定义了采样过程中粒子数量和信息残差之间的关系,较好地保证了粒子采样的高效性和算法的实时性。
优选地,所述粒子观测模型的粒子权值更新公式为:
式中
其中,表示m时刻第j个粒子的最终更新权值,和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值,表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值,表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值,Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离,Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差,λ1为基于颜色直方图的特征权值归一化的自适应调整因子,λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子;
所述自适应调整因子的计算公式为:
其中,s=1时,表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值;s=2时,表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子,为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值;s=3时,表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值;ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式,对粒子的特征权值进行融合处理,有效克服了加性融合和乘性融合存在的缺陷,进一步增强了跟踪系统的鲁棒性。
在此应用场景中,选取粒子数n=60,跟踪速度相对提高了6.5%,跟踪精度相对提高了8.4%。
应用场景4
参见图1、图2,本应用场景的一个实施例的复杂场景下的目标车辆视频跟踪系统,包括目标车辆视频采集装置1、视频稳像装置2、目标车辆追踪装置3、目标车辆位置更新装置4,所述目标车辆视频采集装置1用于采集包含目标车辆的视频;所述视频稳像装置2用于对采集的视频进行预处理,消除视频抖动的影响;所述目标车辆追踪装置3用于对视频中的所述目标车辆进行检测和跟踪,最终获得所述目标车辆的检测跟踪结果;所述目标车辆位置更新装置4用于利用所述检测跟踪结果通过在线学习更新所述目标车辆追踪装置3,进而更新所述目标车辆的位置。
优选的,所述目标车辆视频采集装置1包括高速相机11和与高速相机11连接的视频图像采集器12,所述视频图像采集器12用于采集目标车辆视频中的视频图像。
本发明上述实施例设置视频稳像装置2对采集的视频图像进行预处理,消除视频抖动的影响,从而解决了上述的技术问题。
优选的,所述对采集的视频进行预处理,包括:选定所述视频图像的第一帧图像为参考帧,并将参考帧平均划分为互不重叠的四个区域,W表示图像的宽度,H表示图像高度,四个区域大小均为0.5W×0.5H,从图像左上开始按照顺时针方向依次为区域1、2、3、4;在下一帧接收到的图像中心位置选定区域A0,A0的大小选定为0.5W×0.5H;将A0按照上述方法划分为大小为0.25W×0.25H的四个图像子块A1、A2、A3、A4,A1和A2用于估算垂直方向上的局部运动向量,A3和A4用于估算水平方向上的局部运动向量,令A1、A2、A3、A4分别在1、2、3、4四个区域内搜寻最佳匹配,从而估计出视频序列的全局运动矢量,然后进行反向运动补偿,消除视频抖动的影响。
本优选实施例完善了视频稳像装置2对采集的视频图像进行预处理的功能,对视频图像进行稳像,避免了视频抖动对后续图像处理造成的影响,预处理的效率高。
优选的,所述目标车辆追踪装置3包括运动区域检测模块41、目标跟踪模块42和目标定位模块43;所述运动区域检测模块41用于在视频图像的一帧图像中检测目标车辆的运动区域D1并以此作为目标模板;所述目标跟踪模块42用于建立粒子状态转移和观测模型并基于上述模型,采用粒子滤波预测目标车辆候选区域;所述目标定位模块43用于对所述目标车辆候选区域和所述目标模板进行特征相似度量,获得所述目标车辆的检测跟踪结果,即目标车辆的位置。
本优选实施例构建了目标车辆追踪装置3的模块架构。
优选的,所述目标跟踪模块42包括:
(1)初始化子模块421:用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理,初始化处理后粒子的初始状态为x0 i,初始权值为{Qo i=1/n,i=1,...n};
(2)状态转移模型建立子模块422:用于建立粒子状态转移模型,所述粒子状态转移模型采用下式:
式中,表示m时刻的新粒子,m≥2,为均值为0的高斯白噪声,A为4阶单位阵;m-1时刻的粒子通过状态转移模型传播;
(3)观测模型建立子模块423,用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型;
(4)目标车辆候选区域计算子模块424:其利用最小方差估计来计算目标车辆候选区域:
式中,xnow表示计算的当前帧图像的目标车辆候选区域,表示m时刻第j个粒子的对应状态值;
(5)位置修正子模块425:用于修正异常数据:
式中,xpre表示计算的当前帧图像的目标车辆候选区域,表示m-1时刻第j个粒子的对应状态值;
设置数据异常评价函数P=|xnow-xpre|,若P的值大于设定的经验值T,则xnow=xpre;
(6)重采样子模块426:用于通过重采样操作删除权值过小的粒子,重采样时,利用系统当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,采样过程中粒子数量和信息残差之间的关系定义为:
其中,Nm表示采样过程中m时刻的粒子数量,Nmax和Nmin分别表示最小和最大粒子数,Nmin+1表示仅大于Nmin的粒子数,Nmax-1表示仅小于Nmax的粒子数,表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新,有效增强了跟踪系统的鲁棒性;设置位置修正子模块425,能够避免异常数据对整个系统带来的影响;在重采样子模块426中,利用当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,并定义了采样过程中粒子数量和信息残差之间的关系,较好地保证了粒子采样的高效性和算法的实时性。
优选地,所述粒子观测模型的粒子权值更新公式为:
式中
其中,表示m时刻第j个粒子的最终更新权值,和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值,表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值,表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值,Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离,Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差,λ1为基于颜色直方图的特征权值归一化的自适应调整因子,λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子;
所述自适应调整因子的计算公式为:
其中,s=1时,表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值;s=2时,表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子,为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值;s=3时,表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值;ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式,对粒子的特征权值进行融合处理,有效克服了加性融合和乘性融合存在的缺陷,进一步增强了跟踪系统的鲁棒性。
在此应用场景中,选取粒子数n=65,跟踪速度相对提高了6.5%,跟踪精度相对提高了8.5%。
应用场景5
参见图1、图2,本应用场景的一个实施例的复杂场景下的目标车辆视频跟踪系统,包括目标车辆视频采集装置1、视频稳像装置2、目标车辆追踪装置3、目标车辆位置更新装置4,所述目标车辆视频采集装置1用于采集包含目标车辆的视频;所述视频稳像装置2用于对采集的视频进行预处理,消除视频抖动的影响;所述目标车辆追踪装置3用于对视频中的所述目标车辆进行检测和跟踪,最终获得所述目标车辆的检测跟踪结果;所述目标车辆位置更新装置4用于利用所述检测跟踪结果通过在线学习更新所述目标车辆追踪装置3,进而更新所述目标车辆的位置。
优选的,所述目标车辆视频采集装置1包括高速相机11和与高速相机11连接的视频图像采集器12,所述视频图像采集器12用于采集目标车辆视频中的视频图像。
本发明上述实施例设置视频稳像装置2对采集的视频图像进行预处理,消除视频抖动的影响,从而解决了上述的技术问题。
优选的,所述对采集的视频进行预处理,包括:选定所述视频图像的第一帧图像为参考帧,并将参考帧平均划分为互不重叠的四个区域,W表示图像的宽度,H表示图像高度,四个区域大小均为0.5W×0.5H,从图像左上开始按照顺时针方向依次为区域1、2、3、4;在下一帧接收到的图像中心位置选定区域A0,A0的大小选定为0.5W×0.5H;将A0按照上述方法划分为大小为0.25W×0.25H的四个图像子块A1、A2、A3、A4,A1和A2用于估算垂直方向上的局部运动向量,A3和A4用于估算水平方向上的局部运动向量,令A1、A2、A3、A4分别在1、2、3、4四个区域内搜寻最佳匹配,从而估计出视频序列的全局运动矢量,然后进行反向运动补偿,消除视频抖动的影响。
本优选实施例完善了视频稳像装置2对采集的视频图像进行预处理的功能,对视频图像进行稳像,避免了视频抖动对后续图像处理造成的影响,预处理的效率高。
优选的,所述目标车辆追踪装置3包括运动区域检测模块41、目标跟踪模块42和目标定位模块43;所述运动区域检测模块41用于在视频图像的一帧图像中检测目标车辆的运动区域D1并以此作为目标模板;所述目标跟踪模块42用于建立粒子状态转移和观测模型并基于上述模型,采用粒子滤波预测目标车辆候选区域;所述目标定位模块43用于对所述目标车辆候选区域和所述目标模板进行特征相似度量,获得所述目标车辆的检测跟踪结果,即目标车辆的位置。
本优选实施例构建了目标车辆追踪装置3的模块架构。
优选的,所述目标跟踪模块42包括:
(1)初始化子模块421:用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理,初始化处理后粒子的初始状态为x0 i,初始权值为{Qo i=1/n,i=1,...n};
(2)状态转移模型建立子模块422:用于建立粒子状态转移模型,所述粒子状态转移模型采用下式:
式中,表示m时刻的新粒子,m≥2,为均值为0的高斯白噪声,A为4阶单位阵;m-1时刻的粒子通过状态转移模型传播;
(3)观测模型建立子模块423,用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型;
(4)目标车辆候选区域计算子模块424:其利用最小方差估计来计算目标车辆候选区域:
式中,xnow表示计算的当前帧图像的目标车辆候选区域,表示m时刻第j个粒子的对应状态值;
(5)位置修正子模块425:用于修正异常数据:
式中,xpre表示计算的当前帧图像的目标车辆候选区域,表示m-1时刻第j个粒子的对应状态值;
设置数据异常评价函数P=|xnow-xpre|,若P的值大于设定的经验值T,则xnow=xpre;
(6)重采样子模块426:用于通过重采样操作删除权值过小的粒子,重采样时,利用系统当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,采样过程中粒子数量和信息残差之间的关系定义为:
其中,Nm表示采样过程中m时刻的粒子数量,Nmax和Nmin分别表示最小和最大粒子数,Nmin+1表示仅大于Nmin的粒子数,Nmax-1表示仅小于Nmax的粒子数,表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新,有效增强了跟踪系统的鲁棒性;设置位置修正子模块425,能够避免异常数据对整个系统带来的影响;在重采样子模块426中,利用当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,并定义了采样过程中粒子数量和信息残差之间的关系,较好地保证了粒子采样的高效性和算法的实时性。
优选地,所述粒子观测模型的粒子权值更新公式为:
式中
其中,表示m时刻第j个粒子的最终更新权值,和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值,表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值,表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值,Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离,Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差,λ1为基于颜色直方图的特征权值归一化的自适应调整因子,λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子;
所述自适应调整因子的计算公式为:
其中,s=1时,表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值;s=2时,表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子,为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值;s=3时,表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值;ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式,对粒子的特征权值进行融合处理,有效克服了加性融合和乘性融合存在的缺陷,进一步增强了跟踪系统的鲁棒性。
在此应用场景中,选取粒子数n=70,跟踪速度相对提高了6%,跟踪精度相对提高了9%
最后应当说明的是,以上应用场景仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳应用场景对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。
Claims (3)
1.一种复杂场景下的目标车辆视频跟踪系统,其特征在于,包括目标车辆视频采集装置、视频稳像装置、目标车辆追踪装置和目标车辆位置更新装置,所述目标车辆视频采集装置用于采集包含目标车辆的视频;所述视频稳像装置用于对采集的视频进行预处理,消除视频抖动的影响;所述目标车辆追踪装置用于对视频中的所述目标车辆进行检测和跟踪,最终获得所述目标车辆的检测跟踪结果;所述目标车辆位置更新装置用于利用所述检测跟踪结果通过在线学习更新所述目标车辆追踪装置,进而更新所述目标车辆的位置。
2.根据权利要求1所述的一种复杂场景下的目标车辆视频跟踪系统,其特征在于,所述目标车辆视频采集装置包括高速相机和与高速相机连接的视频图像采集器,所述视频图像采集器用于采集目标车辆视频中的视频图像。
3.根据权利要求2所述的一种复杂场景下的目标车辆视频跟踪系统,其特征在于,所述对采集的视频进行预处理,包括:选定所述视频图像的第一帧图像为参考帧,并将参考帧平均划分为互不重叠的四个区域,W表示图像的宽度,H表示图像高度,四个区域大小均为0.5W×0.5H,从图像左上开始按照顺时针方向依次为区域1、2、3、4;在下一帧接收到的图像中心位置选定区域A0,A0的大小选定为0.5W×0.5H;将A0按照上述方法划分为大小为0.25W×0.25H的四个图像子块A1、A2、A3、A4,A1和A2用于估算垂直方向上的局部运动向量,A3和A4用于估算水平方向上的局部运动向量,令A1、A2、A3、A4分别在1、2、3、4四个区域内搜寻最佳匹配,从而估计出视频序列的全局运动矢量,然后进行反向运动补偿,消除视频抖动的影响。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610613601.9A CN106296731A (zh) | 2016-07-27 | 2016-07-27 | 一种复杂场景下的目标车辆视频跟踪系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610613601.9A CN106296731A (zh) | 2016-07-27 | 2016-07-27 | 一种复杂场景下的目标车辆视频跟踪系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106296731A true CN106296731A (zh) | 2017-01-04 |
Family
ID=57663277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610613601.9A Pending CN106296731A (zh) | 2016-07-27 | 2016-07-27 | 一种复杂场景下的目标车辆视频跟踪系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106296731A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877130A (zh) * | 2009-04-29 | 2010-11-03 | 中国科学院自动化研究所 | 复杂场景下基于粒子滤波器的运动目标跟踪方法 |
CN102339381A (zh) * | 2011-07-20 | 2012-02-01 | 浙江工业大学 | 一种基于粒子位置调整的粒子滤波视频运动目标跟踪方法 |
CN102722702A (zh) * | 2012-05-28 | 2012-10-10 | 河海大学 | 多特征融合的粒子滤波视频目标跟踪方法 |
CN105279769A (zh) * | 2015-07-16 | 2016-01-27 | 北京理工大学 | 一种联合多特征的层次粒子滤波跟踪方法 |
CN105335717A (zh) * | 2015-10-29 | 2016-02-17 | 宁波大学 | 基于智能移动终端视频抖动分析的人脸识别系统 |
CN105760824A (zh) * | 2016-02-02 | 2016-07-13 | 北京进化者机器人科技有限公司 | 一种运动人体跟踪方法和系统 |
-
2016
- 2016-07-27 CN CN201610613601.9A patent/CN106296731A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877130A (zh) * | 2009-04-29 | 2010-11-03 | 中国科学院自动化研究所 | 复杂场景下基于粒子滤波器的运动目标跟踪方法 |
CN102339381A (zh) * | 2011-07-20 | 2012-02-01 | 浙江工业大学 | 一种基于粒子位置调整的粒子滤波视频运动目标跟踪方法 |
CN102722702A (zh) * | 2012-05-28 | 2012-10-10 | 河海大学 | 多特征融合的粒子滤波视频目标跟踪方法 |
CN105279769A (zh) * | 2015-07-16 | 2016-01-27 | 北京理工大学 | 一种联合多特征的层次粒子滤波跟踪方法 |
CN105335717A (zh) * | 2015-10-29 | 2016-02-17 | 宁波大学 | 基于智能移动终端视频抖动分析的人脸识别系统 |
CN105760824A (zh) * | 2016-02-02 | 2016-07-13 | 北京进化者机器人科技有限公司 | 一种运动人体跟踪方法和系统 |
Non-Patent Citations (2)
Title |
---|
李昱辰: "基于粒子滤波的视频目标跟踪方法研究", 《中国博士学位论文全文数据库 信息科技辑(月刊 ) 》 * |
邱家涛: "电子稳像算法和视觉跟踪算法研究", 《中国博士学位论文全文数据库 信息科技辑(月刊)》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109344725B (zh) | 一种基于时空关注度机制的多行人在线跟踪方法 | |
CN111127518B (zh) | 基于无人机的目标跟踪方法及装置 | |
CN107369166B (zh) | 一种基于多分辨率神经网络的目标跟踪方法及系统 | |
CN107452015B (zh) | 一种具有重检测机制的目标跟踪系统 | |
CN110738690A (zh) | 一种基于多目标追踪框架的无人机视频中车速校正方法 | |
CN108694356B (zh) | 行人检测装置及方法、辅助驾驶系统 | |
CN110796010A (zh) | 一种结合光流法和卡尔曼滤波的视频稳像方法 | |
CN106683121A (zh) | 一种融合检测过程的鲁棒目标追踪方法 | |
CN102222214A (zh) | 快速物体识别算法 | |
CN108320306B (zh) | 融合tld和kcf的视频目标跟踪方法 | |
CN109708658B (zh) | 一种基于卷积神经网络的视觉里程计方法 | |
CN105374049B (zh) | 一种基于稀疏光流法的多角点跟踪方法及装置 | |
CN111353496B (zh) | 一种红外弱小目标实时检测方法 | |
CN110070565A (zh) | 一种基于图像叠加的船舶轨迹预测方法 | |
CN110310305A (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN116630376A (zh) | 基于ByteTrack的无人机多目标跟踪方法 | |
CN106296730A (zh) | 一种人体运动跟踪系统 | |
CN102592125A (zh) | 基于标准差特征的运动目标检测方法 | |
CN113033356A (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
CN111127355A (zh) | 一种对缺损光流图进行精细补全的方法及其应用 | |
CN116977902A (zh) | 一种边海防车载光电稳定平台目标跟踪方法及系统 | |
CN110232314A (zh) | 一种基于改进的Hog特征结合神经网络的图像行人检测方法 | |
Zhang et al. | Vehicle detection and tracking in remote sensing satellite vidio based on dynamic association | |
CN116193103A (zh) | 一种视频画面抖动等级评估的方法 | |
CN115439771A (zh) | 一种改进dsst的红外激光光斑跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170104 |
|
RJ01 | Rejection of invention patent application after publication |