CN106228576A - 用于为目标跟踪处理图像的系统 - Google Patents
用于为目标跟踪处理图像的系统 Download PDFInfo
- Publication number
- CN106228576A CN106228576A CN201610601877.5A CN201610601877A CN106228576A CN 106228576 A CN106228576 A CN 106228576A CN 201610601877 A CN201610601877 A CN 201610601877A CN 106228576 A CN106228576 A CN 106228576A
- Authority
- CN
- China
- Prior art keywords
- video
- particle
- image
- moment
- moving target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了用于为目标跟踪处理图像的系统,包括依次连接的视频采集器、图像抖动处理器、以计算机为基础的运动目标追踪器和以计算机为基础的运动目标位置更新器,所述视频采集器用于采集包含运动目标的视频;所述图像抖动处理器用于对采集的视频进行预处理,消除视频抖动的影响;所述以计算机为基础的运动目标追踪器用于对视频中的所述运动目标进行检测和跟踪,最终获得所述运动目标的检测跟踪结果;所述以计算机为基础的运动目标位置更新器用于利用所述检测跟踪结果通过在线学习更新所述以计算机为基础的运动目标追踪器,进而更新所述运动目标的位置。本发明设置图像抖动处理器对采集的视频图像进行预处理,消除视频抖动的影响。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及用于为目标跟踪处理图像的系统。
背景技术
相关技术中,通常需要对采集的视频图像进行处理,以实现运动目标的检测和跟踪。采集视频图像时,由于摄像机运动的原因的存在,给运动目标的正确检测带来极大挑战。
发明内容
为解决上述问题,本发明旨在提供用于为目标跟踪处理图像的系统。
本发明的目的采用以下技术方案来实现:
用于为目标跟踪处理图像的系统,包括依次连接的视频采集器、图像抖动处理器、以计算机为基础的运动目标追踪器和以计算机为基础的运动目标位置更新器,所述视频采集器用于采集包含运动目标的视频;所述图像抖动处理器用于对采集的视频进行预处理,消除视频抖动的影响;所述以计算机为基础的运动目标追踪器用于对视频中的所述运动目标进行检测和跟踪,最终获得所述运动目标的检测跟踪结果;所述以计算机为基础的运动目标位置更新器用于利用所述检测跟踪结果通过在线学习更新所述以计算机为基础的运动目标追踪器,进而更新所述运动目标的位置。
本发明的有益效果为:设置图像抖动处理器对采集的视频图像进行预处理,消除视频抖动的影响,从而解决了上述的技术问题。
附图说明
利用附图对本发明作进一步说明,但附图中的应用场景不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明的结构示意图;
图2是本发明以计算机为基础的运动目标追踪器的模块连接示意图。
附图标记:
视频采集器1、图像抖动处理器2、以计算机为基础的运动目标追踪器3、以计算机为基础的运动目标位置更新器4、CCD摄像机11、视频图像采集器12、运动区域检测模块41、目标跟踪模块42、目标定位模块43、初始化子模块421、状态转移模型建立子模块422、观测模型建立子模块423、运动目标候选区域计算子模块424、位置修正子模块425、重采样子模块426。
具体实施方式
结合以下应用场景对本发明作进一步描述。
应用场景1
参见图1、图2,本应用场景的一个实施例的复杂场景下的运动目标视频跟踪系统,包括依次连接的视频采集器1、图像抖动处理器2、以计算机为基础的运动目标追踪器3、以计算机为基础的运动目标位置更新器4,所述视频采集器1用于采集包含运动目标的视频;所述图像抖动处理器2用于对采集的视频进行预处理,消除视频抖动的影响;所述以计算机为基础的运动目标追踪器3用于对视频中的所述运动目标进行检测和跟踪,最终获得所述运动目标的检测跟踪结果;所述以计算机为基础的运动目标位置更新器4用于利用所述检测跟踪结果通过在线学习更新所述以计算机为基础的运动目标追踪器3,进而更新所述运动目标的位置。
优选的,所述视频采集器1包括CCD摄像机11和与CCD摄像机11连接的视频图像采集器12,所述视频图像采集器12用于采集运动目标视频中的视频图像。
本发明上述实施例设置图像抖动处理器2对采集的视频图像进行预处理,消除视频抖动的影响,从而解决了上述的技术问题。
优选的,所述对采集的视频进行预处理,包括:选定所述视频图像的第一帧图像为参考帧,并将参考帧平均划分为互不重叠的四个区域,W表示图像的宽度,H表示图像高度,四个区域大小均为0.5W×0.5H,从图像左上开始按照顺时针方向依次为区域1、2、3、4;在下一帧接收到的图像中心位置选定区域A0,A0的大小选定为0.5W×0.5H;将A0按照上述方法划分为大小为0.25W×0.25H的四个图像子块A1、A2、A3、A4,A1和A2用于估算垂直方向上的局部运动向量,A3和A4用于估算水平方向上的局部运动向量,令A1、A2、A3、A4分别在1、2、3、4四个区域内搜寻最佳匹配,从而估计出视频序列的全局运动矢量,然后进行反向运动补偿,消除视频抖动的影响。
本优选实施例完善了图像抖动处理器2对采集的视频图像进行预处理的功能,对视频图像进行稳像,避免了视频抖动对后续图像处理造成的影响,预处理的效率高。
优选的,所述以计算机为基础的运动目标追踪器3包括运动区域检测模块41、目标跟踪模块42和目标定位模块43;所述运动区域检测模块41用于在视频图像的一帧图像中检测运动目标的运动区域D1并以此作为目标模板;所述目标跟踪模块42用于建立粒子状态转移和观测模型并基于上述模型,采用粒子滤波预测运动目标候选区域;所述目标定位模块43用于对所述运动目标候选区域和所述目标模板进行特征相似度量,获得所述运动目标的检测跟踪结果,即运动目标的位置。
本优选实施例构建了以计算机为基础的运动目标追踪器3的模块架构。
优选的,所述目标跟踪模块42包括:
(1)初始化子模块421:用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理,初始化处理后粒子的初始状态为x0 i,初始权值为{Qo i=1/n,i=1,...n};
(2)状态转移模型建立子模块422:用于建立粒子状态转移模型,所述粒子状态转移模型采用下式:
式中,表示m时刻的新粒子,m≥2,为均值为0的高斯白噪声,A为4阶单位阵;m-1时刻的粒子通过状态转移模型传播;
(3)观测模型建立子模块423,用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型;
(4)运动目标候选区域计算子模块424:其利用最小方差估计来计算运动目标候选区域:
式中,xnow表示计算的当前帧图像的运动目标候选区域,表示m时刻第j个粒子的对应状态值;
(5)位置修正子模块425:用于修正异常数据:
式中,xpre表示计算的当前帧图像的运动目标候选区域,表示m-1时刻第j个粒子的对应状态值;
设置数据异常评价函数P=|xnow-xpre|,若P的值大于设定的经验值T,则xnow=xpre;
(6)重采样子模块426:用于通过重采样操作删除权值过小的粒子,重采样时,利用系统当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,采样过程中粒子数量和信息残差之间的关系定义为:
其中,Nm表示采样过程中m时刻的粒子数量,Nmax和Nmin分别表示最小和最大粒子数,Nmin+1表示仅大于Nmin的粒子数,Nmax-1表示仅小于Nmax的粒子数,表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新,有效增强了跟踪系统的鲁棒性;设置位置修正子模块425,能够避免异常数据对整个系统带来的影响;在重采样子模块426中,利用当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,并定义了采样过程中粒子数量和信息残差之间的关系,较好地保证了粒子采样的高效性和算法的实时性。
优选地,所述粒子观测模型的粒子权值更新公式为:
式中
其中,表示m时刻第j个粒子的最终更新权值,和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值,表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值,表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值,Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离,Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差,λ1为基于颜色直方图的特征权值归一化的自适应调整因子,λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子;
所述自适应调整因子的计算公式为:
其中,s=1时,表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值;s=2时,表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子,为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值;s=3时,表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值;ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式,对粒子的特征权值进行融合处理,有效克服了加性融合和乘性融合存在的缺陷,进一步增强了跟踪系统的鲁棒性。
在此应用场景中,选取粒子数n=50,跟踪速度相对提高了8%,跟踪精度相对提高了7%。
应用场景2
参见图1、图2,本应用场景的一个实施例的复杂场景下的运动目标视频跟踪系统,包括依次连接的视频采集器1、图像抖动处理器2、以计算机为基础的运动目标追踪器3、以计算机为基础的运动目标位置更新器4,所述视频采集器1用于采集包含运动目标的视频;所述图像抖动处理器2用于对采集的视频进行预处理,消除视频抖动的影响;所述以计算机为基础的运动目标追踪器3用于对视频中的所述运动目标进行检测和跟踪,最终获得所述运动目标的检测跟踪结果;所述以计算机为基础的运动目标位置更新器4用于利用所述检测跟踪结果通过在线学习更新所述以计算机为基础的运动目标追踪器3,进而更新所述运动目标的位置。
优选的,所述视频采集器1包括CCD摄像机11和与CCD摄像机11连接的视频图像采集器12,所述视频图像采集器12用于采集运动目标视频中的视频图像。
本发明上述实施例设置图像抖动处理器2对采集的视频图像进行预处理,消除视频抖动的影响,从而解决了上述的技术问题。
优选的,所述对采集的视频进行预处理,包括:选定所述视频图像的第一帧图像为参考帧,并将参考帧平均划分为互不重叠的四个区域,W表示图像的宽度,H表示图像高度,四个区域大小均为0.5W×0.5H,从图像左上开始按照顺时针方向依次为区域1、2、3、4;在下一帧接收到的图像中心位置选定区域A0,A0的大小选定为0.5W×0.5H;将A0按照上述方法划分为大小为0.25W×0.25H的四个图像子块A1、A2、A3、A4,A1和A2用于估算垂直方向上的局部运动向量,A3和A4用于估算水平方向上的局部运动向量,令A1、A2、A3、A4分别在1、2、3、4四个区域内搜寻最佳匹配,从而估计出视频序列的全局运动矢量,然后进行反向运动补偿,消除视频抖动的影响。
本优选实施例完善了图像抖动处理器2对采集的视频图像进行预处理的功能,对视频图像进行稳像,避免了视频抖动对后续图像处理造成的影响,预处理的效率高。
优选的,所述以计算机为基础的运动目标追踪器3包括运动区域检测模块41、目标跟踪模块42和目标定位模块43;所述运动区域检测模块41用于在视频图像的一帧图像中检测运动目标的运动区域D1并以此作为目标模板;所述目标跟踪模块42用于建立粒子状态转移和观测模型并基于上述模型,采用粒子滤波预测运动目标候选区域;所述目标定位模块43用于对所述运动目标候选区域和所述目标模板进行特征相似度量,获得所述运动目标的检测跟踪结果,即运动目标的位置。
本优选实施例构建了以计算机为基础的运动目标追踪器3的模块架构。
优选的,所述目标跟踪模块42包括:
(1)初始化子模块421:用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理,初始化处理后粒子的初始状态为x0 i,初始权值为{Qo i=1/n,i=1,...n};
(2)状态转移模型建立子模块422:用于建立粒子状态转移模型,所述粒子状态转移模型采用下式:
式中,表示m时刻的新粒子,m≥2,为均值为0的高斯白噪声,A为4阶单位阵;m-1时刻的粒子通过状态转移模型传播;
(3)观测模型建立子模块423,用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型;
(4)运动目标候选区域计算子模块424:其利用最小方差估计来计算运动目标候选区域:
式中,xnow表示计算的当前帧图像的运动目标候选区域,表示m时刻第j个粒子的对应状态值;
(5)位置修正子模块425:用于修正异常数据:
式中,xpre表示计算的当前帧图像的运动目标候选区域,表示m-1时刻第j个粒子的对应状态值;
设置数据异常评价函数P=|xnow-xpre|,若P的值大于设定的经验值T,则xnow=xpre;
(6)重采样子模块426:用于通过重采样操作删除权值过小的粒子,重采样时,利用系统当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,采样过程中粒子数量和信息残差之间的关系定义为:
其中,Nm表示采样过程中m时刻的粒子数量,Nmax和Nmin分别表示最小和最大粒子数,Nmin+1表示仅大于Nmin的粒子数,Nmax-1表示仅小于Nmax的粒子数,表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新,有效增强了跟踪系统的鲁棒性;设置位置修正子模块425,能够避免异常数据对整个系统带来的影响;在重采样子模块426中,利用当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,并定义了采样过程中粒子数量和信息残差之间的关系,较好地保证了粒子采样的高效性和算法的实时性。
优选地,所述粒子观测模型的粒子权值更新公式为:
式中
其中,表示m时刻第j个粒子的最终更新权值,和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值,表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值,表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值,Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离,Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差,λ1为基于颜色直方图的特征权值归一化的自适应调整因子,λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子;
所述自适应调整因子的计算公式为:
其中,s=1时,表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值;s=2时,表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子,为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值;s=3时,表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值;ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式,对粒子的特征权值进行融合处理,有效克服了加性融合和乘性融合存在的缺陷,进一步增强了跟踪系统的鲁棒性。
在此应用场景中,选取粒子数n=55,跟踪速度相对提高了7%,跟踪精度相对提高了8%。
应用场景3
参见图1、图2,本应用场景的一个实施例的复杂场景下的运动目标视频跟踪系统,包括依次连接的视频采集器1、图像抖动处理器2、以计算机为基础的运动目标追踪器3、以计算机为基础的运动目标位置更新器4,所述视频采集器1用于采集包含运动目标的视频;所述图像抖动处理器2用于对采集的视频进行预处理,消除视频抖动的影响;所述以计算机为基础的运动目标追踪器3用于对视频中的所述运动目标进行检测和跟踪,最终获得所述运动目标的检测跟踪结果;所述以计算机为基础的运动目标位置更新器4用于利用所述检测跟踪结果通过在线学习更新所述以计算机为基础的运动目标追踪器3,进而更新所述运动目标的位置。
优选的,所述视频采集器1包括CCD摄像机11和与CCD摄像机11连接的视频图像采集器12,所述视频图像采集器12用于采集运动目标视频中的视频图像。
本发明上述实施例设置图像抖动处理器2对采集的视频图像进行预处理,消除视频抖动的影响,从而解决了上述的技术问题。
优选的,所述对采集的视频进行预处理,包括:选定所述视频图像的第一帧图像为参考帧,并将参考帧平均划分为互不重叠的四个区域,W表示图像的宽度,H表示图像高度,四个区域大小均为0.5W×0.5H,从图像左上开始按照顺时针方向依次为区域1、2、3、4;在下一帧接收到的图像中心位置选定区域A0,A0的大小选定为0.5W×0.5H;将A0按照上述方法划分为大小为0.25W×0.25H的四个图像子块A1、A2、A3、A4,A1和A2用于估算垂直方向上的局部运动向量,A3和A4用于估算水平方向上的局部运动向量,令A1、A2、A3、A4分别在1、2、3、4四个区域内搜寻最佳匹配,从而估计出视频序列的全局运动矢量,然后进行反向运动补偿,消除视频抖动的影响。
本优选实施例完善了图像抖动处理器2对采集的视频图像进行预处理的功能,对视频图像进行稳像,避免了视频抖动对后续图像处理造成的影响,预处理的效率高。
优选的,所述以计算机为基础的运动目标追踪器3包括运动区域检测模块41、目标跟踪模块42和目标定位模块43;所述运动区域检测模块41用于在视频图像的一帧图像中检测运动目标的运动区域D1并以此作为目标模板;所述目标跟踪模块42用于建立粒子状态转移和观测模型并基于上述模型,采用粒子滤波预测运动目标候选区域;所述目标定位模块43用于对所述运动目标候选区域和所述目标模板进行特征相似度量,获得所述运动目标的检测跟踪结果,即运动目标的位置。
本优选实施例构建了以计算机为基础的运动目标追踪器3的模块架构。
优选的,所述目标跟踪模块42包括:
(1)初始化子模块421:用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理,初始化处理后粒子的初始状态为x0 i,初始权值为{Qo i=1/n,i=1,...n};
(2)状态转移模型建立子模块422:用于建立粒子状态转移模型,所述粒子状态转移模型采用下式:
式中,表示m时刻的新粒子,m≥2,为均值为0的高斯白噪声,A为4阶单位阵;m-1时刻的粒子通过状态转移模型传播;
(3)观测模型建立子模块423,用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型;
(4)运动目标候选区域计算子模块424:其利用最小方差估计来计算运动目标候选区域:
式中,xnow表示计算的当前帧图像的运动目标候选区域,表示m时刻第j个粒子的对应状态值;
(5)位置修正子模块425:用于修正异常数据:
式中,xpre表示计算的当前帧图像的运动目标候选区域,表示m-1时刻第j个粒子的对应状态值;
设置数据异常评价函数P=|xnow-xpre|,若P的值大于设定的经验值T,则xnow=xpre;
(6)重采样子模块426:用于通过重采样操作删除权值过小的粒子,重采样时,利用系统当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,采样过程中粒子数量和信息残差之间的关系定义为:
其中,Nm表示采样过程中m时刻的粒子数量,Nmax和Nmin分别表示最小和最大粒子数,Nmin+1表示仅大于Nmin的粒子数,Nmax-1表示仅小于Nmax的粒子数,表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新,有效增强了跟踪系统的鲁棒性;设置位置修正子模块425,能够避免异常数据对整个系统带来的影响;在重采样子模块426中,利用当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,并定义了采样过程中粒子数量和信息残差之间的关系,较好地保证了粒子采样的高效性和算法的实时性。
优选地,所述粒子观测模型的粒子权值更新公式为:
式中
其中,表示m时刻第j个粒子的最终更新权值,和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值,表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值,表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值,Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离,Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差,λ1为基于颜色直方图的特征权值归一化的自适应调整因子,λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子;
所述自适应调整因子的计算公式为:
其中,s=1时,表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值;s=2时,表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子,为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值;s=3时,表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值;ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式,对粒子的特征权值进行融合处理,有效克服了加性融合和乘性融合存在的缺陷,进一步增强了跟踪系统的鲁棒性。
在此应用场景中,选取粒子数n=60,跟踪速度相对提高了6.5%,跟踪精度相对提高了8.4%。
应用场景4
参见图1、图2,本应用场景的一个实施例的复杂场景下的运动目标视频跟踪系统,包括依次连接的视频采集器1、图像抖动处理器2、以计算机为基础的运动目标追踪器3、以计算机为基础的运动目标位置更新器4,所述视频采集器1用于采集包含运动目标的视频;所述图像抖动处理器2用于对采集的视频进行预处理,消除视频抖动的影响;所述以计算机为基础的运动目标追踪器3用于对视频中的所述运动目标进行检测和跟踪,最终获得所述运动目标的检测跟踪结果;所述以计算机为基础的运动目标位置更新器4用于利用所述检测跟踪结果通过在线学习更新所述以计算机为基础的运动目标追踪器3,进而更新所述运动目标的位置。
优选的,所述视频采集器1包括CCD摄像机11和与CCD摄像机11连接的视频图像采集器12,所述视频图像采集器12用于采集运动目标视频中的视频图像。
本发明上述实施例设置图像抖动处理器2对采集的视频图像进行预处理,消除视频抖动的影响,从而解决了上述的技术问题。
优选的,所述对采集的视频进行预处理,包括:选定所述视频图像的第一帧图像为参考帧,并将参考帧平均划分为互不重叠的四个区域,W表示图像的宽度,H表示图像高度,四个区域大小均为0.5W×0.5H,从图像左上开始按照顺时针方向依次为区域1、2、3、4;在下一帧接收到的图像中心位置选定区域A0,A0的大小选定为0.5W×0.5H;将A0按照上述方法划分为大小为0.25W×0.25H的四个图像子块A1、A2、A3、A4,A1和A2用于估算垂直方向上的局部运动向量,A3和A4用于估算水平方向上的局部运动向量,令A1、A2、A3、A4分别在1、2、3、4四个区域内搜寻最佳匹配,从而估计出视频序列的全局运动矢量,然后进行反向运动补偿,消除视频抖动的影响。
本优选实施例完善了图像抖动处理器2对采集的视频图像进行预处理的功能,对视频图像进行稳像,避免了视频抖动对后续图像处理造成的影响,预处理的效率高。
优选的,所述以计算机为基础的运动目标追踪器3包括运动区域检测模块41、目标跟踪模块42和目标定位模块43;所述运动区域检测模块41用于在视频图像的一帧图像中检测运动目标的运动区域D1并以此作为目标模板;所述目标跟踪模块42用于建立粒子状态转移和观测模型并基于上述模型,采用粒子滤波预测运动目标候选区域;所述目标定位模块43用于对所述运动目标候选区域和所述目标模板进行特征相似度量,获得所述运动目标的检测跟踪结果,即运动目标的位置。
本优选实施例构建了以计算机为基础的运动目标追踪器3的模块架构。
优选的,所述目标跟踪模块42包括:
(1)初始化子模块421:用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理,初始化处理后粒子的初始状态为x0 i,初始权值为{Qo i=1/n,i=1,...n};
(2)状态转移模型建立子模块422:用于建立粒子状态转移模型,所述粒子状态转移模型采用下式:
式中,表示m时刻的新粒子,m≥2,为均值为0的高斯白噪声,A为4阶单位阵;m-1时刻的粒子通过状态转移模型传播;
(3)观测模型建立子模块423,用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型;
(4)运动目标候选区域计算子模块424:其利用最小方差估计来计算运动目标候选区域:
式中,xnow表示计算的当前帧图像的运动目标候选区域,表示m时刻第j个粒子的对应状态值;
(5)位置修正子模块425:用于修正异常数据:
式中,xpre表示计算的当前帧图像的运动目标候选区域,表示m-1时刻第j个粒子的对应状态值;
设置数据异常评价函数P=|xnow-xpre|,若P的值大于设定的经验值T,则xnow=xpre;
(6)重采样子模块426:用于通过重采样操作删除权值过小的粒子,重采样时,利用系统当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,采样过程中粒子数量和信息残差之间的关系定义为:
其中,Nm表示采样过程中m时刻的粒子数量,Nmax和Nmin分别表示最小和最大粒子数,Nmin+1表示仅大于Nmin的粒子数,Nmax-1表示仅小于Nmax的粒子数,表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新,有效增强了跟踪系统的鲁棒性;设置位置修正子模块425,能够避免异常数据对整个系统带来的影响;在重采样子模块426中,利用当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,并定义了采样过程中粒子数量和信息残差之间的关系,较好地保证了粒子采样的高效性和算法的实时性。
优选地,所述粒子观测模型的粒子权值更新公式为:
式中
其中,表示m时刻第j个粒子的最终更新权值,和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值,表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值,表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值,Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离,Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差,λ1为基于颜色直方图的特征权值归一化的自适应调整因子,λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子;
所述自适应调整因子的计算公式为:
其中,s=1时,表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值;s=2时,表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子,为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值;s=3时,表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值;ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式,对粒子的特征权值进行融合处理,有效克服了加性融合和乘性融合存在的缺陷,进一步增强了跟踪系统的鲁棒性。
在此应用场景中,选取粒子数n=65,跟踪速度相对提高了6.5%,跟踪精度相对提高了8.5%。
应用场景5
参见图1、图2,本应用场景的一个实施例的复杂场景下的运动目标视频跟踪系统,包括依次连接的视频采集器1、图像抖动处理器2、以计算机为基础的运动目标追踪器3、以计算机为基础的运动目标位置更新器4,所述视频采集器1用于采集包含运动目标的视频;所述图像抖动处理器2用于对采集的视频进行预处理,消除视频抖动的影响;所述以计算机为基础的运动目标追踪器3用于对视频中的所述运动目标进行检测和跟踪,最终获得所述运动目标的检测跟踪结果;所述以计算机为基础的运动目标位置更新器4用于利用所述检测跟踪结果通过在线学习更新所述以计算机为基础的运动目标追踪器3,进而更新所述运动目标的位置。
优选的,所述视频采集器1包括CCD摄像机11和与CCD摄像机11连接的视频图像采集器12,所述视频图像采集器12用于采集运动目标视频中的视频图像。
本发明上述实施例设置图像抖动处理器2对采集的视频图像进行预处理,消除视频抖动的影响,从而解决了上述的技术问题。
优选的,所述对采集的视频进行预处理,包括:选定所述视频图像的第一帧图像为参考帧,并将参考帧平均划分为互不重叠的四个区域,W表示图像的宽度,H表示图像高度,四个区域大小均为0.5W×0.5H,从图像左上开始按照顺时针方向依次为区域1、2、3、4;在下一帧接收到的图像中心位置选定区域A0,A0的大小选定为0.5W×0.5H;将A0按照上述方法划分为大小为0.25W×0.25H的四个图像子块A1、A2、A3、A4,A1和A2用于估算垂直方向上的局部运动向量,A3和A4用于估算水平方向上的局部运动向量,令A1、A2、A3、A4分别在1、2、3、4四个区域内搜寻最佳匹配,从而估计出视频序列的全局运动矢量,然后进行反向运动补偿,消除视频抖动的影响。
本优选实施例完善了图像抖动处理器2对采集的视频图像进行预处理的功能,对视频图像进行稳像,避免了视频抖动对后续图像处理造成的影响,预处理的效率高。
优选的,所述以计算机为基础的运动目标追踪器3包括运动区域检测模块41、目标跟踪模块42和目标定位模块43;所述运动区域检测模块41用于在视频图像的一帧图像中检测运动目标的运动区域D1并以此作为目标模板;所述目标跟踪模块42用于建立粒子状态转移和观测模型并基于上述模型,采用粒子滤波预测运动目标候选区域;所述目标定位模块43用于对所述运动目标候选区域和所述目标模板进行特征相似度量,获得所述运动目标的检测跟踪结果,即运动目标的位置。
本优选实施例构建了以计算机为基础的运动目标追踪器3的模块架构。
优选的,所述目标跟踪模块42包括:
(1)初始化子模块421:用于在所述运动区域D1内随机选取数量为n的粒子并对各粒子进行初始化处理,初始化处理后粒子的初始状态为x0 i,初始权值为{Qo i=1/n,i=1,...n};
(2)状态转移模型建立子模块422:用于建立粒子状态转移模型,所述粒子状态转移模型采用下式:
式中,表示m时刻的新粒子,m≥2,为均值为0的高斯白噪声,A为4阶单位阵;m-1时刻的粒子通过状态转移模型传播;
(3)观测模型建立子模块423,用于通过颜色直方图、纹理特征直方图和运动边缘特征相结合的方式建立粒子观测模型;
(4)运动目标候选区域计算子模块424:其利用最小方差估计来计算运动目标候选区域:
式中,xnow表示计算的当前帧图像的运动目标候选区域,表示m时刻第j个粒子的对应状态值;
(5)位置修正子模块425:用于修正异常数据:
式中,xpre表示计算的当前帧图像的运动目标候选区域,表示m-1时刻第j个粒子的对应状态值;
设置数据异常评价函数P=|xnow-xpre|,若P的值大于设定的经验值T,则xnow=xpre;
(6)重采样子模块426:用于通过重采样操作删除权值过小的粒子,重采样时,利用系统当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,采样过程中粒子数量和信息残差之间的关系定义为:
其中,Nm表示采样过程中m时刻的粒子数量,Nmax和Nmin分别表示最小和最大粒子数,Nmin+1表示仅大于Nmin的粒子数,Nmax-1表示仅小于Nmax的粒子数,表示m时刻系统的新息残差。
本优选实施例采用基于颜色直方图、纹理特征直方图和运动边缘特征相结合的方式进行采样粒子的权值更新,有效增强了跟踪系统的鲁棒性;设置位置修正子模块425,能够避免异常数据对整个系统带来的影响;在重采样子模块426中,利用当前时刻预测和观测的差值提供新息残差,进而通过量测新息残差对采样的粒子进行在线自适应性调整,并定义了采样过程中粒子数量和信息残差之间的关系,较好地保证了粒子采样的高效性和算法的实时性。
优选地,所述粒子观测模型的粒子权值更新公式为:
式中
其中,表示m时刻第j个粒子的最终更新权值,和分别表示m时刻和m-1时刻中第j个粒子基于颜色直方图的更新权值,表示m时刻和m-1时刻中第j个粒子基于运动边缘的更新权值,表示m时刻和m-1时刻中第j个粒子基于纹理特征直方图的更新权值,Am为m时刻中第j个粒子基于颜色直方图的观测值与真实值之间的Bhattacharrya距离,Bm为m时刻中第j个粒子基于运动边缘的观测值与真实值之间的Bhattacharrya距离,Cm为m时刻中第j个粒子基于纹理特征直方图的观测值与真实值之间的Bhattacharrya距离,σ为高斯似然模型方差,λ1为基于颜色直方图的特征权值归一化的自适应调整因子,λ2为基于运动边缘的特征权值归一化的自适应调整因子,λ3为基于纹理特征直方图的特征权值归一化的自适应调整因子;
所述自适应调整因子的计算公式为:
其中,s=1时,表示m时刻中基于颜色直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于颜色直方图的特征值在j个粒子下的观测概率值;s=2时,表示m时刻中基于运动边缘的特征权值归一化的自适应调整因子,为m-1时刻中基于运动边缘的特征值在j个粒子下的观测概率值;s=3时,表示m时刻中基于纹理特征直方图的特征权值归一化的自适应调整因子,为m-1时刻中基于纹理特征直方图的特征值在j个粒子下的观测概率值;ξm-1表示在m-1时刻中所有粒子的空间位置方差值。
本优选实施例提出粒子观测模型的粒子权值更新公式和自适应调整因子的计算公式,对粒子的特征权值进行融合处理,有效克服了加性融合和乘性融合存在的缺陷,进一步增强了跟踪系统的鲁棒性。
在此应用场景中,选取粒子数n=70,跟踪速度相对提高了6%,跟踪精度相对提高了9%
最后应当说明的是,以上应用场景仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳应用场景对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。
Claims (3)
1.用于为目标跟踪处理图像的系统,其特征在于,包括依次连接的视频采集器、图像抖动处理器、以计算机为基础的运动目标追踪器和以计算机为基础的运动目标位置更新器,所述视频采集器用于采集包含运动目标的视频;所述图像抖动处理器用于对采集的视频进行预处理,消除视频抖动的影响;所述以计算机为基础的运动目标追踪器用于对视频中的所述运动目标进行检测和跟踪,最终获得所述运动目标的检测跟踪结果;所述以计算机为基础的运动目标位置更新器用于利用所述检测跟踪结果通过在线学习更新所述以计算机为基础的运动目标追踪器,进而更新所述运动目标的位置。
2.根据权利要求1所述的用于为目标跟踪处理图像的系统,其特征在于,所述视频采集器包括CCD摄像机和与CCD摄像机连接的视频图像采集器,所述视频图像采集器用于采集运动目标视频中的视频图像。
3.根据权利要求2所述的用于为目标跟踪处理图像的系统,其特征在于,所述对采集的视频进行预处理,包括:选定所述视频图像的第一帧图像为参考帧,并将参考帧平均划分为互不重叠的四个区域,W表示图像的宽度,H表示图像高度,四个区域大小均为0.5W×0.5H,从图像左上开始按照顺时针方向依次为区域1、2、3、4;在下一帧接收到的图像中心位置选定区域A0,A0的大小选定为0.5W×0.5H;将A0按照上述方法划分为大小为0.25W×0.25H的四个图像子块A1、A2、A3、A4,A1和A2用于估算垂直方向上的局部运动向量,A3和A4用于估算水平方向上的局部运动向量,令A1、A2、A3、A4分别在1、2、3、4四个区域内搜寻最佳匹配,从而估计出视频序列的全局运动矢量,然后进行反向运动补偿,消除视频抖动的影响。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610601877.5A CN106228576A (zh) | 2016-07-27 | 2016-07-27 | 用于为目标跟踪处理图像的系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610601877.5A CN106228576A (zh) | 2016-07-27 | 2016-07-27 | 用于为目标跟踪处理图像的系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106228576A true CN106228576A (zh) | 2016-12-14 |
Family
ID=57533105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610601877.5A Pending CN106228576A (zh) | 2016-07-27 | 2016-07-27 | 用于为目标跟踪处理图像的系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106228576A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877130A (zh) * | 2009-04-29 | 2010-11-03 | 中国科学院自动化研究所 | 复杂场景下基于粒子滤波器的运动目标跟踪方法 |
CN102339381A (zh) * | 2011-07-20 | 2012-02-01 | 浙江工业大学 | 一种基于粒子位置调整的粒子滤波视频运动目标跟踪方法 |
CN102722702A (zh) * | 2012-05-28 | 2012-10-10 | 河海大学 | 多特征融合的粒子滤波视频目标跟踪方法 |
CN105279769A (zh) * | 2015-07-16 | 2016-01-27 | 北京理工大学 | 一种联合多特征的层次粒子滤波跟踪方法 |
CN105335717A (zh) * | 2015-10-29 | 2016-02-17 | 宁波大学 | 基于智能移动终端视频抖动分析的人脸识别系统 |
CN105760824A (zh) * | 2016-02-02 | 2016-07-13 | 北京进化者机器人科技有限公司 | 一种运动人体跟踪方法和系统 |
-
2016
- 2016-07-27 CN CN201610601877.5A patent/CN106228576A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877130A (zh) * | 2009-04-29 | 2010-11-03 | 中国科学院自动化研究所 | 复杂场景下基于粒子滤波器的运动目标跟踪方法 |
CN102339381A (zh) * | 2011-07-20 | 2012-02-01 | 浙江工业大学 | 一种基于粒子位置调整的粒子滤波视频运动目标跟踪方法 |
CN102722702A (zh) * | 2012-05-28 | 2012-10-10 | 河海大学 | 多特征融合的粒子滤波视频目标跟踪方法 |
CN105279769A (zh) * | 2015-07-16 | 2016-01-27 | 北京理工大学 | 一种联合多特征的层次粒子滤波跟踪方法 |
CN105335717A (zh) * | 2015-10-29 | 2016-02-17 | 宁波大学 | 基于智能移动终端视频抖动分析的人脸识别系统 |
CN105760824A (zh) * | 2016-02-02 | 2016-07-13 | 北京进化者机器人科技有限公司 | 一种运动人体跟踪方法和系统 |
Non-Patent Citations (2)
Title |
---|
李昱辰: "基于粒子滤波的视频目标跟踪方法研究", 《中国博士学位论文全文数据库 信息科技辑(月刊 ) 》 * |
邱家涛: "电子稳像算法和视觉跟踪算法研究", 《中国博士学位论文全文数据库 信息科技辑(月刊)》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110472594B (zh) | 目标跟踪方法、信息插入方法及设备 | |
JP4208898B2 (ja) | 対象物追跡装置および対象物追跡方法 | |
CN112926410B (zh) | 目标跟踪方法、装置、存储介质及智能视频系统 | |
CN110378264A (zh) | 目标跟踪方法及装置 | |
CN108470355B (zh) | 融合卷积网络特征和判别式相关滤波器的目标跟踪方法 | |
JP7263216B2 (ja) | ワッサースタイン距離を使用する物体形状回帰 | |
CN111027481B (zh) | 基于人体关键点检测的行为分析方法及装置 | |
WO2013012091A1 (ja) | 情報処理装置、物体追跡方法およびプログラム記憶媒体 | |
CN111192294B (zh) | 一种基于目标检测的目标跟踪方法及系统 | |
CN113920170B (zh) | 结合场景上下文和行人社会关系的行人轨迹预测方法、系统及存储介质 | |
CN110796679A (zh) | 一种面向航拍影像的目标跟踪方法 | |
CN106296730A (zh) | 一种人体运动跟踪系统 | |
CN111126278A (zh) | 针对少类别场景的目标检测模型优化与加速的方法 | |
CN107945210A (zh) | 基于深度学习和环境自适应的目标跟踪算法 | |
JP2020126617A (ja) | フォールトトレランス及びフラクチュエーションロバスト性のための複数のニューラルネットワークを使用して揺れるカメラにより生成されたビデオからジッタリングを取り除くための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 | |
Pavel et al. | Recurrent convolutional neural networks for object-class segmentation of RGB-D video | |
CN110070565A (zh) | 一种基于图像叠加的船舶轨迹预测方法 | |
Tang et al. | Smoking behavior detection based on improved YOLOv5s algorithm | |
CN110310305A (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN111739066B (zh) | 一种基于高斯过程的视觉定位方法、系统及存储介质 | |
CN110569706A (zh) | 一种基于时间和空间网络的深度集成目标跟踪算法 | |
WO2022132407A1 (en) | Event camera based navigation control | |
Liu et al. | ACDnet: An action detection network for real-time edge computing based on flow-guided feature approximation and memory aggregation | |
CN111105442A (zh) | 切换式目标跟踪方法 | |
CN110147724A (zh) | 用于检测视频中的文本区域的方法、装置、设备以及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161214 |