CN111192296A - 一种基于视频监控的行人多目标检测与跟踪方法 - Google Patents

一种基于视频监控的行人多目标检测与跟踪方法 Download PDF

Info

Publication number
CN111192296A
CN111192296A CN201911390595.5A CN201911390595A CN111192296A CN 111192296 A CN111192296 A CN 111192296A CN 201911390595 A CN201911390595 A CN 201911390595A CN 111192296 A CN111192296 A CN 111192296A
Authority
CN
China
Prior art keywords
target
chain
current frame
original
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911390595.5A
Other languages
English (en)
Inventor
刘湘辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Junmin Advanced Technology Research Co ltd
Changsha Pinxian Information Technology Co ltd
Original Assignee
Changsha Junmin Advanced Technology Research Co ltd
Changsha Pinxian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Junmin Advanced Technology Research Co ltd, Changsha Pinxian Information Technology Co ltd filed Critical Changsha Junmin Advanced Technology Research Co ltd
Priority to CN201911390595.5A priority Critical patent/CN111192296A/zh
Publication of CN111192296A publication Critical patent/CN111192296A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明公开了一种基于视频监控的行人多目标检测与跟踪方法,首先,通过选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取;接着,建立当前帧运动目标链,同时,对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测;然后,根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况,建立关联矩阵,并将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况;最后,对针对四种不同的情况对运动目标进行相应的处理,并及时更新目标链信息。通过其上过程,精准地实现其检测与跟踪任务,具有鲁棒性更强、精度更准确、适用范围更普遍的优点。

Description

一种基于视频监控的行人多目标检测与跟踪方法
技术领域
本发明属于计算机视觉技术领域,具体涉及一种基于视频监控的行人多目标检测与跟踪方法。
背景技术
智能视频监控技术是近年来计算机视觉领域的一个研究热点。智能视频监控技术融合了自动控制、图像处理、人工智能以及模式识别等不同领域的先进技术,将计算机视觉与网络化的视频监控相结合,实现视频中运动目标如行人、车辆等物体的检测、识别、跟踪和行为分析等功能,为实时监控和预警提供有效的保证。智能视频监控技术可以极大地减少主观干扰,增强系统的智能化处理能力,有效地增强监控效果。
在视频监控中,行人是最重要的活动主体之一,因此对行人的行为分析成为智能视频监控的重要功能部分。而行人行为分析的实现建立行人检测与跟踪的基础上,现实场景中,对行人目标准确而快速的检测和跟踪是一项十分具有挑战性的工作,因为行人在移动时比车辆更具灵活性并且行人是非刚体,轮廓特征在不断变化,不易提取,这给跟踪的准确性以及算法的计算复杂度带来了诸多问题。在行人、车辆等目标检测的领域内,现广泛采用基于视频中感兴趣目标的运动信息的检测算法,比如背景减除法,光流法,帧差法等,上述算法主要利用图像帧与帧之间的相互关系,构建背景图像,实现目标检测,计算简单,具有良好的实时性,但是考虑到光线变化等背景噪声的影响、背景的建立和更新、阴影对目标准确性的干扰等,其检测精度会显著下降。对于目标跟踪而言,分为基于区域的跟踪方法、基于轮廓的跟踪方法、基于特征的跟踪方法和基于模型的跟踪方法,上述跟踪方法缺乏通用性,只能达到特定应用场景的跟踪需求,比如待跟踪目标形状发生变化、运动目标受光照影响、目标在运动期间发生部分或全部遮挡、背景有动态和静态、目标的运动模式突变等等都将给运动目标的准确跟踪带来了很大的挑战。
发明内容
有鉴于此,本发明的目的在于避免现有技术中的不足而提供一种基于视频监控的行人多目标检测与跟踪方法,其具有鲁棒性更强、精度更准确、适用范围更普遍的优点。
本发明的目的通过以下技术方案实现:提供一种基于视频监控的行人多目标检测与跟踪方法,包括如下步骤:
S100、根据行人目标的形状特点和运动特点,选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取,并完成运动目标链的初始化,即原有目标链;
S200、读取下一帧图像,进行目标检测,并为当前帧检测到的目标建立当前帧运动目标链,同时,对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测;
S300、根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况,建立关联矩阵,将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况;
S400、针对四种不同的情况对运动目标进行相应的处理,并及时更新目标链信息。
作为进一步的改进,所述步骤S100具体表现为:
S100A、读取视频图像,进行目标检测,找到有运动目标出现的第一帧;
S100B、提取目标的中心坐标、长、宽和加权颜色直方图信息,并为每个目标设置一个表示目标遮挡状态的逻辑参数,初始状态设为1,表示目标未发生遮挡,若发生遮挡则置0,完成运动目标链的初始化,即原有目标链。
作为进一步的改进,所述步骤S100中目标的加权颜色直方图表示为:
Figure BDA0002344823620000031
式中,l=(x,y)表示目标区域的中心坐标,lt=(xt,yt)表示目标区域内像素位置为,其中,t=1,2,...,z,z为目标区域内像素总数,h为目标矩形区域对角线长度的一半,δ是Delta函数,b(lt)表示lt处的颜色等级,u表示第u级颜色,且u=1,2,...s,k为加权函数,且k的表达式为:
Figure BDA0002344823620000032
作为进一步的改进,所述步骤S200中通过卡尔曼滤波器进行位置预测具体表现为:
1)通过上一时刻状态和协方差矩阵得到当前状态和协方差矩阵的先验估计,即预测方程,其中,当前状态矩阵
Figure BDA0002344823620000033
即k时刻状态的先验估计和协方差矩阵Pk,k-1的表达式为:
Figure BDA0002344823620000034
式中,k-1表示上一时刻,k表示当前时刻,
Figure BDA0002344823620000035
表示上一时刻状态矩阵,A,Q均表示卡尔曼滤波器参数,T表示矩阵倒置,Pk-1表示上一时刻协方差矩阵;
2)利用先验估计和观测值得到当前时刻状态的最优估计得到观测更新方程为:
Figure BDA0002344823620000036
式中,Kk表示卡尔曼滤波增益,
Figure BDA0002344823620000037
表示修正状态向量,即k时刻的后验状态估计,Zk表示k时刻的观测值,Pk表示修正协方差矩阵,H、R均表示卡尔曼滤波器参数。
作为进一步的改进,所述步骤S300具体表现为:
(1)建立关联矩阵D(m,n),m为原有目标链上的目标个数,n为当前帧目标链上的目标个数,初始化为全零矩阵;
(2)将当前帧检测到的目标链上的每个目标与原有目标链上的每个预测后的目标依次求重合面积;
(3)设定i为原有目标链中目标的编号,j为当前帧中目标的编号,判断当前帧中的第j个目标与原有目标链中的两个或两个以上的目标的面积重合度roverlap是否大于0.5,若是,则进入步骤(4),反之,则进入步骤(5),其中,roverlap的表达式为:
Figure BDA0002344823620000041
式中,Si、Sj分别表示第i个目标、第j个目标的面积,i和j的取值为1,2,...,m;
(4)此处有遮挡发生,令关联矩阵D(i,j)=-1,遮挡涉及的目标的遮挡状态逻辑参数均置为0;
(5)此处没有遮挡发生,即状态参数为1,将状态参数为1的目标与当前帧中状态参数为1的目标计算中心距和加权颜色直方图的匹配情况,当同时满足一定的阈值条件时,认为两者匹配,令关联矩阵的对应元素值为1。
作为进一步的改进,所述步骤S400通过扫描关联矩阵的值对四种不同的情况对运动目标进行相应的处理,具体表现为:
扫描关联矩阵的值,如果D(i,j)=1,说明当前帧目标链上的第j个目标正好和原有目标链上的第i个目标相匹配,用当前帧的目标信息通过目标状态参数更新对原有目标进行更新;如果D(i,j)=-1,说明当前帧目标链上的第j个目标和其它目标发生遮挡,此时用卡尔曼预测值来表示其在当前帧中的位置;如果D的第i行均为0,说明原有目标链上的第i个目标在当前帧中没有相应值,即目标消失,从原有目标链中删除其信息;如果D中第j列均为0,表示当前帧目标链的第j个目标为新出现的目标,将其信息添加到原有目标链中。
作为进一步的改进,所述目标状态参数更新采用如下更新公式进行:
Pi=βPi+(1-β)Pi-1 (15)
式中,Pi表示第i帧图像中匹配跟踪成功的目标区域的特征参数,β为尺度因子,表示特征更新的快慢。
作为进一步的改进,所述原有目标链中的目标和当前帧目标链中的运动目标的颜色相似度通过余弦距离进行计算,具体表现为:
Figure BDA0002344823620000051
式中,i,j分别表示原有目标链中目标和当前目标链中目标的标号,·表示点积,qu(i)表示原有目标链中第i个目标的加权颜色直方图,qu(j)表示当前帧目标链中第j个目标的加权颜色直方图,ds(i,j)的取值范围为[0,1],其值越接近1表明两个目标模型的相似度越大。
本发明提供的一种基于视频监控的行人多目标检测与跟踪方法主要用于获取运动目标的位置、姿态、轨迹等基本运动信息,首先,通过选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取;接着,建立当前帧运动目标链,同时,对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测;然后,根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况,建立关联矩阵,并将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况;最后,对针对四种不同的情况对运动目标进行相应的处理,并及时更新目标链信息。通过其上过程,精准地实现其检测与跟踪任务,具有鲁棒性更强、精度更准确、适用范围更普遍的优点。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是一种基于视频监控的行人多目标检测与跟踪方法的流程图。
图2是本发明余弦匹配结果图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施例对本发明作进一步详细的描述,需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
如图1所示,本发明实施例提供的一种基于视频监控的行人多目标检测与跟踪方法,通过建立关联矩阵的方法来建立数据关联,因此也选择建立关联矩阵来实现数据关联,关联矩阵是多目标跟踪中目标遮挡、目标出现、目标消失、目标匹配等情况的反映,其建立时要考虑如何有效的进行遮挡的判断以及代价函数的选择,根据行人目标的形状特点和运动特点,选择目标的中心位置和加权颜色直方图为特征,根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况,建立一个关联矩阵,将目标的状态分为正常跟踪、目标遮挡、新目标出现、旧目标消失等四种情况,然后,针对不同的情况对运动目标进行相应的处理,并及时更新目标链信息,具体地,上述方法分为如下过程:
S100、根据行人目标的形状特点和运动特点,选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取,并完成运动目标链的初始化,即原有目标链;
S200、读取下一帧图像,进行目标检测,并为当前帧检测到的目标建立当前帧运动目标链,同时,对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测;需要说明的是,本步骤中如果没有检测到运动目标,则返回步骤S100,如果有运动目标,即为当前帧检测到的目标建立运动目标的目标链;
S300、根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况,建立关联矩阵,将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况;
S400、针对四种不同的情况对运动目标进行相应的处理,并及时更新目标链信息。
需要说明的是,本发明之所以选择目标的加权颜色直方图作为目标描述,是考虑到行人在运动的过程中四肢的相对位置不断发生变化即行人目标形状多变且纹理特征较弱,同时目标跟踪中通常选择目标的最小外接矩形区域作为研究对象,这样会有一部分背景区域包含在该矩形区域中,而采用加权的颜色直方图可以减小目标周围像素的影响,抑制边缘噪声和干扰物。优选地,将目标的真彩色图像量化为m=16×16×16级,分别表示R、G、B每个颜色通道的等级,设目标区域的中心坐标为l=(x,y),目标区域内像素位置为lt=(xt,yt),i=1,2,…,z,z为目标区域内像素总数,目标的加权颜色直方图表示为:
Figure BDA0002344823620000071
其中,h为目标矩形区域对角线长度的一半,δ是Delta函数(狄拉克δ函数),b(lt)表示lt处的颜色等级,u表示第u级颜色,且u=1,2,...s,k为加权函数,且k的表达式为:
Figure BDA0002344823620000081
作为进一步优选的实施方式,所述步骤S100具体表现为:
S100A、读取视频图像,进行目标检测,找到有运动目标出现的第一帧;
S100B、提取目标的中心坐标、长、宽和加权颜色直方图信息,并为每个目标设置一个表示目标遮挡状态的逻辑参数,初始状态设为1,表示目标未发生遮挡,若发生遮挡则置0,完成运动目标链的初始化,即原有目标链。
作为进一步优选的实施方式,所述步骤S200中通过卡尔曼滤波器进行位置预测具体表现为:
1)通过上一时刻状态和协方差矩阵得到当前状态和协方差矩阵的先验估计,即预测方程,其中,当前状态矩阵
Figure BDA0002344823620000082
即k时刻状态的先验估计和协方差矩阵Pk,k-1的表达式为:
Figure BDA0002344823620000083
式中,k-1表示上一时刻,k表示当前时刻,
Figure BDA0002344823620000084
表示上一时刻状态矩阵,A,Q均表示卡尔曼滤波器参数,T表示矩阵倒置,Pk-1表示上一时刻协方差矩阵;
2)利用先验估计和观测值得到当前时刻状态的最优估计得到观测更新方程为:
Figure BDA0002344823620000085
式中,Kk表示卡尔曼滤波增益,
Figure BDA0002344823620000086
表示修正状态向量,即k时刻的后验状态估计,Zk表示k时刻的观测值,Pk表示修正协方差矩阵,H、R均表示卡尔曼滤波器参数。
通过其上描述可知,卡尔曼(Kalman)滤波器采用的运动状态估计方法是循环反馈控制机制,整个过程分为两个阶段:预测和校正:预测部分主要是利用预测方程由上一状态的估计求解得到当前时刻系统状态的先验估计;校正部分负责反馈的功能,利用当前时刻系统的量测值来优化先验估计,获得校正后更精确的当前估计。之后将这校正后的当前估计预测下一时刻的先验估计,两个步骤如此循环进行,实现递归。
同时,对于实时拍摄的视频,相邻帧之间时间间隔比较小,行人在相邻几帧之间的运动可近似为匀速运动,本发明采用卡尔曼滤波器对运动目标在下一帧中的位置进行预测,由运动学方程得:
lt=lt-1+(Δt)vt-1 (5)
vt=vt-1 (6)
其中,Δt表示相邻帧之间的时间间隔。
优选地,本文选择的状态向量和卡尔曼滤波器参数分别为:
Xk=[x(k),y(k),vx(k),vy(k)]T (7)
Zk=[x(k),y(k)]T (8)
Figure BDA0002344823620000091
Figure BDA0002344823620000092
Q=eye(4) (11)
R=eye(2) (12)
P=100×eye(4) (13)
上式(7)和(8)中,x(k),y(k)分别为k时刻运动目标的中心坐标,vx(k)、vy(k)分别为x和y方向的速度,每个运动目标的初始速度设为0,(9)至(13)中A、H、Q和R均为卡尔曼滤波器参数,具备了这些初始值,再利用(3)~(4)的公式,我们就可以对目标链表中的目标位置信息进行预测。需要说明的是eye(2)、eye(4)分别表示产生一个2×2和4×4大小的单位矩阵。
在进一步地技术方案中,本发明中步骤S300具体表现为:
(1)建立关联矩阵D(m,n),m为原有目标链上的目标个数,n为当前帧目标链上的目标个数,初始化为全零矩阵;
(2)将当前帧检测到的目标链上的每个目标与原有目标链上的每个预测后的目标依次求重合面积;
(3)设定i为原有目标链中目标的编号,j为当前帧中目标的编号,判断当前帧中的第j个目标与原有目标链中的两个或两个以上的目标的面积重合度roverlap是否大于0.5,若是,则进入步骤(4),反之,则进入步骤(5),其中,roverlap的表达式为:
Figure BDA0002344823620000101
式中,Si、Sj分别表示第i个目标、第j个目标的面积,i和j的取值为1,2,...,m;
(4)此处有遮挡发生,令关联矩阵D(i,j)=-1,遮挡涉及的目标的遮挡状态逻辑参数均置为0;
(5)此处没有遮挡发生,即状态参数为1,将状态参数为1的目标与当前帧中状态参数为1的目标计算中心距和加权颜色直方图的匹配情况,当同时满足一定的阈值条件时,认为两者匹配,令关联矩阵的对应元素值为1。
此外,优选地,步骤S400通过扫描关联矩阵的值对四种不同的情况对运动目标进行相应的处理,具体表现为:
扫描关联矩阵的值,如果D(i,j)=1,说明当前帧目标链上的第j个目标正好和原有目标链上的第i个目标相匹配,用当前帧的目标信息通过目标状态参数更新对原有目标进行更新;需要说明的是,由于行人是非刚体目标,其姿态多变,使得在视频图像的每一帧中所检测到的目标区域大小、目标区域中的目标形状都是不同的,并且由于外界光线等的变化,会对图像的亮度产生一定的影响,因此,对于目标跟踪过程中能够实现匹配跟踪的目标区域的特征,上述目标状态参数包括目标区域面积、目标加权颜色直方图,目标对应的卡尔曼滤波器参数中的速度参数等,这些参数都采用如下更新公式进行更新:
Pi=βPi+(1-β)Pi-1 (15)
其中,Pi表示第i帧图像中匹配跟踪成功的目标区域的特征参数,β为尺度因子,表示特征更新的快慢,结合目标的运动特征,本发明对于目标的速度参数和目标区域面积选择β=0.5,对于目标的颜色直方图特征,选取较小的更新速度,取β=0.2;
如果D(i,j)=-1,说明当前帧目标链上的第j个目标和其它目标发生遮挡,此时用卡尔曼预测值来表示其在当前帧中的位置;
如果D的第i行均为0,说明原有目标链上的第i个目标在当前帧中没有相应值,即目标消失,从原有目标链中删除其信息;
如果D中第j列均为0,表示当前帧目标链的第j个目标为新出现的目标,将其信息添加到原有目标链中。
进一步地,颜色相似度表示两个目标颜色模型的相似程度,本发明中原有目标链中的目标和当前帧目标链中的运动目标的颜色相似度通过余弦距离进行计算,具体表现为:
Figure BDA0002344823620000121
式中,i,j分别表示原有目标链中目标和当前目标链中目标的标号,·表示点积,qu(i)表示原有目标链中第i个目标的加权颜色直方图,qu(j)表示当前帧目标链中第j个目标的加权颜色直方图,ds(i,j)的取值范围为[0,1],其值越接近1表明两个目标模型的相似度越大。图2为使用余弦距离方法对同一视频中连续的几帧图像进行实验的结果,在这几帧视频图像中均有两个目标,将每帧中检测到的两个目标与原来存储的两个目标模版分别进行匹配,其中横坐标表示视频帧序号,纵坐标表示相似度大小,为统一比较,以接近1表示相似度大,图2中实线表示目标和模板正好匹配时的相似度,虚线表示目标和模版不匹配时的相似度,从图中我们可以看出,利用余弦匹配计算相似度,目标匹配和不匹配的界限非常明显,相似度数值相差较大,便于找准分界点。
综上所述,本发明一种基于视频监控的行人多目标检测与跟踪方法主要用于获取运动目标的位置、姿态、轨迹等基本运动信息,首先,通过选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取;接着,建立当前帧运动目标链,同时,对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测;然后,根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况,建立关联矩阵,并将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况;最后,对针对四种不同的情况对运动目标进行相应的处理,并及时更新目标链信息。通过其上过程,精准地实现其检测与跟踪任务,具有鲁棒性更强、精度更准确、适用范围更普遍的优点。
上面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,不能理解为对本发明保护范围的限制。
总之,本发明虽然列举了上述优选实施方式,但是应该说明,虽然本领域的技术人员可以进行各种变化和改型,除非这样的变化和改型偏离了本发明的范围,否则都应该包括在本发明的保护范围内。

Claims (8)

1.一种基于视频监控的行人多目标检测与跟踪方法,其特征在于,包括如下步骤:
S100、根据行人目标的形状特点和运动特点,选择目标的中心位置和加权颜色直方图为特征进行运动目标检测和特征提取,并完成运动目标链的初始化,即原有目标链;
S200、读取下一帧图像,进行目标检测,并为当前帧检测到的目标建立当前帧运动目标链,同时,对原有目标链中的每个目标使用卡尔曼滤波器进行位置预测;
S300、根据原有目标链中的目标和当前帧目标链中的运动目标的面积重合情况、中心距离以及加权颜色直方图的匹配情况,建立关联矩阵,将目标的状态分为新目标出现、目标匹配、目标遮挡和目标消失四种情况;
S400、针对四种不同的情况对运动目标进行相应的处理,并及时更新目标链信息。
2.根据权利要求1所述的基于视频监控的行人多目标检测与跟踪方法,其特征在于,所述步骤S100具体表现为:
S100A、读取视频图像,进行目标检测,找到有运动目标出现的第一帧;
S100B、提取目标的中心坐标、长、宽和加权颜色直方图信息,并为每个目标设置一个表示目标遮挡状态的逻辑参数,初始状态设为1,表示目标未发生遮挡,若发生遮挡则置0,完成运动目标链的初始化,即原有目标链。
3.根据权利要求2所述的基于视频监控的行人多目标检测与跟踪方法,其特征在于,所述步骤S100中目标的加权颜色直方图表示为:
Figure FDA0002344823610000011
式中,l=(x,y)表示目标区域的中心坐标,lt=(xt,yt)表示目标区域内像素位置为,其中,t=1,2,...,z,z为目标区域内像素总数,h为目标矩形区域对角线长度的一半,δ是Delta函数,b(lt)表示lt处的颜色等级,u表示第u级颜色,且u=1,2,...s,k为加权函数,且k的表达式为:
Figure FDA0002344823610000021
4.根据权利要求1所述的基于视频监控的行人多目标检测与跟踪方法,其特征在于,所述步骤S200中通过卡尔曼滤波器进行位置预测具体表现为:
1)通过上一时刻状态和协方差矩阵得到当前状态和协方差矩阵的先验估计,即预测方程,其中,当前状态矩阵
Figure FDA0002344823610000022
即k时刻状态的先验估计和协方差矩阵Pk,k-1的表达式为:
Figure FDA0002344823610000023
式中,k-1表示上一时刻,k表示当前时刻,
Figure FDA0002344823610000024
表示上一时刻状态矩阵,A,Q均表示卡尔曼滤波器参数,T表示矩阵倒置,Pk-1表示上一时刻协方差矩阵;
2)利用先验估计和观测值得到当前时刻状态的最优估计得到观测更新方程为:
Figure FDA0002344823610000025
式中,Kk表示卡尔曼滤波增益,
Figure FDA0002344823610000026
表示修正状态向量,即k时刻的后验状态估计,Zk表示k时刻的观测值,Pk表示修正协方差矩阵,H、R均表示卡尔曼滤波器参数。
5.根据权利要求1所述的基于视频监控的行人多目标检测与跟踪方法,其特征在于,所述步骤S300具体表现为:
(1)建立关联矩阵D(m,n),m为原有目标链上的目标个数,n为当前帧目标链上的目标个数,初始化为全零矩阵;
(2)将当前帧检测到的目标链上的每个目标与原有目标链上的每个预测后的目标依次求重合面积;
(3)设定i为原有目标链中目标的编号,j为当前帧中目标的编号,判断当前帧中的第j个目标与原有目标链中的两个或两个以上的目标的面积重合度roverlap是否大于0.5,若是,则进入步骤(4),反之,则进入步骤(5),其中,roverlap的表达式为:
Figure FDA0002344823610000031
式中,Si、Sj分别表示第i个目标、第j个目标的面积,i和j的取值为1,2,...,m;
(4)此处有遮挡发生,令关联矩阵D(i,j)=-1,遮挡涉及的目标的遮挡状态逻辑参数均置为0;
(5)此处没有遮挡发生,即状态参数为1,将状态参数为1的目标与当前帧中状态参数为1的目标计算中心距和加权颜色直方图的匹配情况,当同时满足一定的阈值条件时,认为两者匹配,令关联矩阵的对应元素值为1。
6.根据权利要求5所述的基于视频监控的行人多目标检测与跟踪方法,其特征在于,所述步骤S400通过扫描关联矩阵的值对四种不同的情况对运动目标进行相应的处理,具体表现为:
扫描关联矩阵的值,如果D(i,j)=1,说明当前帧目标链上的第j个目标正好和原有目标链上的第i个目标相匹配,用当前帧的目标信息通过目标状态参数更新对原有目标进行更新;如果D(i,j)=-1,说明当前帧目标链上的第j个目标和其它目标发生遮挡,此时用卡尔曼预测值来表示其在当前帧中的位置;如果D的第i行均为0,说明原有目标链上的第i个目标在当前帧中没有相应值,即目标消失,从原有目标链中删除其信息;如果D中第j列均为0,表示当前帧目标链的第j个目标为新出现的目标,将其信息添加到原有目标链中。
7.根据权利要求6所述的基于视频监控的行人多目标检测与跟踪方法,其特征在于,所述目标状态参数更新采用如下更新公式进行:
Pi=βPi+(1-β)Pi-1 (15)
式中,Pi表示第i帧图像中匹配跟踪成功的目标区域的特征参数,β为尺度因子,表示特征更新的快慢。
8.根据权利要求3所述的基于视频监控的行人多目标检测与跟踪方法,其特征在于,所述原有目标链中的目标和当前帧目标链中的运动目标的颜色相似度通过余弦距离进行计算,具体表现为:
Figure FDA0002344823610000041
式中,i,j分别表示原有目标链中目标和当前目标链中目标的标号,·表示点积,qu(i)表示原有目标链中第i个目标的加权颜色直方图,qu(j)表示当前帧目标链中第j个目标的加权颜色直方图,ds(i,j)的取值范围为[0,1],其值越接近1表明两个目标模型的相似度越大。
CN201911390595.5A 2019-12-30 2019-12-30 一种基于视频监控的行人多目标检测与跟踪方法 Pending CN111192296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911390595.5A CN111192296A (zh) 2019-12-30 2019-12-30 一种基于视频监控的行人多目标检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911390595.5A CN111192296A (zh) 2019-12-30 2019-12-30 一种基于视频监控的行人多目标检测与跟踪方法

Publications (1)

Publication Number Publication Date
CN111192296A true CN111192296A (zh) 2020-05-22

Family

ID=70707997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911390595.5A Pending CN111192296A (zh) 2019-12-30 2019-12-30 一种基于视频监控的行人多目标检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN111192296A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111681382A (zh) * 2020-05-28 2020-09-18 天津市三源电力设备制造有限公司 一种基于视觉分析检测施工现场跨越临时围栏的方法
CN112734811A (zh) * 2021-01-21 2021-04-30 清华大学 一种障碍物跟踪方法、障碍物跟踪装置和芯片
CN112883819A (zh) * 2021-01-26 2021-06-01 恒睿(重庆)人工智能技术研究院有限公司 多目标跟踪方法、装置、系统及计算机可读存储介质
CN112967276A (zh) * 2021-03-31 2021-06-15 杭州海康威视数字技术股份有限公司 对象检测方法、装置、内窥镜系统、电子设备及存储介质
CN113554683A (zh) * 2021-09-22 2021-10-26 成都考拉悠然科技有限公司 一种基于视频分析和物体检测的特征追踪方法
CN116580066A (zh) * 2023-07-04 2023-08-11 广州英码信息科技有限公司 一种低帧率场景下的行人目标跟踪方法及可读存储介质
JP7375192B2 (ja) 2020-05-22 2023-11-07 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ターゲット追跡方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムプロダクト

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹薇等: "一种基于运动检测的行人多目标跟踪算法" *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7375192B2 (ja) 2020-05-22 2023-11-07 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ターゲット追跡方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムプロダクト
CN111681382A (zh) * 2020-05-28 2020-09-18 天津市三源电力设备制造有限公司 一种基于视觉分析检测施工现场跨越临时围栏的方法
CN112734811A (zh) * 2021-01-21 2021-04-30 清华大学 一种障碍物跟踪方法、障碍物跟踪装置和芯片
CN112734811B (zh) * 2021-01-21 2021-08-24 清华大学 一种障碍物跟踪方法、障碍物跟踪装置和芯片
CN112883819A (zh) * 2021-01-26 2021-06-01 恒睿(重庆)人工智能技术研究院有限公司 多目标跟踪方法、装置、系统及计算机可读存储介质
CN112883819B (zh) * 2021-01-26 2023-12-08 恒睿(重庆)人工智能技术研究院有限公司 多目标跟踪方法、装置、系统及计算机可读存储介质
CN112967276A (zh) * 2021-03-31 2021-06-15 杭州海康威视数字技术股份有限公司 对象检测方法、装置、内窥镜系统、电子设备及存储介质
CN112967276B (zh) * 2021-03-31 2023-09-05 杭州海康威视数字技术股份有限公司 对象检测方法、装置、内窥镜系统、电子设备及存储介质
CN113554683A (zh) * 2021-09-22 2021-10-26 成都考拉悠然科技有限公司 一种基于视频分析和物体检测的特征追踪方法
CN116580066A (zh) * 2023-07-04 2023-08-11 广州英码信息科技有限公司 一种低帧率场景下的行人目标跟踪方法及可读存储介质
CN116580066B (zh) * 2023-07-04 2023-10-03 广州英码信息科技有限公司 一种低帧率场景下的行人目标跟踪方法及可读存储介质

Similar Documents

Publication Publication Date Title
CN111192296A (zh) 一种基于视频监控的行人多目标检测与跟踪方法
CN107292911B (zh) 一种基于多模型融合和数据关联的多目标跟踪方法
Kwon et al. Highly nonrigid object tracking via patch-based dynamic appearance modeling
Jeyakar et al. Robust object tracking with background-weighted local kernels
Babu et al. Robust tracking with motion estimation and local kernel-based color modeling
CN114972418B (zh) 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
JP4629364B2 (ja) シーンの背景を表現する背景画像を適応的に更新する方法
KR100421740B1 (ko) 객체 활동 모델링 방법
CN108876820B (zh) 一种基于均值漂移的遮挡条件下移动目标追踪方法
CN112257569B (zh) 一种基于实时视频流的目标检测和识别方法
CN110717934B (zh) 一种基于strcf的抗遮挡目标跟踪方法
Naeem et al. Real-time object detection and tracking
CN110533692B (zh) 一种面向无人机航拍视频中移动目标的自动跟踪方法
Dulai et al. Mean shift tracking through scale and occlusion
CN111415370A (zh) 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统
CN110147768B (zh) 一种目标跟踪方法及装置
CN110751671B (zh) 一种基于核相关滤波与运动估计的目标跟踪方法
Kumlu et al. Variable rate adaptive color-based particle filter tracking
CN113033356B (zh) 一种尺度自适应的长期相关性目标跟踪方法
CN110660079A (zh) 一种基于时空上下文的单目标跟踪方法
CN108257156B (zh) 一种从视频中自动追踪目标物体的方法
CN108346158B (zh) 基于主块数据关联的多目标跟踪方法及系统
Gong et al. Visual object tracking
Kulkarni et al. Video Based Tracking with Mean-Shift and Kalman Filter
Bhunia et al. Detection Based Multipath Correlation Filter for Visual Object Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination